Senior Data Engineer - Remote Real-Time Pipelines

Winnin Inc.; United States; Remote; USD 90,000 - 150,000; Full time

Benefits offered by this job

Plano de saúde

Plano odontológico

Seguro de vida

Cartão iFood Benefícios

Udemy

Benefícios SESC

Auxílio Idiomas

Acesso a espaços de coworking

Job summary

A Winnin é uma plataforma de inteligência cultural que usa IA para decodificar o comportamento de consumo de vídeo. Procuramos um engenheiro de dados para desenvolver crawlers e scrapers, mapear fontes de dados, automatizar coletas e manter pipelines em produção com foco na qualidade dos dados.

O contratado atuará próximo de equipes de dados, garantindo integração eficiente aos pipelines, segurança e privacidade.

Qualifications

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas.
• Conhecimentos de Python (requests, httpx, asyncio) ou Node.js (axios, puppeteer, crawlee).
• Experiência com desenvolvimento de web scrapers/crawlers via API ou parsing de HTML.
• Familiaridade com inspeção de tráfego de rede (Developer Tools/Network) para APIs e engenharia reversa.
• Conhecimento avançado de SQL para modelagem e análise de dados.
• Noção de ETL e armazenamento de dados (Parquet, JSON, bancos relacionais).
• Experiência com ferramentas de orquestração de workflows como Prefect, Airflow ou Temporal.

Responsibilities

• Desenvolver e manter crawlers e scrapers de diferentes complexidades (API e HTML).
• Mapear novas fontes de dados externas e avaliar a viabilidade técnica de coleta.
• Automatizar fluxos de coleta de dados em larga escala.
• Ajustar scrapers conforme mudanças nos sites.
• Garantir a qualidade e atualização contínua dos crawlers.
• Processar e organizar os dados coletados para integração aos pipelines de dados.
• Trabalhar com o time para resolver problemas de negócio e entregar dados confiáveis.

Skills

Python

Node.js

SQL

ETL

Web scraping

Data pipelines

Cloud platforms

Airflow

Playwright

Selenium

Scrapy

Crawlee

dbt

Spark

Parquet

Puppeteer

Education

Bacharelado em Ciência da Computação / Engenharia de Software ou área correlata

Tools

Playwright

Selenium

Scrapy

Crawlee

dbt

Spark

Parquet

Puppeteer

Job description

A Winnin é uma plataforma de inteligência cultural que usa IA para decodificar o comportamento de consumo de vídeo. Procuramos um engenheiro de dados para desenvolver crawlers e scrapers, mapear fontes de dados, automatizar coletas e manter pipelines em produção com foco na qualidade dos dados.

O contratado atuará próximo de equipes de dados, garantindo integração eficiente aos pipelines, segurança e privacidade.