Senior Data Engineer

Winnin Inc.; United States; Remote; USD 90,000 - 150,000; Full time

Benefits offered by this job

Plano de saúde

Plano odontológico

Seguro de vida

Cartão iFood Benefícios

Udemy

Benefícios SESC

Auxílio Idiomas

Acesso a espaços de coworking

Job summary

A Winnin é uma plataforma de inteligência cultural que usa IA para decodificar o comportamento de consumo de vídeo. Procuramos um engenheiro de dados para desenvolver crawlers e scrapers, mapear fontes de dados, automatizar coletas e manter pipelines em produção com foco na qualidade dos dados.

O contratado atuará próximo de equipes de dados, garantindo integração eficiente aos pipelines, segurança e privacidade.

Qualifications

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas.
• Conhecimentos de Python (requests, httpx, asyncio) ou Node.js (axios, puppeteer, crawlee).
• Experiência com desenvolvimento de web scrapers/crawlers via API ou parsing de HTML.
• Familiaridade com inspeção de tráfego de rede (Developer Tools/Network) para APIs e engenharia reversa.
• Conhecimento avançado de SQL para modelagem e análise de dados.
• Noção de ETL e armazenamento de dados (Parquet, JSON, bancos relacionais).
• Experiência com ferramentas de orquestração de workflows como Prefect, Airflow ou Temporal.

Responsibilities

• Desenvolver e manter crawlers e scrapers de diferentes complexidades (API e HTML).
• Mapear novas fontes de dados externas e avaliar a viabilidade técnica de coleta.
• Automatizar fluxos de coleta de dados em larga escala.
• Ajustar scrapers conforme mudanças nos sites.
• Garantir a qualidade e atualização contínua dos crawlers.
• Processar e organizar os dados coletados para integração aos pipelines de dados.
• Trabalhar com o time para resolver problemas de negócio e entregar dados confiáveis.

Skills

Python

Node.js

SQL

ETL

Web scraping

Data pipelines

Cloud platforms

Airflow

Playwright

Selenium

Scrapy

Crawlee

dbt

Spark

Parquet

Puppeteer

Education

Bacharelado em Ciência da Computação / Engenharia de Software ou área correlata

Tools

Playwright

Selenium

Scrapy

Crawlee

dbt

Spark

Parquet

Puppeteer

Job description

SOBRE A WINNIN:

A Winnin é uma plataforma de inteligência cultural que, por meio de Inteligência Artificial, decodifica o comportamento de consumo de vídeo e ajuda grandes marcas a transformar tendências culturais em estratégias criativas orientadas por dados. Trabalhamos com marcas como Coca-Cola, Meta, Netflix, AB InBev e Unilever.

Na Winnin, somos apaixonados pelo nosso trabalho, sonhamos grande e buscamos sempre ser ágeis e criativos. Somos, acima de tudo, um time. Afinal, quando diferentes talentos se unem em torno de um mesmo objetivo e compartilham conhecimento, coisas incríveis acontecem. É isso que buscamos viver todos os dias.

#BeAWinner

SOBRE O TIME

Nossa plataforma captura dados de diversas APIs e fontes externas e usa Inteligência Artificial para extrair insights a partir deles. No time de Engenharia de Dados, capturamos milhões de dados diariamente, que precisam estar disponíveis para os nossos clientes o mais rápido possível, próximo do tempo real.

O desafio do time é criar e manter centenas de pipelines que capturam, classificam e transformam esses dados, facilitando o acesso para os nossos clientes e para o time de Ciência de Dados, que constrói modelos a partir deles. E tudo isso prezando pela segurança e pela privacidade dos dados.

COMO SERÁ O SEU DIA A DIA

• Desenvolver e manter crawlers e scrapers de diferentes complexidades (API e HTML);

• Mapear novas fontes de dados externas e avaliar a viabilidade técnica de coleta;

• Automatizar fluxos de coleta de dados em larga escala;

• Ajustar e adaptar scrapers conforme mudanças nos sites;

• Garantir a qualidade e a atualização contínua dos crawlers;

• Processar e organizar os dados coletados para integração aos pipelines de dados;

• Trabalhar em conjunto com o time para resolver problemas de negócio e entregar dados confiáveis.

O QUE ESPERAMOS DE VOCÊ

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas;

• Bons conhecimentos de programação em Python (requests, httpx, asyncio) ou Node.js (axios, puppeteer, crawlee);

• Experiência com desenvolvimento de web scrapers ou crawlers, tanto via API quanto via parsing de HTML;

• Familiaridade com inspeção de chamadas de rede (Developer Tools / Network) para análise de APIs e engenharia reversa;

• Conhecimento avançado de SQL para modelagem e análise de dados;

• Noção geral de como estruturar pipelines de dados (ETL) e lidar com armazenamento de dados (ex.: Parquet, JSON, bancos relacionais);

• Experiência com ferramentas de orquestração e workflow, como Prefect, Airflow ou Temporal, para execução confiável de pipelines e processos de longa duração;

• Alguma experiência com ambientes de nuvem (AWS, GCP ou Azure) para rodar crawlers e pipelines;

• Atenção à qualidade dos dados coletados e capacidade de manter o funcionamento dos crawlers.

DIFERENCIAIS QUE TE DESTACAM

• Experiência prática com automação de browsers com Playwright, Selenium ou ferramentas similares;

• Experiência sólida com rotação de proxies, bypass de rate limits e estratégias anti-bloqueio (ex.: proxy rotation, captchas);

• Vivência com ferramentas de scraping avançadas (Scrapy, Crawlee etc.);

• Experiência com engenharia reversa de APIs privadas e análise profunda de chamadas de rede;

• Experiência com manutenção e operação de crawlers em produção;

• Conhecimento em ferramentas de modelagem e transformação de dados, como dbt;

• Conhecimento de processamento paralelo com Spark ou ferramentas similares;

• Participação em projetos open source ou acadêmicos relacionados a scraping, automação ou engenharia de dados;

• Mestrado ou doutorado em área relacionada.

SOFT SKILLS

• Capacidade de analisar problemas complexos e estruturar a solução em etapas;

• Vontade de aprender continuamente;

• Capacidade analítica para resolver problemas complexos;

• Habilidade para trabalhar de forma colaborativa;

• Capacidade de comunicar as soluções desenvolvidas para públicos não técnicos;

• Disposição para compartilhar conhecimento com o time.

PESSOAS INCRÍVEIS MERECEM BENEFÍCIOS INCRÍVEIS

• Plano de saúde e odontológico Bradesco;

• Cartão iFood Benefícios (alimentação e refeição);

• Seguro de vida e Cartão Natalidade Prudential;

• Vidalink, benefício de desconto em medicamentos;

• Starbem, plataforma de saúde e bem-estar;

• Apoio e Cuidado, programa de bem-estar emocional (Optum);

• Wellhub para você e dependentes;

• Benefícios SESC;

• Auxílio Creche;

• Auxílio Idiomas, reembolso mensal para estudo de inglês, espanhol ou português;

• Udemy;

• Woba, acesso a espaços de coworking;

• Licença maternidade de 180 dias e licença paternidade de 60 dias;

• Day off de aniversário: o dia do seu aniversário é todinho seu;

• Folga de fim de ano;

• Jornada flexível;

• Empréstimo consignado;

• Disponibilizamos todos os equipamentos para você trabalhar no conforto da sua casa;

• Ambiente animado, descontraído, diverso, inclusivo e com muita liberdade para criação.

MODELO DE CONTRATAÇÃO

• CLT;

• Trabalho 100% remoto.

Pessoas com deficiência são muito bem-vindas e encorajadas a se candidatar.