Senior Data Engineer

Winnin Inc.; Brasil; Remote; BRL 150,000 - 210,000; Full time

Benefits offered by this job

Plano de saúde Bradesco

Cartão iFood Benefícios

Seguro de vida

Auxílio Idiomas

Job summary

A Winnin é uma plataforma de inteligência cultural que usa IA para decodificar o comportamento de consumo de vídeo e transformar tendências em estratégias orientadas por dados. Procuramos um Engenheiro de Dados para criar e manter crawlers, scrapers e pipelines que alimentam nossos modelos e dashboards internos.

Você trabalhará remotamente no Brasil, colaborando com equipes de engenharia de dados, ciência de dados e produto.

Qualifications

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas.
• Bons conhecimentos de Python (requests, httpx, asyncio) ou Node.js (axios, puppeteer, crawlee).
• Experiência com desenvolvimento de web scrapers ou crawlers, tanto via API quanto via parsing de HTML.
• Familiaridade com inspeção de chamadas de rede para análise de APIs e engenharia reversa.
• Conhecimento avançado de SQL para modelagem e análise de dados.
• Noção de ETL e armazenamento de dados (Parquet, JSON, bancos relacionais).
• Experiência com ambientes de nuvem (AWS, GCP ou Azure) para crawlers e pipelines.
• Experiência com rotação de proxies, bypass de rate limits e estratégias anti-bloqueio.
• Vivência com Scrapy, Crawlee e engenharia reversa de APIs privadas.
• Experiência com produção de crawlers e manutenção de pipelines.

Responsibilities

• Desenvolver e manter crawlers e scrapers de diferentes complexidades (API e HTML).
• Mapear novas fontes de dados externas e avaliar a viabilidade técnica de coleta.
• Automatizar fluxos de coleta de dados em larga escala.
• Ajustar e adaptar scrapers conforme mudanças nos sites.
• Garantir a qualidade e a atualização contínua dos crawlers.
• Processar e organizar os dados coletados para integração aos pipelines de dados.
• Trabalhar em conjunto com o time para resolver problemas de negócio e entregar dados confiáveis.

Skills

Python

Node.js

SQL

ETL

APIs

HTML parsing

Web scraping

Cloud

Proxies/anti-bot

Team collaboration

Comunicação

Education

Graduação em Ciência da Computação/Engenharia de Software

Tools

Scrapy

Crawlee

Parquet

Job description

A Winnin é uma plataforma de inteligência cultural que, por meio de Inteligência Artificial, decodifica o comportamento de consumo de vídeo e ajuda grandes marcas a transformar tendências culturais em estratégias criativas orientadas por dados. Trabalhamos com marcas como Coca-Cola, Meta, Netflix, AB InBev e Unilever.

Na Winnin, somos apaixonados pelo nosso trabalho, sonhamos grande e buscamos sempre ser ágeis e criativos. Somos, acima de tudo, um time. Afinal, quando diferentes talentos se unem em torno de um mesmo objetivo e compartilham conhecimento, coisas incríveis acontecem. É isso que buscamos viver todos os dias.

SOBRE O TIME

Nossa plataforma captura dados de diversas APIs e fontes externas e usa Inteligência Artificial para extrair insights a partir deles. No time de Engenharia de Dados, capturamos milhões de dados diariamente, que precisam estar disponíveis para os nossos clientes o mais rápido possível, próximo do tempo real.

O desafio do time é criar e manter centenas de pipelines que capturam, classificam e transformam esses dados, facilitando o acesso para os nossos clientes e para o time de Ciência de Dados, que constrói modelos a partir deles. E tudo isso prezando pela segurança e pela privacidade dos dados.

COMO SERÁ O SEU DIA A DIA

• Desenvolver e manter crawlers e scrapers de diferentes complexidades (API e HTML);
• Mapear novas fontes de dados externas e avaliar a viabilidade técnica de coleta;
• Automatizar fluxos de coleta de dados em larga escala;
• Ajustar e adaptar scrapers conforme mudanças nos sites;
• Garantir a qualidade e a atualização contínua dos crawlers;
• Processar e organizar os dados coletados para integração aos pipelines de dados;
• Trabalhar em conjunto com o time para resolver problemas de negócio e entregar dados confiáveis.
• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas;
• Bons conhecimentos de programação em Python (requests, httpx, asyncio) ou Node.js (axios, puppeteer, crawlee);
• Experiência com desenvolvimento de web scrapers ou crawlers, tanto via API quanto via parsing de HTML;
• Familiaridade com inspeção de chamadas de rede (Developer Tools / Network) para análise de APIs e engenharia reversa;
• Conhecimento avançado de SQL para modelagem e análise de dados;
• Noção geral de como estruturar pipelines de dados (ETL) e lidar com armazenamento de dados (ex.: Parquet, JSON, bancos relacionais);
• Experiência com ferramentas de orquestração e workflow, como Prefect, Airflow ou Temporal, para execução confiável de pipelines e processos de longa duração;
• Alguma experiência com ambientes de nuvem (AWS, GCP ou Azure) para rodar crawlers e pipelines;
• Atenção à qualidade dos dados coletados e capacidade de manter o funcionamento dos crawlers.
• Experiência sólida com rotação de proxies, bypass de rate limits e estratégias anti-bloqueio (ex.: proxy rotation, captchas);
• Vivência com ferramentas de scraping avançadas (Scrapy, Crawlee etc.);
• Experiência com engenharia reversa de APIs privadas e análise profunda de chamadas de rede;
• Experiência com manutenção e operação de crawlers em produção;
• Conhecimento em ferramentas de modelagem e transformação de dados, como dbt;
• Conhecimento de processamento paralelo com Spark ou ferramentas similares;
• Participação em projetos open source ou acadêmicos relacionados a scraping, automação ou engenharia de dados;
• Mestrado ou doutorado em área relacionada.
• Capacidade de analisar problemas complexos e estruturar a solução em etapas;
• Capacidade analítica para resolver problemas complexos;
• Habilidade para trabalhar de forma colaborativa;
• Capacidade de comunicar as soluções desenvolvidas para públicos não técnicos;
• Disposição para compartilhar conhecimento com o time.
• Plano de saúde e odontológico Bradesco;
• Cartão iFood Benefícios (alimentação e refeição);
• Seguro de vida e Cartão Natalidade Prudential;
• Vidalink, benefício de desconto em medicamentos;
• Starbem, plataforma de saúde e bem-estar;
• Apoio e Cuidado, programa de bem-estar emocional (Optum);
• Wellhub para você e dependentes;
• Auxílio Creche;
• Auxílio Idiomas, reembolso mensal para estudo de inglês, espanhol ou português;
• Woba, acesso a espaços de coworking;
• Licença maternidade de 180 dias e licença paternidade de 60 dias;
• Day off de aniversário: o dia do seu aniversário é todinho seu;
• Jornada flexível;
• Empréstimo consignado;
• Disponibilizamos todos os equipamentos para você trabalhar no conforto da sua casa;
• Ambiente animado, descontraído, diverso, inclusivo e com muita liberdade para criação.

MODELO DE CONTRATAÇÃO

• Trabalho 100% remoto.

Pessoas com deficiência são muito bem-vindas e encorajadas a se candidatar.