Desenvolvedor Python Sênior

Nagro.co; Uberlândia; On-site; BRL 180,000 - 280,000; Full time

Job summary

A AgRisk, referência em infraestrutura para crédito no agronegócio, busca engenheiro(a) de dados sênior para projetar, desenvolver e evoluir sistemas de coleta e integração de dados com Python, garantindo escalabilidade e alto desempenho. Você ficará responsável por pipelines de extração, transformação e validação de grandes volumes de dados.

Atuará com web scraping, automação de navegadores, APIs externas e IA para melhoria de qualidade de dados, além de promover observabilidade, testes e

Qualifications

• Experiência sólida com Python, incluindo programação assíncrona, concorrência, gerenciamento de memória e otimização de performance.
• Experiência comprovada com web scraping e web crawling, utilizando Scrapy, BeautifulSoup, Playwright, Selenium ou tecnologias equivalentes.
• Domínio de HTTP/HTTPS, headers, cookies, sessões, autenticação e funcionamento de aplicações web.
• Experiência com automação de navegadores e extração de dados de aplicações dinâmicas renderizadas por JavaScript.
• Bons conhecimentos de arquitetura de software, padrões de projeto e construção de sistemas distribuídos e escaláveis em Python.
• Experiência com frameworks como FastAPI, Django e/ou Flask.
• Experiência com processamento de grandes volumes de dados, utilizando Pandas, Polars ou ferramentas equivalentes.
• Conhecimento de processamento assíncrono e paralelo, utilizando asyncio, multiprocessing, filas e workers.
• Experiência com mensageria utilizando RabbitMQ, Kafka, SQS, Redis ou tecnologias equivalentes.
• Experiência com MongoDB e/ou PostgreSQL, incluindo modelagem, indexação e otimização de consultas.
• Capacidade de desenvolver soluções resilientes de coleta, com reprocessamento, deduplicação, controle de execução e recuperação de falhas.
• Experiência com testes automatizados, observabilidade, monitoramento e troubleshooting em produção.
• Conhecimento de Docker, Linux e infraestrutura cloud (AWS e/ou GCP).
• Familiaridade com ferramentas de IA para desenvolvimento (AI First), incorporando-as ao fluxo diário de trabalho.
• Autonomia para investigar problemas complexos, propor soluções e conduzir entregas de ponta a ponta.
• Boa comunicação, pensamento analítico, senso de responsabilidade e facilidade para colaborar com outros desenvolvedores.

Responsibilities

• Projetar, desenvolver e evoluir sistemas de coleta, processamento e integração de dados utilizando Python, garantindo escalabilidade, resiliência e alta performance.
• Conduzir iniciativas técnicas desde o desenho da solução até a implementação, testes e rollout em produção.
• Desenvolver soluções de coleta automatizada utilizando web scraping, web crawling, automação de navegadores, consumo de APIs e integração com fontes externas.
• Construir arquiteturas de coleta de dados em larga escala, considerando paralelismo, concorrência, gerenciamento de sessões e eficiência de recursos.
• Desenvolver estratégias para extração de dados de sites dinâmicos, aplicações JavaScript, documentos estruturados e não estruturados.
• Construir pipelines de extração, transformação, normalização, validação e enriquecimento de grandes volumes de dados.
• Identificar e solucionar gargalos de performance, otimizando throughput, latência, consumo de memória e custos operacionais.
• Implementar mecanismos de resiliência como retries, timeouts, backoff, idempotência e recuperação de falhas.
• Evoluir a arquitetura dos serviços Python, promovendo modularização, reutilização de componentes e redução de débitos técnicos.
• Desenvolver mecanismos de observabilidade para monitorar disponibilidade das fontes, taxas de sucesso, tempos de execução e qualidade dos dados.
• Investigar incidentes em produção, identificar causas raiz e implementar melhorias estruturais.
• Explorar novas tecnologias e estratégias de coleta, incluindo IA para extração inteligente de informações e automação de processos.
• Utilizar ferramentas de IA no desenvolvimento (AI First), aumentando produtividade, qualidade e velocidade de entrega.
• Colaborar com decisões arquiteturais, realizar code reviews e apoiar o desenvolvimento técnico de profissionais menos experientes.

Skills

Python

Web scraping

Web crawling

BeautifulSoup

Scrapy

Playwright

Selenium

Django

Flask

FastAPI

Pandas

Polars

asyncio

multiprocessing

RabbitMQ

Kafka

SQS

Redis

MongoDB

PostgreSQL

Docker

Linux

AWS

GCP

AI First

Arquitetura de software

Trabalho em equipe

Comunicação

Tools

Scrapy

BeautifulSoup

Playwright

Selenium

FastAPI

Django

Flask

Pandas

Polars

asyncio

multiprocessing

RabbitMQ

Kafka

SQS

Redis

MongoDB

PostgreSQL

Docker

Linux

AWS

GCP

Job description

Sobre a empresa:

Somos a AgRisk, a infraestrutura completa para toda a jornada de crédito do agronegócio, com um motor de decisão alimentado por mais de 30 módulos de análise. Há 9 anos conectamos dados, tecnologia e governança para que instituições tomem decisões de crédito mais rápidas, seguras e consistentes. Já realizamos mais de 3,5 milhões de consultas, analisamos mais de 1,2 milhão de CPFs e CNPJs e hoje sustentamos a operação de mais de 1.600 clientes. Somos investidos pelo Itaú Venture Capital e recebemos recentemente um aporte de R$ 50 milhões do Rabo Partnerships, avançando para a Série B. Somos um time de mais de 100 pessoas construindo a base sobre a qual o crédito agro é decidido no país.

O que você vai fazer aqui:

• Projetar, desenvolver e evoluir sistemas de coleta, processamento e integração de dados utilizando Python, garantindo escalabilidade, resiliência e alta performance.
• Conduzir iniciativas técnicas desde o desenho da solução até a implementação, testes e rollout em produção.
• Desenvolver soluções de coleta automatizada utilizando web scraping, web crawling, automação de navegadores, consumo de APIs e integração com fontes externas.
• Construir arquiteturas de coleta de dados em larga escala, considerando paralelismo, concorrência, gerenciamento de sessões e eficiência de recursos.
• Desenvolver estratégias para extração de dados de sites dinâmicos, aplicações JavaScript, documentos estruturados e não estruturados.
• Construir pipelines de extração, transformação, normalização, validação e enriquecimento de grandes volumes de dados.
• Identificar e solucionar gargalos de performance, otimizando throughput, latência, consumo de memória e custos operacionais.
• Implementar mecanismos de resiliência como retries, timeouts, backoff, idempotência e recuperação de falhas.
• Evoluir a arquitetura dos serviços Python, promovendo modularização, reutilização de componentes e redução de débitos técnicos.
• Desenvolver mecanismos de observabilidade para monitorar disponibilidade das fontes, taxas de sucesso, tempos de execução e qualidade dos dados.
• Investigar incidentes em produção, identificar causas raiz e implementar melhorias estruturais.
• Explorar novas tecnologias e estratégias de coleta, incluindo IA para extração inteligente de informações e automação de processos.
• Utilizar ferramentas de IA no desenvolvimento (AI First), aumentando produtividade, qualidade e velocidade de entrega.
• Colaborar com decisões arquiteturais, realizar code reviews e apoiar o desenvolvimento técnico de profissionais menos experientes.

O que esperamos de você:

• Experiência sólida com Python, incluindo programação assíncrona, concorrência, gerenciamento de memória e otimização de performance.
• Experiência comprovada com web scraping e web crawling, utilizando Scrapy, BeautifulSoup, Playwright, Selenium ou tecnologias equivalentes.
• Domínio de HTTP/HTTPS, headers, cookies, sessões, autenticação e funcionamento de aplicações web.
• Experiência com automação de navegadores e extração de dados de aplicações dinâmicas renderizadas por JavaScript.
• Bons conhecimentos de arquitetura de software, padrões de projeto e construção de sistemas distribuídos e escaláveis em Python.
• Experiência com frameworks como FastAPI, Django e/ou Flask.
• Experiência com processamento de grandes volumes de dados, utilizando Pandas, Polars ou ferramentas equivalentes.
• Conhecimento de processamento assíncrono e paralelo, utilizando asyncio, multiprocessing, filas e workers.
• Experiência com mensageria utilizando RabbitMQ, Kafka, SQS, Redis ou tecnologias equivalentes.
• Experiência com MongoDB e/ou PostgreSQL, incluindo modelagem, indexação e otimização de consultas.
• Capacidade de desenvolver soluções resilientes de coleta, com reprocessamento, deduplicação, controle de execução e recuperação de falhas.
• Experiência com testes automatizados, observabilidade, monitoramento e troubleshooting em produção.
• Conhecimento de Docker, Linux e infraestrutura cloud (AWS e/ou GCP).
• Familiaridade com ferramentas de IA para desenvolvimento (AI First), incorporando-as ao fluxo diário de trabalho.
• Autonomia para investigar problemas complexos, propor soluções e conduzir entregas de ponta a ponta.
• Boa comunicação, pensamento analítico, senso de responsabilidade e facilidade para colaborar com outros desenvolvedores.

Diferenciais:

• Já ter trabalhado com Scrapy