Senior Python Engineer — Web Scraping & Data Extraction

Beemon; Caxias do Sul; Hybrid; BRL 167,400 - 279,000; Full time

Job summary

Uma empresa de tecnologia está buscando um Desenvolvedor Python Sênior para trabalhar em soluções de web scraping em larga escala. O profissional será responsável por desenvolver e evoluir crawlers, criando spiders com ferramentas como Scrapy e Selenium, além de otimizar a performance com programação assíncrona. É necessário forte experiência com Python e web scraping em ambientes de produção, bem como boa familiaridade com Celery, Redis e PostgreSQL. A posição será presencial em Caxias do Sul, Brasil.

Qualifications

• Forte experiência com Python.
• Experiência significativa em web scraping.
• Conhecimento em Scrapy e bibliotecas relacionadas.
• Experiência com programação assíncrona.
• Experiência com sistemas de mensageria como Celery e RabbitMQ.

Responsibilities

• Desenvolver crawlers e sistemas de coleta de dados.
• Criar spiders com tecnologias como Scrapy e Selenium.
• Implementar estratégias de rotação de proxies.
• Integrar soluções para contornar bloqueios como CAPTCHA.
• Colaborar com a equipe de engenharia em práticas ágeis.

Skills

Python

Web scraping

Scrapy

Requests

Selenium

BeautifulSoup

Asyncio

Celery

Redis

RabbitMQ

PostgreSQL

Git

Tools

Docker

Job description

Estamos buscando um Desenvolvedor Python Sênior com forte experiência em web scraping para atuar no desenvolvimento e evolução de soluções de coleta de dados em larga escala. Este profissional irá contribuir com conhecimento técnico avançado e boas práticas de engenharia para melhorar a robustez,confiabilidade e eficiência dos sistemas de coleta de dados da empre A posição é hands‑on e focada no desenvolvimento de soluções técnicas para desafios complexos de scraping.

Responsabilidades

• Desenvolver e evoluir crawlers e sistemas de coleta de dados em larga escala.
• Criar spiders utilizando Scrapy, Requests, Selenium e BeautifulSoup.
• Trabalhar com programação assíncrona (async/await) para otimizar performance de coleta.
• Implementar e melhorar estratégias de rotação de proxies e uso de VPNs.
• Desenvolver mecanismos para contornar bloqueios e sistemas anti‑bot.
• Integrar solucionadores de CAPTCHA em pipelines de scraping.
• Construir pipelines de processamento assíncrono utilizando Celery, Redis e RabbitMQ.
• Otimizar armazenamento e consultas em PostgreSQL.
• Desenvolver APIs e integrações utilizando Django.
• Diagnosticar e resolver problemas relacionados a bloqueios como rate limiting, fingerprinting e proteções WAF.
• Contribuir com melhorias técnicas na arquitetura e nas ferramentas de coleta de dados.
• Colaborar com o time de engenharia seguindo práticas ágeis e revisão de código.

Requisitos

• Forte experiência com Python.
• Experiência sólida com web scraping em ambiente de produção.
• Experiência com Scrapy, Requests, Selenium e BeautifulSoup.
• Experiência com programação assíncrona utilizando asyncio.
• Experiência com Celery, Redis e RabbitMQ.
• Experiência com PostgreSQL.
• Conhecimento avançado de HTTP, cookies, headers e autenticação.
• Experiência com proxy rotation e uso de VPNs.
• Experiência com solucionadores de CAPTCHA.
• Experiência com bypass de sistemas anti‑bot.
• Experiência com Git e workflows de versionamento.
• Experiência trabalhando com times ágeis (Scrum ou Kanban).

Diferenciais

• Experiência com infraestrutura de scraping em larga escala.
• Experiência com automação de browsers e simulação de comportamento de usuário.
• Experiência com Docker e containerização.
• Experiência com sistemas distribuídos de coleta de dados.
• Experiência com monitoramento e observabilidade de crawlers.
• Experiência com CI/CD.
• Experiência com GitHub Actions.