Python Developer — Web Scraping & Data Extraction (Junior)

Beemon; Caxias do Sul; Hybrid; BRL 44,640 - 66,960; Full time

Job summary

Uma empresa de tecnologia em dados em Caxias do Sul está em busca de um Desenvolvedor Python Júnior interessado em automação, coleta de dados e web scraping. O profissional atuará no desenvolvimento e manutenção de scripts para coleta automatizada de dados, além de utilizar ferramentas como Scrapy e Selenium. O candidato ideal deve ter conhecimento em Python e noções de HTTP e HTML. A oportunidade oferece um ambiente de aprendizado e colaboração dentro de um time de engenharia.

Qualifications

• Conhecimento em Python.
• Noções de HTTP, HTML e APIs REST.
• Conhecimento básico em web scraping.
• Conhecimento em Git e fluxo de versionamento.
• Noções de trabalho em equipe utilizando metodologias ágeis.
• Noções de SQL.

Responsibilities

• Desenvolver e manter scripts e crawlers para coleta automatizada de dados.
• Criar spiders utilizando Scrapy, Requests e BeautifulSoup (bs4).
• Automatizar navegação em páginas dinâmicas usando Selenium.
• Auxiliar na configuração e utilização de proxies e VPNs para coleta de dados.
• Trabalhar com filas e processamento assíncrono utilizando Celery, Redis e RabbitMQ.
• Integrar dados coletados com sistemas internos desenvolvidos em Django.
• Armazenar e manipular dados utilizando PostgreSQL.
• Monitorar execuções de crawlers e identificar falhas ou inconsistências na coleta.

Skills

Python

HTTP

HTML

APIs REST

Web scraping

Git

SQL

Tools

Scrapy

Selenium

Requests

BeautifulSoup (bs4)

PostgreSQL

Docker

Celery

Redis

RabbitMQ

Job description

Estamos em busca de um Desenvolvedor Python Júnior interessado em automação, coleta de dados e web scraping. A pessoa atuará no desenvolvimento e manutenção de robôs responsáveis pela coleta,tratamento e integração de dados provenientes de diferentes sistemas e portais. O profissional trabalhará junto com um time de engenharia, aprendendo boas práticas de desenvolvimento, arquitetura de sistemas e manipulação de dados em larga escala.

Principais responsabilidades

• Desenvolver e manter scripts e crawlers para coleta automatizada de dados.
• Criar spiders utilizando Scrapy, Requests e BeautifulSoup (bs4).
• Automatizar navegação em páginas dinâmicas usando Selenium.
• Auxiliar na configuração e utilização de proxies e VPNs para coleta de dados.
• Trabalhar com filas e processamento assíncrono utilizando Celery, Redis e RabbitMQ.
• Integrar dados coletados com sistemas internos desenvolvidos em Django.
• Armazenar e manipular dados utilizando PostgreSQL.
• Monitorar execuções de crawlers e identificar falhas ou inconsistências na coleta.
• Identificar e lidar com bloqueios básicos de scraping, como rate limiting, headers incorretos ou problemas de sessão.

Requisitos

• Conhecimento em Python.
• Noções de HTTP, HTML e APIs REST.
• Conhecimento básico em web scraping.
• Conhecimento em Git e fluxo de versionamento.
• Noções de trabalho em equipe utilizando metodologias ágeis.
• Noções de SQL.

Diferenciais

• Experiência com Scrapy, Selenium ou Requests.
• Experiência com BeautifulSoup (bs4).
• Experiência com Django.
• Conhecimento básico em proxy rotation.
• Experiência com solucionadores de CAPTCHA (ex: 2Captcha, AntiCaptcha).
• Conhecimento em programação assíncrona (async/await).
• Noções de Redis, RabbitMQ ou Celery.
• Experiência com Docker.
• Conhecimento em metodologias ágeis (Scrum ou Kanban).
• Experiência com pipelines de CI/CD.
• Experiência com GitHub Actions.