Python Engineer - Scalable Web Crawling & Data Extraction

Certivity GmbH; United States; Hybrid; USD 101,000 - 157,000; Full time

Benefits offered by this job

EGYM Wellpass

Udemy access

30 vacation days per year (including 4

30 days workation in EU/selected coun.

Job summary

Certivity GmbH ищет опытного инженера по веб-краулингу и извлечению данных для разработки и эксплуатации масштабируемых систем. Вы будете отвечать за краулеры от обнаружения до защиты и вывода структурированных данных, используя Python и современные облачные технологии.

Вакансия предполагает работу в гибридном формате с вождением архитектурного направления и взаимодействием в небольшой команде. Требуется опыт работы с веб-скрапингом, Docker и облаками (GCP/AWS/Azure); знание LLM‑ассистированных

Qualifications

• 3+ года профессиональной разработки ПО (5+ на старшем треке).
• Сильный Python: продакшн код, асинхронность.
• Опыт веб-скрапинга на масштабах и работа с анти‑бот-защитами.
• Docker, опыт работы в одном крупном облаке (GCP/Azure/AWS)
• Git и CLI‑умения.
• Опыт с LLM‑assisted extraction или ML‑пайплайнами.
• Go или Java/Spring Boot.
• Frontend (React) или готовность освоить.
• Terraform, Kubernetes и современные DevOps‑инструменты.

Responsibilities

• Разрабатывать и масштабировать краулеры для больших сайтов и поддерживать их работу.
• Обход защит anti-bot: TLS/ fingerprinting, прокси, управление сессиями и лимитами.
• Преобразовать HTML/PDF в структурированные данные с точностью.
• Проектировать конвейеры ingestion, deduplication, версионирование и enrichment.
• Развертывать и поддерживать контейнеризованные приложения в облаке с CI/CD.
• Формировать архитектуру и культуру инженерии.
• Сотрудничать с командой и развивать стек технологий.

Skills

Python

Web scraping

LLM-assisted extraction

Async programming

Git

Tools

Docker

GCP

Azure

AWS

MongoDB

Kubernetes

React

Terraform

CI/CD

Job description

Certivity GmbH ищет опытного инженера по веб-краулингу и извлечению данных для разработки и эксплуатации масштабируемых систем. Вы будете отвечать за краулеры от обнаружения до защиты и вывода структурированных данных, используя Python и современные облачные технологии.

Вакансия предполагает работу в гибридном формате с вождением архитектурного направления и взаимодействием в небольшой команде. Требуется опыт работы с веб-скрапингом, Docker и облаками (GCP/AWS/Azure); знание LLM‑ассистированных