software engineer (web scraping / data acquisition)

NielsenIQ; Madrid; On-site; EUR 70,000 - 90,000; Full time

Benefits offered by this job

Гибкий график

Гибридная среда работы

Программы поддержки сотрудников

Job summary

NIQ ищет опытного специалиста по скрейпингу в Madrid для проектирования распределённых систем сбора данных и обхода анти‑бот механизмов. Вы будете разворачивать масштабируемые решения, использовать Frida, mitmproxy, Burp и другие инструменты, обеспечивая надёжную работу сервисов аналитики потребительского поведения.

Требуется 5+ лет опыта в Python и крупномасштабном скрейпинге; знание MongoDB, Redis и облачных сред приветствуется. Гибкий график, поддержка обучения и развитие в компании NIQ.

Qualifications

• 5+ лет опыта работы с Python и крупномасштабными проектами по скрейпингу.

Responsibilities

• Разрабатывать распределённые архитектуры скрейпинга, масштабируемые на тысячи доменов.
• Обход анти‑бот систем с использованием инструментов вроде Frida, mitmproxy, Charles Proxy и Burp.
• Обнаруживать и обходить меры против сбора данных (fingerprinting, WAFs, JS‑проверки).
• Базировать инновации в скрейпинге, прототипировать новые подходы и делиться знаниями с командой.
• Настраивать мониторинг и детекцию сбоев и блокировок.

Skills

Python

Large-scale scraping

Anti-bot techniques

Scrapy

Playwright

Proxy management

TLS tweaking

Browser debugging

MongoDB

InfluxDB

Redis

Tools

Frida

mitmproxy

Charles Proxy

Burp

Selenium

Playwright

httpx

Requests

Job description

Описание

NIQ is a consumer intelligence company that analyzes consumer buying behavior and identifies growth opportunities. Its platforms combine retail data and advanced analytics to deliver consumer insights. NIQ operates in more than 100 markets and covers over 90% of the world’s population.

Задачи

• Design and build distributed scraping architectures that scale across thousands of domains
• Reverse engineer APIs and mobile apps using tools such as Frida, mitmproxy, Charles Proxy, and Burp
• Detect anti-bot measures, including JavaScript checks and browser behavior detection, and build crawlers that adapt to appear more human-like
• Lead technical innovation in scraping, identify edge cases, prototype new approaches, and share knowledge with the team
• Set up anomaly detection and monitoring to identify blockers or failures early

Требования

• 5+ Years of experience with Python and large-scale scraping projects
• Deep understanding of anti-bot technologies and how to bypass them, including fingerprinting, WAFs, and JavaScript challenges
• Experience with Scrapy, Requests, httpx, Selenium, Playwright, or custom headless browser drivers
• Skilled in handling residential, datacenter, and rotating proxies, session management, cookie injection, and TLS tweaking
• Strong debugging skills across browser, HTTP traffic, and device-level interactions
• Independent problem-solving skills and enjoyment of tackling unsolved problems
• Good knowledge of MongoDB, InfluxDB, and Redis, including their operation and optimization
• Будет плюсом: familiarity with Parquet or Avro, real-time stream processing, real-device simulation for mobile scraping, distributed task queues such as Celery or Kafka, scraping high-security platforms or mobile-first environments, Linux or cloud environments such as AWS or GCP, basic Kubernetes, Cloud Run, and Cloud Functions knowledge for deploying and orchestrating scraping workloads

Условия

• Flexible working hours
• Flexible working environment
• Volunteer time off
• LinkedIn Learning
• Employee Assistance Program (EAP)