Staff Engineer - Agentic Search & Web-Scale Crawling

Nebius Group; United States; On-site; USD 150,000 - 230,000; Full time

Benefits offered by this job

Конкурентная оплата

Возможности роста

Гибкость и ответственность

Коллаборативная культура

Работа над значимыми AI‑проектами

Международная команда

Job summary

Nebius — ведущая платформа облачных технологий для глобальной AI-экономики. Мы ищем Staff Software Engineer для работы над контент‑приобретением и инфраструктурой обхода, проектируя распределённые краулинги и сбор данных на масштабном интернете.

Вы будете заниматься созданием распределённых очередей, расписаний обхода и стратегий обновления, а также обеспечивать надёжную работу и наблюдаемость под высокими нагрузками. Работа в международной команде над значимыми AI‑проектаами.

Qualifications

• 8+ лет опыта разработки backend или распределённых систем.
• Сильная экспертиза в Go или C++.

Responsibilities

• Проектирование, реализация и эксплуатация веб-скалируемых систем обхода интернета.
• Построение процессов загрузки данных из внутренних и внешних источников, включая краулеры и партнёрские интеграции.
• Разработка расписания обхода, приоритизации, recrawl‑политик и стратегий обновления.
• Построение систем обнаружения URL, дедупликации, извлечения контента и оркестрации обхода.
• Обеспечение надёжной работы инфраструктуры обхода в условиях высокой пропускной способности.
• Определение наблюдаемости и метрик качества охвата обхода, пропускной способности и качества контента.
• Мониторинг использования ресурсов, пропускной способности и затрат.
• Согласование с командами индексирования и ML для удовлетворения требований поиска.
• Обеспечение безопасного тестирования стратегий обхода и политики получения контента.

Skills

Go

C++

Distributed systems

Web crawling

HTTP/DNS/TLS

Debugging in prod

Kafka

Pulsar

NATS

RabbitMQ

Spark

Tools

Kafka

Pulsar

NATS

RabbitMQ

Spark

Job description

Nebius — ведущая платформа облачных технологий для глобальной AI-экономики. Мы ищем Staff Software Engineer для работы над контент‑приобретением и инфраструктурой обхода, проектируя распределённые краулинги и сбор данных на масштабном интернете.

Вы будете заниматься созданием распределённых очередей, расписаний обхода и стратегий обновления, а также обеспечивать надёжную работу и наблюдаемость под высокими нагрузками. Работа в международной команде над значимыми AI‑проектаами.