Senior Data Engineer, CDP & Real-Time Pipelines

2ГИС; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

2GIS CDP — внутренняя платформа обработки данных, создающая единые профили пользователей и поддерживающая персонализацию продукта и рекламы. Ваша задача — развивать пайплайны, обеспечивать расчёт признаков в реальном времени и взаимодействие между CDP и другими системами компании.

Ищем инженера с опытом работы в highload-системах, знанием Spark и языков Python или Scala, а также способного анализировать бизнес-логику и предлагать архитектурные улучшения.

Qualifications

• Опыт работы с highload-системами
• Опыт проектирования архитектуры данных или платформенного кода
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки
• Понимание принципов работы Spark и умение его настраивать
• Уверенное владение Python или Scala
• Самостоятельность и проактивность
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код
• Будет плюсом опыт Airflow, опыт анализа данных с использованием SQL, знание инструментов мониторинга и автоматического контроля качества данных, опыт построения Data Lineage и работы с Data Catalog, понимание подходов к персонализации, сегментации или аналитике в реальном времени, понимание принципов работы S3-хранилищ.

Responsibilities

• Повысить эффективность пайплайнов для расчёта ежедневных признаков на основе пакетной обработки
• Создать эффективный пайплайн для расчётов признаков в реальном времени на базе Kafka-топиков
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды пользовательских событий
• Решать сложные инженерные задачи: рассчитывать метрики и строить витрины
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС
• Влиять на архитектурные решения и качество кода
• Взаимодействовать с аналитиками, продактами и инженерами других направлений в распределённой команде

Skills

Highload

Data architecture

Kafka

ClickHouse

Spark

Python/Scala

Самодисциплина

Бизнес-логика

Продуктовый подход

Tools

Airflow

SQL

Monitoring tools

Job description

2GIS CDP — внутренняя платформа обработки данных, создающая единые профили пользователей и поддерживающая персонализацию продукта и рекламы. Ваша задача — развивать пайплайны, обеспечивать расчёт признаков в реальном времени и взаимодействие между CDP и другими системами компании.

Ищем инженера с опытом работы в highload-системах, знанием Spark и языков Python или Scala, а также способного анализировать бизнес-логику и предлагать архитектурные улучшения.