data engineer CDP

2ГИС; United States; On-site; USD 140,000 - 190,000; Full time

Job summary

2GIS CDP — внутренняя платформа обработки данных, создающая единые профили пользователей и поддерживающая персонализацию продукта и рекламы. Ваша задача — развивать пайплайны, обеспечивать расчёт признаков в реальном времени и взаимодействие между CDP и другими системами компании.

Ищем инженера с опытом работы в highload-системах, знанием Spark и языков Python или Scala, а также способного анализировать бизнес-логику и предлагать архитектурные улучшения.

Qualifications

• Опыт работы с highload-системами
• Опыт проектирования архитектуры данных или платформенного кода
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки
• Понимание принципов работы Spark и умение его настраивать
• Уверенное владение Python или Scala
• Самостоятельность и проактивность
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код
• Будет плюсом опыт Airflow, опыт анализа данных с использованием SQL, знание инструментов мониторинга и автоматического контроля качества данных, опыт построения Data Lineage и работы с Data Catalog, понимание подходов к персонализации, сегментации или аналитике в реальном времени, понимание принципов работы S3-хранилищ.

Responsibilities

• Повысить эффективность пайплайнов для расчёта ежедневных признаков на основе пакетной обработки
• Создать эффективный пайплайн для расчётов признаков в реальном времени на базе Kafka-топиков
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды пользовательских событий
• Решать сложные инженерные задачи: рассчитывать метрики и строить витрины
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС
• Влиять на архитектурные решения и качество кода
• Взаимодействовать с аналитиками, продактами и инженерами других направлений в распределённой команде

Skills

Highload

Data architecture

Kafka

ClickHouse

Spark

Python/Scala

Самодисциплина

Бизнес-логика

Продуктовый подход

Tools

Airflow

SQL

Monitoring tools

Job description

Описание:

2GIS CDP — внутренняя Customer Data Platform, объединяющая данные из десятков источников, создающая единые пользовательские профили, рассчитывающая метрики, интересы и модели поведения, а также поддерживающая персонализацию продукта, рекламы и коммуникаций. Платформа обрабатывает большие объёмы событий и является стратегическим направлением развития 2ГИС.

Задачи:

• Повысить эффективность пайплайнов для расчёта ежедневных признаков на основе пакетной обработки
• Создать эффективный пайплайн для расчёта признаков в реальном времени на основе Kafka-топиков
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды пользовательских событий
• Решать сложные инженерные задачи: рассчитывать метрики и строить витрины
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС
• Влиять на архитектурные решения и качество кода
• Взаимодействовать с аналитиками, продактами и инженерами других направлений в распределённой команде

Требования:

• Опыт работы с highload-системами
• Опыт проектирования архитектуры данных или платформенного кода
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных
• Понимание принципов работы Spark и умение его настраивать
• Уверенное владение одним из языков программирования, например Python или Scala
• Самостоятельность и проактивность
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код
• Будет плюсом опыт работы с Airflow, опыт анализа данных с использованием SQL, знание инструментов мониторинга и автоматического контроля качества данных, опыт построения Data Lineage и работы с Data Catalog, понимание подходов к персонализации, сегментации или аналитике в реальном времени, понимание принципов работы S3-хранилищ.

Условия:

• Возможность влиять на развитие стека и архитектуру
• Минимум бюрократии и высокий уровень ответственности
• Работа над стратегическим направлением с миллионами пользователей, миллиардами событий и сотнями интеграций
• Возможность видеть влияние работы на продукт, коммуникации и рекламу 2ГИС