data engineer in AdTech

ВКонтакте; United States; Remote; USD 110,000 - 165,000; Full time

Benefits offered by this job

Гибкий график

Бонусы и скидки

ДМС

Офис в центре города

Job summary

ВКонтакте ищет инженера по данным для работы над хранилищем VK Рекламы: миграция AdTech DWH с ClickHouse TRG-1 на YTsaurus и MDB, интеграция в OneDWH. Ваша задача — проектирование и сопровождение ETL/ELT-пайплайнов, контроль качества данных и участие в миграциях.

Вы будете поддерживать DAG’и в Airflow, мониторить свежесть данных, разбирать инциденты и сотрудничать с аналитиками для обеспечения точной отчётности. Офис в центре города, гибкий график и корпоративные преимущества ожидают вас.

Qualifications

• Уверенный SQL.
• Опыт с ClickHouse или другой колоночной СУБД.
• Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами Python на уровне написания рабочих скриптов автоматизации.
• Базовое понимание DWH: слои, моделирование, backfill Git, умение разбирать расхождения в данных и докопаться до первопричины.
• Будет плюсом: Знание YTsaurus/YQL.
• Опыт миграций данных между кластерами.
• AdTech-домен (показы, клики, биллинг, ORD/ABC).

Responsibilities

• Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse.
• Участие в миграции таблиц и отчётности TRG-1 на YT + MDB.
• Поддержка DAG'ов в Airflow, мониторинг свежести данных, разбор инцидентов и аномалий.
• Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками.
• Дежурства в онколле с наставничеством на старте.

Skills

SQL

ClickHouse

ETL pipelines

Airflow

Python scripting

DWH concepts

AdTech domain

Tools

Airflow

Job description

Описание: Мы строим хранилище данных VK Рекламы: от сырых логов до отчётов, на которые опираются бизнес, аналитика и рекламные продукты. Сейчас в процессе большая миграция AdTech DWH с legacy-кластера ClickHouse TRG-1 на новый стек: YTsaurus (jupiter) для хранения и вычислений и управляемый ClickHouse (MDB adh-analytics) для аналитики, с интеграцией в OneDWH (проект ADA).

Задачи:

• Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse
• Участие в миграции таблиц и отчётности TRG-1 на YT + MDB
• Поддержка DAG'ов в Airflow DQ-проверки, мониторинг свежести данных, разбор инцидентов и аномалий
• Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками
• Дежурства в онколле с наставничеством на старте

Требования:

• Уверенный SQL
• опыт с ClickHouse или другой колоночной/аналитической СУБД
• Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами Python на уровне написания рабочих скриптов автоматизации
• Базовое понимание DWH: слои, моделирование, backfill Git, умение разбирать расхождения в данных и докопаться до первопричины
• Будет плюсом: Знание YTsaurus/YQL
• Опыт миграций данных между кластерами
• AdTech-домен (показы, клики, биллинг, ORD/ABC)

Условия:

• Гибкий график работы
• Бонусы и скидки от партнеров
• Офис в центре города
• ДМС
• Профессиональная команда