Data Engineer: AdTech DWH ETL, Airflow & ClickHouse

ВКонтакте

United States

Remote

USD 110,000 - 165,000

Full time

2 days ago

Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Гибкий график

Бонусы и скидки

ДМС

Офис в центре города

Job summary

ВКонтакте ищет инженера по данным для работы над хранилищем VK Рекламы: миграция AdTech DWH с ClickHouse TRG-1 на YTsaurus и MDB, интеграция в OneDWH. Ваша задача — проектирование и сопровождение ETL/ELT-пайплайнов, контроль качества данных и участие в миграциях.

Вы будете поддерживать DAG’и в Airflow, мониторить свежесть данных, разбирать инциденты и сотрудничать с аналитиками для обеспечения точной отчётности. Офис в центре города, гибкий график и корпоративные преимущества ожидают вас.

Qualifications

Уверенный SQL.
Опыт с ClickHouse или другой колоночной СУБД.
Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами Python на уровне написания рабочих скриптов автоматизации.
Базовое понимание DWH: слои, моделирование, backfill Git, умение разбирать расхождения в данных и докопаться до первопричины.
Будет плюсом: Знание YTsaurus/YQL.
Опыт миграций данных между кластерами.
AdTech-домен (показы, клики, биллинг, ORD/ABC).

Responsibilities

Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse.
Участие в миграции таблиц и отчётности TRG-1 на YT + MDB.
Поддержка DAG'ов в Airflow, мониторинг свежести данных, разбор инцидентов и аномалий.
Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками.
Дежурства в онколле с наставничеством на старте.