дата-инженер DWH стримингового сервиса

ВКонтакте; United States; Remote; USD 130,000 - 180,000; Full time

Benefits offered by this job

Гибкий график работы

Бонусы и скидки от партнёров

Офис в центре города

ДМС

Job summary

ВКонтакте ищет опытного data engineer для VK Music — стримингового сервиса, объединяющего платформу VK и приложение.

Вы будете работать над архитектурой данных, ETL и аналитикой продукта. Требуются 4+ года опыта и знания Python, SQL, Airflow и ClickHouse; опыт работы с DWH 100+ TB предпочтителен.

Qualifications

• Профессиональные знания Python, SQL, Airflow и ClickHouse.
• От 4 лет опыта в разработке или data engineering.
• Опыт построения архитектуры DWH объёмом 100+ TB.
• Опыт создания ETL-процессов.
• Опыт миграции данных между различными БД.
• Будет плюсом: опыт работы с YTsaurus.

Responsibilities

• Реализовывать и систематизировать ETL-процессы согласно требованиям.
• Мигрировать данные в целевую архитектуру.
• Оптимизировать работу с данными для продуктовой аналитики.
• Документировать данные и процессы управления данными.

Skills

Python

SQL

Airflow

ClickHouse

YTsaurus

Tools

YTsaurus

Job description

Описание:

VK Музыка — стриминговый сервис, объединивший музыкальную платформу ВКонтакте и отдельное приложение. Миллионы пользователей слушают здесь любимые песни, а тысячи артистов находят свою аудиторию.

Задачи:

• Мигрировать данные в целевую архитектуру
• Реализовывать и систематизировать ETL-процессы согласно требованиям
• Оптимизировать работу с данными для продуктовой аналитики
• Документировать данные и процессы управления данными

Требования:

• Профессиональные знания Python, SQL, Airflow и ClickHouse
• От 4 лет опыта в разработке или data engineering
• Опыт построения архитектуры DWH объёмом 100+ TB
• Опыт создания ETL-процессов
• Опыт миграции данных между различными базами данных
• Будет плюсом: опыт работы с YTsaurus

Условия:

• Гибкий график работы
• Бонусы и скидки от партнёров
• Офис в центре города
• ДМС