Data engineer in online cinema

ON Медиа; United States; Remote; USD 90,000 - 150,000; Full time

Benefits offered by this job

ДМС с первого месяца

Страховка для поездок за границу

Волонтёрские программы

ON Медиа Спорт

Job summary

ON Медиа ищет специалиста по данным для разработки и поддержки ETL/ELT пайплайнов, модернизации OLAP движков и миграций инфраструктуры.

Кандидат будет работать с PySpark, ClickHouse, Greenplum и Hadoop, а также участвовать в оптимизации Spark-приложений и внедрении CI/CD процессов. Конкурентный пакет с бонусами и страховкой.

Qualifications

• Опыт работы с Python от 3 лет.
• Глубокое знание SQL и опыт работы с большими данными.
• Опыт проектирования и разработки ETL/ELT процессов с Airflow.
• Опыт работы с колоночными базами данных (ClickHouse).
• Знание принципов построения Data Warehouse и Data Lake.
• Понимание различий OLTP/OLAP.
• Уверенная работа в Linux и с Git.
• Понимание процессов CI/CD.

Responsibilities

• Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark.
• Разрабатывать и поддерживать OLAP движки Starrocks/Clickhouse.
• Поддерживать текущие пайплайны на Greenplum и Hadoop.
• Осуществлять миграцию с HDFS на S3.
• Проводить оптимизацию Spark-приложений.

Skills

Python

SQL

Airflow

ETL/ELT design

Linux

Git

CI/CD

Big Data

Tools

ClickHouse

Greenplum

Hadoop

Job description

Описание: KION — это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. Наш флагманский проект — современный онлайн-кинотеатр KION который предлагает более 200 телеканалов, тысячи фильмов, сериалов, мультфильмов и документальных проектов. Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.

Задачи:

• Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark;
• Разрабатывать и поддерживать OLAP движки Starrocks/Clickhouse;
• Поддерживать текущие пайплайны на Greenplum и Hadoop;
• Осуществлять миграцию с HDFS на S3;
• Проводить оптимизацию Spark-приложений;

Требования:

• Опыт работы с Python от 3 лет;
• Глубокое знание SQL и опыт работы с большими данными;
• Опыт работы с Apache Airflow Опыт проектирования и разработки ETL/ELT процессов;
• Опыт работы с колоночными БД (ClickHouse);
• Знание принципов построения Data Warehouse и Data Lake;
• Понимание разницы между OLTP/OLAP системами;
• Уверенная работа c linux и git;
• Понимание процессов ci/cd;

Условия:

• Оклад + годовой бонус при выполнении KPI
• ДМС с первого месяца работы и страховка для поездок за границу
• Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты.
• Корпоративная программа «ON Медиа Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта