Инженер по данным для CVM B2B

МТС; United States; Hybrid; USD 120,000 - 180,000; Full time

Benefits offered by this job

Medical insurance

Training & Dev programs

Conference participation

Hybrid/Remote work

Job summary

Компания МТС ищет ведущего инженера по данным для развития направления отчетности продукта CVM B2B. Вакансия предполагает работу с пайплайнами, качеством данных и витринами в DataLake.

Требуется 5+ лет опыта Data Engineer, сильные навыки SQL, Python, знание ClickHouse, Airflow и Spark. Гибридный и удаленный формат работы, медицинская страховка и обучение в рамках корпоративного университета.

Qualifications

• Опыт работы от 5 лет в роли Data Engineer.
• Опыт работы в продуктовой команде от года.

Responsibilities

• Создавать и оптимизировать пайплайны для сбора и обработки данных.
• Контролировать качество данных.
• Проектировать схемы для хранения данных.
• Автоматизировать построения витрин данных.
• Оптимизировать запросы.
• Подготавливать техническую документацию.
• Разрабатывать и оптимизировать витрины данных.
• Проводить интеграцию источников данных в DataLake.
• Создавать процессы репликаций в различные СУБД.
• Оптимизировать и поддерживать ETL-процессы.
• Настраивать DQ-мониторинги и алертинги.
• Участвовать в Code Review

Skills

SQL

Python

ETL

Git

Tools

ClickHouse

onETL

Airflow

Spark

Hadoop

Hive

NiFi

GreenPlum

Kafka

Flink

Job description

Описание:

Мы находимся в поисках Ведущего Инженера по данным (Data Engineer). Вам предстоит развивать направление отчетности продукта CVM B2B.

Задачи:

• Создавать и оптимизировать пайплайны для сбора и обработки данных
• Контролировать качество данных
• Проектировать схемы для хранения данных
• Автоматизировать построения витрин данных
• Оптимизировать запросы
• Подготавливать техническую документацию
• Разрабатывать и оптимизировать витрины данных
• Проводить интеграцию различных источников данных в DataLake
• Создавать процессы репликаций в различные СУБД
• Оптимизировать и поддерживать существующие ETL-процессы
• Настраивать DQ-мониторинги и алертинги
• Участвовать в Code Review

Требования:

• Опыт работы от 5 лет в качестве Data Инженера
• Опыт работы в продуктовой команде от года
• Продвинутые навыки работы с SQL
• Уверенное владение Python и библиотеками для работы с данными и построения ETL процессов
• Знание ClickHouse, onETL, Airflow, Spark
• Умение работать с большими массивами данных (Hadoop, Hive, NiFi, GreenPlum)
• Владение Git
• Будет плюсом: опыт работы с доставкой данных (Kafka, Flink)

Условия:

• Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах
• Профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом
• Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации
• Участие во внешних IT конференциях. Наши эксперты выступают на ведущих профильных конференциях, таких как HighLoad++, DevOps Conf, Joker, AHA!, Матемаркетинг и другие. А еще мы организуем собственную масштабную конференцию True Tech Day и регулярно проводим митапы для разработчиков и инженеров.
• Полезные курсы и вебинары в корпоративном университете и электронные библиотеки
• Медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж.
• А еще можно застраховать родственников с корпоративной скидкой
• Единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium
• Скидки и предложения от партнеров на фитнес, занятия английским и прочее
• Отпуск 28 календарных дней + 3 дополнительных дня за ненормированный рабочий день
• Гибридный и удаленный формат.