Инженер по данным: ETL/DWH, Python и Airflow

RED; Town of Russia (NY); On-site; USD 85,000 - 120,000; Full time

Job summary

RED ищет специалиста по данным для разработки и поддержки пайплайнов обработки данных, работы с DWH/ETL-процессами и рефакторинга существующего кода. Требуются 3+ лет коммерческого опыта, глубокие знания MSSQL/SQL, Python и Airflow, навык работы с инцидентами и миграциями.

Кандидат будет работать в условиях аутстаффинга, участвовать в архитектурных обсуждениях и обеспечивать отказоустойчивость загрузок. Опыт в e-commerce приветствуется.

Qualifications

• Коммерческий опыт разработки от 3 лет.
• Уверенно владеть MSSQL, T-SQL, SQL, оптимизацией запросов и хранимыми процедурами.
• Иметь опыт работы с Python от 2 лет.
• Опыт работы с Airflow от 1 года: построение и мониторинг DAG.
• Понимать принципы построения ETL/ELT пайплайнов и работу с большими данными.
• Уверенно владеть Git.
• Иметь опыт проектирования пайплайнов данных и участие в архитектурных решениях.
• Иметь опыт рефакторинга кода и повышения производительности запросов.
• Умение разбираться в чужом коде и предлагать технические решения.
• Опыт работы с инцидентами и валидированием миграций.
• Не иметь проектов в Лемана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет и М.Видео за последние 6 месяцев.
• Будет плюсом опыт работы в e-commerce.

Responsibilities

• Проектировать и разрабатывать пайплайны обработки данных.
• Поддерживать и развивать DWH/ETL-процессы.
• Рефакторить код.
• Анализировать и переносить источники данных в отчетности.

Skills

MSSQL

T-SQL

SQL

Python

Git

Идемпотентность загрузок

Отказоустойчивость

Рефакторинг кода

Аналитика источников данных

Tools

Airflow

Job description

RED ищет специалиста по данным для разработки и поддержки пайплайнов обработки данных, работы с DWH/ETL-процессами и рефакторинга существующего кода. Требуются 3+ лет коммерческого опыта, глубокие знания MSSQL/SQL, Python и Airflow, навык работы с инцидентами и миграциями.

Кандидат будет работать в условиях аутстаффинга, участвовать в архитектурных обсуждениях и обеспечивать отказоустойчивость загрузок. Опыт в e-commerce приветствуется.