data engineer

RED; Town of Russia (NY); On-site; USD 85,000 - 120,000; Full time

Job summary

RED ищет специалиста по данным для разработки и поддержки пайплайнов обработки данных, работы с DWH/ETL-процессами и рефакторинга существующего кода. Требуются 3+ лет коммерческого опыта, глубокие знания MSSQL/SQL, Python и Airflow, навык работы с инцидентами и миграциями.

Кандидат будет работать в условиях аутстаффинга, участвовать в архитектурных обсуждениях и обеспечивать отказоустойчивость загрузок. Опыт в e-commerce приветствуется.

Qualifications

• Коммерческий опыт разработки от 3 лет.
• Уверенно владеть MSSQL, T-SQL, SQL, оптимизацией запросов и хранимыми процедурами.
• Иметь опыт работы с Python от 2 лет.
• Опыт работы с Airflow от 1 года: построение и мониторинг DAG.
• Понимать принципы построения ETL/ELT пайплайнов и работу с большими данными.
• Уверенно владеть Git.
• Иметь опыт проектирования пайплайнов данных и участие в архитектурных решениях.
• Иметь опыт рефакторинга кода и повышения производительности запросов.
• Умение разбираться в чужом коде и предлагать технические решения.
• Опыт работы с инцидентами и валидированием миграций.
• Не иметь проектов в Лемана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет и М.Видео за последние 6 месяцев.
• Будет плюсом опыт работы в e-commerce.

Responsibilities

• Проектировать и разрабатывать пайплайны обработки данных.
• Поддерживать и развивать DWH/ETL-процессы.
• Рефакторить код.
• Анализировать и переносить источники данных в отчетности.

Skills

MSSQL

T-SQL

SQL

Python

Git

Идемпотентность загрузок

Отказоустойчивость

Рефакторинг кода

Аналитика источников данных

Tools

Airflow

Job description

id 356 Работа через аутстафф, компания RED.Оформление ИП ,СЗ. Отклик тут или тг @yanaklapot

• Проектировать иразрабатывать пайплайны обработки данных;
• Поддерживать иразвивать DWH/ETL-процессы;
• Рефакторить код;
• Анализировать ипереносить источники данных вотчетности.

требования

• Коммерческий опыт разработки от3 лет;
• Уверенно владеть MSSQL, T-SQL, SQL, оптимизацией запросов ихранимыми процедурами;
• Иметь опыт работы сPython от2 лет;
• Иметь опыт работы сAirflow от1 года: построение исопровождение DAG, планирование имониторинг;
• Понимать принципы построения ETL/ELT-пайплайнов, работы сбольшими объемами данных, обеспечения отказоустойчивости иидемпотентности загрузок;
• Уверенно владеть Git;
• Иметь опыт проектирования иразработки пайплайнов данных снуля, участвовать вархитектурных решениях;
• Иметь опыт рефакторинга кода, оптимизации производительности запросов иповышения отказоустойчивости;
• Уметь разбираться вчужом коде, самостоятельно прорабатывать технические решения идекомпозировать сложные задачи;
• Иметь опыт работы синцидентами;
• Иметь опыт аналитических задач поизменению источников данных вотчетности, сверке данных ивалидации результатов миграции;
• Не иметь проектов вЛемана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет иМ.Видео запоследние 6 месяцев;
• Будет плюсом опыт работы вe-com.

условия

• Долгосрочный проект;

RED–РЕКРУТИНГ ДЛЯ ТЕХ, КТО СОЗДАЕТ БУДУЩЕЕМы оцениваем кандидатов комплексно, включая их психологический профиль.Это помогает создавать сильные команды, где люди остаются надолго и работают с удовольствием.