data engineer отчётности

NDA; United States; Remote; USD 90,000 - 140,000; Full time

Job summary

NDA ищет опытного инженера данных для проектирования и разработки пайплайнов данных, поддержки DWH/ETL-процессов и рефакторинга кода. Ваша работа будет включать анализ источников данных в отчетности и миграцию данных, обеспечивая высокую надёжность и точность миграций.

Роль долгосрочная и ориентирована на результат в США. Требуется опыт работы с MSSQL/T-SQL/SQL, Airflow и Python; предпочтение будет отдано кандидатам с опытом в электронной коммерции.

Qualifications

• Опыт коммерческой разработки не менее 3 лет.
• Уверенное владение MSSQL, T-SQL, SQL и хранимыми процедурами.
• Опыт Python не менее 2 лет.
• Опыт Airflow не менее 1 года: создание и поддержка DAG, планирование и мониторинг процессов.
• Понимание ETL/ELT пайплайнов, обработка больших данных, отказоустойчивость и идемпотентность загрузок.
• Опыт проектирования и разработки пайплайнов данных с нуля; участие в архитектурных решениях.
• Опыт рефакторинга кода, оптимизации запросов и повышения отказоустойчивости.
• Умение разбираться в чужом коде, самостоятельно предлагать технические решения.
• Опыт работы с инцидентами.
• Опыт аналитических задач по изменению источников данных в отчетности, сверке данных и валидации миграции.
• Будет преимуществом: опыт в электронной коммерции.

Responsibilities

• Проектировать и разрабатывать пайплайны обработки данных
• Поддерживать и развивать DWH/ETL-процессы
• Рефакторить код
• Анализировать и мигрировать источники данных в отчётности

Skills

Python

Tools

MSSQL

T-SQL

SQL

Airflow

Job description

Описание

Описания нет

Задачи

• Проектировать и разрабатывать пайплайны обработки данных
• Поддерживать и развивать DWH/ETL-процессы
• Рефакторить код
• Анализировать и мигрировать источники данных в отчётности

Требования

• Общий опыт коммерческой разработки от 3 лет
• Уверенно владеть MSSQL, T-SQL, SQL и хранимыми процедурами
• Иметь опыт работы с Python от 2 лет
• Иметь опыт работы с Airflow от 1 года: строить и сопровождать DAG, планировать и мониторить процессы
• Понимать принципы построения ETL/ELT-пайплайнов, работы с большими объёмами данных, обеспечения отказоустойчивости и идемпотентности загрузок
• Иметь опыт проектирования и разработки пайплайнов данных с нуля, участвовать в архитектурных решениях
• Иметь опыт рефакторинга кода, оптимизации производительности запросов и повышения отказоустойчивости
• Уметь разбираться в чужом коде, самостоятельно прорабатывать технические решения и декомпозировать сложные задачи
• Иметь опыт работы с инцидентами
• Иметь опыт аналитических задач по изменению источников данных в отчётности, сверке данных и валидации результатов миграции
• Будет плюсом: опыт работы в электронной коммерции

Условия

Долгосрочный проект