Data engineer in DWH

ВсеИнструменты.ру; États-Unis; À distance; USD 110 000 - 170 000; Plein temps

Avantages offerts par ce poste

Remote work

Résumé du poste

Компания ВсеИнструменты.ру ищет инженера по данным с опытом от 3 лет для развития корпоративной платформы данных и DWH. В обязанности входит переход ETL-процессов с SSIS на Apache Airflow и внутренний YAML-ориентированный фреймворк на Python, а также создание надежных data-пайплайнов и проверок качества.

Требуется сильное владение SQL и MS SQL Server, знание dbt и соответствующих инструментов, плюс опыт работы с CI/CD. Участвование в архитектуре DWH приветствуется.

Qualifications

• Опыт работы Data Engineer от 3 лет, уверенный SQL и практический опыт с MS SQL Server.
• Опыт разработки на Python: ООП, модульная архитектура, type hints, тестирование, логирование, REST API и БД.
• Опыт работы с Apache Airflow или другим промышленным оркестратором.
• Опыт работы с dbt или аналогичным SQL transformation framework.
• Понимание ETL/ELT, batch- и near-real-time-обработки; создание устойчивых data-пайплайнов.
• Знания Git и CI/CD; опыт реализации Data Quality-проверок.
• Понимание архитектуры DWH и моделей данных (Kimball, Inmon, Data Vault, Anchor Modeling).

Responsabilités

• Развивать корпоративную платформу данных и DWH.
• Переводить ETL-процессы с SSIS на Apache Airflow 3 и внутренний YAML-driven Python-фреймворк.
• Разрабатывать и поддерживать надежные data-пайплайны.
• Обеспечивать стабильную промышленную эксплуатацию: retry, backfill, идемпотентность, дедупликацию и обработку сбоев.
• Развивать проверки качества данных.
• Оптимизировать SQL и работу с Microsoft SQL Server.
• Развивать CI/CD-процессы для данных и создавать переиспользуемые инструменты.
• Участвовать в развитии архитектуры DWH и моделирования данных.

Connaissances

SQL

Microsoft SQL Server

Python

Apache Airflow

dbt

ETL/ELT

Data Pipelines

Git

CI/CD

Data Quality

Data Modeling

REST API

Outils

SQL Server

Airflow

Description du poste

Описание

Мы - Ви.Тех, аккредитованная ИТ компания. Наша команда - 500+ счастливых сотрудников, это микс талантов, где каждый член важен, как ключевой элемент в коде. Мы создаем решения для крупнейшей e-commеrce компании в России - ВсеИнструменты.ру. "ВсеИнструменты.ру" – крупнейший интернет-магазин по продаже товаров для дома, дачи, строительства и ремонта. Сейчас мы ищем Data Engineer Мы ищем инженера, который будет развивать корпоративную платформу данных и DWH компании: модернизировать ETL-ландшафт, переводить процессы с SSIS на Apache Airflow 3 и внутренний Python-фреймворк, а также делать работу с данными надежнее и удобнее для аналитических команд.

Задачи

• Развивать корпоративную платформу данных и DWH
• Переводить существующие ETL-процессы с SSIS на Apache Airflow 3 и внутренний YAML-driven Python-фреймворк
• Разрабатывать и поддерживать надежные data-пайплайны
• Обеспечивать стабильную промышленную эксплуатацию: retry, backfill, идемпотентность, дедупликацию и корректную обработку сбоев
• Развивать проверки качества данных
• Оптимизировать SQL и работу с Microsoft SQL Server
• Развивать CI/CD-процессы для работы с данными
• Создавать переиспользуемые инструменты и self-service решения для аналитических команд
• Участвовать в развитии архитектуры DWH и подходов к моделированию данных

Требования

• Опыт работы Data Engineer от 3 лет
• Уверенный SQL и практический опыт работы с Microsoft SQL Server
• Python: ООП, модульная архитектура, type hints, тестирование, логирование, работа с REST API и БД
• Опыт работы с Apache Airflow или другим промышленным оркестратором
• Опыт работы с dbt или аналогичным SQL transformation framework
• Понимание ETL/ELT, batch- и near-real-time-обработки
• Умение строить надежные и отказоустойчивые data-пайплайны
• Опыт Git и CI/CD
• Опыт реализации Data Quality-проверок
• Понимание архитектуры DWH и организации слоев данных
• Знание подходов к моделированию данных: Kimball, Inmon, Data Vault, Anchor Modeling

Условия

• Возможность влиять на продукт, мы всегда открыты к новым идеям и обратной связи
• Возможность быть эффективным в любой точке мира, мы работаем удаленно, но это не мешает нам быть командой (при желании, можно работать из офиса - Москва, Нижний Новгород, Ковров, Владимир)
• Дружелюбная атмосфера и открытость к новым знаниям, мы общаемся на "ты", устраиваем внутренние митапы, выступаем на конференциях, делимся опытом
• Возможность стать амбассадором ИТ бренда, у нас есть деврел :)
• Счастливая и вовлеченная команда – держим высокий показатель удовлетворенности сотрудников (eNPS)
• Перфоманс ревью 2 раза в год с премией до двух окладов и описанные грейды
• Забота о здоровье - для тебя есть расширенный ДМС со стоматологией, а семью можно подключить со скидкой
• Комфортное рабочее место - выдаем технику или можешь работать на своей.