data engineer Data Vault в розничной сети

NDA; United States; Remote; USD 120.000 - 180.000; Vollzeit

Zusammenfassung

NDA разыскивает инженера по данным для построения и оптимизации ETL/ELT пайплайнов в крупной розничной сети. В кандидатах ценятся опыт в Spark, Airflow и dbt, а также сильные навыки Python, SQL и администрирования СУБД.

Роль включает работу с Kubernetes/Docker, S3 и построение semantic layer и lineage в DataHub. Кандидат будет развивать модульные DAG, настраивать CI/CD в GitLab и отвечать за качество данных, логику дата-контрактов и мониторинг через Grafana или аналоги.

Qualifikationen

• Опыт в инженерии данных не менее 4 лет.
• Уверенное владение Python: ООП, асинхронность, многопоточность, типизация, тестирование.
• Продвинутые навыки Spark: оптимизация задач, анализ планов выполнения и логов.
• Глубокое понимание SQL и планов выполнения запросов.

Aufgaben

• Создавать и развивать Spark-пайплайны, включая Structured Streaming.
• Проектировать модульные и динамические DAG в Airflow, разрабатывать кастомные операторы, сенсоры и хуки.
• Строить слоистую модель в dbt, реализовывать incremental-модели, snapshots и макросы, настраивать Slim CI.
• Проектировать структуры Data Vault 2.0 для новых источников данных.
• Выбирать архитектуру и форматы хранения данных, проектировать схемы под нагрузку.
• Настраивать CI/CD-процессы в GitLab, окружения dev, stage и prod, runners и approvals.
• Внедрять фреймворки контроля качества данных, настраивать метрики и оповещения.
• Развивать Semantic Layer и выстраивать lineage в DataHub, составлять дата-контракты.

Kenntnisse

Python

Spark

SQL

Airflow

Tools

dbt

Kubernetes

Docker

Git

Jobbeschreibung

Описание

Проект посвящён построению, развитию и оптимизации ETL/ELT-пайплайнов, внедрению Data Vault 2.0 и современных практик инженерии данных для крупной розничной сети.

Задачи

• Создавать и развивать Spark-пайплайны, включая Structured Streaming
• Проектировать модульные и динамические DAG в Airflow, разрабатывать кастомные операторы, сенсоры и хуки
• Строить слоистую модель в dbt, реализовывать incremental-модели, snapshots и макросы, настраивать Slim CI
• Проектировать структуры Data Vault 2.0 для новых источников данных
• Выбирать архитектуру и форматы хранения данных, проектировать схемы с учётом ожидаемой нагрузки
• Настраивать CI/CD-процессы в GitLab, окружения dev, stage и prod, runners и approvals
• Внедрять фреймворки контроля качества данных, настраивать метрики и оповещения
• Развивать Semantic Layer и выстраивать lineage в DataHub
• Составлять и контролировать дата-контракты

Требования

• Опыт в инженерии данных от 4 лет
• Уверенное владение Python: ООП, асинхронность, многопоточность, типизация, тестирование и профилирование кода
• Продвинутые навыки работы со Spark: оптимизация и настройка задач, анализ планов выполнения и логов
• Глубокое понимание SQL, EXPLAIN, планов выполнения запросов, настройки индексов и особенностей разных движков СУБД
• Навыки администрирования СУБД: партиционирование, шардирование, репликация, настройка резервного копирования и миграций, понимание блокировок и уровней изоляции транзакций
• Опыт работы с Airflow: XCom, настройка пулов и SLA, KubernetesPodOperator
• Высокий уровень владения dbt
• Практический опыт работы с Kubernetes и Docker, умение оптимизировать образы контейнеров
• Опыт работы с S3, настройки lifecycle-правил и управления версиями объектов
• Навыки работы с Git, включая rebase и cherry-pick, организация версионирования релизов
• Умение создавать дашборды и настраивать оповещения в Grafana или аналогичных инструментах
• Будет плюсом: опыт внедрения и поддержки Data Vault 2.0, работа с Iceberg и Delta Lake, понимание специфики розничной торговли и больших объёмов транзакционных данных

Условия

Срок привлечения — 24 месяца с возможностью продления Вакансия актуальна до 27.10 включительно до 17:00