Senior Data Engineer: Spark, Airflow & Data Vault 2.0

NDA; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

NDA разыскивает инженера по данным для построения и оптимизации ETL/ELT пайплайнов в крупной розничной сети. В кандидатах ценятся опыт в Spark, Airflow и dbt, а также сильные навыки Python, SQL и администрирования СУБД.

Роль включает работу с Kubernetes/Docker, S3 и построение semantic layer и lineage в DataHub. Кандидат будет развивать модульные DAG, настраивать CI/CD в GitLab и отвечать за качество данных, логику дата-контрактов и мониторинг через Grafana или аналоги.

Qualifications

• Опыт в инженерии данных не менее 4 лет.
• Уверенное владение Python: ООП, асинхронность, многопоточность, типизация, тестирование.
• Продвинутые навыки Spark: оптимизация задач, анализ планов выполнения и логов.
• Глубокое понимание SQL и планов выполнения запросов.

Responsibilities

• Создавать и развивать Spark-пайплайны, включая Structured Streaming.
• Проектировать модульные и динамические DAG в Airflow, разрабатывать кастомные операторы, сенсоры и хуки.
• Строить слоистую модель в dbt, реализовывать incremental-модели, snapshots и макросы, настраивать Slim CI.
• Проектировать структуры Data Vault 2.0 для новых источников данных.
• Выбирать архитектуру и форматы хранения данных, проектировать схемы под нагрузку.
• Настраивать CI/CD-процессы в GitLab, окружения dev, stage и prod, runners и approvals.
• Внедрять фреймворки контроля качества данных, настраивать метрики и оповещения.
• Развивать Semantic Layer и выстраивать lineage в DataHub, составлять дата-контракты.

Skills

Python

Spark

SQL

Airflow

Tools

dbt

Kubernetes

Docker

Git

Job description

NDA разыскивает инженера по данным для построения и оптимизации ETL/ELT пайплайнов в крупной розничной сети. В кандидатах ценятся опыт в Spark, Airflow и dbt, а также сильные навыки Python, SQL и администрирования СУБД.

Роль включает работу с Kubernetes/Docker, S3 и построение semantic layer и lineage в DataHub. Кандидат будет развивать модульные DAG, настраивать CI/CD в GitLab и отвечать за качество данных, логику дата-контрактов и мониторинг через Grafana или аналоги.