Data Engineer — ETL Pipelines, Airflow & dbt

NDA; United States; Remote; USD 90,000 - 130,000; Full time

Job summary

NDA ищет дата-инженера в США для построения и поддержки современных ETL-пайплайнов и хранилища данных. Вы будете развивать архитектуру, обеспечивать качество данных и тесно взаимодействовать с командами.

Требуется уверенное владение Python, PySpark, SQL и опытом работы с Airflow, dbt и CI/CD. Рассматриваются кандидаты с опытом от 2 лет и желанием работать в динамичной розничной среде.

Qualifications

• Не менее 2 лет опыта в роли Data Engineer.
• Уверенное владение Python: синтаксис, ООП, ETL-скрипты и отладка.
• Знание PySpark: DataFrames API, различия Action и Transformation, базовый Spark.
• Навыки SQL: JOIN, агрегации, оконные функции, индексы.
• Опыт работы с PostgreSQL, ClickHouse, Greenplum, Oracle или MySQL; реляционная модель и ACID.
• Понимание OLTP/OLAP, Data Vault 2.0, хранилища.
• Опыт с Airflow: DAG, расписания, операторы, сенсоры, Connections, Variables.
• Zадание dbt: модели, источники, refs, Jinja, материализации, seeds, тесты.
• Работа с Git и GitLab CI: MR, код-ревью, чтение .gitlab-ci.yml.
• Базовые навыки Docker и мониторинга: Grafana, Sentry, Kibana.

Responsibilities

• Создавать и развивать ETL-пайплайны с Python и PySpark.
• Поддерживать DAG в Airflow: лог анализ, устранение сбоев, backfill.
• Разрабатывать модели dbt, тесты и документацию.
• Обслуживать Data Vault 2.0 Satellite части архитектуры.
• Работать с S3 через boto3 и различными СУБД.
• Проверять качество данных: NULL, уникальность, типы.
• Фиксировать метаданные в DataHub и следить за пайплайнами в мониторинге.

Skills

Python

PySpark

SQL

Data Vault 2.0

Airflow

dbt

Git

Docker

Grafana

Sentry

Kibana

PostgreSQL

ClickHouse

Greenplum

Oracle

MySQL

Tools

Docker

GitLab CI

Grafana

Sentry

Kibana

Job description

NDA ищет дата-инженера в США для построения и поддержки современных ETL-пайплайнов и хранилища данных. Вы будете развивать архитектуру, обеспечивать качество данных и тесно взаимодействовать с командами.

Требуется уверенное владение Python, PySpark, SQL и опытом работы с Airflow, dbt и CI/CD. Рассматриваются кандидаты с опытом от 2 лет и желанием работать в динамичной розничной среде.