data engineer в розничной торговле

NDA; United States; Remote; USD 90,000 - 130,000; Full time

Job summary

NDA ищет дата-инженера в США для построения и поддержки современных ETL-пайплайнов и хранилища данных. Вы будете развивать архитектуру, обеспечивать качество данных и тесно взаимодействовать с командами.

Требуется уверенное владение Python, PySpark, SQL и опытом работы с Airflow, dbt и CI/CD. Рассматриваются кандидаты с опытом от 2 лет и желанием работать в динамичной розничной среде.

Qualifications

• Не менее 2 лет опыта в роли Data Engineer.
• Уверенное владение Python: синтаксис, ООП, ETL-скрипты и отладка.
• Знание PySpark: DataFrames API, различия Action и Transformation, базовый Spark.
• Навыки SQL: JOIN, агрегации, оконные функции, индексы.
• Опыт работы с PostgreSQL, ClickHouse, Greenplum, Oracle или MySQL; реляционная модель и ACID.
• Понимание OLTP/OLAP, Data Vault 2.0, хранилища.
• Опыт с Airflow: DAG, расписания, операторы, сенсоры, Connections, Variables.
• Zадание dbt: модели, источники, refs, Jinja, материализации, seeds, тесты.
• Работа с Git и GitLab CI: MR, код-ревью, чтение .gitlab-ci.yml.
• Базовые навыки Docker и мониторинга: Grafana, Sentry, Kibana.

Responsibilities

• Создавать и развивать ETL-пайплайны с Python и PySpark.
• Поддерживать DAG в Airflow: лог анализ, устранение сбоев, backfill.
• Разрабатывать модели dbt, тесты и документацию.
• Обслуживать Data Vault 2.0 Satellite части архитектуры.
• Работать с S3 через boto3 и различными СУБД.
• Проверять качество данных: NULL, уникальность, типы.
• Фиксировать метаданные в DataHub и следить за пайплайнами в мониторинге.

Skills

Python

PySpark

SQL

Data Vault 2.0

Airflow

dbt

Git

Docker

Grafana

Sentry

Kibana

PostgreSQL

ClickHouse

Greenplum

Oracle

MySQL

Tools

Docker

GitLab CI

Grafana

Sentry

Kibana

Job description

Описание

Проект крупной розничной сети включает построение, развитие и поддержку современных ETL-пайплайнов и корпоративного хранилища данных.

Задачи

Создавать и развивать ETL-пайплайны с Python и PySpark Поддерживать и дорабатывать DAG в Apache Airflow: анализировать логи, устранять типовые сбои, выполнять backfill Разрабатывать модели dbt, тесты и документацию Обслуживать сущности Data Vault 2.0 в части Satellite Взаимодействовать с хранилищем S3 через boto3 и реляционными и колоночными СУБД Проверять качество данных: контролировать NULL-значения, уникальность ключей и корректность типов Фиксировать технические метаданные в DataHub и отслеживать статус пайплайнов в системах мониторинга

Требования

• Не менее 2 лет опыта в роли Data Engineer
• Уверенное владение Python: синтаксис, основы ООП, написание ETL-скриптов с готовыми библиотеками и отладка
• Знание PySpark: работа с DataFrames API, понимание различий между Action и Transformation, базовое понимание архитектуры Spark
• Навыки работы с SQL: JOIN, агрегации, оконные функции и базовое понимание индексов
• Опыт работы с PostgreSQL, ClickHouse, Greenplum, Oracle или MySQL; понимание реляционной модели и принципов ACID, базовые знания NoSQL
• Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, принципов Data Vault 2.0
• Опыт работы с Airflow: настройка DAG, расписаний, операторов, сенсоров, Connections, Variables, повторных запусков и оповещений
• Владение dbt: создание моделей и источников, использование refs и Jinja, настройка материализаций, seeds и тестов
• Работа с Git и GitLab CI: управление ветками, создание MR, участие в код-ревью, чтение конфигураций .gitlab-ci.yml
• Базовые навыки Docker: составление Dockerfile, локальная сборка и запуск контейнеров
• Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry и Kibana
• Будет плюсом: практический опыт работы с Data Vault 2.0, особенно Hub, Link и Satellite, понимание специфики розничной торговли и больших объёмов транзакционных данных

Условия

Срок привлечения — 24 месяца с возможностью пролонгации Вакансия актуальна до 27.10 включительно до 17:00