Удалённый Data-инженер для крупного ритейла: Spark, dbt

SkillStaff; United States; Remote; USD 15,000 - 22,000; Full time

Benefits offered by this job

Удаленная работа на территории РФ

Job summary

SkillStaff набирает data‑инженера для крупного ритейл проекта. Ваша задача — строить и развивать Spark‑пайплайны, проектировать DAG‑архитектуру и развивать слоистую модель dbt (staging/intermediate/marts) с использованием Incremental‑моделей и snapshots.

Кандидат будет работать с Data Vault 2.0 под новые источники данных, настраивать CI/CD в GitLab и внедрять Great Expectations для качества данных. Предусматривается удаленная работа на территории РФ.

Qualifications

• Требуется опыт data-инжиниринга от 4 лет.
• Уверенное владение Python: ООП, асинхронность, многопоточность; знание типизации, тестирование и профилирование.
• Продвинутые навыки Spark: оптимизация задач, анализ планов выполнения и логов.
• Глубокое знание SQL: EXPLAIN, планы выполнения, индексы, различия движков СУБД.
• Опыт Airflow на прикладном уровне: XCom, SLA, Pools, KubernetesPodOperator.
• Высокий уровень владения dbt.
• Навыки работы с Git: rebase, cherry-pick, версионирование релизов.
• Практический опыт Kubernetes и Docker: оптимизация образов.
• Работа с S3: lifecycle rules, versioning.
• Знания администрирования СУБД: партиционирование, шардирование, репликация, бэкапы, блокировки.

Responsibilities

• Создавать и развивать Spark‑пайплайны, включая Structured Streaming.
• Разрабатывать модульные и динамические DAG, кастомные операторы, сенсоры и хуки.
• Строить слоистую модель в dbt (staging, intermediate, marts) с incremental‑моделями и snapshots.
• Проектировать структуры Data Vault 2.0 под новые источники данных.
• Участвовать в выборе архитектуры хранения (Parquet, Iceberg) и проектировании схем.
• Настраивать CI/CD‑процессы в GitLab (dev/stage/prod, runners, approvals).
• Внедрять DQ‑фреймворки (Great Expectations), настраивать метрики качества данных и алерты.
• Развивать Semantic Layer (Cube, MetricFlow) и lineage в DataHub, дата‑контракты.

Skills

Python

Spark

SQL

Airflow

dbt

Kubernetes

Docker

Git

S3

Great Expectations

Grafana

DataHub

Tools

GitLab

Kubernetes

Docker

dbt

Airflow

Spark

Parquet

Iceberg

KubernetesPodOperator

Job description

SkillStaff набирает data‑инженера для крупного ритейл проекта. Ваша задача — строить и развивать Spark‑пайплайны, проектировать DAG‑архитектуру и развивать слоистую модель dbt (staging/intermediate/marts) с использованием Incremental‑моделей и snapshots.

Кандидат будет работать с Data Vault 2.0 под новые источники данных, настраивать CI/CD в GitLab и внедрять Great Expectations для качества данных. Предусматривается удаленная работа на территории РФ.