data-инженер

SkillStaff; United States; Remote; USD 15,000 - 22,000; Full time

Benefits offered by this job

Удаленная работа на территории РФ

Job summary

SkillStaff набирает data‑инженера для крупного ритейл проекта. Ваша задача — строить и развивать Spark‑пайплайны, проектировать DAG‑архитектуру и развивать слоистую модель dbt (staging/intermediate/marts) с использованием Incremental‑моделей и snapshots.

Кандидат будет работать с Data Vault 2.0 под новые источники данных, настраивать CI/CD в GitLab и внедрять Great Expectations для качества данных. Предусматривается удаленная работа на территории РФ.

Qualifications

• Требуется опыт data-инжиниринга от 4 лет.
• Уверенное владение Python: ООП, асинхронность, многопоточность; знание типизации, тестирование и профилирование.
• Продвинутые навыки Spark: оптимизация задач, анализ планов выполнения и логов.
• Глубокое знание SQL: EXPLAIN, планы выполнения, индексы, различия движков СУБД.
• Опыт Airflow на прикладном уровне: XCom, SLA, Pools, KubernetesPodOperator.
• Высокий уровень владения dbt.
• Навыки работы с Git: rebase, cherry-pick, версионирование релизов.
• Практический опыт Kubernetes и Docker: оптимизация образов.
• Работа с S3: lifecycle rules, versioning.
• Знания администрирования СУБД: партиционирование, шардирование, репликация, бэкапы, блокировки.

Responsibilities

• Создавать и развивать Spark‑пайплайны, включая Structured Streaming.
• Разрабатывать модульные и динамические DAG, кастомные операторы, сенсоры и хуки.
• Строить слоистую модель в dbt (staging, intermediate, marts) с incremental‑моделями и snapshots.
• Проектировать структуры Data Vault 2.0 под новые источники данных.
• Участвовать в выборе архитектуры хранения (Parquet, Iceberg) и проектировании схем.
• Настраивать CI/CD‑процессы в GitLab (dev/stage/prod, runners, approvals).
• Внедрять DQ‑фреймворки (Great Expectations), настраивать метрики качества данных и алерты.
• Развивать Semantic Layer (Cube, MetricFlow) и lineage в DataHub, дата‑контракты.

Skills

Python

Spark

SQL

Airflow

dbt

Kubernetes

Docker

Git

S3

Great Expectations

Grafana

DataHub

Tools

GitLab

Kubernetes

Docker

dbt

Airflow

Spark

Parquet

Iceberg

KubernetesPodOperator

Job description

Описание: Мы в поисках data‑инженера на проект крупного ритейлера.

Задачи:

• Создавать и развивать Spark‑пайплайнов, в том числе Structured Streaming. Проектировать модульные и динамические DAG, разрабатывать кастомные операторы, сенсоры и хуки.
• Заниматься построением слоистой модели в dbt (staging, intermediate, marts): реализация incremental‑моделей, снимков (snapshots), макросов, настройка Slim CI.
• Проектировать структуры Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных.
• Участвовать в выборе архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки.
• Настраивать CI/CD‑процессы в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals).
• Внедрять DQ‑фреймворки (например, Great Expectations), настроивать метрики качества данных и алертов.
• Заниматься развитием Semantic Layer (Cube, MetricFlow) и выстраиванием lineage в DataHub.
• Составлять дата‑контракты.

Требования:

• Опыт в data‑инжиниринге от 4 лет.
• Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода.
• Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи.
• Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД.
• Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator.
• Высокий уровень владения dbt.
• Навыки эффективной работы с Git: владение командами rebase и cherry‑pick, организация версионирования релизов.
• Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы.
• Работа с S3: настройка lifecycle‑правил и управление версионированием объектов.
• Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций.
• Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.

Условия:

Главный принцип SkillStaff - Выбирай! ЭКСПЕРТИЗА. Делай выбор в пользу проектов с разным уровнем сложности и экспертных команд, где можно работать с лучшими специалистами и обмениваться опытом. РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ‑проектов для крупного бизнеса. КОМФОРТ. Создавай идеальные условия для своей работы: удаленный формат работы на территории РФ.