Удалённый Senior Data Engineer — DWH/ETL и качество данных

Amex Development; United States; À distance; USD 150 000 - 210 000; Plein temps

Résumé du poste

Amex Development набирает старшего инженера по данным для разработки корпоративного хранилища данных: проектирование слоёв, витрин и моделей данных, внедрение SCD2.

Вы будете строить ETL/ELT пайплайны на Airflow, Spark и Python, работать с PostgreSQL, Greenplum и ClickHouse, организовывать потоковую загрузку через Kafka/RabbitMQ и обеспечивать качество данных, код-ревью и наставничество коллег.

Qualifications

• Опыт в Data Engineering / DWH от 5 лет.
• Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация Python на production-коде.
• Опыт ETL/ELT: Airflow и Spark.
• Понимание моделирования хранилищ и инкрементальной загрузки.
• Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах; Kafka/RabbitMQ, Docker, Git, CI/CD.
• Опыт код-ревью и наставничество.
• Будет плюсом: dbt, Iceberg/Delta/Hudi, Trino, Debezium и CDC, инструменты data quality и каталоги данных; Kubernetes, on-prem инфраструктура

Responsabilités

• Проектировать и развивать DWH: слои, витрины и модели данных (звезда, медальон, SCD2).
• Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python.
• Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы.
• Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill.
• Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов.
• Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег.
• Вести документацию и каталог данных.

Connaissances

Data Engineering / DWH

Advanced SQL

ETL/ELT: Airflow & Spark

DWH modelling & SCD2

Kafka/RabbitMQ integration

Code review & mentoring

Outils

Airflow

Spark

Docker

Git

CI/CD

dbt

Description du poste

Amex Development набирает старшего инженера по данным для разработки корпоративного хранилища данных: проектирование слоёв, витрин и моделей данных, внедрение SCD2.

Вы будете строить ETL/ELT пайплайны на Airflow, Spark и Python, работать с PostgreSQL, Greenplum и ClickHouse, организовывать потоковую загрузку через Kafka/RabbitMQ и обеспечивать качество данных, код-ревью и наставничество коллег.