Data engineer

Amex Development; United States; Remote; USD 150,000 - 210,000; Full time

Job summary

Amex Development набирает старшего инженера по данным для разработки корпоративного хранилища данных: проектирование слоёв, витрин и моделей данных, внедрение SCD2.

Вы будете строить ETL/ELT пайплайны на Airflow, Spark и Python, работать с PostgreSQL, Greenplum и ClickHouse, организовывать потоковую загрузку через Kafka/RabbitMQ и обеспечивать качество данных, код-ревью и наставничество коллег.

Qualifications

• Опыт в Data Engineering / DWH от 5 лет.
• Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация Python на production-коде.
• Опыт ETL/ELT: Airflow и Spark.
• Понимание моделирования хранилищ и инкрементальной загрузки.
• Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах; Kafka/RabbitMQ, Docker, Git, CI/CD.
• Опыт код-ревью и наставничество.
• Будет плюсом: dbt, Iceberg/Delta/Hudi, Trino, Debezium и CDC, инструменты data quality и каталоги данных; Kubernetes, on-prem инфраструктура

Responsibilities

• Проектировать и развивать DWH: слои, витрины и модели данных (звезда, медальон, SCD2).
• Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python.
• Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы.
• Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill.
• Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов.
• Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег.
• Вести документацию и каталог данных.

Skills

Data Engineering / DWH

Advanced SQL

ETL/ELT: Airflow & Spark

DWH modelling & SCD2

Kafka/RabbitMQ integration

Code review & mentoring

Tools

Airflow

Spark

Docker

Git

CI/CD

dbt

Job description

Описание: Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта.

Задачи

• Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2)
• Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python
• Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы
• Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill
• Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов
• Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег
• Вести документацию и каталог данных

Требования

• Опыт в Data Engineering / DWH от 5 лет
• Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация Python на уровне production-кода
• Опыт ETL/ELT: Airflow и Spark
• Понимание моделирования хранилищ и инкрементальной загрузки
• Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах Kafka или RabbitMQ, Docker, Git, CI/CD
• Опыт код-ревью и наставничество
• Будет плюсом: dbt в продакшене; Apache Iceberg (или Delta/Hudi), Trino; Debezium и CDC; Инструменты data quality и каталоги данных; Kubernetes, on-prem-инфраструктура

Условия

• Полная занятость с графиком 5/2
• Удалённый формат работы
• Работа в аккредитованной ИТ-компании
• Работа с современным стеком технологий и крупными игроками рынка
• Официальное трудоустройство по ТК РФ или ИП РФ