Remote Senior Data Engineer: Data Platform & Lakehouse

Miractal

United States

À distance

USD 120 000 - 170 000

Plein temps

Il y a 45 heures

Soyez parmi les premiers à postuler

Obtenez une réponse de cet employeur

Votre CV et votre lettre de motivation, adaptés exactement à ce que l’employeur recherche.

Passez les filtres ATS

Avantages offerts par ce poste

Remote work

Skyeng English discount

Qualifications

Опыт в Data Engineering от 4–5 лет.
Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов.
Уверенное знание SQL и Python.
Опыт работы с dbt в продакшене: модели, тесты и CI.
Опыт разработки и эксплуатации DAG в Apache Airflow.
Опыт работы со Spark и ленточными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ.
Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности.
Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки.
Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git.

Responsabilités

Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных.
Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников.
Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC.
Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse.
Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков.
Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков.
Участвовать в архитектурных решениях и код-ревью, развивать каталог данных.

Connaissances

SQL

Python

Airflow

dbt

Spark

Data modeling

Kubernetes

Docker

Git

Outils

ClickHouse

Apache Iceberg

Delta

Hudi

dbt

Airflow

Spark

S3-compatible storage

Description du poste

Описание:

Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных.

Задачи:

Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных
Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников
Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC
Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse
Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков
Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков
Участвовать в архитектурных решениях и код-ревью, развивать каталог данных

Требования:

Опыт в Data Engineering от 4–5 лет
Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов
Уверенное знание SQL и Python
Опыт работы с dbt в продакшене: модели, тесты и CI
Опыт разработки и эксплуатации DAG в Apache Airflow
Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ
Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности
Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки
Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git
Будет плюсом: Опыт загрузки данных из MS SQL или 1С; Знание Debezium и CDC; Опыт работы с dlt и OpenMetadata; Знакомство с платёжными и персональными данными; Опыт работы с on-prem инфраструктурой

Условия:

Конкурентную заработную плату — обсудим после собеседования
Удалённый формат работы
График 5/2: с 10:00 до 19:00
Мощный рабочий ноутбук 100% компенсацию больничных Корпоративную скидку на изучение английского языка в Skyeng

Obtenez votre examen gratuit et confidentiel de votre CV.

ou faites glisser et déposez votre fichier ici.