Data engineer

Miractal

United States

Remote

USD 120,000 - 170,000

Full time

43 hours ago

Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Remote work

Skyeng English discount

Qualifications

Опыт в Data Engineering от 4–5 лет.
Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов.
Уверенное знание SQL и Python.
Опыт работы с dbt в продакшене: модели, тесты и CI.
Опыт разработки и эксплуатации DAG в Apache Airflow.
Опыт работы со Spark и ленточными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ.
Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности.
Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки.
Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git.

Responsibilities

Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных.
Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников.
Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC.
Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse.
Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков.
Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков.
Участвовать в архитектурных решениях и код-ревью, развивать каталог данных.

Skills

SQL

Python

Airflow

dbt

Spark

Data modeling

Kubernetes

Docker

Git

Tools

ClickHouse

Apache Iceberg

Delta

Hudi

dbt

Airflow

Spark

S3-compatible storage

Job description

Описание:

Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных.

Задачи:

Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных
Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников
Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC
Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse
Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков
Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков
Участвовать в архитектурных решениях и код-ревью, развивать каталог данных

Требования:

Опыт в Data Engineering от 4–5 лет
Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов
Уверенное знание SQL и Python
Опыт работы с dbt в продакшене: модели, тесты и CI
Опыт разработки и эксплуатации DAG в Apache Airflow
Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ
Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности
Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки
Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git
Будет плюсом: Опыт загрузки данных из MS SQL или 1С; Знание Debezium и CDC; Опыт работы с dlt и OpenMetadata; Знакомство с платёжными и персональными данными; Опыт работы с on-prem инфраструктурой

Условия:

Конкурентную заработную плату — обсудим после собеседования
Удалённый формат работы
График 5/2: с 10:00 до 19:00
Мощный рабочий ноутбук 100% компенсацию больничных Корпоративную скидку на изучение английского языка в Skyeng

Get your free, confidential resume review.

or drag and drop your file here.