data engineer хранилищ данных

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

HireHi в США ищет инженера данных для переноса аналитики на Lakehouse и развития хранилища данных от источников до витрин. Ваша задача — проектировать модели данных и развивать Data Vault, обеспечивать качество данных и устойчивые CI/CD процессы.

Требуется опыт работы с dbt, Airflow и одной из MPP/колоночных СУБД (Trino, ClickHouse и др.). Возможен гибридный формат работы и обязанность работать в международной команде.

Qualifications

• Не менее 3 лет опыта в инженерии данных.
• Опыт полного владения хранилищем данных: от источников до витрин
• Сильный SQL и опыт использования Python в промышленной среде
• Опыт использования dbt в промышленной среде
• Практический опыт работы с Airflow, Dagster или Prefect
• Глубокий опыт работы хотя бы с одной MPP- или колоночной системой: Trino, ClickHouse, Greenplum, Spark и другими
• Понимание Kimball, Data Vault и/или Anchor Modelling

Responsibilities

• Переносить текущую аналитику на новую архитектуру Lakehouse
• Развивать DWH от источников и загрузки данных до детального слоя и витрин
• Работать с dbt, Airflow, Trino, Iceberg, S3 и ClickHouse
• Проектировать модели данных и развивать Data Vault
• Выстраивать контроль качества данных, CI/CD и надёжный процесс перехода из разработки в эксплуатацию
• Оптимизировать SQL, конвейеры данных и производительность хранилища

Skills

SQL

Python

Tools

dbt

Airflow

Dagster

Prefect

Trino

ClickHouse

S3

Job description

Описание

Описания нет

Задачи

• Переносить текущую аналитику на новую архитектуру Lakehouse
• Развивать DWH от источников и загрузки данных до детального слоя и витрин
• Работать с dbt, Airflow, Trino, Iceberg, S3 и ClickHouse
• Проектировать модели данных и развивать Data Vault
• Выстраивать контроль качества данных, CI/CD и надёжный процесс перехода из разработки в эксплуатацию
• Оптимизировать SQL, конвейеры данных и производительность хранилища

Требования

• Не менее 3 лет опыта в инженерии данных
• Опыт полного владения хранилищем данных: от источников до пользовательских витрин
• Сильный SQL и опыт использования Python в промышленной среде
• Опыт использования dbt в промышленной среде
• Практический опыт работы с Airflow, Dagster или Prefect
• Глубокий опыт работы хотя бы с одной MPP- или колоночной системой: Trino, ClickHouse, Greenplum, Spark и другими
• Понимание Kimball, Data Vault и/или Anchor Modelling

Условия

Работа по времени МСК Условие найма — ТК РФ