Data Lakehouse Platform Engineer — Build Scalable DLH

Wildberries

United States

Remote

USD 140,000 - 190,000

Full time

48 hours ago

Be an early applicant

Application generator

Stand out for this role — generate a tailored resume and cover letter in about a minute.

Get past ATS filters

Benefits offered by this job

Обучение и развитие

Корпоративная ДМС со стоматологией

Корпоративный спорт и психологическая支

Job summary

Объединённая компания Wildberries и Russ ищет специалиста по платформе Data Lakehouse для разработки и эволюции DLH. Вы будете разворачивать ETL/ELT пайплайны на Spark, DBT и Trino, работать с S3 и обеспечивать наблюдаемость через Prometheus, VictoriaMetrics и Grafana.

Также ожидается владение GitOps-процессами (ArgoCD, Helm) и взаимодействие с продуктовой командой для развития DLH как внутреннего продукта.

Qualifications

Практический опыт построения платформ Data Lakehouse или крупных платформ данных.
Опыт проектирования DLH с нуля.
Глубокое понимание архитектуры Spark, памяти и оптимизации запросов.
Понимание форматов Iceberg и Parquet в Data Lake.
Опыт работы с Trino и распределенным выполнением запросов.
Опыт с Airflow и созданием сложных пайплайнов, операторов и сенсоров.

Responsibilities

Проектировать и развивать платформу Data Lakehouse.
Разрабатывать ETL/ELT пайплайны на Spark, DBT и Trino.
Работать с S3 и обеспечивать эффективное хранение данных.
Строить наблюдаемость: метрики, дашборды и оповещения через Prometheus, VictoriaMetrics и Grafana.
Управлять инфраструктурой через GitOps, ArgoCD и Helm.
Взаимодействовать с продуктовой командой и развивать DLH как внутренний продукт.