Data Lakehouse engineer корпоративного хранилища

Wildberries; United States; On-site; USD 140,000 - 190,000; Full time

Benefits offered by this job

Обучение и развитие

Корпоративная ДМС со стоматологией

Корпоративный спорт и психологическая支

Job summary

Объединённая компания Wildberries и Russ ищет специалиста по платформе Data Lakehouse для разработки и эволюции DLH. Вы будете разворачивать ETL/ELT пайплайны на Spark, DBT и Trino, работать с S3 и обеспечивать наблюдаемость через Prometheus, VictoriaMetrics и Grafana.

Также ожидается владение GitOps-процессами (ArgoCD, Helm) и взаимодействие с продуктовой командой для развития DLH как внутреннего продукта.

Qualifications

• Практический опыт построения платформ Data Lakehouse или крупных платформ данных.
• Опыт проектирования DLH с нуля.
• Глубокое понимание архитектуры Spark, памяти и оптимизации запросов.
• Понимание форматов Iceberg и Parquet в Data Lake.
• Опыт работы с Trino и распределенным выполнением запросов.
• Опыт с Airflow и созданием сложных пайплайнов, операторов и сенсоров.

Responsibilities

• Проектировать и развивать платформу Data Lakehouse.
• Разрабатывать ETL/ELT пайплайны на Spark, DBT и Trino.
• Работать с S3 и обеспечивать эффективное хранение данных.
• Строить наблюдаемость: метрики, дашборды и оповещения через Prometheus, VictoriaMetrics и Grafana.
• Управлять инфраструктурой через GitOps, ArgoCD и Helm.
• Взаимодействовать с продуктовой командой и развивать DLH как внутренний продукт.

Skills

DLH архитектура

Архитектура Spark

Trino

Airflow

DLH проектирование

Iceberg/Parquet

Tools

DBT

GitOps

ArgoCD

Helm

Prometheus

VictoriaMetrics

Grafana

Airflow

S3

Job description

Объединённая компания Wildberries и Russ развивает два направления: поддерживает и совершенствует существующее хранилище данных на Greenplum и строит новое на основе подхода Data Lakehouse.

Задачи

• Проектировать и развивать платформу Data Lakehouse
• Разрабатывать ETL/ELT-пайплайны на базе Spark, DBT и Trino
• Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake
• Строить наблюдаемость платформы: метрики, дашборды и оповещения на базе Prometheus, VictoriaMetrics и Grafana
• Управлять инфраструктурой и конфигурацией платформы через GitOps, ArgoCD и Helm
• Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт

Требования

• Практический опыт построения платформ Data Lakehouse или крупных платформ данных
• Опыт проектирования DLH с нуля
• Глубокое понимание архитектуры Spark: модели выполнения, разделения данных, управления памятью, перемешивания данных и оптимизации запросов
• Понимание принципов работы форматов данных и таблиц в Data Lake, включая Iceberg и Parquet
• Опыт работы с Trino и понимание принципов распределённого выполнения запросов
• Опыт работы с Airflow и построения сложных потоков обработки данных, разработки пользовательских операторов, сенсоров, хуков и плагинов

Условия

• Обучение и развитие: языковые клубы, корпоративный университет и программы развития управленческих навыков
• Корпоративная ДМС со стоматологией, корпоративный спорт и консультации психолога
• Возможности аккредитованной IT-компании
• Сообщества по интересам: клубы спикеров, футбола, йоги и шахмат
• Гибкий подход к сочетанию карьеры и заботы о близких, проекты для детей сотрудников
• Скидки на обучение, страхование и покупки, партнёрские программы
• Бесплатное питание в офисе, корпоративная техника и портал для сотрудников