data engineer платформы

HireHi; United States; On-site; USD 120,000 - 190,000; Full time

Benefits offered by this job

Гибкий график

Корпоративный университет

Бесплатное питание в офисе

Клубы спорта и хобби

Job summary

HireHi ищет инженера по данным для развития платформы данных в международной команде. Ваша задача — проектировать и поддерживать ETL/ELT-процессы, работать с пакетными и потоковыми конвейерами, развивать модели данных и хранилище.

Кандидат должен владеть Python и SQL, опытом работы с Spark, Kafka и Airflow, Docker/Kubernetes, Git, Linux и облачными S3-совокупностями. Предлагается гибкий график, обучение и корпоративные программы развития.

Qualifications

• Уверенно владеть Python и SQL.
• Иметь опыт работы с распределёнными обработками данных и конвейерами.
• Знания по моделированию данных и хранилищам obligatorio.

Responsibilities

• Развивать платформу данных
• Разрабатывать и оптимизировать ETL/ELT-процессы
• Работать с пакетными и потоковыми конвейерами
• Развивать модели данных и хранилище
• Повышать производительность и надёжность платформы
• Настраивать мониторинг, оповещения и контроль качества данных
• Автоматизировать эксплуатационные процессы
• Участвовать в технических ревью и развитии инженерных практик команды

Skills

Python

SQL

Spark

ClickHouse

Hadoop

Kafka

Greenplum

S3 Ceph MinIO

Airflow DAGs

Docker

Kubernetes

Linux

Git

Tools

Spark

ClickHouse

Hadoop

Kafka

Greenplum

S3

Airflow

Docker

Kubernetes

Linux

Git

Job description

Описание:

Объединённая компания Wildberries и Russ — международная технологическая компания, образованная в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ.

Задачи:

• Развивать платформу данных
• Разрабатывать и оптимизировать ETL/ELT-процессы
• Работать с пакетными и потоковыми конвейерами
• Развивать модели данных и хранилище
• Повышать производительность и надёжность платформы
• Настраивать мониторинг, оповещения и контроль качества данных
• Автоматизировать эксплуатационные процессы
• Участвовать в технических ревью и развитии инженерных практик команды

Требования:

• Уверенно владеть Python и SQL
• Иметь опыт работы с Spark, Clickhouse, Hadoop, Kafka, Greenplum, S3 (Ceph, Minio)
• Иметь опыт написания DAG для Airflow
• Иметь опыт работы с Docker и K8SУметь работать с Linux
• Уметь работать с Git

Условия:

• Языковые клубы, корпоративный университет и программы развития управленческих навыков
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога
• Клубы спикеров, футбола, йоги и шахмат
• Гибкий подход к сочетанию карьеры и заботы о близких, проекты для детей сотрудников
• Скидки на обучение, страхование и покупки
• Бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников