data engineer платформы больших данных

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Полугодовые премии

Удаленная или гибридная работа

ДМС

Страхование жизни и здоровья

Обучение и развитие

Корпоративные мероприятия

Job summary

HireHi ищет специалиста по данным для разработки и поддержки потоковых интеграционных решений на стеке Lakehouse. В задачи входит сбор требований, анализ источников данных и реализация решений с использованием Trino, Iceberg, S3, Spark, Airflow, Kafka, Cosmos и Flink.

Кандидат должен владеть SQL, работать с реляционными БД, Git и DBT, и иметь базовые знания Java/Python. Офис в удаленном или гибридном формате, официальное оформление и развитие за счет компании.

Qualifications

• Общее представление о стеке Lakehouse.
• Знание SQL, включая индексы, функции, оптимизацию и профилирование производительности.
• Опыт работы с реляционной базой данных.
• Умение работать с Git и командами git pull, git commit, git push.
• Опыт работы с DBT и Cosmos.
• Представление о работе с Trino.
• Понимание Iceberg и форматов данных.
• Понимание работы с MinIO или другим хранилищем на основе S3.
• Опыт понимания основ программирования на Java и Python.

Responsibilities

• Собирать требования с бизнес-заказчиков и анализировать источники данных.
• Разрабатывать, реализовывать и поддерживать типовые потоковые интеграционные решения на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink.
• Оперативно реагировать на информацию о проблемах в зоне ответственности.
• Выполнять типовые задачи в установленный срок.
• Поддерживать актуальность документации по типовым интеграционным решениям.
• Предоставлять руководителю отчётность о своей деятельности.

Skills

Lakehouse stack

SQL и профилирование

Реляционные БД

Git

DBT

Cosmos

Trino

Iceberg

MinIO/S3

Java/Python

Tools

DBT

Cosmos

Trino

Iceberg

MinIO

Job description

Описание

Команда X5 Tech развивает платформу больших данных и типовые потоковые интеграционные решения на базе Lakehouse.

Задачи

• Собирать требования с бизнес-заказчиков и анализировать источники данных
• Разрабатывать, реализовывать и поддерживать типовые потоковые интеграционные решения на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink
• Оперативно реагировать на информацию о проблемах в зоне ответственности
• Выполнять типовые задачи в установленный срок
• Поддерживать в актуальном состоянии документацию типовых интеграционных решений платформы больших данных
• Предоставлять руководителю отчётность о своей деятельности

Требования

• Общее представление о стеке технологий Lakehouse
• Понимание различий между работой с BigData/Lakehouse и данными обычного размера
• Знание SQL, включая индексы, функции, оптимизацию и профилирование производительности
• Опыт работы с реляционной базой данных
• Умение работать с Git и командами git pull, git commit, git push
• Опыт работы с DBT и Cosmos
• Представление о работе с Trino
• Понимание устройства Iceberg и форматов данных
• Понимание работы с MinIO или другим хранилищем на основе S3
• Опыт использования систем ведения проектов и документации
• Знание основ программирования на Java и Python

Условия

• Официальное оформление
• Полугодовые премии по результатам работы
• Возможность работать удалённо или в гибридном формате
• Офисы рядом со станциями метро «Добрынинская» и «Волгоградский проспект», а также у МЦД «Калитники»
• Гибкий график работы
• Широкий пакет ДМС, включая выезд за рубеж и стоматологию
• Страхование жизни и здоровья
• Обучение и развитие за счёт компании
• Участие в конференциях, тренингах, семинарах, мастер-классах и корпоративных образовательных программах
• Программы мотивации для спикеров и авторов
• Технические, спортивные и лайфстайл-сообщества
• Корпоративные мероприятия и программы волонтёрства
• Спортивные сообщества и ежегодная Неделя здоровья
• Скидки в экосистеме бизнесов Х5
• Программа привилегий Prime-zone
• Материальная помощь сотрудникам в сложной жизненной ситуации
• Онлайн-психотерапия