Инженер платформы больших данных — Remote, гибкий график

X5 Tech; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Полугодовые премии

Удаленная или гибридная работа

ДМС

Страхование жизни и здоровья

Обучение и развитие

Корпоративные мероприятия

Job summary

HireHi ищет специалиста по данным для разработки и поддержки потоковых интеграционных решений на стеке Lakehouse. В задачи входит сбор требований, анализ источников данных и реализация решений с использованием Trino, Iceberg, S3, Spark, Airflow, Kafka, Cosmos и Flink.

Кандидат должен владеть SQL, работать с реляционными БД, Git и DBT, и иметь базовые знания Java/Python. Офис в удаленном или гибридном формате, официальное оформление и развитие за счет компании.

Qualifications

• Общее представление о стеке Lakehouse.
• Знание SQL, включая индексы, функции, оптимизацию и профилирование производительности.
• Опыт работы с реляционной базой данных.
• Умение работать с Git и командами git pull, git commit, git push.
• Опыт работы с DBT и Cosmos.
• Представление о работе с Trino.
• Понимание Iceberg и форматов данных.
• Понимание работы с MinIO или другим хранилищем на основе S3.
• Опыт понимания основ программирования на Java и Python.

Responsibilities

• Собирать требования с бизнес-заказчиков и анализировать источники данных.
• Разрабатывать, реализовывать и поддерживать типовые потоковые интеграционные решения на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink.
• Оперативно реагировать на информацию о проблемах в зоне ответственности.
• Выполнять типовые задачи в установленный срок.
• Поддерживать актуальность документации по типовым интеграционным решениям.
• Предоставлять руководителю отчётность о своей деятельности.

Skills

Lakehouse stack

SQL и профилирование

Реляционные БД

Git

DBT

Cosmos

Trino

Iceberg

MinIO/S3

Java/Python

Tools

DBT

Cosmos

Trino

Iceberg

MinIO

Job description

HireHi ищет специалиста по данным для разработки и поддержки потоковых интеграционных решений на стеке Lakehouse. В задачи входит сбор требований, анализ источников данных и реализация решений с использованием Trino, Iceberg, S3, Spark, Airflow, Kafka, Cosmos и Flink.

Кандидат должен владеть SQL, работать с реляционными БД, Git и DBT, и иметь базовые знания Java/Python. Офис в удаленном или гибридном формате, официальное оформление и развитие за счет компании.