Data engineer

Okko; United States; Remote; USD 95,000 - 150,000; Full time

Benefits offered by this job

Медицинское страхование

Врач в офисе

Доплата больничного

Ипотечные льготы

Партнерские сервисы

Корпоративный спорт

Библиотека МиФ

Корпоративная жизнь

Скидки партнёров

Job summary

Okko ищет Data Engineer в направлении рекомендаций для совместной разработки пайплайнов и платформы данных. Команда быстро растет и расширяет компетенции от ETL до потоковой обработки для ML.

Задачи включают поддержку batch ETL на Airflow, обработку потоков через Spark Streaming, Kafka и MongoDB, развитие feature-store и мониторинг. Требуется уверенное владение Python и SQL.

Qualifications

• Уверенное владение Python и SQL.
• Опыт построения ETL-процессов с использованием упомянутого стека.
• Будет плюсом: опыт CI/CD, Docker, Grafana и базовые знания ML.

Responsibilities

• Поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML.
• Потоковая обработка данных с использованием Spark Streaming, Kafka, MongoDB.
• Развитие feature-store и интеграция данных для ML-моделей.
• Документирование, оптимизация и мониторинг пайплайнов и потоков данных.

Skills

Python

SQL

ETL pipelines

Spark Streaming

Kafka

MongoDB

Feature store

CI/CD

Docker

Grafana

ML basics

Tools

Airflow

Kafka

MongoDB

Docker

Grafana

Spark Streaming

Job description

Ищем Data Engineer в направлении рекомендаций, который будет совместно с нами строить пайплайны и развивать платформу данных. В нашей команде коллеги быстро растут и получают опыт в разных задачах — от классического ETL для аналитических витрин до потоковой обработки в реальном времени для ML.

Задачи

• поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML.
• потоковая обработка данных с использованием Spark Streaming, Kafka, MongoDB.
• развитие feature-store как инструмента, наполнение его фичами и интеграция данных для ML-моделей.
• документирование, оптимизация и мониторинг пайплайнов и потоков данных.

Требования

• уверенное знание Python и SQL.
• опыт построения ETL-процессов с использованием перечисленного стека.
• Будет плюсом: опыт работы с CI/CD, Docker, Grafana, базовые знания в области ML (обучение и инференс моделей, работа с feature-store).

Условия

• необходимое оборудование и софт для работы.
• официальное трудоустройство.
• DМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки.
• льготные условия ипотеки в рамках зарплатного проекта.
• бесплатная подписка на сервисы партнёров.
• корпоративный спорт.
• насыщенная корпоративная жизнь.
• электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.