Real-Time ML Engineer - Spark, Databricks & MLOps

HireHi; United States; Remote; USD 62,000 - 82,000; Part time

Job summary

HireHi ищет инженера по данным/ML для реализации крупномасштабной программы по ML и данным для розничного клиента. Вакансия включает перенос моделей в продакшн и поддержку их жизненного цикла, работу с реальным времени на Spark Streaming и обработку больших объёмов неструктурированных данных.

Кандидат должен иметь практический опыт работы с Databricks, PySpark, Python и SQL, а также MLflow и MLOps. Приветствуется опыт AWS и рекомендационной аналитики.

Qualifications

• Опыт работы Data/ML Engineer, вывод моделей в продакшн.
• Глубокий практический опыт Databricks и PySpark, Python и SQL.
• Опыт MLflow и MLOps на всём жизненном цикле модели.
• Опыт работы со Spark streaming, генерация признаков в реальном времени, быстрая подача моделей.
• Опыт построения пайплайнов для обучения, переобучения и онлайн-инференса.
• Работа с большими объёмами неструктурированных данных.
• Плюсом будут AWS, рекомендации или аналитика клиентской базы.

Responsibilities

• Разрабатывать функционал для моделей ML в пакетной обработке и в стриминге.
• Переносить модели от обучения до развёртывания и поддерживать их в проде.
• Преобразовывать большие наборы неструктурированных данных в данные, пригодные для моделей.
• Строить стриминговые пайплайны на Spark.
• Обеспечивать высокую скорость, стабильность и масштабируемость производственных систем.

Skills

Databricks

PySpark

Python

SQL

MLflow

MLOps

Spark streaming

Feature generation

Model serving

Training pipelines

Unstructured data

AWS

Recommendation analytics

Job description

HireHi ищет инженера по данным/ML для реализации крупномасштабной программы по ML и данным для розничного клиента. Вакансия включает перенос моделей в продакшн и поддержку их жизненного цикла, работу с реальным времени на Spark Streaming и обработку больших объёмов неструктурированных данных.

Кандидат должен иметь практический опыт работы с Databricks, PySpark, Python и SQL, а также MLflow и MLOps. Приветствуется опыт AWS и рекомендационной аналитики.