data engineer in retail

HireHi; United States; Remote; USD 62,000 - 82,000; Part time

Job summary

HireHi ищет инженера по данным/ML для реализации крупномасштабной программы по ML и данным для розничного клиента. Вакансия включает перенос моделей в продакшн и поддержку их жизненного цикла, работу с реальным времени на Spark Streaming и обработку больших объёмов неструктурированных данных.

Кандидат должен иметь практический опыт работы с Databricks, PySpark, Python и SQL, а также MLflow и MLOps. Приветствуется опыт AWS и рекомендационной аналитики.

Qualifications

• Опыт работы Data/ML Engineer, вывод моделей в продакшн.
• Глубокий практический опыт Databricks и PySpark, Python и SQL.
• Опыт MLflow и MLOps на всём жизненном цикле модели.
• Опыт работы со Spark streaming, генерация признаков в реальном времени, быстрая подача моделей.
• Опыт построения пайплайнов для обучения, переобучения и онлайн-инференса.
• Работа с большими объёмами неструктурированных данных.
• Плюсом будут AWS, рекомендации или аналитика клиентской базы.

Responsibilities

• Разрабатывать функционал для моделей ML в пакетной обработке и в стриминге.
• Переносить модели от обучения до развёртывания и поддерживать их в проде.
• Преобразовывать большие наборы неструктурированных данных в данные, пригодные для моделей.
• Строить стриминговые пайплайны на Spark.
• Обеспечивать высокую скорость, стабильность и масштабируемость производственных систем.

Skills

Databricks

PySpark

Python

SQL

MLflow

MLOps

Spark streaming

Feature generation

Model serving

Training pipelines

Unstructured data

AWS

Recommendation analytics

Job description

Описание:

A global technology consultancy is delivering a large-scale data and machine learning programme for a major retail client. The programme focuses on running machine learning in production, with real-time models feeding customer-facing systems.

Задачи:

• Build features for ML models in scheduled batch jobs and live streams


• Take models from training through serving and maintain them in production


• Transform large, messy datasets, including unstructured data, into model-ready data


• Build streaming pipelines on Spark


• Ensure production systems are fast, stable, and ready to scale

Требования:

• Solid commercial experience as a Data or ML Engineer, with models taken through to production


• Deep hands-on experience with Databricks and PySpark, and strong Python and SQL skills


• Hands-on MLflow and MLOps experience managing the model lifecycle end to end


• Real-time experience with Spark streaming, on-the-fly feature generation, and fast model serving


• Experience building pipelines for training, retraining, and live inference


• Comfortable working with large volumes of unstructured data


• Будет плюсом: AWS, recommendation or customer analytics experience

Условия:

• Contract for 3 months, likely to be extended €345/Day