ML platform engineer for data science

РУСАЛ; United States; Remote; USD 150,000 - 190,000; Full time

Job summary

РУСАЛ ищет Senior ML Platform Engineer (MLOps) для разработки и эксплуатации DSML-платформы в области Data Science. Ваша задача — строить и поддерживать инфраструктуру ML-платформы, включая кластеры Kubernetes, сервисы мониторинга и инфраструктуру хранения данных.

Требуется не менее 6 лет опыта в ML Ops и DevOps, отличное владение Linux, Python и контейнеризацией. Проект предполагает интеграцию с GitLab, Kafka, Hadoop и S3, а также работу над безопасностью и масштабируемостью.

Qualifications

• Опыт разработки и эксплуатации ML-платформ (DSML) и моделей в продуктивной среде
• Глубокие знания Kubernetes, Linux, Python и контейнеризации
• Опыт работы с инструментами DevOps: GitLab CI/CD, мониторинг и логирование

Responsibilities

• Разрабатывать и эксплуатировать инфраструктуру ML-платформы: вычислительное облако и облако данных
• Эксплуатировать VMWare ESXi сервера и сеть (без обслуживания hardware) и поддерживать кластеризацию Kubernetes для ML задач
• Оптимизировать и мониторить ML pipelines, Model Serving и управление экспериментами

Skills

ML Platform

MLOps

Kubernetes

Python

Linux

CI/CD

Spark

Tools

GitLab

Kafka

Hadoop

S3/Obj Storage

Job description

Описание

Мы в поиске Senior специалиста на позицию ML Platform Engineer (MLOps) в разработку Data Science платформы в РУСАЛ. Требуемый опыт работы: от 6 лет. ML Platform (MOps) engineer будет заниматься разработкой и эксплуатацией DSML (Data Sciene and Machine Learning) платформы. Наша DSML платформа не просто позволяет создавать и эксплуатировать модели, она позволяет превращать инсайты и экспертизу Data Scientist-а в работающий код, легко передавать ее между Data Scientist-ами и сохранять ее в компании.

Задачи

• Разрабатывать и эксплуатировать инфраструктуру вычислительных мощностей ML платформы: вычислительное облако + облако данных.
• Эксплуатировать VMWare сервера (CPU, GPU, RAM, Disks) платформы, cеть. Экcплуатацией cобственно cерверного/сетевого hardware и VMWare ESXI серверов мы не занимаемся.
• Разрабатывать и эксплуатировать набор взаимосвязанных K8s кластеров для вычислительного облака ML платформы: K8s кластер вычислительного облака для интерактивной разработки на базе Jupyter Lab, K8s кластер для бэкграунд задач: для запуска ML pipelines по расписанию, для Model Serving, K8s кластер для анализа больших данных на базе Apache Spark.
• Разрабатывать и эксплуатировать масштабируемое облако данных платформы на базе Apache Ozone, HDFS, S3.
• Разрабатывать и эксплуатировать инструменты для мониторинга и диагностики работы моделей, на базе Spark, Kafka. Экcплуатацией cобственно Kafka кластеров мы не занимаемся.
• Участие в разработке и применении типовых DataFlow продуктов для мониторинга моделей (Model Services).
• Разрабатывать, эксплуатировать и поддерживать экземпляры RUSAL DSML платформы на базе SinaraML на языке Python, которая включает следующую функциональность: инструменты разработки ML pipelines, инструменты версионирования и прослеживаемости данных, инструменты управления Data Science экспериментами (воспроизводимость и передаваемость кода), инструменты масштабирования вычислительных ресурсов для интерактивной разработки и бэкграунд задач, инструменты Model Serving, инструменты визуализации, публикации интерактивных отчетов и взаимодействия с бизнесом.
• Разрабатывать, эксплуатировать и поддерживать типовые среды разработки моделей для Сlassic ML, Copmuter Vision, Natural Language Processing.
• Разрабатывать, эксплуатировать и поддерживать инструменты безопасности: интеграция вычислительного облака и облака данных с Active Directory для аутентификации и авторизации с использованием PAM, Kerberos и др.; модели доступа данных, сетевые инструменты безопасности.
• Интегрировать компоненты платформы между собой и c корпоративной инфраструктурой включая GitLab, Nexus, Kafka и др.
• Обеспечение бесперебойной работы платформы.
• Создание и поддержка процессов провижнинга пользователей, продуктов, подрядчиков на платформу.
• Развивать и продвигать в компании cloud-native архитектуру и другие современные инструменты и подходы к разработке.
• Вести разработку на языке Python.
• Читать, отладивать и вносить изменения в код на других языках: Java, C/C++, JavaScript и т.д.

Требования

• Опыт администрирования linux, работающих сервисов на базе Open Source.
• Опыт настройки, отладки, мониторинга и оптимизации производительности систем, начиная с уровня hardware, продолжая уровнем сети, виртуализации, оркестрации и заканчивая конечными сервисами.
• Опыт разработки современных распределенных software system, основы Web, микро сервисная архитектура и т.д.
• Опыт развертывания и эксплуатации разработанных software system.
• Опыт работы с DevOps инструментами, Git, CI/CD и т.д.
• Опыт разработки в команде по SCRUM, Kanban методологиям.
• Умение сочетать гибкие принципы Agile, с дисциплиной для эксплуатации, обеспечение SLA.
• Опыт разработки на языках: python, bash; опыт отладки кода на java, а также желательно С/С++, JavaScript, scala и др.
• Опыт развертывания, эксплуатации и применения K8s инфраструктуры (кластеров).
• Опыт настройки и экcплуатации сетевых сервисов, nginx или других балансировщиков.
• Опыт работы со spark и распределенными хранилищами S3/HDFS.
• Опыт безопасной разработки: аутентификация, авторизация, шифрование и т.д.
• Быть сторонником принципов DevOps/SRE, Cloud Native архитектуры.
• Понимание MLOps практик: ML pipeline, Model Serving, Experiment Management, версионирования данных, моделей, экспериментов, воспроизводимость.
• Готовность, разрабатывая код, отвечать за его эксплуатацию в продуктовой среде.
• Готовность, как инженер и разработчик, отстаивать интересы Data Scientist-ов.
• Уметь следовать и культивировать в компании стандарты вокруг разработки, готовность документировать результаты своего труда.
• Будет плюсом: Опыт работы с Cloud платформами типа Amazon, Azure, Google, Yandex; Опыт настройки CI на базе Gitlab; Опыт работы с hadoop; Опыт эксплуатации сервисных шин (MQ, Kafka); Опыт работы с Windows Servers, Active Directory, Kubernetes.

Условия

• Возможность присоединиться к команде, работающей над цифровизацией реального сектора экономики.
• Полностью удаленный режим работы.
• Возможность участвовать в интересных и сложных проектах с ведущими специалистами индустрии.
• Пятидневная рабочая неделя (5/2) с 9:00 до 18:00.
• Работа в крупной международной компании (69 тыс. сотрудников, 1-е место по объему производства алюминия в мире), официальное трудоустройство (белая ЗП, отпуск, больничный).
• Оформление, оплата отпусков и больничных в соответствии с ТК РФ.