python developer for model-serving platforms

HireHi; United States; Remote; USD 67,000 - 98,000; Full time

Job summary

HireHi ищет опытного Lead Data Engineer для разработки и развёртывания бэкенд-платформ в Azure Greenfield. Вы будете проектировать API, управлять моделями в Azure Databricks и выстраивать CI/CD процессы через GitLab.

Требуется 8+ лет в data engineering, минимум 2 года на руководящих позициях, владение Python и современными инструментами data engineering. Работа удалённо из Польши; команда работает агрессивно и ориентирована на результат.

Qualifications

• 8+ лет опыта в data engineering, включая ≥2 года на руководящей роли
• Экспертное владение Python и ключевыми библиотеками data engineering (Python Core, Multithreading, Async, REST API, Exceptions, Pydantic)
• Сильный опыт работы с Azure cloud: Azure Databricks, Azure App Service, IAM/RBAC
• Опыт CI/CD, контроля версий с GitLab и DevOps практик
• Навыки контейнеризации и оркестрации Docker и Kubernetes
• Сильные навыки решения проблем, работа в быстрой и гибкой среде
• Отличные коммуникационные, лидерские и стейкхолдер-менеджмент навыки

Responsibilities

• Руководство разработкой и развёртыванием бэкенд-платформ в ограниченной среде Azure Greenfield
• Проектирование API для запросов к моделям
• Использование Azure Databricks для размещения моделей
• Установление процессов развёртывания моделей, обёртывание моделей в MLflow wrapper
• Реализация CI/CD практик через GitLab, обеспечение качества кода, тестирования и развёртываний
• Руководство командой 5+ инженеров
• Поддержание сотрудничества и высокой продуктивности в команде

Skills

Python

Data engineering

Leadership

Azure

CI/CD

REST API

Docker

Kubernetes

GitLab

Pydantic

Tools

Azure Databricks

MLflow

GitLab

Job description

Описание:

EPAM develops enterprise software products, open source solutions, and technology accelerators.

Задачи:

• Lead the design, development, and deployment of backend platform capabilities in a restricted Azure Greenfield environment hosting the models;
• Design an API for users to query the models;
• Leverage Azure Databricks to host and deploy models;
• Establish processes and guidelines for model deployment, including wrapping models in an MLflow wrapper and defining the API structure;
• Implement CI/CD best practices using GitLab, ensuring code quality, testing, and deployment automation;
• Lead, mentor, and manage a team of 5+ engineers;
• Foster a collaborative and high-performance environment.

Требования:

• 8+ Years of experience in data engineering, including at least 2+ years in a leadership role;
• Expert knowledge of Python and key data engineering libraries, including Python Core, Multithreading, Async, REST API, Exceptions, and Pydantic;
• Strong experience with Azure cloud services, including Azure Databricks, Azure App Service, and IAM/RBAC;
• Proficiency in CI/CD workflows, version control with GitLab, and DevOps practices;
• Familiarity with containerization and orchestration using Docker and Kubernetes;
• Strong problem-solving skills and ability to work in a fast-paced, agile environment;
• Excellent communication, leadership, and stakeholder management skills.

Условия:

Remote work in Poland.