LLM & ML Engineer — FastAPI, Prompting, Vectors

Top Selection; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Top Selection ищет разработчика Python для создания сервисов инференса LLM с использованием FastAPI и vLLM через OpenAI-совместимый API. Претендент будет интегрировать ML-компоненты в микросервисную архитектуру с асинхронными HTTP-клиентами и WebSocket, работать с Qdrant и Docker-образами, а также участвовать в код-ревью и тестировании.

Требуется опыт разработки на Python не менее 2 лет, образование в IT/математике или эквивалентный опыт, знание FastAPI, SQL/PostgreSQL и промпт-инженерии.

Qualifications

• Коммерческий опыт разработки на Python от 2 лет.
• Высшее образование в IT, технической или математической области либо эквивалентный практический опыт
• Уверенное знание Python: async/await, typing, ООП и структуры данных
• Опыт разработки REST API на FastAPI
• Продвинутый SQL, оконные функции, PostgreSQL и asyncpg
• Практический опыт работы с LLM: инференс через OpenAI API или совместимые решения, включая vLLM и TGI
• Понимание ограничений LLM: галлюцинаций, контекстного окна, стохастичности и задержек
• Навыки prompt engineering: системные промпты, управление контекстом и JSON-mode
• Базовый опыт контейнеризации с Docker, сборки образов и запуска контейнеров
• Базовое понимание CI/CD: запуск пайплайнов и чтение логов
• Понимание принципов работы с GPU: памяти, утилизации и параллелизма
• Умение работать с Git: ветками, pull requests и code review
• Опыт написания юнит-тестов
• Базовое понимание архитектурных паттернов для агентов: ReAct, Plan-and-Execute, Agent-as-a-Judge; знакомство с LangChain, LangGraph, LlamaIndex и AutoGen
• Опыт разработки и валидации моделей классического ML: линейных моделей, деревьев решений и ансамблей; разделения данных на выборки, кросс-валидации и бутстрэппинга
• Опыт подготовки данных и инженерии признаков: нормализации, стандартизации, кодирования категориальных признаков, отбора признаков, обработки пропусков и выбросов
• Умение оценивать и визуализировать результаты: рассчитывать метрики классификации и регрессии, использовать matplotlib и seaborn
• Будет плюсом: опыт развертывания LLM через vLLM, знакомство с Kubernetes, опыт работы с векторными базами данных, RAG-системами и оптимизацией инференса

Responsibilities

• Разрабатывать сервисы на Python для инференса LLM с FastAPI и vLLM через OpenAI-compatible API
• Интегрировать ML-компоненты в микросервисную архитектуру с асинхронными HTTP-клиентами и WebSocket
• Интегрировать внешние API, включая HR-системы и базы знаний
• Работать с промптами: системными инструкциями, few-shot и управлением контекстом диалога
• Настраивать параметры генерации и инференса LLM
• Работать с векторными базами данных Qdrant: поиском, reranking и score-boosting
• Собирать и оптимизировать Docker-образы для ML-сервисов
• Участвовать в код-ревью: проверять код по гайдлайнам и выявлять типовые ошибки

Skills

Python

FastAPI

asyncio

ООП

LLM-инференс

OpenAI-совместимые API

REST API

SQL PostgreSQL

Prompt-engineering

Git

Юнит-тесты

Education

Высшее образование в IT/математике или эквивалентный опыт

Tools

Docker

vLLM

OpenAI API

LangChain/LangGraph

Job description

Top Selection ищет разработчика Python для создания сервисов инференса LLM с использованием FastAPI и vLLM через OpenAI-совместимый API. Претендент будет интегрировать ML-компоненты в микросервисную архитектуру с асинхронными HTTP-клиентами и WebSocket, работать с Qdrant и Docker-образами, а также участвовать в код-ревью и тестировании.

Требуется опыт разработки на Python не менее 2 лет, образование в IT/математике или эквивалентный опыт, знание FastAPI, SQL/PostgreSQL и промпт-инженерии.