Python-разработчик LLM / GenAI сервисов

IT People group; United States; Remote; USD 120,000 - 190,000; Full time

Job summary

IT People group ищет опытного Python-разработчика для разработки сервисов инференса больших языковых моделей и интеграции ML-компонентов в микроcервисную архитектуру. Ваша роль включает создание REST API на FastAPI, работу с векторными БД и Docker-образами.

Требуется 4+ лет коммерческой разработки на Python, глубокие знания FastAPI и практический опыт инференса LLM через OpenAI API или аналоги. Удалённая работа, ставка обсуждается, гибкий график.

Qualifications

• Коммерческий опыт разработки на Python не менее 4 лет.
• Высшее образование в IT/математике или эквивалентный опыт.
• Уверенное знание Python: async/await, typing, ООП, структуры данных.

Responsibilities

• Разрабатывать сервисы на Python для инференса LLM.
• Интегрировать ML-компоненты в микросервисную архитектуру.
• Работать с промптами и системными инструкциями, управлять контекстом диалога.
• Настраивать параметры генерации и инференса LLM, работать с векторными базами данных.
• Собирать и оптимизировать Docker-образы для ML-сервисов и участвовать в code review.

Skills

Python

FastAPI

LLM инференс

Docker

Git

Prompts

LangChain/LLamaIndex

Education

Высшее IT/математика

Tools

OpenAI API

vLLM

PostgreSQL

Docker

Kubernetes

Git

Job description

Описание:

Проект связан с разработкой сервисов для инференса больших языковых моделей и интеграцией ML-компонентов в микросервисную архитектуру.

Задачи:

• Разрабатывать сервисы на Python для инференса LLM
• Интегрировать ML-компоненты в микросервисную архитектуру
• Интегрировать внешние API HR-систем и баз знаний
• Работать с промптами, системными инструкциями, few-shot и контекстом диалога
• Настраивать параметры генерации и инференса LLM
• Работать с векторными базами данных: выполнять поиск, reranking и score-boosting
• Собирать и оптимизировать Docker-образы для ML-сервисов
• Участвовать в код-ревью, проверять код по гайдлайнам и выявлять типовые ошибки

Требования:

• Опыт коммерческой разработки на Python от 4 лет
• Высшее образование в области IT, технических или математических наук либо эквивалентный практический опыт
• Уверенное знание Python: async/await, typing, ООП, структуры данных
• Опыт разработки REST API на FastAPI
• Продвинутый SQL, оконные функции, PostgreSQL и asyncpg
• Практический опыт инференса LLM через OpenAI API или совместимые решения: vLLM, TGI
• Понимание ограничений LLM: галлюцинаций, контекстного окна, стохастичности и задержек
• Навыки разработки промптов: системные промпты, управление контекстом, JSON-mode
• Базовый опыт контейнеризации с Docker
• Базовое понимание CI/CD: запуск конвейеров, чтение логов
• Понимание работы с GPU: память, утилизация, параллелизм
• Умение работать с Git: ветки, pull requests, code review
• Опыт написания юнит-тестов
• Базовое понимание архитектурных паттернов для агентов: ReAct, Plan-and-Execute, Agent-as-a-Judge; знакомство с LangChain, LangGraph, LlamaIndex, AutoGen
• Базовое понимание алгоритмов и теории машинного обучения
• Знание классического машинного обучения: линейные модели, деревья решений, ансамбли, Random Forest, градиентный бустинг
• Знание метрик качества для классификации и регрессии
• Знание методов валидации моделей: train/test split, кросс-валидация, bootstrapping
• Знание методов предобработки данных: нормализация, стандартизация, кодирование категориальных признаков
• Знание методов создания признаков: отбор признаков, работа с пропусками и выбросами
• Знание scikit-learn, pandas, numpy, matplotlib или seaborn для визуализации
• Будет плюсом: опыт развёртывания LLM через vLLM, знакомство с Kubernetes, опыт работы с векторными базами Qdrant, Pinecone или Weaviate, опыт создания RAG-систем, оптимизация инференса

Условия:

• Ставка обсуждается
• Срок привлечения — до конца года, возможно продление
• Оформление как ИП или самозанятый
• Удалённая работа с 9:00 до 18:00 по московскому времени