backend разработчик LLM-сервисов

YADRO; United States; Remote; USD 140,000 - 200,000; Full time

Job summary

YADRO ищет опытного инженера по ИИ для разработки и поддержки GPU-кластеров инференса, обслуживающих десятки тысяч пользователей. Ваша задача — масштабирование, балансировка запросов, настройка лимитов и обеспечение SLA, а также внедрение новых LLM и интеграций с API/БД.

Кандидату потребуется глубокое знание Python (5+ лет), FastAPI, очереди и фоновые задачи, а также опыт работы с инференсом и инструментами vLLM, SGLang и OpenAI API.

Qualifications

• Опыт разработки на Python от 5 лет.
• Знание стандартов Python, включая типизацию, асинхронность и шаблоны проектирования.
• Опыт создания высоконагруженных API на FastAPI.
• Опыт работы с очередями, исполнителями и фоновыми задачами.
• Опыт настройки инференса под высокую нагрузку: задержки, пропускная способность.
• Глубокое знание инструментов инференса: vLLM, SGLang и OpenAI API.
• Опыт интеграции ИИ-сервисов в корпоративную среду через API и базы данных.

Responsibilities

• Проектировать и поддерживать GPU-кластер инференса для десятков тысяч пользователей.
• Масштабировать, балансировать и приоритизировать запросы.
• Настраивать пользовательские лимиты.
• Оптимизировать производительность с кэшированием и пакетной обработкой.
• Обеспечивать SLA и предотвращать регрессии.
• Оценивать и внедрять новые LLM.
• Разрабатывать ИИ-сервисы: AI Code Assistant, AI Chat и AI Code Review.
• Проектировать пайплайны автоматизации вызовов инструментов и функций.
• Интегрировать ИИ-сервисы с API и базами данных корпоративной среды.

Skills

Python

Type hints

Async programming

FastAPI

Background tasks

API design

Queue systems

GPU inference

vLLM

SGLang

OpenAI API

Tools

MCP

Job description

Описание

Описания нет

Задачи

• Проектировать и поддерживать GPU-кластер инференса для десятков тысяч пользователей: масштабировать его, балансировать и приоритизировать запросы, настраивать пользовательские лимиты
• Оптимизировать производительность с помощью кэширования и пакетной обработки
• Обеспечивать SLA и предотвращать регрессии
• Оценивать и внедрять новые LLM
• Разрабатывать ИИ-сервисы: AI Code Assistant, AI Chat и AI Code Review
• Проектировать пайплайны автоматизации: вызов инструментов и функций, обработку ошибок, управление контекстом и состоянием
• Встраивать ИИ-сервисы в корпоративную среду, интегрируя их с API, базами данных и устаревшими системами
• Проводить эксперименты, создавать MVP и выстраивать путь доработки решений до промышленной эксплуатации
• Исследовать новые технологии и подходы для улучшения продуктов

Требования

• Опыт разработки на Python от 5 лет
• Знание стандартов Python, включая типизацию, асинхронность и шаблоны проектирования
• Опыт создания высоконагруженных API на FastAPI или аналогах
• Опыт работы с очередями, исполнителями и фоновыми задачами
• Опыт построения шлюзов и маршрутизаторов, управления ключами, маршрутизацией и пользовательскими лимитами
• Опыт поддержки высоконагруженных сервисов в промышленной эксплуатации, обеспечения стабильности контрактов и обработки ошибок
• Глубокое знание инструментов инференса, включая vLLM, SGLang и OpenAI API, и понимание их внутренней работы
• Опыт настройки инференса под высокую нагрузку: задержки, пропускная способность и управление ресурсами GPU
• Опыт построения решений с вызовом инструментов и функций, включая MCP и защитные механизмы, и борьбы с галлюцинациями

Условия

График 5/2