Backend-разработчик LLM-сервисов с GPU-инференсом

YADRO; United States; Remote; USD 140,000 - 200,000; Full time

Job summary

YADRO ищет опытного инженера по ИИ для разработки и поддержки GPU-кластеров инференса, обслуживающих десятки тысяч пользователей. Ваша задача — масштабирование, балансировка запросов, настройка лимитов и обеспечение SLA, а также внедрение новых LLM и интеграций с API/БД.

Кандидату потребуется глубокое знание Python (5+ лет), FastAPI, очереди и фоновые задачи, а также опыт работы с инференсом и инструментами vLLM, SGLang и OpenAI API.

Qualifications

• Опыт разработки на Python от 5 лет.
• Знание стандартов Python, включая типизацию, асинхронность и шаблоны проектирования.
• Опыт создания высоконагруженных API на FastAPI.
• Опыт работы с очередями, исполнителями и фоновыми задачами.
• Опыт настройки инференса под высокую нагрузку: задержки, пропускная способность.
• Глубокое знание инструментов инференса: vLLM, SGLang и OpenAI API.
• Опыт интеграции ИИ-сервисов в корпоративную среду через API и базы данных.

Responsibilities

• Проектировать и поддерживать GPU-кластер инференса для десятков тысяч пользователей.
• Масштабировать, балансировать и приоритизировать запросы.
• Настраивать пользовательские лимиты.
• Оптимизировать производительность с кэшированием и пакетной обработкой.
• Обеспечивать SLA и предотвращать регрессии.
• Оценивать и внедрять новые LLM.
• Разрабатывать ИИ-сервисы: AI Code Assistant, AI Chat и AI Code Review.
• Проектировать пайплайны автоматизации вызовов инструментов и функций.
• Интегрировать ИИ-сервисы с API и базами данных корпоративной среды.

Skills

Python

Type hints

Async programming

FastAPI

Background tasks

API design

Queue systems

GPU inference

vLLM

SGLang

OpenAI API

Tools

MCP

Job description

YADRO ищет опытного инженера по ИИ для разработки и поддержки GPU-кластеров инференса, обслуживающих десятки тысяч пользователей. Ваша задача — масштабирование, балансировка запросов, настройка лимитов и обеспечение SLA, а также внедрение новых LLM и интеграций с API/БД.

Кандидату потребуется глубокое знание Python (5+ лет), FastAPI, очереди и фоновые задачи, а также опыт работы с инференсом и инструментами vLLM, SGLang и OpenAI API.