ml инженер голосового диалога

NDA; United States; Remote; USD 270 - 290; Full time

Job summary

NDA ищет специалиста по управляемым диалоговым системам с опытом работы с LLM/SLM, PEFT и классификацией на основе BERT. Требуется грамотное ускорение инференса, настройка ASR/GigaAMv2 и TTS, а также способность быстро находить и исправлять ошибки поведения модели.

Условия предполагают работу над архитектурными решениями и внедрением новых подходов в промптинг и дообучение. Кандидат должен разбираться в графовых и сценарных диалоговых движках, владеть Go и иметь навыки observability, gRPC и

Qualifications

• Уверенный опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов
• Практический опыт дообучения LLM методами PEFT, LoRA/QLoRA
• Умение быстро разбираться, почему модель ответила неверно, и исправлять промптом/параметрами
• Опыт дообучения и оптимизации TTS-моделей
• Опыт работы с современными ASR-системами и их интеграцией, в частности GigaAMv2
• Опыт работы с графовыми и сценарными диалоговыми движками, LLM-агентами
• Опыт оптимизации инференса для низкой задержки с vLLM, TensorRT-LLM, Triton Inference Server и ONNX Runtime
• Опыт работы с потоковым аудио в реальном времени, streaming ASR/TTS и gRPC
• Базовое понимание проектирования сервисов на Go
• Понимание SOLID, DRY и KISS
• Знание Go: строки, числа, слайсы, мапы
• Знание конкурентности: горутины и каналы
• Знание указателей
• Знание observability
• Плюсом: gRPC, настройки инфраструктуры, k8s/inventory, TCP

Responsibilities

• Поэтапно переводить систему с графа сценариев и навыков на управляемый диалог на основе LLM
• Отлаживать голосовой конвейер, устранять задержки и галлюцинации
• Принимать архитектурные решения и реализовывать их в коде
• Поддерживать и быстро отлаживать классификацию сценариев на основе few-shot
• Учитывать краевые случаи и исправлять ошибочные срабатывания интентов
• Дообучать локальные LLM для извлечения сущностей и удержания инструкций
• Интегрировать ASR на базе GigaAMv2 и обеспечивать качество распознавания
• Настраивать инференс TTS и систем клонирования голоса для нужного качества звука
• Работать с потоковым аудио, streaming ASR/TTS и gRPC
• Проводить настройку и мониторинг инфраструктуры

Skills

LLM/SLM

few-shot learning

prompt engineering

BERT для классификации

PEFT

LoRA/QLoRA

обнаружение и исправление ошибок

Go — базовые принципы

OBSERVABILITY

Tools

GigaAMv2

TensorRT-LLM

Triton Inference Server

ONNX Runtime

gRPC

Kubernetes / inventory

Job description

Описание:

Описания нет

Задачи:

• Поэтапно переводить систему с графа сценариев и навыков на управляемый диалог на основе LLM
• Отлаживать голосовой конвейер, находить причины высокой задержки, галлюцинаций LLM, проблем с передачей аудио и ошибок графа
• Оперативно принимать архитектурные решения и самостоятельно реализовывать их в коде
• Поддерживать и быстро отлаживать классификацию сценариев на основе few-shot с Qwen и классификаторы на BERT
• Учитывать краевые случаи и исправлять ошибочные срабатывания интентов
• При необходимости дообучать локальные LLM для извлечения сущностей и удержания инструкций
• Интегрировать и поддерживать ASR на базе GigaAMv2, отлаживать качество распознавания, работу VAD и передачу текста дальше по конвейеру
• Дообучать и настраивать инференс собственных и открытых TTS-систем и систем клонирования голоса для достижения нужного качества звучания и скорости работы

Требования:

• Уверенный опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов
• Практический опыт дообучения LLM методами PEFT, LoRA/QLoRA под узкие прикладные задачи
• Умение быстро разбираться, почему модель ответила неверно, и исправлять это промптом, гиперпараметром или дообучением
• Опыт дообучения и оптимизации TTS-моделей
• Опыт работы с современными ASR-системами и их интеграцией, в частности GigaAMv2
• Опыт работы с графовыми и сценарными диалоговыми движками, а также с LLM-агентами
• Опыт оптимизации инференса для низкой задержки с vLLM, TensorRT-LLM, Triton Inference Server и ONNX Runtime
• Опыт работы с потоковым аудио в реальном времени, streaming ASR/TTS и контрактами gRPC
• Базовое понимание проектирования сервисов на Go
• Понимание принципов SOLID, DRY и KISS
• Знание базовых типов Go: строк, чисел, слайсов и мап
• Знание примитивов синхронизации и конкурентности, горутин и каналов
• Знание указателей и работы с ними
• Знание observability
• Будет плюсом: опыт работы с gRPC, настройки инфраструктуры, k8s/inventory и знания TCP

Условия:

Срок - до 31.12.2026 с возможной пролонгацией Ставка до 2100 - 2200, с НДС Локация - РФ Часовой пояс - МСК 3 часа