ML/NLP engineer

NDA; United States; Remote; USD 180,000 - 240,000; Full time

Job summary

NDA ищет специалиста по разработке диалоговых систем и голосовых ассистентов. В задачу входит переход от графовых сценариев к управляемым диалогам на базе LLM, устранение задержек и галлюцинаций, настройка ASR на GigaAMv2 и интеграцию TTS/клонов голоса.

Необходимы навыки в PEFT/LoRA, QLoRA, streaming ASR, и глубокие знания PyTorch, Python и Hugging Face. Будет преимущество в опыте с gRPC, Kubernetes и графовыми/dialog движками.

Qualifications

• Уверенный опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов.

Responsibilities

• Переводить систему с графа сценариев и навыков на управляемый диалог на основе LLM.

Skills

LLM/SLM опыт

Few-shot обучение

Prompt-инженерия

BERT классификация

PEFT/LoRA/QLoRA

GigaAMv2 ASR

Streaming ASR

Python

PyTorch

Hugging Face

Go

gRPC

Kubernetes

TensorRT-LLM

ONNX Runtime

Tools

vLLM

TensorRT-LLM

Triton Inference Server

ONNX Runtime

Kubernetes

gRPC

Job description

Описание

Проект крупной телекоммуникационной компании по созданию и развитию интеллектуальных голосовых ассистентов и диалоговых систем.

Задачи

Поэтапно переводить систему с графа сценариев и навыков на управляемый диалог на основе LLM Находить и устранять причины высокой задержки, галлюцинаций LLM, проблем с передачей аудио и ошибок графа Самостоятельно принимать архитектурные решения и реализовывать их в коде Поддерживать и отлаживать классификацию сценариев с помощью Qwen и классификаторы на BERT, учитывать краевые случаи и исправлять ошибочные срабатывания интентов При необходимости дообучать локальные LLM для извлечения сущностей и удержания инструкций Интегрировать и поддерживать ASR на базе GigaAMv2, отлаживать качество распознавания и работу VAD Дообучать и настраивать инференс собственных и открытых TTS-систем и систем клонирования голоса

Требования

Уверенный опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов Практический опыт дообучения LLM с PEFT, LoRA или QLoRA для прикладных задач Умение быстро находить причины некорректных ответов LLM и исправлять их промптом, гиперпараметром или дообучением Опыт дообучения и оптимизации TTS-моделей Опыт работы с современными ASR-системами и их интеграции, в частности GigaAMv2 Практический опыт работы с потоковым аудио в реальном времени, streaming ASR/TTS и контрактами gRPC Уверенное владение Python, PyTorch, Hugging Face и фреймворками инференса Базовое понимание Go, проектирования сервисов, SOLID/DRY/KISS, типизации, синхронизации и конкурентности, горутин, каналов, указателей и наблюдаемости Опыт оптимизации инференса для низкой задержки с vLLM, TensorRT-LLM, Triton Inference Server или ONNX Runtime Опыт работы с графовыми или сценарными диалоговыми движками и LLM-агентами Умение быстро диагностировать проблемы инференса и локализовать ошибки Будет плюсом: опыт работы с gRPC, настройка инфраструктуры, k8s/inventory и глубокое понимание TCP

Условия

Ставка обсуждается Аутстаффинговая позиция