AI/ML researcher

Sifox, Inc.; United States; Remote; USD 180,000 - 260,000; Full time

Benefits offered by this job

Remote work option

Health insurance (DMS)

Job summary

Sifox, Inc. ищет Senior Researcher в области речи и языковых моделей. Ваша роль — исследовать и внедрять современные подходы ASR, TTS и LLM, обеспечивая продакшен-готовые решения с минимальной задержкой на реальных данных.

Компания развивает AI-native инфраструктуру и ставит приоритет на автоматизацию процессов. Гибкий график и работа по удалёнке доступны вместе с офисами в США.

Qualifications

• Имеется опыт работы с речевыми технологиями (ASR/TTS) и LLM.
• Опыт развёртывания и оптимизации вывода моделей в продакшн.
• Уверенное владение Python; знание C++ для ускорения критичных компонентов.
• Понимание внимательности/KV-cache, декодирования и MoE.

Responsibilities

• Искать и внедрять передовые подходы в ASR, TTS и LLM.
• Разрабатывать голосовых агентов на стыке ASR → LLM → TTS.
• Снижать задержки и улучшать качество синтеза речи, работать с streaming.
• Проводить валидацию методов на данных и исследовательских наборах.

Skills

Speech tech

LLM/AI systems

Python

C++

Deployment optimization

Education

Higher degree in CS/ML/EE

Tools

PyTorch

Kaldi/NVIDIA NeMo/ESPnet

ONNX

Triton Inference Server

Job description

Описание

Мы делаем голосовой AI для бизнеса. Наши модели каждый день разговаривают с абонентами в реальном времени.

Мы резиденты «Сколково» и никогда не останавливаемся на достигнутом.

Мы трансформируемся в AI-native компанию.

AI для нас не только продукт, но и способ работать: исследования, разработку и операционку мы постепенно отдаём агентам, а люди занимаются тем, что агентам пока не под силу.

Поэтому мы ждём, что каждый в команде строит такую автоматизацию вокруг своей работы.

Исследователя уровня Senior, который хорошо разбирается в речи и LLM и умеет доводить идеи до продакшн.

Задачи

Искать и внедрять SOTA-подходы в ASR, TTS и LLM. Например: лучше распознавать речь в узком телефонном канале, снижать задержку в стриминге, поддерживать low-resource языки, делать синтез естественнее. Воспроизводить свежие статьи: реализовывать методы, обучать модели и проверять, как они работают на наших данных. Собирать голосовых агентов на связке ASR → LLM → TTS с минимальной задержкой и исследовать end-to-end и speech-to-speech подходы. Делать стриминговый ASR на современных архитектурах (Conformer, transducer-модели, Whisper, доработанный под стриминг) с шумоподавлением и адаптацией под телефонный канал. Развивать нейросетевой синтез речи: интонацию, эмоции, клонирование голоса, стриминговый TTS. Обучать модели ASR и TTS для русского и low-resource языков. Применять LLM в виртуальных ассистентах и антиспаме: дообучать (в том числе через RLHF и DPO), строить RAG и tool calling, оценивать качество и безопасность ответов. Ускорять инференс: квантизация, дистилляция, KV-cache и батчинг для LLM, оптимизация под GPU и CPU, перенос критичных частей с Python на C++. Автоматизировать свою работу: строить агентов и пайплайны между ними для экспериментов, анализа данных, оценки моделей и рутины. Влиять на архитектуру AI-решений и выбор технологий. Тестировать модели под нагрузкой, интегрировать и масштабировать их в продуктах.

Требования

вы уже строите AI-инфраструктуру вокруг своей работы. Используете агентов, связываете их в пайплайны и автоматизируете то, что раньше делали руками. У нас так работает каждый, поэтому на это мы смотрим в первую очередь. От 5 лет коммерческого опыта в ML/AI, от 3 лет в речевых технологиях (ASR и/или TTS). Вы работали с современными архитектурами для речи: трансформеры, Conformer, Whisper, нейросетевой TTS (VITS, FastSpeech, диффузионные и flow-matching модели, нейрокодеки). У вас есть практический опыт с LLM: fine-tuning (LoRA/PEFT), пайплайны на базе LLM (RAG, агенты), развёртывание и оптимизация инференса (vLLM, TensorRT-LLM или аналоги). Вы понимаете, как устроены внимание и KV-cache, стратегии декодирования (sampling, beam search, speculative decoding) и архитектура Mixture of Experts (MoE), включая её обучение и инференс. Вы дообучали LLM методами RLHF и DPO. У вас есть исследовательский опыт: вы ставили эксперименты, разбирали научные статьи, обучали модели с нуля. Вы выводили модели в продакшен в высоконагруженных системах, где важна задержка. Вы глубоко знаете Python и ML-стек: PyTorch, ONNX, OpenVINO, Triton Inference Server, pytest. Уверенно пишете на C++, когда нужно ускорить критичные компоненты. Знаете аудиобиблиотеки (librosa, torchaudio) и speech-фреймворки (Kaldi, NVIDIA NeMo, ESPnet и др.). Понимаете теорию обработки речи и физику звука: динамическое программирование (Viterbi, DTW, CTC/RNN-T), beam search, в том числе с внешней языковой моделью, WFST, цифровую обработку сигналов (STFT, мел-спектрограммы, фильтрация). Вам интересно работать в неопределённости, когда задача приходит в виде проблемы, а не пошаговой инструкции. Вы сами решаете, что делать дальше: формулируете гипотезы, предлагаете решения и доводите их до результата, не дожидаясь, пока вам распишут план. Вам важно, чтобы модель заработала у оператора на живых звонках, а не только показала хорошую метрику в ноутбуке. Рутину вам хочется автоматизировать, а не терпеть. Вы спокойно относитесь к смене приоритетов и быстро переключаетесь. Будет плюсом: Опыт с мультимодальными и audio-LLM, speech-to-speech моделями; Публикации, доклады, open-source или соревнования по speech/NLP/GenAI; Опыт в телекоме

Условия

Фиксированную зарплату и годовую премию по результатам. Уровень дохода обсуждаем с финальным кандидатом. Удалённую работу или офис у м. Динамо, как вам удобнее. Гибкий график: время начала дня вы согласуете с руководителем. Оформление по ТК РФ. ДМС после испытательного срока (3 месяца).