Lead ML Engineer - LLM Inference & Scaling

Dating Group; España; On-site; EUR 120,000 - 180,000; Full time

Benefits offered by this job

Bonuses up to $5000 for referrals

Wellness days: 7

Vacation: 28 days

Health insurance allowance: up to $100

Training reimbursement 50%

English lessons discount

Office equipment provided

Job summary

Social Discovery Group ищет эксперта по большим языковым моделям для ускорения инференса и масштабирования моделей в продакшн. Вы будете работать над распределённой инференцией на многопроцессорных кластерах, улучшать системы тонкой настройки и обучения LLM, а также вести команды NLP и CV, формируя дорожную карту исследований.

Требуется глубокий практический опыт в оптимизации инференса, знание PyTorch и Transformer-библиотек, а также владение английским или русским языками на продвинутом

Qualifications

• Глубокий практический опыт оптимизации вывода LLM в продакшн с SGLang, vLLM или TensorRT-LLM.
• Опыт распределённой инференции или обучения крупных моделей, включая MoE, параллелизм и multi-node GPU.
• Понимание производительности инференса: KV cache, ядра внимания, батчинг, квантование и профилирование GPU.
• Опыт обучения и тонкой настройки LLM, включая пост-обучение (RLHF/DPO).
• Лидерство в техническом плане: руководство инженерами, код и код-ревью.

Responsibilities

• Ускорять и масштабировать вывод LLM в продакшн с использованием SGLang, KV и префиксного кэширования.
• Запуск распределённой инференции для очень крупных моделей на многопроцессорных кластерах на нескольких узлах.
• Бенчмарк новых GPU-серверов и адаптация к ним сервисного кода.
• Техническое руководство NLP и CV команд: ревью экспериментов, направление исследований.
• Обучение и финетюнинг языковых моделей, улучшение хитроумных системы агентов и чат-алгоритмов.
• Отслеживание исследований и open-source; формирование ML-дорожной карты.
• Сотрудничество с валидационными, контент- и датасет-отделами для проектирования экспериментов.

Skills

LLM inference optimization

Distributed inference

MLOps / deployment

PyTorch

Transformers

English or Russian

Leadership

Tools

SGLang

vLLM

TensorRT-LLM

CUDA

Triton

Job description

Social Discovery Group ищет эксперта по большим языковым моделям для ускорения инференса и масштабирования моделей в продакшн. Вы будете работать над распределённой инференцией на многопроцессорных кластерах, улучшать системы тонкой настройки и обучения LLM, а также вести команды NLP и CV, формируя дорожную карту исследований.

Требуется глубокий практический опыт в оптимизации инференса, знание PyTorch и Transformer-библиотек, а также владение английским или русским языками на продвинутом