Инженер предобучения LLM — эксперименты и MoE

Сбер; United States; Remote; USD 120,000 - 190,000; Full time

Benefits offered by this job

Годовая премия

Регулярное повышение зарплаты

ДМС

Ипотека по дисконтной программе

Корпоративная пенсионная программа

Job summary

HireHi ищет специалиста по предобучению крупных языковых моделей, чтобы возглавить направление внутри проекта и развивать его от планирования экспериментов до внедрения в основное обучение.

Кандидат будет проектировать эксперименты, формулировать гипотезы и работать с архитектурой MoE, а также обеспечивать воспроизводимость и качество кода на больших прогонах. Необходим опыт работы с PyTorch, готовность к интенсивному экспериментированию и работе в команде.

Qualifications

• Глубокое понимание обучения нейросетей и анализ кривых потерь.
• Умение вести направление исследований от статей до внедрения.
• Практический опыт с PyTorch и обучением моделей.
• Опыт работы с архитектурами MoE и масштабными прогонами.

Responsibilities

• Взять на себя направление внутри предобучения и развивать его: от постановки задач и планирования экспериментов до внедрения результатов в основное обучение.
• Проектировать и проводить эксперименты: формулировать гипотезы, запускать абляции, сравнивать подходы, разбираться в результатах и превращать выводы в решения для основного обучения.
• Разбираться с нестабильностью на больших прогонах: искать причины деградаций, строить диагностические метрики, предлагать изменения в оптимизаторе, расписании скорости обучения, нормализации, инициализации, клиппинге, точности вычислений и маршрутизации.
• Работать с архитектурой смеси экспертов (MoE): маршрутизатором, балансировкой нагрузки, переполнением, артефактами маршрутизации и их влиянием на качество и производительность.
• Поддерживать большие прогоны и продолжения обучения с контрольных точек: следить за дрейфом, проверять изменения в коде и конфигурации, снижать риск регрессий.
• Улучшать инженерное качество контура обучения: проводить ревью критичных изменений, разрабатывать стратегию тестирования, повышать воспроизводимость экспериментов, профилировать и устранять узкие места.

Skills

Обучение нейросетей

Экспериментальный дизайн

Объяснение гипотез

Tools

PyTorch

Job description

HireHi ищет специалиста по предобучению крупных языковых моделей, чтобы возглавить направление внутри проекта и развивать его от планирования экспериментов до внедрения в основное обучение.

Кандидат будет проектировать эксперименты, формулировать гипотезы и работать с архитектурой MoE, а также обеспечивать воспроизводимость и качество кода на больших прогонах. Необходим опыт работы с PyTorch, готовность к интенсивному экспериментированию и работе в команде.