ML Engineer: Production-Grade LLM Agents & Long-Context

Kiefer; United States; Remote; USD 120,000 - 160,000; Full time

Job summary

KIEFER ищет ML Engineer для повышения возможностей агентов и долгосрочного контекста LLM в продуктах компании. Вы будете работать над пост-тренировкой, сбором данных, оценкой, дизайном агентов и инференсом, чтобы повысить надёжность выполнения многошаговых задач в продакшене.

Требуется опыт в ML, владение Python и фреймворками PyTorch/JAX/TensorFlow, а также умение строить и анализировать системы агентов и их производительность.

Qualifications

• 3+ года опыта в ML или исследовательской инженерии с ощутимыми результатами.
• Опыт пост-тренинга LLM в одной из областей: supervised fine-tuning, preference optimization, reinforcement learning или эквивалентный метод.
• Опыт построения агентных систем с использованием инструментов, многошаговым выполнением и восстановлением после ошибок.
• Сильные навыки оценки моделей и агентов, анализа сбоев и подготовки обучающих данных.
• Опыт Python, PyTorch, JAX, TensorFlow или аналогичных фреймворков; хорошие инженерные навыки.

Responsibilities

• Проведение пост-тренинга экспериментов: fine-tuning, преференции, RL или аналог.
• Улучшение планирования агентов, использования инструментов, управления выполнением и восстановления после ошибок.
• Сопровождение разработки бенчмарков, валидаторов и диагностических инструментов.
• Подготовка и курация обучающих данных, включая траектории агентов и сложные случаи.
• Оценка и улучшение долгого контекста, памяти и взаимодействий с извлечением информации.
• Сотрудничество с ML, Product и Engineering для внедрения результатов в продакшн с регрессионными проверками.

Skills

Python

PyTorch

JAX

TensorFlow

Software engineering

LLM/Agent systems

Reinforcement learning

Memory/retrieval

Job description

KIEFER ищет ML Engineer для повышения возможностей агентов и долгосрочного контекста LLM в продуктах компании. Вы будете работать над пост-тренировкой, сбором данных, оценкой, дизайном агентов и инференсом, чтобы повысить надёжность выполнения многошаговых задач в продакшене.

Требуется опыт в ML, владение Python и фреймворками PyTorch/JAX/TensorFlow, а также умение строить и анализировать системы агентов и их производительность.