Remote Applied ML Engineer — Real-Time LLM Router

Kimchi; United States; Remote; USD 150,000 - 200,000; Full time

Benefits offered by this job

Competitive salary

Remote-first environment

Equity options

Learning budget

Annual hackathon

Equipment budget

Extra days off

Job summary

Cast AI ищет инженера по ML-модели маршрутизации в удаленном формате, чтобы держать энд-энд процесс от идеи до релиза. Вы будете отвечать за выбор моделей, метрики и экономику токенов, держать качество под контролем и ускорять выводы в продакшн.

Команда глобальная, гибкий график, опцион на акции, обучение и годовой хакатон. Роль требует сильного опыта обработки больших данных, продвинутых навыков Python, SQL и экспериментов в реальном времени.

Qualifications

• 5+ лет опыта в прикладном ML или ML-исследованиях.
• Сильные навыки Python и SQL на масштабе миллионов записей.
• Опыт работы с маршрутизацией LLM, RouterBench и аналогичными задачами.
• Умение проводить онлайн-эксперименты и анализ ошибок.
• Знакомство с инфраструктурой обслуживания (TTFT, decode speed, batching).

Responsibilities

• Управлять маршрутизирующей моделью от идеи до выпуска.
• Строить и поддерживать метрики оценки и витрину экспериментов.
• Запуск онлайн-циклов: shadow, A/B, полный rollout, drift monitoring.
• Сотрудничать с инженерами платформы для сбора признаков и логов.

Skills

Python

SQL

LLM routing

A/B testing

Performance monitoring

Tools

PyTorch

ClickHouse

GitLab CI

OpenAI-compatible APIs

Job description

Cast AI ищет инженера по ML-модели маршрутизации в удаленном формате, чтобы держать энд-энд процесс от идеи до релиза. Вы будете отвечать за выбор моделей, метрики и экономику токенов, держать качество под контролем и ускорять выводы в продакшн.

Команда глобальная, гибкий график, опцион на акции, обучение и годовой хакатон. Роль требует сильного опыта обработки больших данных, продвинутых навыков Python, SQL и экспериментов в реальном времени.