LLM Deployment & Ops Engineer (On-Prem GPU)

NDA; United States; Remote; USD 83,000 - 165,000; Full time

Benefits offered by this job

Freelance project

Long-term collaboration

Challenging AI projects

Job summary

NDA ищет опытного инженера по обучению и развертыванию LLM для удаленной долгосрочной работы. Нужна практическая экспертиза в альтернативных фреймворках (vLLM, TGI, Ollama, Triton) и в настройке GPU-инфраструктуры. Приоритет — надежность, безопасность и эффективность обслуживания.

Кандидат будет работать над развертыванием RAG/агентов, мониторингом и оптимизацией производительности, сотрудничая с AI и DevOps командами.

Qualifications

• Практический опыт размещения LLM в продакшене на собственной инфраструктуре.
• Опыт с vLLM, TGI, Ollama, Triton или аналогичными серверами.
• Знания Linux, Docker и Kubernetes, включая GPU нагрузки.
• Уровень английского не ниже B2.

Responsibilities

• Выбирать, сравнивать и разворачивать открытые LLM и эмбеддинги.
• Развертывать модели в продакшене с использованием vLLM, TGI, Ollama или аналогов.
• Оптимизировать задержку, пропускную способность и стоимость через квантование и батчинг.
• Настраивать мониторинг, логирование и масштабирование сервиса.
• Сотрудничать с инженерами AI и DevOps для внедрения RAG и агентов.

Skills

Python

Linux systems

English (B2)

GPU workloads

Production LLMs

Tools

vLLM

TGI

Ollama

Triton

Docker

Kubernetes

Job description

NDA ищет опытного инженера по обучению и развертыванию LLM для удаленной долгосрочной работы. Нужна практическая экспертиза в альтернативных фреймворках (vLLM, TGI, Ollama, Triton) и в настройке GPU-инфраструктуры. Приоритет — надежность, безопасность и эффективность обслуживания.

Кандидат будет работать над развертыванием RAG/агентов, мониторингом и оптимизацией производительности, сотрудничая с AI и DevOps командами.