LLMOps Engineer

NDA; United States; Remote; USD 83,000 - 165,000; Full time

Benefits offered by this job

Freelance project

Long-term collaboration

Challenging AI projects

Job summary

NDA ищет опытного инженера по обучению и развертыванию LLM для удаленной долгосрочной работы. Нужна практическая экспертиза в альтернативных фреймворках (vLLM, TGI, Ollama, Triton) и в настройке GPU-инфраструктуры. Приоритет — надежность, безопасность и эффективность обслуживания.

Кандидат будет работать над развертыванием RAG/агентов, мониторингом и оптимизацией производительности, сотрудничая с AI и DevOps командами.

Qualifications

• Практический опыт размещения LLM в продакшене на собственной инфраструктуре.
• Опыт с vLLM, TGI, Ollama, Triton или аналогичными серверами.
• Знания Linux, Docker и Kubernetes, включая GPU нагрузки.
• Уровень английского не ниже B2.

Responsibilities

• Выбирать, сравнивать и разворачивать открытые LLM и эмбеддинги.
• Развертывать модели в продакшене с использованием vLLM, TGI, Ollama или аналогов.
• Оптимизировать задержку, пропускную способность и стоимость через квантование и батчинг.
• Настраивать мониторинг, логирование и масштабирование сервиса.
• Сотрудничать с инженерами AI и DevOps для внедрения RAG и агентов.

Skills

Python

Linux systems

English (B2)

GPU workloads

Production LLMs

Tools

vLLM

TGI

Ollama

Triton

Docker

Kubernetes

Job description

Описание

Описания нет

Задачи

Select, benchmark, and deploy open-source LLMs and embedding models Serve models in production using vLLM, TGI, Ollama, or similar frameworks Run and optimize on-premises and private-cloud GPU infrastructure Tune latency, throughput, memory, and cost through quantization, batching, and caching Set up monitoring, logging, and scaling for model serving Work with AI and DevOps engineers to bring RAG and agent systems into production

Требования

Hands-on experience running LLMs in production on your own infrastructure, not only through OpenAI or Anthropic APIs Experience with vLLM, TGI, Ollama, Triton, or similar serving frameworks Solid Linux, Docker, and Kubernetes skills, including GPU workloads Python skills English at B2 level or higher Будет плюсом: Quantization (GPTQ, AWQ, GGUF) and inference optimization, fine-tuning (LoRA / QLoRA), monitoring with Prometheus / Grafana, experience with air-gapped or highly secure environments

Условия

Freelance project Long-term collaboration opportunities Challenging AI projects to deepen expertise and develop technical skills Opportunities to work with modern AI technologies and solve real-world engineering problems A small, experienced team that values engineering quality