ai engineer in AI evaluation

NDA; United States; Remote; USD 150,000 - 240,000; Full time

Job summary

Plexus ищет специалиста по инфраструктуре ИИ для поддержки ранней стадии проекта по оценке генеративных моделей. Вы будете строить масштабируемые конвейеры, работать с API LLM и данными клиентов, обеспечивая безопасность и отказоустойчивость.

У кандидата должны быть сильные навыки Python, опыт работы с облачными сервисами и контейнеризацией. Готовность работать в быстром стартап‑окружении обязательно.

Qualifications

• Опыт создания AI-систем и инфраструктуры в продакшене.
• Сильные навыки Python или сопоставимого языка и бэкенд/раскрытие распределенных систем.
• Практический опыт работы с LLM-API и моделямиopen или саморазвернутыми.
• Опыт работы с AWS, GCP или Azure; Docker/Kubernetes; инфраструктура как код.

Responsibilities

• Создавать масштабируемые конвейеры для выполнения бенчмарков, оценок и агрегации результатов по нескольким поставщикам LLM.
• Разрабатывать системы, которые формируют на запрос заказчика кастомные оценки на основе его данных.
• Проектировать безопасные многоарендные сервисы и API, соответствующие требованиям конфиденциальности.
• Владеть оркестрацией, наблюдением, производительностью и затратами по мере роста использования.

Skills

Python

Backend systems

Distributed systems

Tools

LLM APIs

Docker

Kubernetes

IaC

Job description

Описание

Plexus has partnered with an early-stage AI company building an evaluation platform that helps enterprise teams validate generative AI models and agents before they go live. The product is live and includes a public leaderboard benchmarking leading LLMs.

Задачи

• Build scalable pipelines for benchmark execution, scoring, and results aggregation across multiple LLM providers and custom endpoints
• Develop systems that generate custom evaluations on demand from customer data
• Design secure, multi-tenant services and APIs that meet enterprise privacy standards
• Own orchestration, observability, performance, and cost as usage grows

Требования

• Proven experience building AI systems and AI infrastructure in production
• Strong Python or similar skills, with backend or distributed systems experience
• Hands-on experience with LLM APIs and open or self-hosted models
• Experience with AWS, GCP, or Azure, Docker/Kubernetes, and infrastructure as code
• Comfortable working in an early-stage, fast-moving environment
• Будет плюсом: Experience with LLM evaluation, benchmarking, or agent frameworks; startup or scale-up background

Условия

Base salary plus equity