LLM Platform Engineer for AI SaaS

HireHi; Berlin; Vor Ort; EUR 90.000 - 130.000; Vollzeit

Zusammenfassung

HireHi в Берлине ищет опытного инженера платформы, который будет строить сервисы для продакшн LLM приложений и развивать инфраструктуру доступа к нескольким провайдерам моделей. В числе задач — создание шлюзов, RAG-решений и инструментов на Python для AI‑команды, развёртывание workloads на Kubernetes и обеспечение observability.

Ожидается опыт работы с облачными платформами, знание Terraform и GitOps, а также умение строить self-service для инженеров разработки.

Qualifikationen

• 4+ года опыта в Platform Engineering, AI Engineering, MLOps или аналогичных ролях.
• Сильное понимание production cloud-native систем.
• Желателен опыт работы с несколькими провайдерами моделей (OpenAI, Anthropic и пр.)
• Опыт внедрения внутренних платформ для разработчиков будет плюсом.

Aufgaben

• Строить сервисы платформы для продакшн LLM приложений
• Разрабатывать шлюзы и API для доступа к нескольким поставщикам LLM
• Строить инфраструктуру RAG и векторного поиска
• Разрабатывать инструменты на Python для AI-инженерных команд
• Развертывать и управлять AI нагрузками в Kubernetes
• Строить конвейеры оценки LLM и RAG
• Автоматизировать инфраструктуру с Terraform
• Создавать инструменты развёртывания и self-service для команд разработки
• Улучшать надёжность, масштабируемость и операционные стандарты производственных AI‑приложений

Kenntnisse

Platform Engineering

MLOps

Backend Engineering

Cloud-native systems

OpenTelemetry

Tools

OpenTelemetry

GitOps / ArgoCD

AWS / GCP

Jobbeschreibung

Описание

The company is an AI SaaS and Developer Tools business based in Berlin. It develops LLM infrastructure that enables engineering teams to deploy, evaluate, observe, and operate LLM-powered applications at scale.

Задачи

• Build platform services for production LLM applications


• Develop model gateways and APIs for accessing multiple LLM providers


• Build shared RAG and vector retrieval infrastructure


• Develop Python tooling and services for AI engineering teams


• Deploy and operate AI workloads on Kubernetes


• Build evaluation pipelines for LLM and RAG applications


• Implement observability across prompts, models, retrieval, latency, cost, and failures


• Automate infrastructure and environments using Terraform


• Create deployment tooling and self-service capabilities for engineering teams


• Improve reliability, scalability, and operational standards across production AI applications

Требования

• 4+ Years in Platform Engineering, AI Engineering, MLOps, Backend Engineering, or similar roles


• Strong understanding of production cloud-native systems


• Nice to have: OpenAI, Anthropic, or multiple model providers, Pinecone, Weaviate, Qdrant, or pgvector, LangGraph / LangChain, LLM gateways or routing platforms, OpenTelemetry, LLM evaluation and tracing tools, AWS / GCP, GitOps / Argo CD, Model Context Protocol (MCP), experience building internal developer platforms

Условия

Berlin, Germany.