(Senior) AI Platform Engineer (m/f/d)

evoila GmbH; Deutschland; Remote; EUR 110.000 - 160.000; Vollzeit

Benefits dieser Stelle

Betriebliche Altersvorsorge

Remote-Work-Möglichkeiten

Flexible Arbeitszeiten

Corporate Benefits Programm

Team-Events

Zusammenfassung

evoila GmbH sucht einen erfahrenen (Senior) AI Platform Engineer, der robuste AI/ML-Plattformen auf Kubernetes betreibt und weiterentwickelt. Sie arbeiten an GPU-infrastrukturen, Model-Serving, MLOps-Workflows und Governance.

Sie bringen Kenntnisse in Python (ggf. Golang/Java) sowie IK-Tools wie Ansible, Terraform und Argo CD mit. Flexible Remote-Arbeit und DACH-Experience werden geschätzt.

Qualifikationen

• Mindestens 3 Jahre Betrieb/Optimierung von Plattformen im Kubernetes-Umfeld, On-Premises oder Cloud.
• Architekturwissen für skalierbare, GPU-fokussierte AI-Plattformen.
• Programmierkenntnisse in Python; idealerweise Garbag/Golang oder Java.
• Erfahrung mit Model-Serving-Frameworks (z. B. vLLM, Triton, KServe).
• Kenntnisse in MLOps-Tools, IaC und CI/CD/GitOps-Umgebungen.

Aufgaben

• Planung, Aufbau und Betrieb hochverfügbarer AI/ML-Plattformen auf Kubernetes.
• Design skalierbarer GPU-Infrastrukturen und Scheduling-Strategien.
• Betrieb von Model-Serving- und Inferenz-Diensten für ML/LLMs.
• Entwicklung von MLOps-/LLMOps-Workflows, Guardrails & Monitoring.
• Beratung unserer Kunden zu Best Practices, Sicherheit und Governance.

Kenntnisse

Kubernetes

GPU-Workloads

Python

Golang/Java

Model Serving Frameworks

MLOps/LLMOps

Infrastructure as Code

CI/CD / GitOps

Kommunikation DE/EN

Tools

Ansible

Terraform

Argo CD

Flux

NVIDIA Triton

KServe

Jobbeschreibung

### **(Senior) AI Platform Engineer (m/f/d)**Du brennst für Kubernetes, Plattform-Engineering und moderne AI-Technologien? Du möchtest nicht nur einzelne Modelle deployen, sondern die Infrastruktur und Plattformen schaffen, auf denen innovative AI-Anwendungen zuverlässig, sicher und skalierbar betrieben werden?Dann bist du bei uns genau richtig.Als **(Senior) AI Platform Engineer (m/f/d)** entwickelst, betreibst und optimierst du moderne AI- und ML-Plattformen für unsere Kunden. Du arbeitest mit Kubernetes, GPU-Infrastrukturen, Infrastructure as Code sowie modernen CI/CD-, MLOps- und LLMOps-Ansätzen und unterstützt Unternehmen dabei, Generative AI und Machine Learning erfolgreich in den produktiven Einsatz zu bringen.Dich erwarten spannende Projekte in unterschiedlichsten Branchen, technologischer Gestaltungsspielraum und ein Team aus Cloud-, Plattform-, Data- und AI-Spezialisten, das Innovation nicht nur diskutiert, sondern täglich umsetzt.### **Tätigkeitsschwerpunkte**:* Planung, Aufbau und Betrieb von hochverfügbaren AI/ML-Plattformen und -Services, insbesondere auf Basis von Kubernetes in On-Premises-, Hybrid- und Cloud-Umgebungen.* Design und Umsetzung skalierbarer GPU-Infrastrukturen innerhalb von Kubernetes-Clustern – inklusive GPU-Scheduling und -Sharing (z. B. Kueue, KAI-Scheduler, Run:ai, NVIDIA MIG/Time-Slicing) mit Blick auf Auslastung und Kosteneffizienz.* Aufbau und Betrieb von Model-Serving- und Inferenz-Diensten (z. B. vLLM, NVIDIA Triton, KServe, NVIDIA NIM, Ray) für klassische ML-Modelle und Large Language Models.* Entwicklung und Betrieb von MLOps-/LLMOps-Workflows für produktive GenAI-Services – inklusive Guardrails & Policies, Evaluierung, Regressionstests sowie Kosten- und Qualitätsmonitoring.* Bereitstellung von Fine-Tuning- und Re-Training-Workflows (z. B. LoRA, kontinuierliches Re-Training) auf der Plattform.* Monitoring, Troubleshooting und Performance-Tuning von AI-Plattformen (u. a. GPU-Auslastung, Inferenz-Latenz, Durchsatz), um höchste Performance und Verfügbarkeit sicherzustellen.* Beratung unserer Kunden in Bezug auf Best Practices, AI-Governance, Datensicherheit und Datenschutz im Kontext von AI-Plattformen auf Kubernetes.* Enge Zusammenarbeit mit Data-Science-, Data-Platform- und Entwicklungsteams zur Sicherstellung der nahtlosen Integration von AI-Lösungen.### **Deine Qualifikation:*** Mindestens 3 Jahre Erfahrung im Betrieb und der Optimierung von Plattformen und Services at Scale in Kubernetes-Umgebungen, egal ob On-Premise oder in der Cloud.* Fundierte Kenntnisse in der Architektur und dem Betrieb von skalierbaren Lösungen unter Verwendung von Kubernetes, idealerweise inklusive GPU-Workloads.* Programmierkenntnisse in Python, idealerweise ergänzt um Golang oder Java.* Erfahrung mit mindestens einem Model-Serving-Framework (z. B. vLLM, NVIDIA Triton, KServe) sowie erste oder vertiefte Erfahrung mit MLOps-Werkzeugen (z. B. MLflow, Kubeflow, ClearML).* Erfahrung mit Infrastructure-as-Code-Tools wie Ansible und Terraform sowie CI/CD- und GitOps-Werkzeugen (z. B. Argo CD, Flux).* Sehr gute Kommunikationsfähigkeiten in Deutsch und Englisch. Idealerweise hast du bereits Kunden beraten und kannst technische Themen zielgruppengerecht vermitteln – vom Engineering-Team bis zum Management.### **Für die Senior-Rolle zusätzlich:*** Mindestens 5 Jahre einschlägige Erfahrung im Plattform-Engineering.* Architektur-Ownership: Du verantwortest das Design von AI-Plattformen end-to-end und triffst technologische Grundsatzentscheidungen.* Technische Führung in Kundenprojekten (Lead-Rolle) sowie Mentoring von Kolleginnen und Kollegen.### **Darüber hinaus verfügst du idealerweise über:*** Erfahrung mit Cloud-AI-Diensten (z. B. AWS SageMaker/Bedrock, Azure ML/Azure OpenAI/Azure AI Foundry) und deren Integration mit Kubernetes-Workloads.* Kenntnisse im Betrieb von LLM-basierten Architekturen, z. B. RAG-Pipelines, Vektordatenbanken und Embedding-Services sowie Agentic-AI-Ansätze und Model Context Protocol (MCP).* Verständnis von System-Level-Grundlagen des LLM-Servings (Rate Limiting, Token Streaming, Load Balancing) und LLM-Konzepten wie Reasoning, Tool Calling und Prompt Templates.* Erfahrung mit neuen Serving-Bausteinen wie llm-d oder Kubernetes Inference Gateway.* Kenntnisse in der Absicherung von AI-Plattformen, z. B. TLS, RBAC und Network Policies innerhalb von Kubernetes-Umgebungen, sowie Grundverständnis von AI-Governance (z. B. EU AI Act).* Zertifizierungen im Bereich relevanter Technologien (z. B. Certified Kubernetes Administrator/Developer, NVIDIA-Zertifizierungen).* Bereitschaft zu gelegentlichen Reisen im DACH-Raum.**Wir bieten dir u.a.:** * Betriebliche Altersvorsorge* Teamorientierte Unternehmenskultur mit regelmäßigen Teamevents* Gezielte Förderung deiner fachlichen Weiterentwicklung* Corporate Benefits Programm* Flexible Arbeitszeiten* Moderner Arbeitsplatz mit zeitgemäßer Ausstattung* Remote-Work-MöglichkeitenWir freuen uns auf deine Online-Bewerbung und darauf, mehr über dich zu erfahren.**We get IT done.**