Senior AI Platform Engineer & LLM Ops

DATAGROUP SE; United States; Remote; USD 120,000 - 150,000; Full time

Benefits offered by this job

Offene Unternehmenskultur

Umfassende Einarbeitung

Weiterbildungsbudget

Flache Hierarchien und kurze Entscheid

Job summary

DATAGROUP SE sucht einen erfahrenen Platform Engineer, der unsere souveräne LLM-Plattform betreut und weiterentwickelt. Sie betreiben OpenAI-kompatibles Gateway, Modell-Serving und GPU-Infrastruktur, arbeiten an RAG-Architekturen und integrieren Vector-Datenbanken.

Sie arbeiten eigenständig in einer sicherheitsbewussten Umgebung, führen CI/CD-Prozesse und Infrastructure as Code ein und gestalten die Architektur der KI-Services aktiv mit. Dazu gehören Monitoring, Observability und Datenschutz.

Qualifications

• Abgeschlossenes Studium der (Wirtschafts-) Informatik oder eine vergleichbare Qualifikation.
• Mehrjährige Erfahrung im DevOps-, Plattform-Engineering- oder Cloud-/Infrastruktur-Umfeld.
• Fundierte Praxiserfahrung im Betrieb containerbasierter Anwendungen und moderner Plattformen.
• Erfahrung im Aufbau und produktiven Betrieb von LLM- und KI-Diensten, idealerweise in selbst gehosteten Umgebungen.
• Sehr gute Kenntnisse in Kubernetes, Docker und Linux.
• Erfahrung mit CI/CD-Pipelines, Cloud-Plattformen (insbesondere Azure) sowie PostgreSQL.
• Praktische Erfahrung mit LLM-Gateways, RAG-Architekturen, Vector-Datenbanken und Modell-Serving-Lösungen.
• Solide Python-Kenntnisse für Automatisierung und Integrationen.
• Eigenständige und strukturierte Arbeitsweise mit hoher Eigenverantwortung sowie Sicherheits- und Datenschutzbewusstsein.
• Ausgeprägtes Architektur- und Platformverständnis.

Responsibilities

• Du entwickelst und betreibst unsere souveräne LLM-Plattform inklusive OpenAI-kompatiblem Gateway, Modell-Serving und GPU-Infrastruktur
• Du implementierst kundenspezifische Wissensanbindungen (RAG) mit Vector-Datenbanken, Embeddings und Reranking
• Du stellst Kostenkontrolle, Mandantentrennung, Datenschutz und Guardrails sicher
• Du etablierst Monitoring und Observability für Performance, Qualität und Nutzung der KI-Dienste
• Du betreibst und entwickelst unsere containerbasierte Plattform auf Basis von Docker, Coolify und Kubernetes weiter
• Du automatisierst Deployments und verantwortest CI/CD-Prozesse für unsere Eigenentwicklungen
• Du betreust unsere Linux-, Cloud- und Datenbank-Infrastruktur und sorgst für Stabilität, Sicherheit und Verfügbarkeit
• Du baust Monitoring-, Logging- und Alerting-Lösungen auf und entwickelst diese weiter
• Du gestaltest die Architektur unserer Plattform- und KI-Services aktiv mit
• Du etablierst Infrastructure as Code und standardisierte Deployment-Prozesse
• Du sorgst für datenschutzkonforme und mandantensichere Betriebsmodelle
• Du dokumentierst Lösungen, teilst Wissen im Team und evaluierst neue Technologien im Bereich Platform Engineering und KI

Skills

DevOps Erfahrung

Plattform-Engineering

LLM/KI-Dienste

Python

Sicherheitsbewusstsein

Eigenständige Arbeitsweise

Architekturverständnis

Education

Wirtschafts-Informatik-studium oder vergleichbare Qualifikation

Tools

Docker

Kubernetes

Linux

Azure

PostgreSQL

Job description

DATAGROUP SE sucht einen erfahrenen Platform Engineer, der unsere souveräne LLM-Plattform betreut und weiterentwickelt. Sie betreiben OpenAI-kompatibles Gateway, Modell-Serving und GPU-Infrastruktur, arbeiten an RAG-Architekturen und integrieren Vector-Datenbanken.

Sie arbeiten eigenständig in einer sicherheitsbewussten Umgebung, führen CI/CD-Prozesse und Infrastructure as Code ein und gestalten die Architektur der KI-Services aktiv mit. Dazu gehören Monitoring, Observability und Datenschutz.