DevOps Engineer (m/w/d) – KI-/LLM-Plattform (Öffentlicher Sektor)

Job@ctive GmbH; Köln; Hybrid; EUR 60.000 - 80.000; Teilzeit

Zusammenfassung

Ein führendes IT-Dienstleistungsunternehmen sucht einen erfahrenen DevOps Engineer (Freelancer) für den Aufbau einer hybriden KI-Plattform im öffentlichen Sektor. Der Fokus liegt auf DevOps-Automatisierung und der Integration von ML-Workloads. Gute Kenntnisse in Kubernetes, Docker und Terraform sind erforderlich. Die Projektsprache ist Deutsch, und der Einsatz ist remote mit vereinzelten vor Ort Treffen.

Qualifikationen

• Sehr gute Erfahrung im DevOps-Umfeld.
• Fundiertes Know-how in Kubernetes, Docker, Terraform.
• Erfahrung in Machine Learning / LLM-Umgebungen.
• Deutsch fließend in Wort und Schrift.

Aufgaben

• Aufbau und Betrieb einer hybriden KI-/LLM-Plattform.
• Implementierung und Pflege von CI/CD-Pipelines.
• Automatisierung mittels Terraform, Docker, Kubernetes.
• Zusammenarbeit mit ML/AI-Teams für Deployment.

Kenntnisse

DevOps-Erfahrung

Kubernetes

Docker

Terraform

CI/CD-Pipelines

Deutsch (fließend)

Machine Learning

Tools

Rancher

Nexus

Jobbeschreibung

Für den Aufbau einer großskaligen, hybriden KI-Plattform im öffentlichen Sektor wird ein erfahrener DevOps Engineer (Freelancer) gesucht. Die Plattform bildet die Basis für LLM‑basiertes Arbeiten, wird On‑Premise betrieben, perspektivisch in Richtung Cloud / Sovereign Cloud Deutschland erweitert und beinhaltet ein größeres GPU‑Cluster.

Der Schwerpunkt liegt auf DevOps‑Automatisierung, Plattformbetrieb und Infrastruktur‑as‑Code, alles rund um Kubernetes, Docker, Terraform sowie sichere Integrationsprozesse im Bereich ML/LLM.

Aufgaben

• Aufbau, Weiterentwicklung und Betrieb einer hybriden KI-/LLM‑Plattform im öffentlichen Sektor

• Implementierung und Pflege von CI/CD‑Pipelines (z. B. Bitbucket Pipelines)

• Automatisierung mittels Terraform, Docker, Kubernetes

• Einrichtung & Administration von Kubernetes‑ und GPU‑Clustern (on‑prem & perspektivisch cloud)

• Betrieb und Integration von LLM‑Workloads in eine skalierbare Plattformarchitektur

• Nutzung und Administration von Tools wie Rancher, Nexus, Docker

• Unterstützung beim Aufbau sicherer Deployment‑Prozesse nach öffentlichen Standards

• Zusammenarbeit mit ML/AI‑Teams für Deployment von Modellen und Pipelines

• Monitoring, Logging & Observability im Plattformbetrieb

• Mitarbeit in einem agilen Setup (Scrum), Teilnahme an Sprint Reviews vor Ort

Muss‑Anforderungen

• Sehr gute Erfahrung im DevOps‑Umfeld

• Fundiertes Know‑how in:

  • Kubernetes (Clusterbetrieb, Administrierung)

  • Docker (Container‑Building & Management)

  • Terraform (IaC)

  • CI/CD‑Pipelines (Bitbucket oder vergleichbar)

  • Rancher, Nexus

• Erfahrung in Machine Learning / LLM‑Umgebungen

• Kenntnisse im Aufbau größerer Plattformen / Infrastrukturprojekte

• Erfahrung im öffentlichen Sektor oder in hochregulierten Umgebungen

• Deutsch fließend in Wort und Schrift

Nice to Have

• Erfahrung mit Sovereign Cloud Deutschland / EU‑Cloud‑Anforderungen

• Kenntnisse in Python für Automatisierung / MLOps

• Arbeit mit GPU‑Clustern

• Sicherheitsanforderungen im Behördenumfeld

Rahmenbedingungen

• Startdatum: 01.12.

• Dauer: 6 Monate mit klarer Option auf Verlängerung

• Einsatzort: Remote, ~1× alle 3 Wochen vor Ort im süddeutschen Raum

• Projektsprache: Deutsch