Medior AI Engineer – LLMOps & Run für AI Agents und RAG

HumanInTech; Brussel Hoofdstad; Hybrid; EUR 70,000 - 110,000; Full time

Job summary

HumanInTech in Brüssel sucht eine erfahrene AI-Operations-Engineer, die eine belgische AI-Plattform betreut, die auf Azure und Kubernetes läuft. Sie übernehmen Services von Senior Engineers, betreiben deren Run-Phase zuverlässig und arbeiten eng mit dem AI Platform Architect, Senior AI Engineers, Business-Ownern und IT-Operations zusammen. Der Einsatz ist hybrid, dauert 12 Monate und beginnt am 4.

Januar 2027. Freiberuflich oder als Mitarbeiter bei HumanInTech möglich.

Qualifications

• Mindest 6 Monate Produktionserfahrung mit einer LLM-Anwendung (RAG, Agent oder Dokumentenverarbeitung).
• Qualitätsproblem oder Incident in LLM-Anwendung mithilfe von Traces/Logs untersucht.
• Evaluations einer LLM-Anwendung nach Modell- oder Prompt-Änderung durchgeführt.
• Änderungen an Kubernetes-Workloads und Terraform-Code über CI/CD-Pipelines auf Azure deployed.

Responsibilities

• AI-Services in der Produktion betreiben: Verfügbarkeit, Latenz und Incidents bearbeiten.
• Antwortqualität überwachen: Golden Sets pflegen, QA-Tracking und Feedback.
• Ingestion-Pipelines betreiben und neue Content-Quellen onboarden.
• Agent-Integrationen betreiben: Calls überwachen, Fehler prüfen und Logs analysieren.
• Modell- und Prompt-Änderungen validieren und Release-gerecht umsetzen.
• Run-Kosten verfolgen und Optimierungen vorschlagen.
• DevOps-Artefakte pflegen und Umgebungen konsistent halten.
• Datenschutzregeln anwenden: Trace-Retention und Zugriffskontrollen.

Skills

Azure DevOps

AKS

Azure OpenAI Service

LangChain

LLM

Python

RAG

Terraform

Vector Databases

Englisch

Education

Bachelor oder mehr

Job description

Was Sie tun werden

Ein belgisches Verkehrsunternehmen baut mitarbeiter- und kundenorientierte AI-Services auf einer AI-Plattform auf, die auf Azure und Kubernetes läuft. Die ersten Services gehen im Dezember 2026 live, weitere folgen 2027. Sie werden dem AI Centre of Excellence beitreten und die Run-Phase dieser AI-Services in der Produktion verantworten.

Sie übernehmen jeden Service von den Senior AI Engineers, die ihn entwickelt haben, und halten ihn langfristig zuverlässig, messbar, sicher und kosteneffizient. Sie arbeiten eng mit dem internen AI Platform Architect, zwei Senior AI Engineers, den Business- und Content-Ownern der einzelnen Services sowie den IT-Operations-Teams zusammen.

Die AI-Plattform läuft auf einem hybriden Betriebsmodell: verwaltete Azure-Services (Azure OpenAI Service, Azure AI Search, Azure API Management, Azure AI Content Safety) kombiniert mit selbst gehosteten Open-Source-Komponenten auf Azure Kubernetes Service (Agent-Orchestrierung in Python mit LangChain, Ingestion-Pipeline), mit MLflow auf Databricks für Evaluation und Tracing (OpenTelemetry). Das AI Centre of Excellence Team verantwortet Infrastructure-as-Code für alle anwendungsbezogenen Azure-Ressourcen, unter Verwendung von Terraform und Azure DevOps Pipelines.

Ihre Tätigkeiten variieren von Service zu Service. Typischerweise werden Sie:

• Die AI-Services in der Produktion betreiben: Verfügbarkeit, Latenz und Fehler überwachen, Incidents und Service Requests bearbeiten, Root Causes analysieren und dann beheben oder eskalieren
• Die Antwortqualität unter Kontrolle halten: Evaluation-Sets (Golden Sets) mit Business-Content-Ownern ausführen und pflegen, Antwortqualität, Non-Answer-Rate und User-Feedback tracken sowie Quality Regressions erkennen und untersuchen
• Die Ingestion-Pipelines betreiben: inkrementelle Aktualisierung, fehlgeschlagene Dokumente, Index-Health und Onboarding neuer Content-Quellen oder Business-Domains innerhalb bestehender Connectoren
• Agent-Integrationen betreiben: Tool- und Integrationsaufrufe an Business-Systeme überwachen, Fehler und Timeouts bearbeiten sowie Action-Logs und Exceptions für Agents prüfen, die im Namen von Benutzern handeln
• Änderungen sicher verwalten: Modellversions-Upgrades und -Stilllegungen, Prompt- und Konfigurationsänderungen, Dependency- und Security-Updates, jeweils validiert gegen die Evaluation-Sets vor dem Release
• Run-Kosten verfolgen: Token-Verbrauch und Kosten pro Service, Alerting bei Abweichungen und Vorschläge für Optimierungen
• Die Terraform-, Helm- und Azure DevOps-Artefakte pflegen und die DEV-, TST-, ACC- und PROD-Umgebungen konsistent halten
• Datenschutzregeln anwenden: Trace-Retention, Löschung und Zugriffsbeschränkungen, wie in der Datenschutz-Folgenabschätzung jedes Services definiert
• Runbooks und Dokumentation pflegen und regelmäßig Service-Health an Service-Owner und das AI Centre of Excellence berichten
• Kleine Erweiterungen und Fixes umsetzen, strukturelle Änderungen und neue Features bleiben beim Build-Team

Was wir suchen

Sie verfügen über Erfahrung auf mittlerem Niveau mit den folgenden Technologien, alle in diesem Jahr oder kürzlich erworben:

• Azure DevOps
• Azure Kubernetes Service (AKS)
• Azure OpenAI Service
• LangChain
• LLM / Large Language Models
• Python
• RAG (Retrieval-Augmented Generation)
• Terraform
• Vector Databases

Sie müssen die folgenden Fragen mit Ja beantworten können und detaillierte Beispiele liefern:

• Haben Sie persönlich eine LLM-Anwendung (RAG, Agent oder Dokumentenverarbeitung) mindestens 6 Monate lang in der Produktion betrieben oder unterstützt?
• Haben Sie persönlich ein Qualitätsproblem oder einen Incident in einer LLM-Anwendung oder einem AI-Agent mithilfe von Traces oder Logs untersucht?
• Haben Sie Evaluations einer LLM-Anwendung ausgeführt oder gepflegt, zum Beispiel Test-Sets nach einer Modell- oder Prompt-Änderung erneut ausgeführt?
• Haben Sie persönlich Änderungen an Kubernetes-Workloads (Manifests oder Helm Charts) und Terraform-Code über CI/CD-Pipelines auf Azure deployed?

Sie beherrschen Englisch fließend und sind Muttersprachler oder zweisprachig in Niederländisch oder Französisch.

Der Rahmen

Dieser Einsatz läuft über 12 Monate und beginnt am 4. Januar 2027. Die Arbeit ist hybrid, mit erforderlicher Präsenz vor Ort in Brüssel an 2 bis 3 Tagen pro Woche.

Sie können diesen Einsatz freiberuflich oder als Mitarbeiter von HumanInTech übernehmen. Gleiche Rolle, gleiches Team. Wenn Sie bei uns angestellt sind, besteht Ihr Arbeitsverhältnis über diesen Einsatz hinaus fort. Nach dessen Ende suchen wir gemeinsam nach Ihrem nächsten Einsatz.

Standort: Brüssel, hybrid

Arbeitsadresse: Belgien

Arbeitgeber / Vertragspartner: HumanInTech

Bewerbungsfrist (Brüsseler Zeit): 16. November 2026 um 01:00

Zusammenarbeitsform: Freiberuflich oder bei HumanInTech angestellt

Arbeitszeit: Vollzeit

Erfahrung: 3-5 Jahre oder mehr

Ausbildung: Bachelor oder mehr

Veröffentlicht: November 2026