Data Engineer (Kubernetes/AWS) (m/w/d)

Westhouse Group; Germany; Remote; EUR 61,000 - 100,000; Part time

Job summary

Westhouse Group sucht eine/n Data Engineer mit Fokus Kubernetes/AWS zur Remote-Beschäftigung (Onshore aus Deutschland). Die Rolle umfasst die Implementierung von Datenpipelines, KI-Komponenten, Containerisierung und Infrastruktur-automation.

Sie arbeiten an On-Prem- und Cloud-Umgebungen, nutzen MLflow, Azure Databricks, GitLab CI/CD, Terraform, Docker und Kubernetes. Anforderungen beinhalten CKA, Erfahrung im Bahnensektor und methodische MLOps-Best-Practices.

Qualifications

• CKA-Zertifikat ist Pflicht.
• Sehr gute Architektur- und Betriebs­erfahrung mit Kubernetes in AWS- und On-Premise-Umgebungen.
• Erfahrung in der Bereitstellung und dem Betrieb von Open-Weight-LLMs auf On-Premise-GPU-Infrastruktur.
• Projekterfahrung in Eisenbahnbetrieb (Fahrzeug/Anschlussdisposition, Verspätungskodierungen).
• Mindestens 3 Jahre Infrastructure-as-Code-Erfahrung.

Responsibilities

• Datenverarbeitungen implementieren und Pipelines auf Azure Databricks entwickeln.
• Container- und KI-Komponenten implementieren.
• Kubernetes-basierte Datenverarbeitungs- und Trainings-Workloads betreiben.
• On-Prem-Workloads umsetzen und migrieren.
• Monitoring, Logging und Alerting für Pipelines sicherstellen.
• Dokumentation der Komponenten erstellen nach Standards.

Skills

Kubernetes

AWS

Python

SQL

PySpark

MLflow

MLOps

Explainable AI

vLLM

LLM Deployment

Tools

Docker

Terraform

GitLab CI/CD

Grafana

Databricks Asset Bundles

Ansible

FluxCD

Job description

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.

Für unseren Kunden suchen wir aktuell eine/n

Data Engineer (Kubernetes/AWS) (m/w/d) - Remote (Onshore aus D.)

Rahmeninformationen

• Referenz: 180966
• Start: 2027-01-01
• Dauer: 31.12.2027
• Standort: Remote (Onshore aus D.)
• Arbeitsumfang: part-time110 PT
• Sprachen: Deutsch (Muttersprachliches Niveau/C2)

Ihre Qualifikationen

• Bitte NUR bewerben, wenn ALLE MUSS-Anforderungen erfüllt sind!
• MUSS-Anforderungen:
• Zertifikat: Certified Kubernetes Administrator (CKA)
• Sehr gute Architektur- und Betriebserfahrung mit Kubernetes in AWS- und On-Premise-Umgebungen
• Erfahrung in der Bereitstellung und im Betrieb von Open-Weight-LLMs auf On-Premise-GPU-Infrastruktur
• Projekterfahrung und Fachwissen im Eisenbahnbetrieb, insbesondere zu Fahrzeug und Anschlussdisposition sowie Verspätungskodierungen
• Langjährige Architektur- und Umsetzungs-Kenntnisse im Bereich Infrastructure- as-Code - Mindestens 3 Jahre
• Projekterfahrung in der Operationalisierung von ML-Modellen mit MLflow, im Umgang mit Azure Databricks sowie in der Umsetzung von MLOps-Best-Practices
• SOLL-Anforderungen:
• Erfahrung mit vLLM, Inferenz-Parametertuning und OpenWebUI sowie der API-basierten Anbindung eigener Modellendpunkte an KI-gestützte Entwicklungswerkzeuge
• Erfahrung mit abgegrenzten Betriebsleistungsbausteinen nach bahninternen Betreibervorgaben einschließlich Grafana-Monitoring und dokumentierter Fehlerbehandlung
• Erfahrung mit Explainable AI, insbesondere Shapley-/SHAP-Analysen zur Interpretation von Gradient-Boosting-Modellen wie XGBoost

Ihre Aufgaben

• Implementierung von Datenverarbeitungen
• Umsetzung abgegrenzter Datenpipelines und ETL-/ELT-Verarbeitungen auf Azure Databricks mit Python, SQL und PySpark auf Grundlage der vorgegebenen Architektur- und Entwicklungsstandards
• Umsetzung von Container- und KI-Komponenten
• Entwicklung und Anpassung containerisierter Daten- und KI-Komponenten auf DBMC/DBCS einschließlich der Umsetzung definierter Kubernetes-basierter Datenverarbeitungs-, Trainings- und Inference-Workloads
• Umsetzung von On-Prem-Workloads
• Entwicklung und Anpassung abgegrenzter Kubernetes-/k3s-basierter Komponenten auf der On-Prem-KI-Infrastruktur sowie Umsetzung definierter GPU-/CPU-basierter Trainings- und Inference-Workloads
• Migration bestehender Komponenten
• Technische Migration abgegrenzter Skripte, Datenverarbeitungen, Pipelines und Containerkomponenten auf die vorgegebene Zielplattform einschließlich Daten-, Funktions- und Schnittstellenvalidierung
• Deployment und Automatisierung Umsetzung und Anpassung bestehender automatisierter Deployment- und Infrastrukturprozesse unter Nutzung von GitLab CI/CD, Terraform, Databricks Asset Bundles, Docker, Ansible und GitOps-/FluxCD-Verfahren
• Tests und Qualitätssicherung Erstellung und Durchführung automatisierter Unit-, Integrations- und technischer Funktionstests sowie Dokumentation der Test- und Validierungsergebnisse
• Monitoring und Fehlerbehebung
• Umsetzung definierter Monitoring-, Logging- und Alerting-Anforderungen sowie Analyse und Behebung technischer Fehler in Datenpipelines, Container-, Kubernetes- und Deployment-Komponenten
• Dokumentation und standardkonforme Umsetzung
• Technische Dokumentation der entwickelten und migrierten Komponenten sowie Umsetzung der Leistungen innerhalb der vorgegebenen Architektur-, Unity-Catalog-, Security-, Governance- und Betriebsstandards