Senior Data Architect (Kubernetes/Python/Databricks) (m/w/d)

Westhouse Group; Germany; Remote; EUR 90,000 - 140,000; Part time

Job summary

Westhouse Group sucht eine/n Senior Data Architect (Kubernetes/Python/Databricks) für Remote-Arbeit (Onshore aus D.). Teilzeit, Referenz 180965. Arbeitsbeginn 2027-01-01, Laufzeit bis 31.12.2027, Deutsch Muttersprachlich, 110 PT.

Sie verantworten die Weiterentwicklung der Plattformarchitektur, Governance, Security und MLOps. Dazu gehören Azure Databricks, DBMC/DBCS, Kubernetes-basierte Ressourcen sowie IAM, Unity Catalog und Data Governance.

Qualifications

• Mindestens 5 Jahre Python-basierte Datenverarbeitung und SQL-Kenntnisse.
• Erfahrung mit Kubernetes/OpenShift in AWS-Umgebungen.
• Azure-Databricks- und MLOps-Plattformen mit Data Governance.
• Erfahrung mit Kafka-Streaming und Integration bestehender Anwendungen.
• Containerisierung von Python-Anwendungen mit Docker; automatisierte Build/Deployment.

Responsibilities

• Weiterentwicklung der hybriden Plattformarchitektur unter Azure Databricks und On-Prem.
• Gestaltung Workspace-, Compute-, Netzwerk- und Identity-Strukturen inkl. Unity Catalog.
• Architektur der KI-Plattform, MLOps-Fähigkeiten, Training und Deployment.
• Automatisierung, IaC-CI/CD/GitOps mit Terraform, GitLab CI/CD, Ansible, FluxCD.
• Governance, Security, RBAC, Secrets-Management und Observability implementieren.

Skills

Python-Datenverarbeitung

Datenmodellierung

SQL-Relationale DBs

Kubernetes/OpenShift

AWS-Umfeld

Azure Databricks/MLOps

Kafka-Streaming

Docker-Containerisierung

GitOps/GitLab CI/CD

RBAC/OIDC/Screts-Management

Tools

Docker

Kubernetes

OpenShift

Azure Databricks

Databricks Asset Bundles

Terraform

GitLab CI/CD

Grafana

FluxCD

Ansible

Job description

Senior Data Architect (Kubernetes/Python/Databricks) (m/w/d) - Remote (Onshore aus D.)

Rahmeninformationen

• Referenz: 180965
• Start: 2027-01-01
• Dauer: 31.12.2027
• Standort: Remote (Onshore aus D.)
• Arbeitsumfang: part-time110 PT
• Sprachen: Deutsch (Muttersprachliches Niveau/C2)

Ihre Qualifikationen

• Bitte NUR bewerben, wenn ALLE MUSS-Anforderungen erfüllt sind!
• Erfahrung in Python-basierter Datenverarbeitung und Datenmodellierung sowie praktische Erfahrung mit SQL und relationalen Datenbanken - Mindestens 5 Jahre
• Architektur- und Betriebserfahrung mit produktiven Kubernetes-/OpenShift-Plattformen im AWS-Umfeld - 3 Referenzen
• Erfahrung im Aufbau, in der Weiterentwicklung und im Betrieb von Azure-Databricks- und MLOps-Plattformen unter Berücksichtigung von Data Governance - 2 Referenzen
• Erfahrung in der Entwicklung und Integration Kafka-basierter Streaming-Anwendungen, einschließlich ereignisbasierter Datenverarbeitung und Anbindung bestehender Fachanwendungen - 2 Referenzen
• Projekterfahrung mit Daten und Anwendungen im Eisenbahnbetrieb, einschließlich Personaldisposition und Bearbeitung von Dispositionskonflikten - 2 Referenzen
• SOLL-Anforderungen:
• Zertifizierung in Databricks (Databricks Data Engineering)
• Mehrjährige Erfahrung in der Containerisierung und Bereitstellung von Python-Anwendungen mit Docker, einschließlich automatisierter Build- und Deployment-Prozesse - Mindestens 3 Jahre
• Erfahrung mit eigenverantwortlich erbrachten, abgegrenzten Betriebsleistungsbausteinen für KI-Plattformen unter Nutzung von GitOps, GitLab CI/CD und Grafana-Monitoring
• Erfahrung mit Security by Design, insbesondere RBAC, OIDC, Secrets-Management und Container-Härtung - 2 Referenzen

Ihre Aufgaben

• Weiterentwicklung der Plattformarchitektur
• Analyse und Weiterentwicklung der Ziel- und Referenzarchitektur der hybriden Daten- und KI-Plattform unter Berücksichtigung von Microsoft Azure, Azure Databricks, DBMC/DBCS sowie der On-Prem-KI-Infrastruktur.
• Architektur und Weiterentwicklung von Azure Databricks
• Konzeption und Weiterentwicklung von Workspace-, Umgebungs-, Compute-, Netzwerk-, Identitäts- und Berechtigungsstrukturen sowie Unity Catalog und weiterer zentraler Databricks-Plattformfunktionen.
• Architektur der bestehenden KI-Plattform und On-Prem-Infrastruktur
• Konzeption und Weiterentwicklung containerisierter Daten- und KI-Plattformkomponenten auf DBMC/DBCS sowie Kubernetes-/k3s-basierter GPU- und CPU-Workloads auf der On-Prem-KI-Infrastruktur einschließlich der erforderlichen Schnittstellen und Integrationen.
• Migration und Modernisierung bestehender Lösungen
• Analyse bestehender Daten-, ETL-/ELT-, Machine-Learning- und KI-Lösungen sowie Entwicklung geeigneter Ziel- und Übergangsarchitekturen für deren Modernisierung, Integration oder Migration auf die strategischen Plattformkomponenten.
• MLOps und KI-Plattformfähigkeiten
• Konzeption standardisierter Architekturen für Training, Experiment Tracking, Modellversionierung, Deployment, Model Serving, Inference und Monitoring über Cloud-, Container- und On-Prem-Ressourcen.
• Automatisierung und standardisierte Bereitstellung
• Konzeption wiederverwendbarer Infrastructure-as-Code-, CI/CD- und GitOps-Verfahren, insbesondere unter Nutzung von Terraform, Databricks Asset Bundles, GitLab CI/CD, Ansible und FluxCD.
• Governance, Security und Betriebsfähigkeit
• Entwicklung technischer Standards und Guardrails unter Berücksichtigung von IT-Sicherheit, Datenschutz, Berechtigungen, Governance, Observability, Skalierbarkeit, Verfügbarkeit, Betriebsfähigkeit und Kosten.
• Technologieberatung und technische Entscheidungsgrundlagen
• Bewertung neuer Plattformtechnologien und -funktionen sowie Erarbeitung und Dokumentation von Lösungsvarianten, Architekturentscheidungen, Referenzarchitekturen und technischen Empfehlungen für die Weiterentwicklung der Daten- und KI-Plattform.

Für unseren Kunden suchen wir aktuell eine/n