Data Engineer (Azure & Python) – sozialversicherungspflichtig angestellt (m/w/d)

Westhouse Group; Mainz; Hybrid; EUR 70.000 - 100.000; Vollzeit

Zusammenfassung

Westhouse Group sucht eine/n Data Engineer (Azure & Python) in Mainz mit Remote-Option. Sie arbeiten an der Entwicklung von datengetriebenen Architekturen und moderner Cloud-Datenplattformen in Azure und AWS, inklusive Data Lakes, Data Warehouses und DataHub-Strukturen.

In dieser Rolle gestalten Sie Integrationen heterogener Quellsysteme, definieren Standards und arbeiten an der Architektur-Dokumentation für die Umsetzung durch Entwicklungsteams mit Fokus auf Skalierbarkeit und Sicherheit.

Qualifikationen

• 4 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung von ETL-/ELT-Prozessen mit Python, SQL und PySpark in Cloud-Umgebungen.
• 4 Jahre Erfahrung in der Entwicklung und Modernisierung von Datenplattformen in Microsoft-Azure-Cloud-Umgebungen und Azure Services wie Azure Data Factory oder Azure Synapse.
• 4 Jahre Erfahrung in der Entwicklung von Batch- und Streaming-Datenpipelines sowie in der Kafka-basierten Datenverarbeitung zur Bereitstellung großer Datenmengen für Reporting-, Analyse-, KI- und ML-Anwendungsfälle.
• Erfahrung in der Integration heterogener Datenquellen, beispielsweise REST oder Kafka, sowie unterschiedlicher Datenformate in cloudbasierte Datenplattformen aus 2 Projekten
• 4 Jahre Erfahrung in der Modellierung von Daten heterogener Quellsysteme nach Medallion-Architektur mit Data Vault oder Star Schema
• Erfahrung in der Migration und Modernisierung bestehender Datenpipelines und Datenplattformen im Microsoft-Azure-Umfeld, inklusive Migration bestehender Azure-Synapse-Datenflüsse auf moderne cloudbasierte Datenplattformen aus einem Projekt
• 4 Jahre Erfahrung in der Konzeption und Umsetzung von Data-Hub- und Lakehouse- Architekturen.
• Erfahrung in der Implementierung und Optimierung von ETL-/ELT-Prozessen für die Verarbeitung großer Datenmengen im Cloud-Umfeld, inklusive Performance-Optimierung, Standardisierung von Entwicklungsprozessen und Review von Programmcode aus 2 Projekten
• Erfahrung in der Konzeption und Umsetzung von Data-Quality-Prüfungen, automatisierten Tests und technischen Qualitätssicherungsmaßnahmen für ETL-/ELT-Prozesse und Datenpipelines aus 2 Projekten

Aufgaben

• Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen
• Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
• Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
• Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
• Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
• Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
• Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
• Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
• Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
• Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
• Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
• Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen

Kenntnisse

ETL/ELT Python

SQL

PySpark

Azure Data Factory

Azure Synapse

Batch/Streaming

Kafka

REST & Kafka integration

Medallion Architecture

Data-Hub / Lakehouse

Tools

Azure Data Factory

Azure Synapse

Kafka

Jobbeschreibung

Westhouse ist eines der führenden Recruitment-Unternehmen für die Vermittlung hochqualifizierter Fachexperten aus dem gesamten IT-Lifecycle- und Engineering-Bereich.

Für unseren Kunden suchen wir aktuell eine/n

Data Engineer (Azure & Python) – sozialversicherungspflichtig angestellt (m/w/d) - Mainz & Remote

Rahmeninformationen

• Referenz: 180101
• Start: 2026-09-23
• Dauer: 23.09.2026 - 31.12.2027
• Standort: Mainz & Remote
• Arbeitsumfang: full-time291 PT
• Sprachen: Deutsch

Ihre Qualifikationen

• (Muss) 4 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten sowie in der Implementierung von ETL-/ELT-Prozessen mit Python, SQL und PySpark in Cloud-Umgebungen.
• (Muss) 4 Jahre Erfahrung in der Entwicklung und Modernisierung von Datenplattformen in Microsoft-Azure-Cloud-Umgebungen und Azure Services wie Azure Data Factory oder Azure Synapse.
• (Muss) 4 Jahre Erfahrung in der Entwicklung von Batch- und Streaming-Datenpipelines sowie in der Kafka-basierten Datenverarbeitung zur Bereitstellung großer Datenmengen für Reporting-, Analyse-, KI- und ML-Anwendungsfälle.
• (Muss) Erfahrung in der Integration heterogener Datenquellen, beispielsweise REST oder Kafka, sowie unterschiedlicher Datenformate in cloudbasierte Datenplattformen aus 2 Projekten
• (Muss) 4 Jahre Erfahrung in der Modellierung von Daten heterogener Quellsysteme nach Medallion-Architektur mit Data Vault oder Star Schema
• (Soll) Erfahrung in der Migration und Modernisierung bestehender Datenpipelines und Datenplattformen im Microsoft-Azure-Umfeld, inklusive Migration bestehender Azure-Synapse-Datenflüsse auf moderne cloudbasierte Datenplattformen aus einem Projekt
• (Soll) 4 Jahre Erfahrung in der Konzeption und Umsetzung von Data-Hub- und Lakehouse- Architekturen.
• (Soll) Erfahrung in der Implementierung und Optimierung von ETL-/ELT-Prozessen für die Verarbeitung großer Datenmengen im Cloud-Umfeld, inklusive Performance-Optimierung, Standardisierung von Entwicklungsprozessen und Review von Programmcode aus 2 Projekten
• (Soll) Erfahrung in der Konzeption und Umsetzung von Data-Quality-Prüfungen, automatisierten Tests und technischen Qualitätssicherungsmaßnahmen für ETL-/ELT-Prozesse und Datenpipelines aus 2 Projekten

Ihre Aufgaben

• Analyse fachlicher und technischer Anforderungen sowie Ableitung von Zielarchitekturen für datengetriebene Systeme und Plattformen
• Konzeption und Weiterentwicklung von unternehmensweiten Datenarchitekturen in cloudbasierten Umgebungen (insbesondere AWS und Azure)
• Definition von Architekturprinzipien, Standards und Best Practices für die Entwicklung und den Betrieb von Datenplattformen und Datenprodukten
• Design und Spezifikation von Datenarchitekturen für Data Lakes, Data Warehouses, DataHub-Strukturen sowie verteilte Datenplattformen
• Konzeption von Integrationsarchitekturen zur Anbindung heterogener Quellsysteme sowie zur Verarbeitung großer und komplexer Datenmengen
• Definition und Bewertung von Architekturentscheidungen im Kontext von Skalierbarkeit, Performance, Sicherheit und Wartbarkeit
• Erstellung von Architekturkonzepten und technischen Spezifikationen als Grundlage für die Umsetzung durch Entwicklungsteams
• Konzeption von Datenmodellen und Datenflüssen zur strukturierten und effizienten Verarbeitung von Daten
• Definition und Weiterentwicklung von Standards für Datenqualität, Governance, Security und Compliance im Datenumfeld
• Durchführung von Architektur-Reviews sowie Bewertung bestehender Systeme im Hinblick auf Modernisierung und Cloud-Transformation
• Konzeption von Lösungsansätzen für die Integration von Machine-Learning- und KI-Use-Cases in bestehende Datenplattformen
• Erstellung und Pflege von Architektur-Dokumentationen sowie Sicherstellung der Nachvollziehbarkeit von Designentscheidungen