Cloud Data Engineer: Azure Databricks & ETL Expert (Remote)

ALTEN Germany; Germany (OH); Hybrid; USD 69,808 - 93,077; Full time

Benefits offered by this job

Zukunftsorientierter Arbeitsplatz mit unbefristetem Arbeitsvertrag

Mobiles Arbeiten nach Absprache

Flexible Arbeitszeitgestaltung

Subventioniertes Sportangebot

Attraktive Corporate Benefits

Job summary

Ein führendes Technologieunternehmen sucht einen Data Engineer, um an der Weiterentwicklung einer Azure-basierten Datenintegrationsplattform zu arbeiten. Die Rolle umfasst die Konzeption, Implementierung und den Betrieb von ETL- und Transformationspipelines. Gesucht wird jemand mit mehrjähriger Erfahrung in Python und SQL, sowie Kenntnissen in Apache Spark und CI/CD-Pipelines. Es wird ein zukunftsorientierter Arbeitsplatz mit flexiblen Arbeitszeiten und umfangreichen Gesundheitsangeboten geboten.

Qualifications

• Mehrjährige praktische Erfahrung in der Entwicklung mit Python.
• Fundierte Kenntnisse in SQL sowie Erfahrung mit Apache Spark.
• Nachweisliche Erfahrung in der Konzeption und Implementierung von ETL- und Datenpipelines.
• Praxiserfahrung mit Azure Databricks.
• Erfahrung im Aufbau und in der Nutzung von CI/CD-Pipelines.

Responsibilities

• Mitarbeit an der Weiterentwicklung einer Azure-basierten Datenintegrationsplattform.
• Konzeption, Implementierung und Betrieb von ETL- und Transformationspipelines.
• Anbindung unterschiedlicher Quellsysteme sowie technische Unterstützung bei der Überführung von Daten.
• Unterstützung weiterer Data Engineers bei der Einhaltung von Entwicklungsstandards.
• Implementierung stabiler Datenextraktionsprozesse sowie Sicherstellung eines kontinuierlichen Betriebs.
• Übersetzung fachlicher Anforderungen in technische Lösungen.

Skills

Python

SQL

Apache Spark

ETL- und Datenpipelines

Azure Databricks

CI/CD-Pipelines

Git

Terraform

Docker

Job description

Die ALTEN Consulting Services GmbH bietet mit über 20 Jahren Branchenerfahrung ihren namhaften Kunden aus Industrie und Wirtschaft hochspezialisierte Engineering- und IT-Dienstleistungen zur gemeinsamen Realisierung von branchen- und technologieübergreifenden Lösungen an.

Kompetenz, Engagement und Leidenschaft verbinden alle unsere Mitarbeiter der ALTEN Consulting Services GmbH. Dabei stehen ein partnerschaftliches Miteinander, ein starkes WIR-Gefühl, der persönliche Kontakt zu unseren Kunden und die Kreativität jedes Einzelnen stets im Fokus. Werde auch Du Teil unserer Erfolgsgeschichte.

Im Rahmen eines konzernweiten Transformationsprogramms wird eine zentrale Datenplattform zur Digitalisierung des Energienetzgeschäfts weiterentwickelt.

Ziel ist es, die Daten regionaler Verteilnetzbetreiber in einer einheitlichen Umgebung zu bündeln, verfügbar zu machen und als Grundlage für die Entwicklung skalierbarer, effizienter und zukunftsorientierter Lösungen zu nutzen.

Die Plattform bildet das Fundament für die schnelle Umsetzung neuer datengetriebener Anwendungen sowie für deren kosteneffizienten Roll-out innerhalb der Netzorganisation.

Aufgaben

• Mitarbeit an der Weiterentwicklung einer Azure-basierten Datenintegrationsplattform (Schwerpunkt: Databricks und Unity Catalog)
• Konzeption, Implementierung und Betrieb von ETL- und Transformationspipelines
• Anbindung unterschiedlicher Quellsysteme sowie technische Unterstützung bei der Überführung von Daten in ein einheitliches Datenmodell
• Unterstützung weiterer Data Engineers bei der Einhaltung von Entwicklungsstandards, der Wiederverwendung von Code und der Sicherstellung konsistenter Transformationslogiken
• Implementierung stabiler Datenextraktionsprozesse sowie Sicherstellung eines kontinuierlichen und zuverlässigen Betriebs
• Übersetzung fachlicher Anforderungen in skalierbare und robuste technische Lösungen
• Erstellung und Dokumentation technischer Konzepte sowie Abstimmung mit technischen und fachlichen Stakeholdern

Anforderungen

• Mehrjährige praktische Erfahrung in der Entwicklung mit Python
• Fundierte Kenntnisse in SQL sowie Erfahrung mit Apache Spark
• Nachweisliche Erfahrung in der Konzeption und Implementierung von ETL- und Datenpipelines
• Praxiserfahrung mit Azure Databricks
• Erfahrung im Aufbau und in der Nutzung von CI/CD-Pipelines
• Sicherer Umgang mit Git
• Idealerweise Kenntnisse in Terraform und Docke

Unsere Benefits

• Zukunftsorientierter Arbeitsplatz mit unbefristetem Arbeitsvertrag
• Mobiles Arbeiten nach Absprache
• Flexible Arbeitszeitgestaltung mit Gleitzeitkontenregelung
• Subventioniertes und umfangreiches Sportangebot mit Wellpass
• Attraktive Corporate Benefits und Mitarbeiterangebote bei unseren Partnern