Aktuelle Projekte - Databricks Data Engineer (m/w/d)

Synergie-Effekt GmbH; Köln; Hybride; EUR 70 000 - 100 000; Plein temps

Résumé du poste

Synergie-Effekt GmbH in Köln sucht einen Databricks Data Engineer (m/w/d), der eng mit Fachbereichen und anderen Data Engineers zusammenarbeitet und robuste, skalierbare Datenlösungen liefert. Im Scrum-Setup migrierst du ETL-Strecken in Databricks und führst die Azure-/Databricks-Zielarchitektur weiter, inklusive Governance und Datenqualität.

Du migrierst ETL-Prozesse, sorgst für Tests, Parallelbetrieb und Cutover, modellierst Daten im DWH-Umfeld und bringst Erfahrung in Delta Lake, Unity

Qualifications

• Fundierte Praxis in der Umsetzung von Lakehouse Architekturen sowie im Aufbau und Betrieb von Databricks.

Responsabilités

• Gewährleistung robuster, skalierbarer Datenlösungen in Zusammenarbeit mit Fachbereichen und Data Engineers.

Connaissances

Databricks

Lakehouse

Python

PySpark

SQL

ETL

Data governance

Agile / SCRUM

German language

Outils

Delta Lake

Unity Catalog

DLT/SDP

Azure

Description du poste

Titel / Position: Databricks Data Engineer (m/w/d)

Beschreibung: Für unseren Endkunden suchen wir ab November einen Databricks Data Engineer (m/w/d) Als Databricks Data Engineer arbeitest du eng mit Fachbereichen und anderen Data Engineers zusammen und lieferst robuste, skalierbare Datenlösungen --- iterativ, kundenorientiert und im Scrum-Setup. Auf dem Weg zu unserer Azure-/Databricks-Zielarchitektur überführst du das bestehende Oracle-/Informatica-DWH in eine moderne Azure-Lakehouse-Architektur. Du migrierst ETL-Prozesse in performante Databricks-Pipelines, stellst Datenqualität und Governance sicher und begleitest Tests, Parallelbetrieb sowie den Cutover.

Anforderungen:

Databricks & Lakehouse Erfahrung –

• - fundierte Praxis in der Umsetzung von Lakehouse Architekturen sowie im Aufbau und Betrieb von Databricks.
• - tiefe Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP, Berechtigungsmodellen und Governance Mechanismen.

Programmier- & Datenkompetenz –

• - fundierte Erfahrung in Python, PySpark und SQL sowie in der Performance-Optimierung großer Datenmengen.
• - AI-basierte Unterstützung wird souverän zur Effizienzsteigerung eingesetzt.

Migrationsexpertise – idealerweise Erfahrung in der Ablösung klassischer ETL-Strecken und Überführung nach Databricks.

Datenmodellierung & DWH-Expertise –

• - fundierte Erfahrung im klassischen Business Intelligence Umfeld: Datenhaltung, Datenmodellierung, Datentransport, Historisierung nach SCD2.

• Agile Arbeitsweise – Erfahrung als Entwickler innerhalb eines SCRUM Teams.
• Kommunikation – ausgezeichnete Deutschkenntnisse in Wort und Schrift sowie die Fähigkeit, sicher und klar mit Fachbereichen und anderen Entwicklungsteams zu kommunizieren.