Senior Dateningenieur* Databricks & Lakehouse #11296

Cegeka; Köln; Hybrid; EUR 90,000 - 120,000; Full time

Job summary

Cegeka sucht erfahrene Data-Engineer-Experten zur Migration von ETL-Prozessen in Databricks-Pipelines und zum Aufbau einer skalierbaren Lakehouse-Architektur. Sie arbeiten mit Databricks, Delta Lake, Unity Catalog und DLT/SDP, sichern Datenqualität, Governance und Berechtigungen.

Sie entwickeln und optimieren mit Python, PySpark und SQL, optimieren große Datenmengen und begleiten Tests, Parallelbetrieb sowie Cutover. Zusammenarbeit mit Fachbereichen und Entwicklerteams ist Teil der Rolle.

Qualifications

• Fundierte praktische Erfahrung mit Databricks und Lakehouse-Architekturen.
• Sehr gute Kenntnisse in Delta Lake und Unity Catalog.
• Erfahrung mit DLT/SDP, Berechtigungsmodellen und Data Governance.
• Sehr gute Kenntnisse in Python, PySpark und SQL.
• Erfahrung in der Verarbeitung und Performance-Optimierung großer Datenmengen.
• Fundierte Erfahrung im Data-Warehouse-/Business-Intelligence-Umfeld.
• Erfahrung mit Datenmodellierung, Datentransport und SCD2-Historisierung
• Erfahrung in agilen Scrum-Teams.
• Ausgezeichnete Deutschkenntnisse in Wort und Schrift.

Responsibilities

• Migration bestehender ETL-Prozesse in performante Databricks-Pipelines.
• Aufbau und Weiterentwicklung einer skalierbaren Lakehouse-Architektur.
• Arbeit mit Databricks, Delta Lake, Unity Catalog und DLT/SDP.
• Sicherstellung von Datenqualität, Governance und Berechtigungskonzepten.
• Entwicklung und Optimierung mit Python, PySpark und SQL.
• Performance-Optimierung bei großen Datenmengen.
• Begleitung von Tests, Parallelbetrieb und Cutover.
• Datenmodellierung, Datenhaltung und Historisierung, insbesondere SCD2.
• Enge Zusammenarbeit mit Fachbereichen und anderen Entwicklungsteams.
• Aktive Mitarbeit innerhalb eines Scrum-Teams.

Skills

Databricks

Lakehouse-Architektur

Delta Lake

Unity Catalog

DLT/SDP

Data Governance

Python

PySpark

SQL

Datenmodellierung

SCD2

Agile Scrum

Data Warehouse/BI

Deutschkenntnisse

Tools

Databricks

Delta Lake

Unity Catalog

DLT/ SDP

Job description

DIESE LEISTUNGEN ÜBERNIMMST DU

• Migration bestehender ETL-Prozesse in performante Databricks-Pipelines
• Aufbau und Weiterentwicklung einer skalierbaren Lakehouse-Architektur
• Arbeit mit Databricks, Delta Lake, Unity Catalog und DLT/SDP
• Sicherstellung von Datenqualität, Governance und Berechtigungskonzepten
• Entwicklung und Optimierung mit Python, PySpark und SQL
• Performance-Optimierung bei großen Datenmengen
• Begleitung von Tests, Parallelbetrieb und Cutover
• Datenmodellierung, Datenhaltung und Historisierung, insbesondere SCD2
• Enge Zusammenarbeit mit Fachbereichen und anderen Entwicklungsteams
• Aktive Mitarbeit innerhalb eines Scrum-Teams

DAS BRINGST DU MIT

Must-haves:

• Fundierte praktische Erfahrung mit Databricks und Lakehouse-Architekturen
• Sehr gute Kenntnisse in Delta Lake und Unity Catalog
• Erfahrung mit DLT/SDP, Berechtigungsmodellen und Data Governance
• Sehr gute Kenntnisse in Python, PySpark und SQL
• Erfahrung in der Verarbeitung und Performance-Optimierung großer Datenmengen
• Fundierte Erfahrung im Data-Warehouse-/Business-Intelligence-Umfeld
• Erfahrung mit Datenmodellierung, Datentransport und SCD2-Historisierung
• Erfahrung in agilen Scrum-Teams
• Ausgezeichnete Deutschkenntnisse in Wort und Schrift

Nice-to-have:

• Erfahrung bei der Ablösung klassischer ETL-/DWH-Landschaften und Migration nach Databricks
• Sicherer Einsatz AI-basierter Unterstützung zur Effizienzsteigerung

DAS BIETEN WIR

Abwechslung und Sicherheit – im Klartext heißt das: Du profitierst von unserer Marktkompetenz und den stabilen, langjährigen Beziehungen zu unseren Kunden in Deutschland und europaweit. Wir haben nationale und internationale Projekte für Dich. Natürlich in renommierten Unternehmen und technologisch anspruchsvollen Branchen. Faire Vertragsbedingungen und eine schnelle und unbürokratische Arbeitsweise verstehen sich bei uns von selbst.