Senior Data Engineer (Azure Databricks)

Callista; Frankfurt; Hybrid; EUR 70,000 - 110,000; Full time

Job summary

Callista sucht im Großraum Frankfurt am Main zwei erfahrene Data Engineers zur Aufbau einer neuen dispositiven Datenplattform (Lakehouse) auf Basis von Microsoft Azure und Databricks. Sie übernehmen die technische Federführung, bauen Data-Warehouse-/Lakehouse-Strecken und sichern Datenqualität.

Sie arbeiten im Tandem mit dem Kunden, setzen Core-Datenmodelle um (Medallion-Architektur) und teilen Databricks-/Azure-Know-how mit dem Team.

Qualifications

• Mehrjährige Erfahrung als Data Engineer, idealerweise im Aufbau von Data-Warehouse- oder Lakehouse-Lösungen.
• Sehr gute Kenntnisse in Databricks, PySpark/Spark, SQL und Delta Lake.
• Praxis mit Databricks Workflows bzw. Azure Data Factory und weiteren Azure-Datenservices.
• Erfahrung in Datenmodellierung und Historisierung (Data Vault und/oder dimensionale Modellierung).
• Kenntnisse in Git, CI/CD und automatisiertem Testing von Datenpipelines.
• Erfahrung mit KI-gestützter Entwicklung (z. B. Coding-Assistenten, agentische Workflows) von Vorteil.
• Erfahrung mit Quellsystemen und Daten im Versicherungsumfeld von Vorteil.
• Freude an Wissensvermittlung und Zusammenarbeit im gemischten Team.
• Databricks- oder Azure-Data-Engineer-Zertifizierung von Vorteil.
• Verhandlungssichere Deutsch- und gute Englischkenntnisse

Responsibilities

• Anbindung von Quellsystemen und externen Dienstleistern (Delta-Lieferungen, Dateien, APIs) sowie eines CRM-Systems inklusive automatisierter Ladeprozesse.
• Entwicklung von ETL/ELT-Strecken mit Delta-Verarbeitung, Fehlerbehandlung und nachvollziehbaren Wiederanlaufverfahren.
• Umsetzung der Dublettenbereinigung und Zusammenführung von Kunden- und Vermittlerdaten.
• Implementierung des Core-Datenmodells mit Historisierung entlang der Medallion-Architektur (Databricks, PySpark, SQL).
• Umsetzung von Datenqualitätsregeln, Prüfroutinen, Monitoring und Alerting.
• Bereitstellung von Exporten und Rückflüssen an operative Systeme (z. B. Kampagnenselektionen für das CRM).
• Mitarbeit an Entwicklungspipeline und CI/CD, Rollen und Berechtigungen, Data Catalog und Lineage.
• Dokumentation, Runbooks und Wissenstransfer im Tandem mit dem Kundenteam.

Skills

Databricks

PySpark/Spark

SQL

Delta Lake

Azure Data Factory

Git

CI/CD

automatisiertes Testing

Datenmodellierung

Data Vault

Insurance domain knowledge

Wissensvermittlung

Tools

Databricks

Azure Data Factory

Git

CI/CD Tools

Data Catalog

Job description

Für unseren Kunden, ein Versicherungsunternehmen im Großraum Frankfurt am Main, suchen wir im Rahmen des Aufbaus einer neuen dispositiven Datenplattform (Lakehouse) auf Basis von Microsoft Azure und Databricks zwei erfahrene Data Engineers. Du baust die Datenstrecken von den Quellsystemen bis in das Core-Modell und übernimmst dabei die technische Federführung in der Umsetzung. Du arbeitest im Tandem mit Mitarbeitenden des Kunden und gibst dein Databricks-Know-how aktiv weiter.

Aufgaben

Anbindung von Quellsystemen und externen Dienstleistern (Delta-Lieferungen, Dateien, APIs) sowie eines CRM-Systems inklusive automatisierter Ladeprozesse

Entwicklung von ETL/ELT-Strecken mit Delta-Verarbeitung, Fehlerbehandlung und nachvollziehbaren Wiederanlaufverfahren

Umsetzung der Dublettenbereinigung und Zusammenführung von Kunden- und Vermittlerdaten

Implementierung des Core-Datenmodells mit Historisierung entlang der Medallion-Architektur (Databricks, PySpark, SQL)

Umsetzung von Datenqualitätsregeln, Prüfroutinen, Monitoring und Alerting

Bereitstellung von Exporten und Rückflüssen an operative Systeme (z. B. Kampagnenselektionen für das CRM)

Mitarbeit an Entwicklungspipeline und CI/CD, Rollen und Berechtigungen, Data Catalog und Lineage

Dokumentation, Runbooks und Wissenstransfer im Tandem mit dem Kundenteam

Stellenanforderungen

Anforderungen

Mehrjährige Erfahrung als Data Engineer, idealerweise im Aufbau von Data-Warehouse- oder Lakehouse-Lösungen

Sehr gute Kenntnisse in Databricks, PySpark/Spark, SQL und Delta Lake

Praxis mit Databricks Workflows bzw. Azure Data Factory und weiteren Azure-Datenservices

Erfahrung in Datenmodellierung und Historisierung (Data Vault und/oder dimensionale Modellierung)

Kenntnisse in Git, CI/CD und automatisiertem Testing von Datenpipelines

Erfahrung mit KI-gestützter Entwicklung (z. B. Coding-Assistenten, agentische Workflows) von Vorteil

Erfahrung mit Quellsystemen und Daten im Versicherungsumfeld von Vorteil

Freude an Wissensvermittlung und Zusammenarbeit im gemischten Team

Databricks- oder Azure-Data-Engineer-Zertifizierung von Vorteil

Verhandlungssichere Deutsch- und gute Englischkenntnisse

Generelle Rahmenbedingungen

Dauer: bis 31.03.2027 mit Option auf Verlängerung (Folgephasen geplant bis Ende 2028)

Arbeitsort: Großraum Frankfurt am Main (Deutschland)

Onsite/Remote: In den ersten 2–3 Monaten hoher Onsite-Anteil (3–4 Tage pro Woche), danach ca. 2 Tage onsite, Rest remote

Kundengespräch: Verfügbarkeit für Interviews beim Kunden Ende Oktober 2026

• Frankfurt , Deutschland