Senior Consultant Data Platforms Engineer - Databricks (Financial Services) (w/m/d)

Projectstudy; Köln; Vor Ort; EUR 90.000 - 130.000; Vollzeit

Benefits dieser Stelle

Benefits-Programm

Weiterbildungsmöglichkeiten

Flexible Arbeitszeiten

Zusammenfassung

EY sucht eine erfahrene Fachkraft für Data Engineering in Köln, um komplexe Lakehouse-Architekturen mit Delta Lake zu konzipieren und zu implementieren.Sie arbeiten an End-to-End-Pipelines auf Databricks/Azure, nutzen PySpark und SQL für Batch- und Streaming-Verarbeitung und setzen DataOps mit CI/CD um.

Sie arbeiten eng mit Architekten, Analysten und Product Ownern zusammen, dokumentieren Entwürfe und beteiligen sich an Angeboten sowie Accelerators.

Qualifikationen

• Abgeschlossenes Studium der Informatik bzw. Wirtschaftsinformatik oder vergleichbare Qualifikation.
• Praktische Erfahrung in Data Governance und Datensicherheit in regulierten Umgebungen.
• Sehr gute Deutsch- und Englischkenntnisse in Wort und Schrift.

Aufgaben

• Konzeption und Implementierung von KI-basierten Lakehouse-Architekturen mit Delta Lake und Data Mesh.
• Entwicklung von End-to-End-Datenpipelines auf Cloud-Plattformen (Databricks/Azure) mit PySpark und SQL.
• Integration mit Kafka/Confluent, REST-APIs und BI-Tools; Monitoring von Workflows und FinOps.

Kenntnisse

Data Governance

Data Security

Kommunikation (DE/EN)

Ausbildung

Universitätsabschluss in Informatik/Mathematik/Wirtschaftsinformatik

Tools

Databricks

PySpark

SQL

Delta Lake

Airflow

Jobbeschreibung

Deine Aufgaben

• Konzeptionierung und Implementierung von KI-bereiten Lakehouse-Architekturen mit Delta Lake und dem Medallion-Pattern, Entwurf von Datenmodellen unter Berücksichtigung von Metadaten und einem semantischen Layer, Einführung von Data Mesh und Datenprodukten, Aufbau zuverlässiger Ingestions- und Transformationsprozesse mittels z.B. Auto Loader und/oder Delta Live Tables sowie Integration von Datenqualitätsprüfungen und SLAs


• Entwicklung von End-to-End-Datenpipelines auf Databricks und ähnlichen Lösungen (bevorzugt mit Erfahrung in Azure), unter Verwendung von PySpark und SQL für Batch- und Streaming-Verarbeitung sowie Implementierung von DataOps-Praktiken inkl. CI/CD, automatisierten Tests und Deployment-Strategien für skalierbare Datenplattformen


• Integration mit vor- und nachgelagerten Systemen (z.B. Kafka/Confluent, Event Hubs, REST-APIs, ADLS/S3; BI-Tools wie PowerBI und DatabricksSQL Warehouses), genauso wie Orchestrierung und Aufsatz von Monitoring von Workflows (z.B. Databricks Workflows, Airflow, Azure Data Factory) und FinOps für Cloud Datenplattformen


• Definition und Konfiguration und der Data Governance Funktionalitäten: Kataloge, Schemata, Berechtigungen, Data Lineage, Auditing, Zugriffssteuerung auf Zeilen- und Spaltenebene. Ebenso Anwendung von „Security, Privacy and Compliance by Design“ (DSGVO, BaFin‑Vorgaben) und Implementierung von SSO/SCIM, Secret Scopes, Netzwerkisolierung/PrivateLink Verschlüsselung


• Zusammenarbeit mit Architekten, Analysten und Product Ownern, Dokumentation von Entwürfen, Austausch von Best Practices, Mentoring für Junior Engineers. Zudem Mitarbeit an Angeboten, Accelerators und Unterstützung in der Übergabe in den operativen Betrieb sowie Incident‑Behebung

Dein Skillset

• Abgeschlossenes Studium der (Wirtschafts‑)Informatik, (Wirtschafts‑)Mathematik, Physik, Statistik, des Ingenieurwesens oder einer anderen Studienrichtung mit technologisch‑analytischem Hintergrund und mehr als drei Jahre Erfahrung im Data Engineering auf Cloud‑Plattformen


• Praktisches Verständnis für Data Governance und Datensicherheit in regulierten Umgebungen, ebenso starke Beratungs‑, (Software‑)Engineering‑ und Technologiestrategiekompetenzen mit Fokus auf die Umsetzung von Geschäftszielen in skalierbare, zukunftssichere Lösungsarchitekturen für moderne Daten‑ und Cloud‑Plattformen


• Sehr gute Kommunikationsfähigkeiten in Deutsch (mindestens C1‑Niveau) und Englisch

Dein Mindset

• Agil: Du bist der Meinung, dass eine flexible Denkweise genauso wichtig für den Erfolg ist wie Wissen und Fähigkeiten.


• Neugierig: Du bist ambitioniert und engagiert. Wir suchen Menschen, die in Chancen und nicht in Herausforderungen denken und durch gezielte Fragen bessere Lösungen finden.


• Teamorientiert : Du schätzt vielfältige Perspektiven und arbeitest gerne im Team. Wir suchen Menschen, die gemeinsam mit uns etwas erreichen und ein vertrauensvolles Arbeitsumfeld schaffen wollen.

Deine Benefits

Bei EY arbeitest du in leistungsstarken, interdisziplinären Teams mit innovativen Technologien. In einem flexiblen und inklusiven Arbeitsumfeld unterstützen wir dich in deinen unterschiedlichen Lebenssituationen. Inspirierende Kolleg:innen sowie Trainings- und Entwicklungsmöglichkeiten on‑und off‑the‑Job helfen dir dabei, über dich hinauszuwachsen und die Fähigkeiten weiterzuentwickeln, die du zukünftig brauchst. Eine steile Lernkurve ist dir garantiert.Mehr über unsere Benefits .

Bei EY leben wir Vielfalt und begrüßen alle Bewerbungen.

Sag uns gerne frühzeitig Bescheid, wenn wir dich hinsichtlich eines barrierefreien Bewerbungsprozesses unterstützen können.

Du hast noch Fragen? Unser Recruitment Center beantwortet diese gerne unter [phone].