Senior Consultant Data Platforms Engineer - Databricks (Financial Services) (w/m/d)

EY; Köln; On-site; EUR 60,000 - 80,000; Full time

Benefits offered by this job

Inspirierende Kolleg:innen

Trainings- und Entwicklungsmöglichkeiten

Flexibles Arbeitsumfeld

Job summary

EY sucht einen erfahrenen Dateningenieur in Köln, der für die Konzeptionierung und Implementierung von Datenarchitekturen verantwortlich ist. Ihre Hauptaufgaben umfassen die Entwicklung von End-to-End-Datenpipelines auf Databricks und die Integration mit verschiedenen Systemen, einschließlich BI-Tools wie Power BI.

Ein abgeschlossenes Studium in Informatik und über drei Jahre Erfahrung im Data Engineering sind erforderlich. Zudem erwarten wir sehr gute Kommunikationsfähigkeiten in Deutsch und Englisch sowie eine proaktive, teamorientierte Denkweise.

Qualifications

• Mehr als drei Jahre Erfahrung im Data Engineering auf Cloud-Plattformen.
• Praktisches Verständnis für Data Governance und Datensicherheit.
• Starke Beratungs- und Engineeringkompetenzen.

Responsibilities

• Entwicklung von KI-bereiten Lakehouse-Architekturen.
• Konzeptionierung von End-to-End-Datenpipelines.
• Integration mit vor- und nachgelagerten Systemen.
• Definition und Konfiguration der Data Governance-Funktionen.
• Zusammenarbeit mit Architekten und Product Ownern.

Skills

Data Engineering

Cloud-Plattformen

Datenmodellierung

Data Governance

SQL

PySpark

CI/CD

Datenqualitätsprüfungen

Deutsch (C1)

Englisch

Education

Abgeschlossenes Studium der Informatik oder ähnlichem

Tools

Databricks

Kafka/Confluent

Azure Data Factory

Power BI

Job description

Deine Aufgaben

• Konzeptionierung und Implementierung von KI-bereiten Lakehouse-Architekturen mit Delta Lake und dem Medallion-Pattern, Entwurf von Datenmodellen unter Berücksichtigung von Metadaten und einem semantischen Layer, Einführung von Data Mesh und Datenprodukten, Aufbau zuverlässiger Ingestions- und Transformationsprozesse mittels z. B. Auto Loader und/oder Delta Live Tables sowie Integration von Datenqualitätsprüfungen und SLAs
• Entwicklung von End‑to‑End‑Datenpipelines auf Databricks und ähnlichen Lösungen (bevorzugt mit Erfahrung in Azure), unter Verwendung von PySpark und SQL für Batch‑ und Streaming‑Verarbeitung sowie Implementierung von DataOps‑Praktiken inkl. CI/CD, automatisierten Tests und Deployment‑Strategien für skalierbare Datenplattformen
• Integration mit vor‑ und nachgelagerten Systemen (z. B. Kafka/Confluent, Event Hubs, REST‑APIs, ADLS/S3; BI‑Tools wie Power BI und Databricks SQL Warehouses), sowie Orchestrierung und Aufsatz von Monitoring von Workflows (z. B. Databricks Workflows, Airflow, Azure Data Factory) und FinOps für Cloud‑Datenplattformen
• Definition und Konfiguration der Data Governance‑Funktionalitäten: Kataloge, Schemata, Berechtigungen, Data Lineage, Auditing, Zugriffsteuerung auf Zeilen‑ und Spaltenebene. Anwendung von "Security, Privacy and Compliance by Design" (DSGVO, BaFin‑Vorgaben) und Implementierung von SSO/SCIM, Secret Scopes, Netzwerkisolierung/Private‑Link‑Verschlüsselung
• Zusammenarbeit mit Architekten, Analysten und Product Ownern, Dokumentation von Entwürfen, Austausch von Best Practices, Mentoring für Junior Engineers. Mitarbeit an Angeboten, Accelerators und Unterstützung in der Übergabe in den operativen Betrieb sowie Incident‑Behebung

Dein Skillset

• Abgeschlossenes Studium der (Wirtschafts‑)Informatik, (Wirtschafts‑)Mathematik, Physik, Statistik, des Ingenieurwesens oder einer anderen Technologiestudienrichtung mit mehr als drei Jahren Erfahrung im Data Engineering auf Cloud‑Plattformen
• Praktisches Verständnis für Data Governance und Datensicherheit in regulierten Umgebungen, sowie starke Beratungs-, (Software‑)Engineering‑ und Technologiestrategiekompetenzen mit Fokus auf die Umsetzung von Geschäftszielen in skalierbare, zukunftssichere Lösungsarchitekturen für moderne Daten- und Cloud‑Plattformen
• Sehr gute Kommunikationsfähigkeiten in Deutsch (mindestens C1‑Niveau) und Englisch

Dein Mindset

• Agil: Du bist der Meinung, dass eine flexible Denkweise genauso wichtig für den Erfolg ist wie Wissen und Fähigkeiten.
• Neugierig: Du bist ambitioniert und engagiert. Wir suchen Menschen, die in Chancen und nicht in Herausforderungen denken und durch gezielte Fragen bessere Lösungen finden.
• Teamorientiert: Du schätzt vielfältige Perspektiven und arbeitest gerne im Team. Wir suchen Menschen, die gemeinsam mit uns etwas erreichen und ein vertrauensvolles Arbeitsumfeld schaffen wollen.

Deine Benefits

Bei EY arbeitest du in leistungsstarken, interdisziplinären Teams mit innovativen Technologien. In einem flexiblen und inklusiven Arbeitsumfeld unterstützen wir dich in deinen unterschiedlichen Lebenssituationen. Inspirierende Kolleg:innen sowie Trainings- und Entwicklungsmöglichkeiten on‑ und off‑the‑Job helfen dir dabei, über dich hinauszuwachsen und die Fähigkeiten weiterzuentwickeln, die du zukünftig brauchst. Eine steile Lernkurve ist dir garantiert.

Diversity & Inclusion

Bei EY leben wir Vielfalt und begrüßen alle Bewerbungen. Wir unterstützen dich hinsichtlich eines barrierefreien Bewerbungsprozesses, wenn du uns frühzeitig Bescheid gibst.