Data Engineer Databricks / Lakehouse (w/m/d)

1&1 Telecommunication SE; Karlsruhe; Hybrid; EUR 60.000 - 80.000; Vollzeit

Benefits dieser Stelle

Attraktives Gehalt

Vertrauensarbeitszeit mit flexibler Einteilung

Zahlreiche Weiterbildungsmöglichkeiten

Betriebseigenes Restaurant

Rabatte auf 1&1 Produkte

Kostenlose Getränke und frisches Obst

Jobrad-Zuschuss

Zusammenfassung

1&1 Telecommunication SE in Karlsruhe sucht einen Data Engineer zur aktiven Gestaltung der Datenlandschaft. In dieser Rolle entwickelt und implementiert Sie ETL-/ELT-Pipelines unter Verwendung von Python und Databricks, optimieren Datenpipelines für beste Performance.

Erforderlich sind ein abgeschlossenes Studium in Informatik und mindestens drei Jahre Erfahrung im Data Engineering sowie sehr gute Kenntnisse in Python und Databricks. Attraktive Gehälter und flexible Arbeitszeiten gehören zu unseren Angeboten.

Qualifikationen

• Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering.
• Sehr gute Kenntnisse in Python, insbesondere PySpark.
• Erfahrung mit Microsoft SQL Server und SQL.
• Analytische und lösungsorientierte Arbeitsweise.
• Verständnis von Data Governance und Metadatenmanagement.

Aufgaben

• Entwurf und Betrieb moderner ETL-/ELT-Pipelines auf Databricks.
• Ablösung bestehender Data-Warehouse-Strukturen durch Lakehouse-Architekturen.
• Implementierung von Datenqualitätsprüfungen und Migration bestehender Systeme.
• Optimierung von Datenpipelines hinsichtlich Performance und Kosten.

Kenntnisse

Python

Databricks

ETL/ELT-Prozesse

Apache Spark

SQL

Datenmodellierung

Orchestrierungstools

Data Governance

Ausbildung

Abgeschlossenes Studium in Informatik, Data Engineering oder Wirtschaftsinformatik

Tools

Databricks Workflows

Airflow

Jobbeschreibung

Stellenbeschreibung

In dieser Rolle gestalten Sie aktiv die Transformation unserer Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Sie schaffen die Grundlage für datengetriebene Entscheidungen sowie innovative AI-Use-Cases.

• Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
• Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
• Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
• Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
• Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
• Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
• Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
• Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
• Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
• Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
• Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance

Profilbeschreibung

• Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
• Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
• Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
• Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
• Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
• Analytische, strukturierte und lösungsorientierte Arbeitsweise
• Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
• Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
• Verständnis von Data Governance, Compliance sowie Metadatenmanagement

Wir bieten

• Attraktives Gehalt
• Starke Gemeinschaft aus Teamplayern
• Vertrauensarbeitszeit mit flexibler Einteilung und der Möglichkeit, bis zu 40% mobil zu arbeiten
• Zahlreiche Weiterbildungsmöglichkeiten on- und offline
• Rabatte auf 1&1 Produkte und für diverse Freizeitangebote
• Betriebseigenes Restaurant
• Kostenlose Getränke und frisches Obst
• Jobrad-Zuschuss