Data Engineer Databricks / Lakehouse (w/m/d)

1&1 Telecommunication SE

Karlsruhe

Hybrid

EUR 60,000 - 80,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Attraktives Gehalt
Vertrauensarbeitszeit mit flexibler Einteilung
Zahlreiche Weiterbildungsmöglichkeiten
Betriebseigenes Restaurant
Rabatte auf 1&1 Produkte
Kostenlose Getränke und frisches Obst
Jobrad-Zuschuss

Job summary

1&1 Telecommunication SE in Karlsruhe sucht einen Data Engineer zur aktiven Gestaltung der Datenlandschaft. In dieser Rolle entwickelt und implementiert Sie ETL-/ELT-Pipelines unter Verwendung von Python und Databricks, optimieren Datenpipelines für beste Performance.

Erforderlich sind ein abgeschlossenes Studium in Informatik und mindestens drei Jahre Erfahrung im Data Engineering sowie sehr gute Kenntnisse in Python und Databricks. Attraktive Gehälter und flexible Arbeitszeiten gehören zu unseren Angeboten.

Qualifications

  • Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering.
  • Sehr gute Kenntnisse in Python, insbesondere PySpark.
  • Erfahrung mit Microsoft SQL Server und SQL.
  • Analytische und lösungsorientierte Arbeitsweise.
  • Verständnis von Data Governance und Metadatenmanagement.

Responsibilities

  • Entwurf und Betrieb moderner ETL-/ELT-Pipelines auf Databricks.
  • Ablösung bestehender Data-Warehouse-Strukturen durch Lakehouse-Architekturen.
  • Implementierung von Datenqualitätsprüfungen und Migration bestehender Systeme.
  • Optimierung von Datenpipelines hinsichtlich Performance und Kosten.

Skills

Python
Databricks
ETL/ELT-Prozesse
Apache Spark
SQL
Datenmodellierung
Orchestrierungstools
Data Governance

Education

Abgeschlossenes Studium in Informatik, Data Engineering oder Wirtschaftsinformatik

Tools

Databricks Workflows
Airflow

Job description

Stellenbeschreibung

In dieser Rolle gestalten Sie aktiv die Transformation unserer Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Sie schaffen die Grundlage für datengetriebene Entscheidungen sowie innovative AI-Use-Cases.

  • Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
  • Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
  • Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
  • Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
  • Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
  • Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
  • Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
  • Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
  • Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
  • Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
  • Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance
Profilbeschreibung
  • Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
  • Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
  • Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
  • Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
  • Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
  • Analytische, strukturierte und lösungsorientierte Arbeitsweise
  • Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
  • Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
  • Verständnis von Data Governance, Compliance sowie Metadatenmanagement
Wir bieten
  • Attraktives Gehalt
  • Starke Gemeinschaft aus Teamplayern
  • Vertrauensarbeitszeit mit flexibler Einteilung und der Möglichkeit, bis zu 40% mobil zu arbeiten
  • Zahlreiche Weiterbildungsmöglichkeiten on- und offline
  • Rabatte auf 1&1 Produkte und für diverse Freizeitangebote
  • Betriebseigenes Restaurant
  • Kostenlose Getränke und frisches Obst
  • Jobrad-Zuschuss
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer – Schwerpunkt Databricks (m/w/d)
Data Engineer – Schwerpunkt Databricks (m/w/d)

FEGA & Schmitt Elektrogroßhandel GmbH • Ansbach

Hybrid
EUR 70,000 - 110,000
Flexibles Arbeitszeitmodell
30 Tage Urlaub
Betriebliche Altersvorsorge
+1
Databricks Data Engineer (m/w/d)
Databricks Data Engineer (m/w/d)

Devoteam • Frankfurt

Hybrid
EUR 70,000 - 110,000
Moderne Büros in München & Frankfurt
Hybrid Working
Devoteam Academy
+5
Databricks Data Engineer (m/w/d)
Databricks Data Engineer (m/w/d)

Devoteam • München

Hybrid
EUR 70,000 - 120,000
Moderne Büros in München/Frankfurt
Flexibles Hybrid Working
Devoteam Academy Trainings & Sprachkur
+4
Senior - Data Engineering (m/w/d) Azure und Databricks
Senior - Data Engineering (m/w/d) Azure und Databricks

SkelTech GmbH • Frechen

Hybrid
EUR 75,000 - 95,000
Prämie bis 200%
Weiterbildungen
Meet-ups & Messen
+6
Senior Data Engineer (m/w/d)
Senior Data Engineer (m/w/d)

MM Software • Hannover

Hybrid
EUR 90,000 - 125,000
Flexible Arbeitsmodelle
Gleitzeitregelung
Workation-Angebot
+7
Databricks Data Engineer (m/w/d)
Databricks Data Engineer (m/w/d)

Dataciders GmbH • Berlin

Hybrid
EUR 70,000 - 100,000
Data Scientist / Data Engineer (m/w/d)
Data Scientist / Data Engineer (m/w/d)

FEGA & Schmitt Elektrogroßhandel GmbH • Bayern

On-site
EUR 60,000 - 80,000
Flexible Arbeitszeitgestaltung
30 Tage Urlaub
Betriebliche Altersvorsorge
+2
Databricks Data Engineer (m/w/d)
Databricks Data Engineer (m/w/d)

Dataciders GmbH • Germany

Hybrid
EUR 55,000 - 80,000
Flexible Arbeitszeiten
Remote-Arbeit möglich
Team-Events
+2
Senior - Data Engineering (m/w/d) Azure und Databricks
Senior - Data Engineering (m/w/d) Azure und Databricks

SkelTech GmbH • Frechen

On-site
EUR 70,000 - 110,000
Leistungsbezogene Prämie bis zu 200%
Unterstützung bei Weiterbildungen und证
Meet-ups und Messen
+3
Senior Databricks Architect (m/w/d)
Senior Databricks Architect (m/w/d)

Dataciders GmbH • Berlin

Hybrid
EUR 90,000 - 130,000
Flexible Arbeitszeiten
Remote-Option
Persönliche Weiterentwicklung
+2