Senior Databricks Data Engineer - ETL/Lakehouse (Hybrid)

Deutsche Telekom; Valencia; Híbrido; EUR 70.000 - 95.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Krankenversicherung

4 Wochen Telearbeit pro Jahr

Telemedizin

Descripción de la vacante

T-Systems Iberia sucht einen Databricks Senior Data Engineer, der das Data-Engineering-Team in einem hybriden Modell unterstützt. Du definierst ETL/ELT-Prozesse, setzt Data-Lake/Warehouse-Lakehouse-Architekturen um und bist technischer Referenzpunkt.

Du bringst mehr als 6 Jahre Erfahrung in Data Engineering mit, beherrschst Databricks, Python, SQL und Spark/PySpark, kommunizierst klar zwischen technischen und fachlichen Stakeholdern und leitest Projekte agil.

Formación

• Mehr als 6 Jahre Erfahrung im Data Engineering und in Datenintegrationsprojekten.
• Umfangreiche Erfahrung in der Definition und Implementierung komplexer ETL/ELT-Prozesse.
• Fortgeschrittene Databricks-Kenntnisse.
• Fortgeschrittene Python-Kenntnisse.
• Fortgeschrittene SQL-Kenntnisse.
• Erfahrung mit verteilter Verarbeitung mittels Spark/PySpark.
• Erfahrung im Design moderner Datenarchitekturen (Data Lake, Data Warehouse, Lakehouse).
• Fundierte Kenntnisse in der Datenqualitätssicherung (Validierungen, Kontrollen, Abgleich, Data Lineage).
• Erfahrung in der Arbeit in Cloud-Umgebungen (Azure, AWS oder GCP).
• Kenntnisse und Anwendung von CI/CD.
• Erfahrung mit Versionskontrolle mittels Git angewendet auf Datenpipelines.
• Fähigkeit, Teams technisch zu leiten.
• Kommunikationsfähigkeiten und Fähigkeit zur Kommunikation mit technischen Profilen.
• Kommunikationsfähigkeiten und Fähigkeit zur Kommunikation mit fachlichen Profilen.
• Erfahrung in der Arbeit mit agilen Methoden.

Responsabilidades

• Definition, Design und Weiterentwicklung von ETL/ELT-Prozessen der Datenplattform.
• Design und Implementierung von Datenaufnahme-, Transformations- und Persistenzprozessen in Data Lake-/Data Warehouse-/Lakehouse-Umgebungen.
• Dokumentation der Architektur der Plattform, der Datenflüsse und kritischer Prozesse.
• Etablierung und Sicherstellung der Datenqualitätssicherung durch Kontrollen und Rückverfolgbarkeitsmechanismen.
• Definition technischer Standards, Best Practices und Entwicklungsmuster für Datenpipelines.
• Bereitstellung von Expertenunterstützung, Code-Reviews und Mentoring im Data Engineering Team.
• Direkter Dialog mit dem Kunden als technischer Experte, Teilnahme an Design-Entscheidungen und Datenstrategie-Definition.
• Koordination mit Architekten, Analysten, BI- und Data-Science-Teams zur Kohärenz des Datenökosystems.
• Optimierung der Performance, Skalierbarkeit und Zuverlässigkeit von Datenprozessen in Produktivumgebungen.

Conocimientos

Databricks

Python

SQL

Spark/PySpark

Datenarchitektur

Datenqualitätssicherung

Cloud-Umgebungen

Teamleitung

Agile Methoden

Kommunikation

Herramientas

Git

CI/CD

Power BI

Descripción del empleo

T-Systems Iberia sucht einen Databricks Senior Data Engineer, der das Data-Engineering-Team in einem hybriden Modell unterstützt. Du definierst ETL/ELT-Prozesse, setzt Data-Lake/Warehouse-Lakehouse-Architekturen um und bist technischer Referenzpunkt.

Du bringst mehr als 6 Jahre Erfahrung in Data Engineering mit, beherrschst Databricks, Python, SQL und Spark/PySpark, kommunizierst klar zwischen technischen und fachlichen Stakeholdern und leitest Projekte agil.