Senior Databricks Data Engineer - ETL/ELT & Platform Lead

Deutsche Telekom; La Coruña; Híbrido; EUR 90.000 - 130.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Hybrides Arbeitsmodell

Flexible Arbeitszeiten

4 Wochen Telearbeit pro Jahr

Krankenversicherung

Essensgutscheine

Descripción de la vacante

T-Systems Iberia sucht einen erfahrenen Databricks Senior Data Engineer, der das Data-Engineering-Team unterstützt. Sie definieren und entwickeln ETL/ELT-Prozesse, sichern Datenqualität und arbeiten an Data-Lake/-Warehouse-Lakehouse-Architekturen.

Sie arbeiten eng mit Architekten, BI- und Data-Science-Teams zusammen, coachen das Team und kommunizieren klar mit technischen sowie fachlichen Stakeholdern. Hybrides Arbeiten wird angeboten.

Formación

• Mehr als 6 Jahre Erfahrung im Data Engineering und in Datenintegrationsprojekten.
• Umfangreiche Erfahrung in der Definition und Implementierung komplexer ETL/ELT-Prozesse.
• Fortgeschrittene Databricks-Kenntnisse.
• Fortgeschrittene Python-Kenntnisse.
• Fortgeschrittene SQL-Kenntnisse.
• Erfahrung mit verteilter Verarbeitung mittels Spark/PySpark.
• Erfahrung im Design moderner Datenarchitekturen (Data Lake, Data Warehouse, Lakehouse).
• Fundierte Kenntnisse in der Datenqualitätssicherung (Validierungen, Kontrollen, Abgleich, Data Lineage).
• Erfahrung in der Arbeit in Cloud-Umgebungen (Azure, AWS oder GCP).
• Kenntnisse und Anwendung von CI/CD.
• Erfahrung mit Versionskontrolle mittels Git auf Datenpipelines.
• Fähigkeit, Teams technisch zu leiten.
• Kommunikationsfähigkeiten mit technischen Profilen und fachlichen Profilen.
• Erfahrung in der Arbeit mit agilen Methoden.

Responsabilidades

• Definition, Design und Weiterentwicklung von ETL/ELT-Prozessen der Datenplattform gemäß Geschäftsanforderungen.
• Design und Implementierung von Datenaufnahme-, Transformations- und Persistenzprozessen in Data Lake-/Data Warehouse-/Lakehouse-Umgebungen.
• Festlegung von Datenqualitätskontrollen, Validierungen und Rückverfolgbarkeitsmechanismen.
• Definition technischer Standards, Best Practices und Muster für Datenpipelines.
• Bereitstellung von Expertenunterstützung, Code-Reviews und Mentoring im Data Engineering Team.
• Direkter Dialog mit dem Kunden als technischer Experte; Teilnahme an Design-Entscheidungen und Datenstrategie.
• Koordination mit Architekten, Analysts/BI/Data Science zur Kohärenz des Datenökosystems.
• Optimierung von Performance, Skalierbarkeit und Zuverlässigkeit von Datenprozessen.
• Dokumentation der Architektur der Plattform, der Datenflüsse und kritischer Prozesse.

Conocimientos

Data Engineering

Databricks

Python

SQL

Spark/PySpark

Data Lake/Data Warehouse/Lakehouse

CI/CD

Git

Teamführung

Agile

Cloud (Azure/AWS/GCP)

Herramientas

Azure

AWS

GCP

Git

Descripción del empleo

T-Systems Iberia sucht einen erfahrenen Databricks Senior Data Engineer, der das Data-Engineering-Team unterstützt. Sie definieren und entwickeln ETL/ELT-Prozesse, sichern Datenqualität und arbeiten an Data-Lake/-Warehouse-Lakehouse-Architekturen.

Sie arbeiten eng mit Architekten, BI- und Data-Science-Teams zusammen, coachen das Team und kommunizieren klar mit technischen sowie fachlichen Stakeholdern. Hybrides Arbeiten wird angeboten.