Senior Data Engineer: Data Lake, Databricks & Airflow Lead

United States Digital Space LLC; Cologne; Hybride; EUR 70 000 - 110 000; Plein temps

Résumé du poste

United States Digital Space LLC sucht einen erfahrenen Senior Data Engineer, der das Data Lake-Ökosystem auf Databricks betreut, Airflow-Pipelines für Messwerte und Energiedaten entwickelt und die PostgreSQL-/TimescaleDB-Landschaft optimiert. Du verantwortest Monitoring, Alerting und Incident Response, lieferst saubere Daten als Service und arbeitest eng mit Data-Science zusammen.

Du bringst mehrjährige Erfahrung in der Aufbau- und Betriebsführung von Datenplattformen mit, beherrschst

Qualifications

• Mehrere Jahre Erfahrung im Aufbau und Betrieb produktiver Datenplattformen oder Data Lakes.
• Fundierte Kenntnisse in Databricks/Spark sowie Airflow oder vergleichbaren Orchestrierungstools.
• Sehr gutes SQL, tiefe PostgreSQL-Erfahrung, Erfahrung mit Zeitreihendatenbanken wie TimescaleDB und sicheres Python.
• Sicherer Umgang mit AWS, idealerweise inklusive managed Airflow.
• Ein echtes Zuverlässigkeits-Mindset – Monitoring, Alerting und Incident Response.
• Starker Teamplayer mit fließenden Deutschkenntnissen und Erfahrung im Energiesektor.

Responsabilités

• Aufbau und Betrieb unseres Data Lake sowie der BI-Plattform auf Databricks.
• Entwurf, Bau und Wartung von Airflow-Pipelines für Messwert- und Energiedaten.
• Modellierung und Optimierung unserer Postgres- und Zeitreihendatenbanken.
• Verantwortung für Monitoring, Alerting und Incident Response.
• Bereitstellung sauberer, gut strukturierter Daten als Service für alle Squads.
• Technische Weiterentwicklung der Datenplattform und Einführung neuer Tools.
• Dokumentation und Wissensteilung im Team.
• Enge Abstimmung mit dem Data-Science-Team.

Connaissances

Databricks/Spark

Airflow

SQL

PostgreSQL

TimescaleDB

Python

AWS

Monitoring

Outils

Databricks

Airflow

Description du poste

United States Digital Space LLC sucht einen erfahrenen Senior Data Engineer, der das Data Lake-Ökosystem auf Databricks betreut, Airflow-Pipelines für Messwerte und Energiedaten entwickelt und die PostgreSQL-/TimescaleDB-Landschaft optimiert. Du verantwortest Monitoring, Alerting und Incident Response, lieferst saubere Daten als Service und arbeitest eng mit Data-Science zusammen.

Du bringst mehrjährige Erfahrung in der Aufbau- und Betriebsführung von Datenplattformen mit, beherrschst