Senior Data Engineer (d/w/m)

Spotmyenergy; Deutschland; Hybrid; EUR 90.000 - 130.000; Vollzeit

Benefits dieser Stelle

Mission & Growth

Impact auf allen Ebenen

Spot Spirit

Flexibilität

Zusammenfassung

SpotmyEnergy sucht einen Senior Data Engineer (d/w/m), der das Data Lake bzw. die BI-Plattform auf Databricks betreibt und Airflow-Pipelines für Messwerte und Energiedaten entwickelt. Du modellierst Postgres- und Zeitreihendatenbanken und kümmerst dich um Monitoring, Alerting und saubere Daten für alle Squads.

Du arbeitest mit modernen AWS-Tools, bringst ein echtes Zuverlässigkeits-Mindset mit und unterstützt das Team als Service-Provider für die gesamte Organisation.

Qualifikationen

• Mehrere Jahre Erfahrung im Aufbau produktiver Datenplattformen oder Data Lakes.
• Fundierte Kenntnisse in Databricks/Spark sowie Airflow oder vergleichbaren Orchestrierungstools.
• Sehr gutes SQL, tiefe Postgres-Erfahrung, TimescaleDB-Kenntnisse und sicherer Umgang mit Python.
• Sichere AWS-Kenntnisse, ideal mit Hosted Airflow über Astronomer und Databricks als Hosted Service.
• Zuverlässigkeits-Mindset – Monitoring, Alerting und Incident-Response von Anfang an.
• Fließende Deutschkenntnisse, Teamplayer und idealerweise Energiesektor-Erfahrung.

Aufgaben

• Aufbau und Betrieb unseres Data Lake sowie der BI-Plattform auf Databricks.
• Entwurf, Bau und Wartung von Airflow-Pipelines für Messwert- und Energiedaten.
• Modellierung und Optimierung unserer Postgres- und Zeitreihendatenbanken.
• Verantwortung für Monitoring, Alerting und Incident Response, damit Probleme früh auffallen.
• Bereitstellung sauberer, gut strukturierter Daten als Service für alle Squads, inklusive Deep-Dive-Analysen.
• Technische Weiterentwicklung der Datenplattform, inklusive Auswahl und Einführung neuer Tools.
• Dokumentation und aktive Wissensteilung im Team, nicht nur im Kopf behalten.
• Enge Abstimmung mit dem Data-Science-Team, Fundament der Plattform sichern.

Kenntnisse

Databricks/Spark

Airflow

SQL

Postgres

TimescaleDB

Python

AWS

Monitoring

Tools

Astronomer

Databricks

Jobbeschreibung

Deine Mission

AlsSenior Data Engineer (d/w/m) bei SpotmyEnergy wirst Du Teil eines energiegeladenen Teams, das die Energiewende in die Haushalte bringt! Bei uns baust und betreibst Du das Rückgrat unserer Datenorganisation – unseren Data Lake und unsere BI-Plattform auf Databricks sowie die Airflow-Pipelines, die unsere Mess- und Energiedaten am Laufen halten. Unser Datenteam versteht sich als Service für das ganze Unternehmen, und genau hier kommst Du ins Spiel. Du modellierst und optimierst unsere Postgres- und Zeitreihendatenbanken, denkst Monitoring und Alerting von Anfang an mit und sorgst dafür, dass jedes Squad auf saubere, gut dokumentierte Daten zugreifen kann. Mit modernen Tools auf AWS und einem Team im Rücken baust Du eine Plattform, die mit uns mitwächst.

Deine Verantwortlichkeiten

• Aufbau und Betrieb unseres Data Lake sowie der BI-Plattform auf Databricks
• Entwurf, Bau und Wartung von Airflow-Pipelines für Messwert- und Energiedaten
• Modellierung und Optimierung unserer Postgres- und Zeitreihendatenbanken
• Verantwortung für Monitoring, Alerting und Incident Response, damit Probleme früh auffallen statt spät
• Bereitstellung sauberer, gut strukturierter Daten als Service für alle Squads, inklusive eigener Deep-Dive-Analysen bei Bedarf
• Technische Weiterentwicklung der Datenplattform, inklusive Auswahl und Einführung neuer Tools, wo sie echten Mehrwert bringen
• Dokumentation und aktive Wissensteilung im Team, statt Wissen nur im eigenen Kopf zu behalten
• Enger Austausch mit dem Data-Science-Team, das sich auf die Plattform als Fundament verlassen können soll

Dein Profil

• Mehrere Jahre Erfahrung im Aufbau und Betrieb produktiver Datenplattformen oder Data Lakes
• Fundierte Kenntnisse in Databricks/Spark sowie Airflow oder vergleichbaren Orchestrierungstools
• Sehr gutes SQL, tiefe Postgres-Erfahrung, Erfahrung mit Zeitreihendatenbanken wie TimescaleDB und sicheres Python
• Sicherer Umgang mit AWS, idealerweise inklusive managed Airflow über Astronomer und Databricks als Hosted Service
• Ein echtes Zuverlässigkeits-Mindset – Monitoring, Alerting und mögliche Fehlerfälle werden von Anfang an mitgedacht
• Starker Teamplayer mit fließenden Deutschkenntnissen und Erfahrung im Energiesektor sind ein Plus

Unser Offer

• Mission & Growth:Werde Teil eines wachstumsstarken Scale-ups, das die Energiewende mit smarten, skalierbaren Lösungen aktiv vorantreibt

• Impact auf allen Ebenen:Bei uns baust Du die Datenplattform, auf die sich das ganze Unternehmen verlässt, und siehst direkt, wie Deine Arbeit jedes Squad und jede Entscheidung im Unternehmen beeinflusst

• Spot Spirit:Ein motiviertes, wertschätzendes Team mit kurzen Wegen, offener Kommunikation und Events, die uns zusammenschweißen

• Flexibilität:Moderne, hybrid-friendly Arbeitsumgebung mit viel Gestaltungsspielraum und Eigenverantwortung