Senior Data Engineer - Berlin (m/w/d)

United States Digital Space LLC; Berlin; Vor Ort; EUR 90.000 - 125.000; Vollzeit

Zusammenfassung

Schwarz Digits sucht eine erfahrene Data-Engineering-Fachperson, die hochperformante Batch- und Streaming-Datenflüsse in unserem zentralen Data Lakehouse konzipiert, entwickelt und betreibt. Du optimierst die Cloud-Architektur (GCP), sorgst für Skalierbarkeit und setzt Standards für Echtzeit- und Batch-Verarbeitung.

Du wendest moderne Software-Engineering-Methoden an, arbeitest eng mit Product Ownern, Data Scientists und Fachbereichen zusammen und gestaltest aktiv Datenqualität, Governance und

Qualifikationen

• Mehrjährige Erfahrung im Data Engineering oder Big Data Umfeld.
• Erfahrung mit Google Cloud Platform und Echtzeitdatenverarbeitung mit Kafka.
• Ausgeprägte Kenntnisse in Python und Spark sowie Containerisierung mit Kubernetes/Docker.
• Erfahrung mit Airflow und dbt von Vorteil.
• Starkes Interesse an Data Lakehouse-/Data Mesh-Architekturen und Governance.

Aufgaben

• Entwurf, Entwicklung und Betrieb hochperformanter Batch- und Streaming-Datenflüsse im Data Lakehouse.
• Optimierung der Cloud-Architektur (GCP) und Skalierung der Lösungen.
• Anwendung moderner Software-Engineering-Methoden, CI/CD, Testing und Deployment.
• Unterstützung der Orchestrierungstools (Airflow, dbt) unternehmensweit.
• Gewährleistung von Datenqualität und Datenschutz in Echtzeit-Datenströmen.
• Zusammenarbeit mit Product Ownern, Data Scientists und Fachbereichen.

Kenntnisse

Analytisches Denkvermögen

Agiles Mindset

Eigenverantwortliche Arbeitsweise

Tools

Google Cloud Platform

Apache Kafka

Python

Spark

Kubernetes

Docker

Apache Airflow

dbt

Jobbeschreibung

• Standort

Karl-Liebknecht-Straße 32

10178 Berlin

• Abteilung / Bereich

IT - BI, AI & Data

• Einstiegslevel

Berufserfahrene

• Arbeitsmodell

Vollzeit

• Referenznummer

3582Schwarz Digits schafft das technologische Fundament für digitale Entscheidungsfreiheit in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen für die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabhängiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterstützen. Unsere Kernleistungen bündeln wir in den Bereichen Cloud, Cyber Security, Data & AI, Communication und Workspace. Trage auch du zur digitalen Entscheidungsfreiheit in Europa bei.

Bei uns arbeitest du an der Schnittstelle zwischen Agilität und Sicherheit: Du profitierst von den schnellen Entscheidungswegen, genießt echte Gestaltungsspielräume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe.

Deine Aufgaben

• Data Product Engineering: Du konzipierst, entwickelst und betreibst hochperformante Batch- und Streaming-Datenflüsse in unserem zentralen Google Cloud Data Lakehouse für Analytics- und Machine-Learning-Anwendungsfälle.
• Architektur & Skalierung: Du optimierst die Cloud-Architektur (GCP), stellst die Skalierbarkeit unserer Lösungen sicher und entwickelst unsere Standards für die Datenverarbeitung in Echtzeit und Batch weiter.
• Software Excellence: Du wendest moderne Software-Engineering-Methoden an und setzt neue Maßstäbe für CI/CD, automatisiertes Testing und Deployment-Prozesse in der Datenorganisation.
• Framework-Mitgestaltung: Du unterstützt die Weiterentwicklung unserer zentralen Orchestrierungs-Tools (auf Basis von Airflow und dbt), um die Effizienz und Qualität der Datenbereitstellung unternehmensweit zu steigern.
• Datenqualität & Governance: Du implementierst automatisierte Validierungsprozesse (z. B. für Streaming-Events) und stellst die Einhaltung von Sicherheits- und Datenschutzstandards sicher.
• Agile Kollaboration: Du arbeitest in interdisziplinären Teams eng mit Product Ownern, Data Scientists und Fachbereichen zusammen, um komplexe Business-Anforderungen in technische Lösungen zu übersetzen.

Dein Profil

• Erfahrung: Mehrjährige fundierte Erfahrung im Data Engineering, Big Data Umfeld oder Software Engineering, idealerweise in einer Senior-Rolle.
• Cloud- & Streaming-Expertise: Du bringst fundierte Kenntnisse in Cloud-Infrastrukturen mit (Google Cloud Platform) sowie tiefe Erfahrung in der Verarbeitung von Echtzeitdaten mit Apache Kafka.
• Tech-Stack: Sehr gute Kenntnisse in Python und Spark. Du bist sicher im Umgang mit Containerisierung (Kubernetes/Docker).
• Orchestrierung & Transformation: Erfahrung mit Tools wie Apache Airflow und Transformationen via dbt ist von großem Vorteil.
• Software Best Practices: Du bist sicher im Umgang mit dem Softwareentwicklungszyklus, Versionsverwaltung (Git) sowie DevOps-Prinzipien und automatisierten Tests.
• Konzeptionelle Stärke: Du begeisterst dich für moderne Architektur-Konzepte wie Data Lakehouses und Data Mesh und hast Freude daran, technologische Standards aktiv mitzugestalten.
• Persönlichkeit: Analytisches Denkvermögen, ein agiles Mindset sowie eine eigenverantwortliche und lösungsorientierte Arbeitsweise.
• Sprachen: Sehr gute Englischkenntnisse; Deutschkenntnisse sind bevorzugt.

Willkommen

Dein erster Arbeitstag bei uns steht an und dein individuelles Onboarding im Team startet. Wir freuen uns auf dich!