Senior Data Streaming Engineer - Data Platform (m/w/d)

CTS EVENTIM AG & Co. KGaA; Hamburg; On-site; EUR 70,000 - 110,000; Full time

Benefits offered by this job

30 Tage Urlaub

Flexible Arbeitszeiten

Bike Leasing

Mental Health Programm

Corporate Benefits

ÖPNV-Zuschuss

Job summary

CTS EVENTIM AG & Co. KGaA in Hamburg sucht einen Data Engineer mit Fokus auf Echtzeit-Streaming, Cloud-Datenplattformen (GCP) und Apache Beam. Du entwickelst Streaming-Pipelines, transformierst Datenquellen und stellst hochwertige Datensätze für Analytics, KI und BI bereit.

Du arbeitest eng mit Data Scientists, Analysts und Software Engineers zusammen, setzt CI/CD und IaC um und berücksichtigst Data Governance, Sicherheit und Compliance.

Qualifications

• Mindestens vier Jahre Berufserfahrung im Data Engineering mit Fokus auf Echtzeit-Streaming.
• Ausgeprägte GCP-Kenntnisse, insbesondere Dataflow, Pub/Sub, BigQuery, Cloud Storage, Cloud Composer.
• Sehr gute Python-Kenntnisse und Erfahrung mit Datenmodellierung sowieSchema-Design.
• Kenntnisse zu DevOps-Praktiken, Terraform und CI/CD-Umgebungen.
• Erfahrung mit Data Observability-Tools wie Datadog/Prometheus/OpenLineage.
• Verständnis ereignisgesteuerter Architekturen und großer Datenmengen.

Responsibilities

• Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines.
• Ausbau von skalierbaren ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
• Zusammenführung von Daten aus mehreren Quellen in hochwertige Datensätze.
• Gewährleistung von Datenqualität, Zuverlässigkeit und Observability.
• Optimierung von Daten-Workflows in Cloud-Umgebungen; Kostenkontrolle.
• Anwendung von Best Practices in CI/CD, IaC und Monitoring.

Skills

Echtzeit-Streaming

GCP

Apache Beam

Python

Datenmodellierung

Terraform

CI/CD

Data Observability

Event-driven Architektur

Big Data

Tools

Datadog

Prometheus

OpenLineage

Cloud Composer

Job description

Wir suchen einen hochqualifizierten Data Engineer mit umfassender Expertise im Echtzeit-Datenstreaming, in Cloud-Datenplattformen – besonders der Google Cloud Platform – sowie in Apache Beam. In dieser Rolle entwickelst, implementierst und optimierst Du Streaming-Datenpipelines, die skalierbare, zuverlässige und qualitativ hochwertige Datenflüsse ermöglichen. Dabei arbeitest Du eng mit Data Scientists, Analysts sowie Software Engineers zusammen, um Daten effizient zusammenzuführen, zu transformieren und für Analytics-, KI- und Business-Intelligence-Initiativen bereitzustellen.

Deine Aufgaben:

• Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services, z. B. Dataflow, Pub/Sub, BigQuery und Cloud Storage.
• Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
• Implementierung von Strategien zur Zusammenführung von Daten, um mehrere Datenquellen in einheitliche und qualitativ hochwertige Datensätze zu integrieren.
• Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der gesamten Pipelines.
• Optimierung von Daten-Workflows im Hinblick auf Performance und Kosteneffizienz in Cloud-Umgebungen.
• Anwendung von Best Practices in den Bereichen CI/CD, Infrastructure-as-Code und Monitoring für Datenpipelines.
• Mitwirkung an Themen rund um Data Governance, Datensicherheit und Compliance.

Das bringst Du mit:

• Mindestens vier Jahre Berufserfahrung im Data Engineering mit Schwerpunkt auf Echtzeit- bzw. Streaming-Pipelines.
• Ausgeprägte Kenntnisse der Google Cloud Platform (GCP), insbesondere in Dataflow, Pub/Sub, BigQuery, Cloud Storage und Cloud Composer.
• Sehr gute Kenntnisse in Apache Beam oder vergleichbaren Frameworks wie Spark Structured Streaming oder Flink.
• Fundierte Programmierkenntnisse in Python.
• Erfahrung in den Bereichen Datenmodellierung, Schema-Design und Zusammenführung von Daten aus unterschiedlichen Quellen.
• Kenntnisse cloud-nativer DevOps-Praktiken, z. B. Terraform, Cloud Deployment Manager und CI/CD-Pipelines.
• Ausgeprägte Problemlösungskompetenz sowie die Fähigkeit, in einem dynamischen Arbeitsumfeld erfolgreich zu arbeiten.
• Praktische Erfahrung mit Tools zur Data Observability, z. B. Datadog, Prometheus oder OpenLineage.
• Ein sehr gutes Verständnis ereignisgesteuerter Architekturen und Message Queues.
• Erfahrung mit großen Datenmengen und geschäftskritischen Datenprozessen.

Benefits

• 30 Tage Urlaub & Möglichkeit auf 15 Tage unbezahlten Urlaub
• 25 Tage Workation im EU-Ausland
• Flexible Arbeitszeiten
• Sofakonzerte und Mitarbeitenden-Events
• Rabatt beim Ticketkauf & Clearing-Einsätze
• Corporate Benefits & Vergünstigungen bei KESS
• Zentrale Lage & Bezuschussung ÖPNV
• Bike Leasing
• Mental Health Programm & betriebliche Altersvorsorge
• Sprachlernplattform sowie Lunch & Learn

Wir schätzen Vielfalt und behandeln alle Bewerbungen gleich – unabhängig von Geschlecht, Herkunft, Alter, Religion, Behinderung oder sexueller Orientierung. Unterschiedliche Perspektiven bereichern unser Team und machen EVENTIM stärker.