Senior Data Streaming Engineer - Data Platform (m/w/d)

CTS EVENTIM AG & Co. KGaA; Bremen; On-site; EUR 70,000 - 110,000; Full time

Benefits offered by this job

30 Tage Urlaub

25 Tage Workation im EU-Ausland

Flexible Arbeitszeiten

Sofakonzerte und Mitarbeitenden-Events

Rabatt beim Ticketkauf

Corporate Benefits & Vergünstigungen

Zentrale Lage & Bezuschussung ÖPNV

Bike Leasing

Mental Health Programm & betriebliche/

Job summary

CTS EVENTIM AG & Co. KGaA sucht einen hochqualifizierten Data Engineer mit Schwerpunkt Echtzeit-Datenstreaming und Cloud-Datenplattformen, insbesondere der Google Cloud Platform.

Sie entwickeln, implementieren und optimieren Streaming-Datenpipelines, arbeiten eng mit Data Scientists, Analysts sowie Software Engineers zusammen und bereiten Daten für Analytics-, KI- und BI-Initiativen auf. Zu den Aufgaben gehören die Implementierung von Pipelines mit Apache Beam und GCP-Services, ETL/ELT-Lösungen,

Qualifications

• Mindestens vier Jahre Berufserfahrung im Data Engineering mit Schwerpunkt auf Echtzeit- bzw. Streaming-Pipelines.
• Ausgeprägte Kenntnisse der Google Cloud Platform (GCP), insbesondere Dataflow, Pub/Sub, BigQuery, Cloud Storage und Cloud Composer.
• Sehr gute Kenntnisse in Apache Beam oder vergleichbaren Frameworks wie Spark Structured Streaming oder Flink.
• Fundierte Programmierkenntnisse in Python.
• Erfahrung in Datenmodellierung, Schema-Design und Zusammenführung von Daten aus unterschiedlichen Quellen.
• Kenntnisse cloud-nativer DevOps-Praktiken, z. B. Terraform, Cloud Deployment Manager und CI/CD-Pipelines.
• Ausgeprägte Problemlösungskompetenz sowie die Fähigkeit, in einem dynamischen Arbeitsumfeld erfolgreich zu arbeiten.
• Praktische Erfahrung mit Tools zur Data Observability, z. B. Datadog, Prometheus oder OpenLineage.
• Ein sehr gutes Verständnis ereignisgesteuerter Architekturen und Message Queues.
• Erfahrung mit großen Datenmengen und geschäftskritischen Datenprozessen.

Responsibilities

• Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services, z. B. Dataflow, Pub/Sub, BigQuery und Cloud Storage.
• Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
• Implementierung von Strategien zur Zusammenführung von Daten, um mehrere Datenquellen in einheitliche und qualitativ hochwertige Datensätze zu integrieren.
• Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der gesamten Pipelines.
• Optimierung von Daten-Workflows im Hinblick auf Performance und Kosteneffizienz in Cloud-Umgebungen.
• Anwendung von Best Practices in den Bereichen CI/CD, Infrastructure-as-Code und Monitoring für Datenpipelines.
• Mitwirkung an Themen rund um Data Governance, Datensicherheit und Compliance.

Skills

Data Engineering

Echtzeit-Streaming

GCP (Dataflow PubSub BigQuery)

Apache Beam

Python

Datenmodellierung

Schema-Design

Datenintegration

Terraform

CI/CD

Daten-Observability

Event-driven Architektur

Message Queues

Tools

Datadog

Prometheus

OpenLineage

Job description

Wir suchen einen hochqualifizierten Data Engineer mit umfassender Expertise im Echtzeit-Datenstreaming, in Cloud-Datenplattformen – besonders der Google Cloud Platform – sowie in Apache Beam. In dieser Rolle entwickelst, implementierst und optimierst Du Streaming-Datenpipelines, die skalierbare, zuverlässige und qualitativ hochwertige Datenflüsse ermöglichen. Dabei arbeitest Du eng mit Data Scientists, Analysts sowie Software Engineers zusammen, um Daten effizient zusammenzuführen, zu transformieren und für Analytics-, KI- und Business-Intelligence-Initiativen bereitzustellen.

Deine Aufgaben:

• Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services, z. B. Dataflow, Pub/Sub, BigQuery und Cloud Storage.
• Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
• Implementierung von Strategien zur Zusammenführung von Daten, um mehrere Datenquellen in einheitliche und qualitativ hochwertige Datensätze zu integrieren.
• Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der gesamten Pipelines.
• Optimierung von Daten-Workflows im Hinblick auf Performance und Kosteneffizienz in Cloud-Umgebungen.
• Anwendung von Best Practices in den Bereichen CI/CD, Infrastructure-as-Code und Monitoring für Datenpipelines.
• Mitwirkung an Themen rund um Data Governance, Datensicherheit und Compliance.

Das bringst Du mit:

• Mindestens vier Jahre Berufserfahrung im Data Engineering mit Schwerpunkt auf Echtzeit- bzw. Streaming-Pipelines.
• Ausgeprägte Kenntnisse der Google Cloud Platform (GCP), insbesondere in Dataflow, Pub/Sub, BigQuery, Cloud Storage und Cloud Composer.
• Sehr gute Kenntnisse in Apache Beam oder vergleichbaren Frameworks wie Spark Structured Streaming oder Flink.
• Fundierte Programmierkenntnisse in Python.
• Erfahrung in den Bereichen Datenmodellierung, Schema-Design und Zusammenführung von Daten aus unterschiedlichen Quellen.
• Kenntnisse cloud-nativer DevOps-Praktiken, z. B. Terraform, Cloud Deployment Manager und CI/CD-Pipelines.
• Ausgeprägte Problemlösungskompetenz sowie die Fähigkeit, in einem dynamischen Arbeitsumfeld erfolgreich zu arbeiten.
• Praktische Erfahrung mit Tools zur Data Observability, z. B. Datadog, Prometheus oder OpenLineage.
• Ein sehr gutes Verständnis ereignisgesteuerter Architekturen und Message Queues.
• Erfahrung mit großen Datenmengen und geschäftskritischen Datenprozessen.

Benefits

• 30 Tage Urlaub & Möglichkeit auf 15 Tage unbezahlten Urlaub
• 25 Tage Workation im EU-Ausland
• Flexible Arbeitszeiten
• Sofakonzerte und Mitarbeitenden-Events
• Rabatt beim Ticketkauf & Clearing-Einsätze
• Corporate Benefits & Vergünstigungen bei KESS
• Zentrale Lage & Bezuschussung ÖPNV
• Bike Leasing
• Mental Health Programm & betriebliche Altersvorsorge
• Sprachlernplattform sowie Lunch & Learn

Wir schätzen Vielfalt und behandeln alle Bewerbungen gleich – unabhängig von Geschlecht, Herkunft, Alter, Religion, Behinderung oder sexueller Orientierung. Unterschiedliche Perspektiven bereichern unser Team und machen EVENTIM stärker.