Senior Data Streaming Engineer - Data Platform (m/w/d)

CTS EVENTIM AG & Co. KGaA; Berlin; On-site; EUR 80,000 - 100,000; Full time

Benefits offered by this job

30 Tage Urlaub

Unbezahlter Urlaub 15 Tage

Zentrale Lage

ÖPNV-Zuschuss

Fahrrad-Leasing

Mental Health Programm

Mitarbeiter-Events

Job summary

CTS EVENTIM AG & Co. KGaA in Berlin sucht einen Data Engineer mit Expertise in Echtzeit-Streaming, Cloud-Datenplattformen (GCP) und Apache Beam. Sie entwickeln Streaming-Pipelines, sichern Datenqualität und unterstützen Analytics-, KI- und BI-Initiativen.

Sie arbeiten eng mit Data Scientists, Analysts und Software-Ingenieuren zusammen, optimieren Pipelines in Cloud-Umgebungen und setzen Observability-Tools wie Datadog, Prometheus oder OpenLineage ein.

Qualifications

• Mindestens vier Jahre Berufserfahrung im Data Engineering mit Fokus auf Streaming-Pipelines.
• Fundierte GCP-Kenntnisse, insbesondere Dataflow, Pub/Sub, BigQuery.
• Genaue Kenntnisse in Python und Datenmodellierung.

Responsibilities

• Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services wie Dataflow, Pub/Sub, BigQuery und Cloud Storage.
• Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
• Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der Pipelines.
• Optimierung von Daten-Workflows in Cloud-Umgebungen hinsichtlich Performance und Kosten.
• Mitwirkung an Data Governance, Sicherheit und Compliance.

Skills

Echtzeit-Streaming

Python

Datenmodellierung

Datenintegration

Datenqualität

Observability

CI/CD-Praktiken

Teamarbeit

Tools

Apache Beam

Google Cloud Platform (GCP)

Dataflow

Pub/Sub

BigQuery

Cloud Composer

Terraform

CI/CD

Job description

Wir suchen einen hochqualifizierten Data Engineer mit umfassender Expertise im Echtzeit-Datenstreaming, in Cloud-Datenplattformen – besonders der Google Cloud Platform – sowie in Apache Beam. In dieser Rolle entwickelst, implementierst und optimierst Du Streaming-Datenpipelines, die skalierbare, zuverlässige und qualitativ hochwertige Datenflüsse ermöglichen. Dabei arbeitest Du eng mit Data Scientists, Analysts sowie Software Engineers zusammen, um Daten effizient zusammenzuführen, zu transformieren und für Analytics-, KI- und Business-Intelligence-Initiativen bereitzustellen.

Deine Aufgaben:

• Entwicklung, Implementierung und Wartung von Echtzeit-Streaming-Pipelines mit Apache Beam und GCP-Services, z. B. Dataflow, Pub/Sub, BigQuery und Cloud Storage.
• Entwicklung skalierbarer ETL-/ELT-Lösungen für Streaming- und Batch-Verarbeitung.
• Implementierung von Strategien zur Zusammenführung von Daten, um mehrere Datenquellen in einheitliche und qualitativ hochwertige Datensätze zu integrieren.
• Sicherstellung von Datenqualität, Zuverlässigkeit und Observability entlang der gesamten Pipelines.
• Optimierung von Daten-Workflows im Hinblick auf Performance und Kosteneffizienz in Cloud-Umgebungen.
• Anwendung von Best Practices in den Bereichen CI/CD, Infrastructure-as-Code und Monitoring für Datenpipelines.
• Mitwirkung an Themen rund um Data Governance, Datensicherheit und Compliance.

Das bringst Du mit:

• Mindestens vier Jahre Berufserfahrung im Data Engineering mit Schwerpunkt auf Echtzeit- bzw. Streaming-Pipelines.
• Ausgeprägte Kenntnisse der Google Cloud Platform (GCP), insbesondere in Dataflow, Pub/Sub, BigQuery, Cloud Storage und Cloud Composer.
• Sehr gute Kenntnisse in Apache Beam oder vergleichbaren Frameworks wie Spark Structured Streaming oder Flink.
• Fundierte Programmierkenntnisse in Python.
• Erfahrung in den Bereichen Datenmodellierung, Schema-Design und Zusammenführung von Daten aus unterschiedlichen Quellen.
• Kenntnisse cloud-nativer DevOps-Praktiken, z. B. Terraform, Cloud Deployment Manager und CI/CD-Pipelines.
• Ausgeprägte Problemlösungskompetenz sowie die Fähigkeit, in einem dynamischen Arbeitsumfeld erfolgreich zu arbeiten.
• Praktische Erfahrung mit Tools zur Data Observability, z. B. Datadog, Prometheus oder OpenLineage.
• Ein sehr gutes Verständnis ereignisgesteuerter Architekturen und Message Queues.
• Erfahrung mit großen Datenmengen und geschäftskritischen Datenprozessen.

Benefits

• 30 Tage Urlaub & Möglichkeit auf 15 Tage unbezahlten Urlaub
• 25 Tage Workation im EU-Ausland
• Flexible Arbeitszeiten
• Sofakonzerte und Mitarbeitenden-Events
• Rabatt beim Ticketkauf & Clearing-Einsätze
• Corporate Benefits & Vergünstigungen bei KESS
• Zentrale Lage & Bezuschussung ÖPNV
• Bike Leasing
• Mental Health Programm & betriebliche Altersvorsorge
• Sprachlernplattform sowie Lunch & Learn

Wir schätzen Vielfalt und behandeln alle Bewerbungen gleich – unabhängig von Geschlecht, Herkunft, Alter, Religion, Behinderung oder sexueller Orientierung. Unterschiedliche Perspektiven bereichern unser Team und machen EVENTIM stärker.