Data Engineer (w/m/d)

Rhenus Group; Deutschland; Remote; EUR 60,000 - 110,000; Full time

Job summary

Rhenus Group entwickelt und betreibt datengetriebene Pipelines auf unserer cloud-nativen Enterprise Data Platform (EDP). Du erstellst Datenprodukte für Reporting, Analytics und operative Prozesse und arbeitest eng mit Analytics-Teams sowie Fachbereichen zusammen.

Du integrierst Daten aus APIs, Datenbanken, Streaming-Quellen und Files und gestaltest skalierbare Batch- und Streaming-Pipelines mit Spark, Delta Lake und Kubernetes auf AWS in einer Multi-Tenant-Umgebung.

Qualifications

• Erfahrung im Aufbau und Betrieb von Datenpipelines auf cloud-nativen Plattformen.
• Integration von Daten aus APIs, Datenbanken, Streaming-Quellen und Dateien.
• Kenntnisse in Spark, Delta Lake und Kubernetes für Batch- und Streaming-Pipelines.

Responsibilities

• Entwickeln und Betreiben von datengetriebenen Pipelines für Reporting und Analytics.
• Zusammenarbeit mit Analytics-Teams und Fachbereichen.
• Aufbau einer Lakehouse-Architektur auf AWS in einer Multi-Tenant-Umgebung.

Skills

Datenpipelines

Datenprodukte

Zusammenarbeit

Tools

Spark

Delta Lake

Kubernetes

AWS

APIs

Datenbanken

Streaming

Batch processing

Job description

• Du entwickelst und betreibst Datenpipelines auf unserer cloud-nativen Enterprise Data Platform (EDP) und arbeitest eng mit Analytics-Teams sowie Fachbereichen zusammen, um Datenprodukte für Reporting, Analytics und operative Prozesse bereitzustellen.
• Außerdem integrierst du Daten aus unterschiedlichsten Quellen (z. B. APIs, Datenbanken, Streaming, Files) in unsere Plattform und stellst deren zuverlässige Verarbeitung und Verfügbarkeit sicher.
• Zudem konzipierst, implementierst und betreibst du skalierbare Datenpipelines (Batch & Streaming) auf Basis von Spark, Delta Lake undKubernetes– von der Ingestion bis zur Bereitstellung im Gold Layer.
• Unsere Enterprise DataPlatform(EDP) entwickelst du kontinuierlich weiter und arbeitest mit einer modernen Lakehouse-Architektur (Delta Lake, Medaillenmodell) in einer Multi-Tenant-Umgebung auf AWS.