Data Engineer (w/m/d)

Rhenus SE & Co. KG; Deutschland; On-site; USD 81,000 - 116,000; Full time

Job summary

Rhenus SE & Co. KG sucht zur Verstärkung im Bereich Datenplattform-Ökosystem eine Fachkraft für die Entwicklung und den Betrieb von cloud-nativen Datenpipelines.

Du arbeitest eng mit Analytics-Teams und Fachbereichen zusammen, um Datenprodukte für Reporting, Analytics und operative Prozesse bereitzustellen. Du integrierst Daten aus APIs, Datenbanken, Streaming und Files, sorgst für zuverlässige Verarbeitung und Verfügbarkeit und entwickelst skalierbare Pipelines auf Basis von Spark, Delta Lake

Responsibilities

• Datenpipelines entwickeln und betreiben; enge Zusammenarbeit mit Analytics-Teams.
• Daten aus APIs, Datenbanken, Streaming und Dateien integrieren sowie Zuverlässigkeit sicherstellen.
• Skalierbare Batch- und Streaming-Pipelines mit Spark, Delta Lake und Kubernetes implementieren.
• Entwicklung der Enterprise Data Platform (EDP) in einer Lakehouse-Architektur auf AWS.

Job description

• Du entwickelst und betreibst Datenpipelines auf unserer cloud-nativen Enterprise Data Platform (EDP) und arbeitest eng mit Analytics-Teams sowie Fachbereichen zusammen, um Datenprodukte für Reporting, Analytics und operative Prozesse bereitzustellen.
• Außerdem integrierst du Daten aus unterschiedlichsten Quellen (z. B. APIs, Datenbanken, Streaming, Files) in unsere Plattform und stellst deren zuverlässige Verarbeitung und Verfügbarkeit sicher.
• Zudem konzipierst, implementierst und betreibst du skalierbare Datenpipelines (Batch & Streaming) auf Basis von Spark, Delta Lake undKubernetes– von der Ingestion bis zur Bereitstellung im Gold Layer.
• Unsere Enterprise DataPlatform(EDP) entwickelst du kontinuierlich weiter und arbeitest mit einer modernen Lakehouse-Architektur (Delta Lake, Medaillenmodell) in einer Multi‑Tenant‑Umgebung auf AWS.