Cloud Data Engineer — Lakehouse (Spark/Delta) on AWS

Rhenus SE & Co. KG; Deutschland; Remote; USD 81,000 - 116,000; Full time

Job description

• Du entwickelst und betreibst Datenpipelines auf unserer cloud-nativen Enterprise Data Platform (EDP) und arbeitest eng mit Analytics-Teams sowie Fachbereichen zusammen, um Datenprodukte für Reporting, Analytics und operative Prozesse bereitzustellen.
• Außerdem integrierst du Daten aus unterschiedlichsten Quellen (z. B. APIs, Datenbanken, Streaming, Files) in unsere Plattform und stellst deren zuverlässige Verarbeitung und Verfügbarkeit sicher.
• Zudem konzipierst, implementierst und betreibst du skalierbare Datenpipelines (Batch & Streaming) auf Basis von Spark, Delta Lake undKubernetes– von der Ingestion bis zur Bereitstellung im Gold Layer.
• Unsere Enterprise DataPlatform(EDP) entwickelst du kontinuierlich weiter und arbeitest mit einer modernen Lakehouse-Architektur (Delta Lake, Medaillenmodell) in einer Multi-Tenant-Umgebung auf AWS.