AWS Backend Data Engineer – Spark & Lakehouse

Die Schweizerische Post AG; Vaud; Hybrid; CHF 120.000 - 160.000; Vollzeit

Zusammenfassung

Die Schweizerische Post AG in Renens (Lausanne) sucht eine erfahrene Data Engineer, die komplexe Datenpipelines auf AWS gestaltet und betreibt. Du arbeitest an Batch- und Streaming-Lösungen mit Spark, Kafka und AWS-Services und entwickelst eine moderne Data-Lakehouse-Architektur weiter.

Du bringst fundierte Kenntnisse in SQL, Iceberg und Infrastructure-as-Code (Terraform) mit und kommunizierst sicher auf Deutsch oder Französisch, ergänzt durch Englisch im technischen Bereich.

Qualifikationen

• Mehrjährige Erfahrung in der Entwicklung produktiver Datenpipelines mit Scala und Apache Spark.

Aufgaben

• Du entwickelst und betreibst moderne Datenpipelines auf AWS von der Rohdaten-Ingestion bis zur kuratierten Datenschicht.
• Gemeinsam mit dem Team implementierst du Batch- und Streaming-Lösungen mit Apache Spark auf AWS Glue und EMR Serverless sowie Apache Kafka.
• Die Weiterentwicklung unserer Data-Lakehouse-Architektur mit Apache Iceberg, AWS Lake Formation und Amazon Athena gestaltest du aktiv mit.
• Mithilfe von AWS Step Functions orchestrierst du komplexe Daten- und Verarbeitungsworkflows.
• Zur hohen Qualität und Stabilität der Plattform leistest du einen wichtigen Beitrag durch Monitoring, Observability und automatisierte Kontrollen.
• CloudWatch, Grafana und OpenLineage setzt du gezielt ein, um Transparenz und Nachvollziehbarkeit entlang der gesamten Datenverarbeitung sicherzustellen.
• Zusammen mit internen Stakeholdern begleitest du Lösungen vom ersten Design über die Umsetzung bis zum Betrieb nach dem Prinzip „You build it, you run it“.

Kenntnisse

Scala 2.12

Apache Spark 3.x

Scalatest

Scalafmt

ScalaFix

SQL

Apache Iceberg

AWS Glue

EMR Serverless

Athena

Terraform

Kafka

Grafana

Power BI

S3

Tools

Terraform

Kafka

Grafana

Jobbeschreibung

Die Schweizerische Post AG in Renens (Lausanne) sucht eine erfahrene Data Engineer, die komplexe Datenpipelines auf AWS gestaltet und betreibt. Du arbeitest an Batch- und Streaming-Lösungen mit Spark, Kafka und AWS-Services und entwickelst eine moderne Data-Lakehouse-Architektur weiter.

Du bringst fundierte Kenntnisse in SQL, Iceberg und Infrastructure-as-Code (Terraform) mit und kommunizierst sicher auf Deutsch oder Französisch, ergänzt durch Englisch im technischen Bereich.