Développeuse/Développeur back-end AWS

Die Schweizerische Post AG; Renens; Vor Ort; CHF 110.000 - 155.000; Vollzeit

Zusammenfassung

Die Schweizerische Post AG recherche un expert en pipelines de données pour construire et exploiter des pipelines modernes sur AWS, couvrant ingestion jusqu’à couche de données gérée. Vous contribuerez à des architectures datalakehouse et au maintien de la qualité par l’observabilité.

Vous travaillerez en autonomie au sein d’une équipe jeune et innovante à Renens, avec une focus sur la traçabilité et les tests via des outils comme Grafana et OpenLineage.

Qualifikationen

• Plusieurs années d’expérience en développement de pipelines de données.
• Connaissance pratique des services AWS et des architectures datalakehouse.
• Bonne connaissance des pratiques CI/CD et de l’infrastructure en tant que code.

Aufgaben

• Concevoir et exploiter des pipelines de données sur AWS, de l’ingestion à la couche gérée.
• Mettre en œuvre des solutions batch et streaming avec Spark sur AWS Glue et EMR Serverless, Kafka.
• Participer au développement d’une architecture datalakehouse avec Iceberg et Lake Formation.
• Gérer les workflows avec Step Functions et EventBridge.

Kenntnisse

Scala 2.12

Apache Spark

SQL

Scalatest

Scalafmt

ScalaFix

Terraform

OpenLineage

Grafana

PowerBI

AWS Glue

EMR Serverless

Athena

Kafka

LakeFormation

Français/Allemand

Tools

AWS Cloud

S3

Jobbeschreibung

Tu as envie d’un travail dans lequel tu peux faire bouger les choses et assumer des responsabilités? Avec toi, nous développons la prochaine génération de notre plateforme de reporting et créons une base de données évolutive pour prendre des décisions basées sur les données. Rejoins une équipe jeune et innovante à Renens (Lausanne).

Fais la différence

• Tu développes et exploites des pipelines de données modernes sur AWS, de l’ingestion des données brutes à la couche de données gérée.

• En collaboration avec l’équipe, tu mets en œuvre des solutions de batch et de streaming avec ApacheSpark sur AWSGlue et EMRServerless ainsi qu’ApacheKafka.

• Tu participes activement au développement de notre architecture datalakehouse avec ApacheIceberg, AWSLakeFormation et AmazonAthena.

• À l’aide d’AWSStepFunctions et d’AmazonEventBridge, tu gères des workflows de données et de traitement complexes.

• Tu contribues considérablement à la qualité et à la stabilité élevées de la plateforme grâce au monitoring, à l’observabilité et aux contrôles automatisés.

• Tu utilises CloudWatch, Grafana et OpenLineage de manière ciblée afin de garantir la transparence et la traçabilité tout au long du traitement des données.

• En collaboration avec les parties prenantes internes, tu accompagnes les solutions depuis le premier design jusqu’à l’exploitation en passant par la mise en œuvre selon le principe «You build it, you run it».

Ce que tu apportes

• Tu te distingues par plusieurs années d’expérience dans le développement de pipelines de données productifs avec Scala (2.12) et ApacheSpark (3.x); tu connais les bonnes pratiques pour des applications performantes et permettant de réaliser des tests et des maintenances avec Scalatest, Scalafmt et ScalaFix.

• Des connaissances approfondies de SQL et d’Apache Iceberg te permettent de gérer en toute sécurité les transactions ACID, les formats de table et l’évolution du schéma dans des architectures datalakehouse modernes.

• Dans l’environnement AWS, tu disposes d’une expérience pratique avec au moins trois services de données pertinents tels qu’AWS Glue, AmazonEMRServerless, AmazonAthena, AWSLambda, AWSStepFunctions, AmazonS3 ou AWSLakeFormation.

• Tu décris et gères les infrastructures cloud avec Terraform (à partir de la version1.2) et tu possèdes une bonne compréhension de l’ensemble du cycle de vie de l’infrastructure en tant que code.

• Idéalement, tu as déjà pu acquérir de l’expérience avec ApacheKafka, OpenLineage, AWS LakeFormation ou des solutions modernes de monitoring et de reporting comme Grafana, AmazonQuickSight ou PowerBI.

• Tu as plaisir à collaborer avec des équipes interdisciplinaires, tu es capable de travailler en autonomie et de transmettre des faits techniques de manière compréhensible.

• Tu communiques avec aisance en français ou en allemand; tu as de bonnes connaissances de l’anglais technique.