GCP Data Engineer — Python/Spark for Risk Analytics

VISIAN; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Python/Spark pour un projet stratégique axé sur les risques et les reportings métiers. Le poste implique l’ingestion, l’agrégation et l’exposition de données issues de sources multiples sur Google Cloud Platform (GCP).

Vous contribuerez à la conception et au développement de solutions Data, au déploiement des traitements Python/Spark et à l’intégration des services GCP, avec une forte dimension DevOps et qualité logicielle.

Qualifications

• Conception et développement de solutions Data.
• Mise en œuvre de traitements Python/Spark.
• Ingestion et exposition de données provenant de sources multiples.

Responsabilités

• Participer à la conception et au développement de solutions Data.
• Développer et intégrer des traitements en Python / Spark.
• Mettre en œuvre les services Data et Compute de Google Cloud Platform.
• Participer à l’ingestion, l’agrégation et l’exposition de données.
• Contribuer à la production des données pour les reportings métiers.
• Participer aux tests, à l’intégration et à la mise en production.
• Contribuer à l’industrialisation et à l’automatisation des traitements.
• Participer aux pratiques DevOps du projet.
• Collaborer avec les équipes techniques et métiers.
• Garantir la qualité et la fiabilité des développements.

Connaissances

Python

Spark

Data engineering

ETL

Outils

Google Cloud Platform

Description du poste

Dans le cadre d’un projet stratégique lié à lagestion et à la surveillance des risques, une grande organisation recherche unData Engineer Python / Sparkafin de participer à la mise en œuvre d’une solution permettant d’ingérer, d’agréger et d’exposer des données provenant de sources multiples.

La solution a pour objectif de produire desreportings métiersdans le cadre de la surveillance des risques, notamment sur les problématiques liées auxrisques climatiques et physiques.

Au sein d’une équipe experte et engagée, vous participerez à la conception, au développement et à l’intégration de la solution surGoogle Cloud Platform (GCP).

Vos principales missions seront :

• Participer à la conception et au développement de solutionsData.

• Développer et intégrer des traitements enPython / Spark.

• Mettre en œuvre les servicesData et Compute de Google Cloud Platform.

• Participer à l’ingestion, l’agrégation et l’exposition de données provenant de sources multiples.

• Contribuer à la production des données nécessaires auxreportings métiers.

• Participer aux phases de tests, d’intégration et de mise en production.

• Contribuer à l’industrialisation et à l’automatisation des traitements.

• Participer aux pratiquesDevOpsdu projet.

• Collaborer avec les équipes techniques et métiers.

• Garantir la qualité et la fiabilité des développements réalisés.

Le projet étantstratégique et à forte visibilité, une expertise technique solide sur l’écosystème GCP est indispensable.