GCP Data Engineer - Python/Spark for Risk Analytics

Collective.work; Paris; Sur place; EUR 80 000 - 105 000; Plein temps

Résumé du poste

Collective.work recherche un Data Engineer Python / Spark pour concevoir et développer une solution de gestion et de surveillance des risques sur Google Cloud Platform.

Vous participerez à l’ingestion, l’agrégation et l’exposition de données multi-sources, et développerez des traitements Python/Spark tout en s’alignant sur les pratiques DevOps et l’écosystème GCP (BigQuery, Dataproc, Cloud Composer, Cloud Functions, Cloud Run Jobs).

Qualifications

• Expérience en ingénierie des données avec Python et Spark.
• Maitrise de Google Cloud Platform et BigQuery.
• Ingestion, agrégation et exposition de données multi-sources.

Responsabilités

• Concevoir et développer des solutions Data.
• Développer et intégrer des traitements Python/Spark.
• Mettre en œuvre les services Data et Compute sur GCP.
• Ingestion et exposition de données pour reportings risques.

Connaissances

Python

Apache Spark

GCP

BigQuery

Dataproc

Cloud Composer

Cloud Functions

Cloud Run Jobs

GCS

Terraform

Jenkins

XLD

Outils

Python

Spark

GCP

BigQuery

Dataproc

Cloud Composer

Cloud Functions

Cloud Run Jobs

GCS

Terraform

Jenkins

XLD

Description du poste

Collective.work recherche un Data Engineer Python / Spark pour concevoir et développer une solution de gestion et de surveillance des risques sur Google Cloud Platform.

Vous participerez à l’ingestion, l’agrégation et l’exposition de données multi-sources, et développerez des traitements Python/Spark tout en s’alignant sur les pratiques DevOps et l’écosystème GCP (BigQuery, Dataproc, Cloud Composer, Cloud Functions, Cloud Run Jobs).