Data Engineer GCP – Python / Spark – Risques Climatiques & Crédit

Free-Work; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un Data Engineer pour concevoir et déployer des solutions Data sur Google Cloud Platform, en utilisant Python et Spark pour transformer et ingérer des volumes importants de données. Vous travaillerez sur l’ingestion, l’agrégation et l’exposition de données issues de sources multiples, avec un focus sur l’intégration et l’industrialisation des traitements.

Le poste implique de maintenir le RUN des applications et d’assurer la qualité et la sécurité des données, tout en

Qualifications

• Expérience en ingénierie de données dans un contexte GCP.
• Conception et développement de pipelines data.
• Implication sur la qualité et la sécurité des données.
• Maintenance RUN et documentation technique.
• Industrialisation des modèles ML et leur maintien en RUN.

Responsabilités

• Concevoir et développer des solutions Data sur Google Cloud Platform.
• Développer et intégrer des traitements Python et Spark.
• Mettre en place et faire évoluer les pipelines d’ingestion et de traitement.
• Ingestion, agrégation et exposition des données issues de sources multiples.
• Assurer la supervision et l’exemple des données, leur qualité et leur sécurité.

Connaissances

Data engineering

Google Cloud Platform

Python

Spark

ETL pipelines

Data quality

Data security

Outils

BigQuery

Airflow

Apache Spark

Description du poste

Contexte

Le projet vise à mettre en place une solution permettant d’ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit.

La solution est développée sur Google Cloud Platform (GCP) au sein d’une équipe expérimentée, sur un projet à forts enjeux et à forte visibilité. Une expérience dans le domaine du risque de crédit est appréciée.

Missions principales

Le consultant interviendra notamment sur :

• La conception et le développement de solutions Data sur Google Cloud Platform ;

• Le développement et l’intégration de traitements Python / Spark ;

• La mise en place et l’évolution des pipelines d’ingestion et de traitement de données ;

• L’ingestion, l’agrégation et l’exposition de données provenant de sources multiples ;

• Le développement de traitements à forte volumétrie ;

• La collecte, le stockage et l’exploitation des flux de données ;

• La supervision et l’intégration de données de différentes natures ;

• Le contrôle de la qualité et de la sécurité des données ;

• La maintenance et le suivi du RUN des applications développées ;

• La maintenance des infrastructures Data associées ;

• La documentation et la cartographie des différentes sources de données ;

• La contribution à l’industrialisation des traitements et modèles ;

• La proposition d’évolutions des infrastructures et solutions Data existantes.

La mission rattache également au rôle de Data Engineer la structuration des bases, la gestion des métadonnées et référentiels, l'industrialisation des modèles ML ainsi que leur maintien en RUN.