DATA ENGINEER GCP

Free-Work; Nantes; Sur place; EUR 55 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un Data Engineer confirmé pour piloter la migration d’un écosystème Data On-Premise vers Google Cloud Platform, dans le cadre d’un programme de transformation Data. Vous concevrez des pipelines batch et temps réel sur GCP (BigQuery, Dataflow), migrerez les traitements On-Prem vers les services managés, et travaillerez sur l’industrialisation de la plateforme Data.

Vous interviendrez de manière autonome sur la conception, le développement et l’optimisation de pipelines, en

Qualifications

• Expertise confirmée sur Google Cloud Platform.
• Maîtrise avancée de BigQuery et SQL.
• Expérience significative avec Dataflow et Cloud Composer.
• Maîtrise de Cloud Run et Cloud Functions.
• Compétences en architectures Data temps réel.
• Bonne connaissance des problématiques de migration On-Prem vers le Cloud.
• Maîtrise des enjeux de qualité, observabilité et performance des données.

Responsabilités

• Concevoir et développer des pipelines de données batch et temps réel.
• Migrer les traitements On-Prem vers les services managés de GCP.
• Développer et optimiser les transformations ELT avec BigQuery et Dataform.
• Orchestrer les flux et traitements avec Cloud Composer.
• Déployer des composants serverless avec Cloud Run et Cloud Functions.
• Garantir la qualité, la disponibilité et la fraîcheur des données.
• Participer à l’industrialisation et à l’optimisation de la plateforme Data.

Connaissances

Google Cloud Platform

BigQuery

SQL

Dataform

Dataflow

Cloud Composer

Cloud Run

Cloud Functions

Real-time data

On-Prem migration

Description du poste

Dans le cadre d’un programme de transformation Data , nous recherchons un Data Engineers GCP confirmé pour participer à la migration complète d’un écosystème Data On-Premise vers Google Cloud Platform.

L’objectif est de construire une architecture moderne et cloud-native, capable de traiter d’importants volumes de données tout en répondant à des enjeux de temps réel, de fraîcheur et de qualité des données.

Missions

• Concevoir et développer des pipelines de données batch et temps réel ;
• Migrer les traitements On-Premise vers les services managés de GCP ;
• Développer et optimiser les transformations ELT avec BigQuery et Dataform ;
• Orchestrer les flux et traitements avec Cloud Composer ;
• Déployer des composants serverless avec Cloud Run et Cloud Functions ;
• Garantir la qualité, la disponibilité et la fraîcheur des données ;
• Participer à l’industrialisation et à l’optimisation de la plateforme Data.

Compétences recherchées

• Expertise confirmée de Google Cloud Platform ;
• Très bonne maîtrise de BigQuery, SQL et Dataform ;
• Expérience significative sur Dataflow et Cloud Composer ;
• Maîtrise de Cloud Run et Cloud Functions ;
• Expérience des architectures Data temps réel ;
• Bonne connaissance des problématiques de migration On-Premise vers le Cloud ;
• Maîtrise des enjeux de qualité, d’observabilité et de performance des données.

Profil attendu

Data Engineer confirmé disposant d’une expérience solide sur des projets GCP en production, capable d’intervenir de manière autonome sur la conception, le développement et l’industrialisation de pipelines Data.