Data Engineer GCP / PySpark / dbt (H/F)

DATAMED RESEARCH

Montigny-le-Bretonneux

Sur place

EUR 55 000 - 85 000

Plein temps

Il y a 12 jours

Générateur de candidature

Une candidature sur mesure pour ce poste — un CV personnalisé et une lettre de motivation qui correspondent directement à l’offre.

Passez les filtres ATS

Avantages offerts par ce poste

Primes

Indemnité transports

Titres restaurant / Prime de panier

Ordinateur portable

Résumé du poste

DATAMED RESEARCH recherche un Data Engineer GCP pour concevoir, développer et industrialiser des pipelines de données à grande échelle sur une plateforme Data Cloud. Vous travaillerez sur des flux batch et streaming avec PySpark, Python et SQL, et utiliserez dbt pour la modélisation des données.

Vous exploiterez BigQuery, Dataproc, Cloud Storage et Airflow/Composer, optimiserez Spark et les requêtes, et participerez à l'architecture Data tout en assurant CI/CD et des contrôles qualité.

Qualifications

Expérience sur GCP et Big Data.
Maîtrise de PySpark, SQL et dbt.
Autonomie et capacité d'industrialisation.

Responsabilités

Concevoir, développer et industrialiser des pipelines de données batch et streaming.
Optimiser les traitements et assurer la qualité et le monitoring des données.
Collaborer avec Data Analysts et équipes métiers pour répondre aux besoins data.
Mettre en place les déploiements CI/CD et suivre les bonnes pratiques.

Connaissances

GCP

PySpark

Python

SQL

dbt

BigQuery

Outils

Dataproc

Airflow/Composer

Git CI/CD

Description du poste

Contexte de la mission :Dans le cadre du développement et de l'évolution d'une plateforme Data Cloud, nous recherchons un Data Engineer GCP pour intervenir sur la conception, le développement et l'industrialisation de pipelines de données à grande échelle.Missions principales :Concevoir, développer et maintenir des pipelines de données batch et/ou streaming.Développer les traitements de données avec Python / PySpark et SQL.Réaliser les transformations et la modélisation des données avec dbt.Exploiter les services GCP : BigQuery, Dataproc, Cloud Storage, Pub/Sub, Composer/Airflow.Optimiser les traitements Spark et les performances des requêtes BigQuery.Industrialiser et automatiser les déploiements via les processus CI/CD.Mettre en place les contrôles de qualité, fiabilité et monitoring des données.Participer à la conception et à l'évolution de l'architecture Data.Collaborer avec les Data Analysts, Data Scientists et équipes métiers.Compétences recherchées :GCP, PySpark, Python, SQL, dbt, BigQuery, Dataproc, Cloud Storage, Airflow/Composer, Git et CI/CD.Profil recherché :Data Engineer confirmé disposant d'une expérience significative sur des environnements GCP et Big Data, avec une très bonne maîtrise de PySpark, SQL et dbt. Le consultant devra être autonome, à l'aise sur des problématiques d'industrialisation et capable d'intervenir sur des volumes de données importants.

Type de contrat CDI
Contrat travail Durée du travail 35H/semaineTravail en journée
Salaire