GCP Data Engineer: PySpark & dbt for Scalable Pipelines

DATAMED RESEARCH; Montigny-le-Bretonneux; Sur place; EUR 55 000 - 85 000; Plein temps

Avantages offerts par ce poste

Primes

Indemnité transports

Titres restaurant / Prime de panier

Ordinateur portable

Résumé du poste

DATAMED RESEARCH recherche un Data Engineer GCP pour concevoir, développer et industrialiser des pipelines de données à grande échelle sur une plateforme Data Cloud. Vous travaillerez sur des flux batch et streaming avec PySpark, Python et SQL, et utiliserez dbt pour la modélisation des données.

Vous exploiterez BigQuery, Dataproc, Cloud Storage et Airflow/Composer, optimiserez Spark et les requêtes, et participerez à l'architecture Data tout en assurant CI/CD et des contrôles qualité.

Qualifications

• Expérience sur GCP et Big Data.
• Maîtrise de PySpark, SQL et dbt.
• Autonomie et capacité d'industrialisation.

Responsabilités

• Concevoir, développer et industrialiser des pipelines de données batch et streaming.
• Optimiser les traitements et assurer la qualité et le monitoring des données.
• Collaborer avec Data Analysts et équipes métiers pour répondre aux besoins data.
• Mettre en place les déploiements CI/CD et suivre les bonnes pratiques.

Connaissances

GCP

PySpark

Python

SQL

dbt

BigQuery

Outils

Dataproc

Airflow/Composer

Git CI/CD

Description du poste

DATAMED RESEARCH recherche un Data Engineer GCP pour concevoir, développer et industrialiser des pipelines de données à grande échelle sur une plateforme Data Cloud. Vous travaillerez sur des flux batch et streaming avec PySpark, Python et SQL, et utiliserez dbt pour la modélisation des données.

Vous exploiterez BigQuery, Dataproc, Cloud Storage et Airflow/Composer, optimiserez Spark et les requêtes, et participerez à l'architecture Data tout en assurant CI/CD et des contrôles qualité.