Data Engineer GCP

Free-Work; Paris; Sur place; EUR 55 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un ingénieur Data pour concevoir et industrialiser une plateforme Data sur GCP, permettant l'ingestion, la transformation et la mise à disposition des données pour des outils d'analyse métier.

Vous concevrez et maintiendrez les pipelines avec SQL, Python et dbt, mettrez en place les workflows avec Airflow et Argo, et gérerez BigQuery et IAM tout en participnant à l’infrastructure as code via Terraform et CI/CD GitLab.

Responsabilités

• Concevoir et maintenir les pipelines d'ingestion de données publiques et internes.
• Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt.
• Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow.
• Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier.
• Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM.
• Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab.
• Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.

Outils

SQL

Python

dbt

Argo Workflows

Airflow

BigQuery

GCS

Cloud Run

IAM

Terraform

GitLab CI

Description du poste

Projet

Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier.

Activités

• Concevoir et maintenir les pipelines d'ingestion de données publiques et internes.
• Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt.
• Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow.
• Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier.
• Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM.
• Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab.
• Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.