Data Engineer (IT) / Freelance

Coriom Conseil; Lille; Sur place; EUR 45 000 - 60 000; Plein temps

Résumé du poste

Coriom Conseil recherche un Data Engineer expérimenté pour moderniser son architecture de données sur Google Cloud Platform. Vous serez chargé de la mise en place de l'infrastructure, de l'automatisation des processus, et de la garantie de la qualité des données. Ce poste requiert une expertise en Terraform, DBT et BigQuery, ainsi qu'une expérience significative dans un environnement cloud.

Qualifications

• 3 ans d'expérience minimum en tant que Data Engineer dans un environnement cloud GCP.
• Maîtrise de Terraform, BigQuery et dbt est impérative.
• Résidence dans la métropole lilloise requise.

Responsabilités

• Refondre et automatiser l'architecture data sur GCP.
• Mettre en place des pipelines de transformation avec dbt.
• Conception d'un dashboard FinOps pour suivre les coûts.

Connaissances

Terraform

GCP

BigQuery

Data Quality

dbt

Description du poste

Connaissance de l'écosystème technique CCDP spécifiquement Les livrables sont Refondre et automatiser l?architecture data Mise en place de la Data Quality Suivi FinOps Compétences techniques Terraform - Expert - Impératif DBT - Expert - Impératif GCP / Bigquery - Confirmé - Impératif DBT - ELEMENTARY - Expert - Impératif Connaissances linguistiques Français Courant (Impératif) Anglais Professionnel (Secondaire) Description détaillée Mission ? Data Engineer GCP / BigQuery / Terraform / dbt Contexte : Dans le cadre de l?évolution de notre architecture data, nous recherchons un Data Engineer expérimenté pour remettre à niveau notre infrastructure de traitement de données sur Google Cloud Platform (GCP), en particulier BigQuery. L?objectif est de garantir une plateforme fiable, automatisée, scalable et optimisée en termes de coûts. Objectifs de la mission : Phase 1 : Refondre et automatiser l?architecture data Modernisation de l?architecture existante sur GCP BigQuery. Mise en place d?une infrastructure as code via Terraform pour automatiser le déploiement des ressources. Mise en ?uvre de pipelines de transformation avec dbt. Standardisation de la création des assets data (datasets, modèles, vues) pour une meilleure scalabilité et réplicabilité. Phase 2 : Mise en place de la Data Quality Intégration de dbt-elementary pour le monitoring de la qualité des données. Définition de règles de validation et de tests automatisés sur les jeux de données critiques. Intégration potentielle avec notre Data Quality Platform. Phase 3 : Suivi FinOps Conception et développement d?un dashboard FinOps pour piloter les coûts liés à la plateforme data (requêtes, stockage...). Mise en place d?alerting et de bonnes pratiques d?optimisation. Profil candidat : Profil recherché par le client : 3 ans d?expérience minimum en tant que Data Engineer dans un environnement cloud GCP. Le consultant devra obligatoirement résider dans la métropole lilloise

Créer une alerte emploi pour cette recherche