Senior Data Engineer / Expert Dataplatform (GCP) (IT) / Freelance

KUBE Partners S.L. - Pixie Services; Lille; On-site; EUR 65,000 - 100,000; Full time

Job summary

Onyx-Conseil recherche un Senior Data Engineer / Expert Dataplatform(GCP) pour renforcer sa Dataplatform en pleine transformation, basé à Lille. Vous participerez à la construction et à l’industrialisation des pipelines et des outils d’ingestion, en collaboration avec 4 experts GCP & BigQuery.

Le rôle vise à faciliter le travail des Data Engineers, améliorer l’expérience de développement des pipelines et assurer la fiabilité, la sécurité et les coûts.

Qualifications

• Profil senior ayant déjà participé à la construction d’une Dataplatform et capable d’accélérer l’industrialisation des pipelines et des outils d’ingestion.

Responsibilities

• Gouvernance et contrôle de la Dataplatform, accompagnant les Data Engineers dans les bonnes pratiques.
• Définir et appliquer les standards FinOps, observabilité et sécurité.
• Concevoir et industrialiser les pipelines: Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI.
• Documenter et proposer de nouveaux outils; animer l’équipe Data Engineer chaque vendredi.

Skills

Data engineering

GCP expertise

Pipelines et flux

Industrialisation

Documentation

Animation d’équipe

Tools

GCP

BigQuery

Airflow

Dataform

Terraform

Vertex AI

Cloud Run

Cloud Functions

Pub/Sub

Job description

Fiche de poste – SeniorDataEngineer / ExpertDataplatform(GCP)

Contexte & Organisation

Le PôleDataest structuré autour du modèle Spotify :

• UneDataplatformen pleine transformation, composée de 4 experts

  • Architectes / Développeurs GCP & BigQuery

  • Maintenance de l’existant + évolution de la plateforme

  • Début d’un chantier majeur de construction début 2025 (v1 en cours, forte ambition d’évolution)

Outils & écosystème :

• GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery)

• Airflow (orchestration)

• Dataform (concurrent DBT – SQL)

• Terraform pour le provisioning

• ModèleDatatype médaillon

• PratiqueDataEngineer moderne + enjeux d’observabilité / finops / sécurité

Objectifs du poste

Renforcer l’équipeDataplatformavec un profil senior ayant déjà participé à laconstruction d’uneDataplatformet capable d’accélérer l’industrialisation des pipelines et des outils d’ingestion.

Le rôle vise à :

• Faciliter et accélérer le travail desDataEngineers

• Améliorer l’expérience de construction de pipelines de données

• Structurer et fiabiliser l’ingestion et le transfert de données, encore peu industrialisés

• Apporter uneexpertise de haut niveau sur GCP &DataEngineering

Missions principales

1. Gouvernance & Contrôle de la plateforme

• Assurer uncontrôle global de laDataplatformet accompagner lesDataEngineers dans les bonnes pratiques d’industrialisation.

• Identifier les axes d’amélioration techniques et proposer des solutions robustes.

• Participer aux choix d’architecture technique etData(modèle médaillon).

2. FinOps, Observabilité & Sécurité

• Définir et mettre en œuvre les standards d’observabilité.

• Garantir la performance, la robustesse et la sécurité de la plateforme.

• Suivre les coûts et proposer des optimisations FinOps.

• Automatiser le provisioning via Terraform.

3. Développement & Industrialisation

• Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI.

• Contribuer à résorber la dette technique.

• Développer et industrialiser les briques d’ingestion et de transformation.

4. Animation & Documentation

• Participer à lamise à disposition de nouveaux outilset à la documentation associée.

• Assurer une démarche d'amélioration continue du run.

• Animer une équipe deDataEngineerchaque vendredi:

  • partage de bonnes pratiques

  • suivi des évolutions de laDataplatform

  • retours d’expérience et recommandations

5. Innovation & IA

• Apporter une vision sur l’usage de l’IA (générative et traditionnelle) pour :

  • réduire les coûts

  • améliorer la productivité

  • faciliter le travail des collaborateurs

• Contribuer à des projets Vertex AI / ML (ambition forte vers l’IA)