Data Engineer GCP BigQuery F/H - Système, réseaux, données

DGTL Performance; Valbonne; Sur place; EUR 35 000 - 40 000; Plein temps

Résumé du poste

DGTL Performance recherche un Data Engineer GCP BigQuery F/H pour contribuer à une plateforme de données centralisée alimentant des modèles ML dans un grand groupe du secteur aéronautique.

Vous travaillerez sur l ingestion, la transformation et l orchestration de flux massifs via Kafka, dans un environnement cloud-native Google Cloud Platform, avec Terraform et GitHub Actions et une méthodologie Agile.

Qualifications

• Expérience confirmée (minimum 5 ans) en Data Engineer ou rôle équivalent.
• Maîtrise solide de Google Cloud Platform, BigQuery/DataFlow/DataProc.
• Compétences avancées en Scala et/ou Java, code production robuste.
• Expérience démontrable sur Hadoop, Spark ou technologies de calcul distribué.
• Connaissance pratique de Kafka et de streaming événementiel.
• Expérience avec Terraform et outils IaC.
• Maîtrise GitHub Actions ou CI/CD équivalents.
• Anglais courant (au moins B2) pour échanges techniques.

Responsabilités

• Concevoir et développer des pipelines de données performants sur GCP (DataProc, DataFlow, BigQuery, BigTable).
• Implémenter des transformations de données en Scala/Java.
• Assurer l'intégration et l'orchestration de flux via Kafka, de l'ingestion à la production.
• Optimiser les requêtes BigQuery pour des volumes massifs et évolutifs.
• Automatiser les déploiements via Terraform et GitHub Actions (CI/CD).
• Collaborer avec les équipes ML et les parties prenantes métier pour valider les livrables.
• Participer aux revues de code, documenter et partager les bonnes pratiques.

Connaissances

GCP BigQuery

Scala/Java

Kafka

Terraform

GitHub Actions

Anglais B2

Outils

GTM

Hadoop

Spark

Description du poste

Data Engineer GCP BigQuery F/H - Système, réseaux, données

Data Engineer GCP BigQuery F/H - Système, réseaux, données 06 - Valbonne

Offre n° 6118942 Data Engineer GCP BigQuery F/H - Système, réseaux, données

Descriptif du poste: Rejoignez une équipe de Data Engineers au sein d'un grand groupe du secteur aéronautique et du transport aérien, pour contribuer au développement d'une plateforme de données centralisée alimentant des modèles de machine learning de nouvelle génération.

Vous intégrez un projet structurant visant à construire un Personalization Context Service robuste, capable de traiter et orchestrer des flux de données massifs provenant de multiples sources. Dans un environnement cloud-native sur Google Cloud Platform, vous travaillerez sur l'ingestion, la transformation et l'optimisation de données critiques, en étroite collaboration avec des équipes de data science et d'infrastructure. La mission combine des enjeux de performance, de scalabilité et de qualité de données.

Votre intégration s'effectuera en deux phases : dans un premier temps, vous contribuerez à l'amélioration et à la consolidation de la source Google Tag Manager (GTM), élément essentiel du pipeline de personnalisation. Vous serez ensuite impliqué dans la mise en œuvre et l'évolution de la plateforme de données centralisée, en charge de fédérer l'ensemble des données nécessaires aux modèles ML. Vous évoluerez dans un environnement technologique moderne, en méthodologie Agile, avec un fort accent sur l'infrastructure-as-code et les bonnes pratiques DevOps.

Responsabilités :

• Concevoir et développer des pipelines de données performants et maintenables sur Google Cloud Platform (DataProc, DataFlow, BigQuery, BigTable)
• Implémenter des transformations de données complexes en Scala/Java, en respectant les standards de qualité et de performance
• Assurer l\'intégration et l\'orchestration de flux événementiels via Kafka, du setup à la configuration en production
• Contribuer à la définition de l'architecture données et à l'optimisation des requêtes BigQuery pour des volumes massifs
• Automatiser le déploiement et l\'intégration continue via Terraform et GitHub Actions
• Collaborer avec les équipes ML et les stakeholders métier pour valider les spécifications et les livrables données
• Participer aux revues de code, à la documentation technique et au partage de bonnes pratiques au sein de l\'équipe

Localisation : Valbonne

Profil recherché:

Indispensables :

• Expérience confirmée (minimum 5 ans) en tant que Data Engineer ou rôle équivalent
• Maîtrise solide de Google Cloud Platform, en particulier BigQuery, DataFlow et DataProc
• Compétences avancées en Scala et/ou Java, avec capacité à écrire du code production robuste et performant
• Expérience démontrable sur Hadoop, Spark ou technologies de calcul distribué
• Connaissance pratique de Kafka ou plateformes de streaming événementiel
• Expérience avec Terraform ou outils IaC (Infrastructure as Code)
• Familiarité avec GitHub Actions ou systèmes CI/CD équivalents
• Anglais courant (minimum B2) - communications techniques et réunions de projet
• Sensibilité aux enjeux de qualité données, performance et scalabilité

Fortement appréciés :

• Expérience dans le secteur aéronautique, e-commerce ou commerce électronique
• Connaissance de Google Tag Manager (GTM) et des données de tracking web
• Expertise en optimisation de requêtes analytiques et tuning BigQuery
• Pratique de la modélisation dimensionnelle (star schema, facts/dimensions)
• Expérience antérieure avec des modèles de machine learning en production
• Contribution à des projets open source ou partage technique (blog, conférences)
• Sensibilité DevOps et pratique du monitoring / observabilité des pipelines données

Type de contrat CDI Contrat travail Salaire

• 35 - 40 k€ brut annuel

Profil souhaité

Expérience

• 5 An(s) Cette expérience est indispensable

Informations complémentaires

• Secteur d\'activité : Conseil pour les affaires et autres conseils de gestion

Employeur

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA. Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l\'étranger ; en sous-traitance, pré-embauche, recrutement, commercial, salarial, etc. Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants. https://www.dgtl-performance.com

D\'autres offres peuvent vous intéresser :