Data engineering GCP

Keoni; France; Hybride; EUR 55 000 - 85 000; Plein temps

Résumé du poste

La société Kéoni Consulting recherche un Data Engineer spécialisé Google Cloud Platform (GCP) pour rejoindre l’équipe Data. Vous participerez à la conception, l’implémentation et l’industrialisation de pipelines data robustes et scalables, en collaboration avec les autres équipes Data.

Vous manipulerez BigQuery, Dataplex, Python, SQL et orchestrerez les flux via Airflow, Terraform et Terragrunt, tout en assurant la qualité et la traçabilité des données et en contribuant à la CI/CD.

Qualifications

• Au moins 3 ans d’expérience en Data Ingénieur.
• Compétences solides en structures de données et architecture.
• Expériences dans la conception et la réalisation de pipelines data.
• Expériences dans un environnement du cloud Google (GCP).
• Expériences intégrant BigQuery et Dataplex Universal Catalog.
• Expériences intégrant les langages Python et SQL.
• Expériences intégrant Spark, dbt, Terraform et Terragrunt.
• Expériences intégrant GitLab et Gitlab CI/CD.
• Méthodologies Agile : Scrum ou Kanban.
• Capacité à vulgariser et à communiquer des aspects techniques.

Responsabilités

• Concevoir, planifier et réaliser des tâches avec l’équipe.
• Construire et maintenir des pipelines data robustes et scalables.
• Accompagner l’exploitation et le requêtage des données.
• Organiser et structurer le stockage des données.
• Mettre en place des infrastructures scalables.
• Participer à la gouvernance des données et assurer qualité et fiabilité.
• Construire et maintenir les workflows CI/CD.
• Partager les bonnes pratiques avec les data ingénieurs.
• Assurer l’évolution, sécurité et stabilité des environnements.
• Participer aux instances des data ingénieurs.
• Contribuer à la mise à jour de la documentation.
• Veille technologique active dans le domaine.

Connaissances

Pipelines de données

Analyse de données

Communication technique

Outils

Python

SQL

Spark

dbt

BigQuery

Airflow

Terraform

Terragrunt

GitLab CI/CD

Kanban Scrum

Description du poste

Data engineering GCP

CONTEXTEAu sein de l’équipe Silver, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur.Notre stack technique est principalement constitué de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. Le stack inclut aussi d’autres services de la Google Cloud Platform.

MISSIONS

En interaction avec les membres de l’équipe, la prestation consiste à :

• Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe
• Construire et maintenir des pipelines data robustes et scalables
• Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
• Organiser et structurer le stockage des données
• Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
• Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données
• Construire et maintenir les workflows de la CI/CD
• Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
• Assurer l’évolutivité, la sécurité, la stabilité des environnements
• Participer aux différentes instances des data ingénieurs
• Contribuer et veiller à la mise à jour de la documentation
• Faire de la veille technologique active dans le domaine

Livrables attendus :

1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels
2. Accompagner les utilisateurs dans leurs usages
3. Mettre en place le contrôle qualité sur ces datasets

Expertises demandées pour la réalisation de la prestation :

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
• Compétences solides en data : structures de données, code, architecture
• Expériences dans la conception et la réalisation de pipelines data
• Expériences dans un environnement du cloud Google (GCP)
• Expériences intégrant BigQuery et Dataplex Universal Catalog
• Expériences intégrant les langages Python et SQL
• Expériences intégrant Spark
• Expériences intégrant dbt
• Expériences intégrant Terraform et Terragrunt
• Expériences intégrant Gitlab et Gitlab CI/CD
• Expériences intégrant les méthodologies Agile : Scrum ou Kanban
• Capacité à vulgariser et à communiquer sur des aspects purement techniques

Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l'industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.Kéoni Consulting aide les entreprises à :Faire la différenceInnover et créerRéinventer votre businessSatisfaire les clientsGagner en avantages compétitifsDevenir le leader de leur secteurDevenir le leader de votre secteurNotre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).