DATA Engineer Senior GCP-python

Keoni; Paris; In loco; EUR 80.000 - 110.000; Tempo pieno

Descrizione del lavoro

Kéoni Consulting recherche un Data Engineer Senior spécialisé GCP et Python pour s’intégrer à l’équipe Bronze, au cœur de la plateforme Data. Vous travaillerez sur l’ingestion, la sécurisation et l’orchestration des données avec BigQuery, Spark et Airflow, tout en garantissant l’évolutivité et la conformité.

Vous concevrez et maintiendrez des pipelines et des workflows, contribuerez aux initiatives de gouvernance et participerez aux projets avec les équipes Data.

Competenze

• Au moins 3 ans d’expérience en Data Ingénieur dans un environnement data.
• Compétences solides en data : structures de données, code, architecture.
• Expériences dans la conception et la réalisation de pipelines data.
• Expériences dans un environnement du cloud Google (GCP).
• Expériences intégrant BigQuery et Dataplex Universal Catalog.
• Expériences intégrant les langages Python et SQL.
• Expériences intégrant Spark et Delta Lake.
• Expériences intégrant Terraform et Terragrunt.
• Expériences intégrant Gitlab et Gitlab CI/CD.
• Expériences Agile : Scrum ou Kanban.
• Capacité à vulgariser et communiquer sur des aspects techniques.

Mansioni

• Participer activement aux phases de conception, planification et réalisation des tâches avec l’équipe.
• Construire et maintenir des pipelines data robustes et scalables.
• Accompagner l’exploitation et le requêtage des données par les équipes.
• Organiser et structurer le stockage des données.
• Mettre en place et maintenir des infrastructures scalables.
• Construire et maintenir les workflows CI/CD.
• Partager les bonnes pratiques entre data ingénieurs.
• Assurer l’évolutivité, la sécurité et la stabilité des environnements.
• Participer aux instances des data ingénieurs et véhiculER la documentation.
• Veille technologique active dans le domaine.

Conoscenze

Python

SQL

Spark

Airflow

GCP

BigQuery

Dataproc

Pub/Sub

Delta Lake

Terraform

Terragrunt

GitLab CI/CD

Data pipelines

Cloud Storage

Data governance

Agile

Kanban

Scrum

Strumenti

GitLab CI/CD

Terraform

Terragrunt

Airflow

Descrizione del lavoro

DATA Engineer Senior GCP-python

CONTEXTE

Au sein de l’équipe Bronze, la mission se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs.Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La Stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure.

MISSIONS :

1. Collecter et centraliser les différentes sources de données non homogènes
2. Assurer la conformité et la sécurité des données
3. Participer aux initiatives de gouvernance des données

Prestation du data ingénieur

En interaction avec les membres de l’équipe, la mission consiste à :

• Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe
• Construire et maintenir de pipelines data robustes et scalables
• Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
• Organiser et structurer le stockage des données
• Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
• Construire et maintenir les workflows de la CI/CD
• Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
• Assurer l’évolutivité, la sécurité, la stabilité des environnements
• Participer aux différentes instances des data ingénieurs
• Contribuer et veiller à la mise à jour de la documentation
• Faire de la veille technologique active dans le domaine

Expertises demandées pour la réalisation de la prestation :

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
• Compétences solides en data : structures de données, code, architecture
• Expériences dans la conception et la réalisation de pipelines data
• Expériences dans un environnement du cloud Google (GCP)
• Expériences intégrant BigQuery et Dataplex Universal Catalog
• Expériences intégrant les langages Python et SQL
• Expériences intégrant Spark
• Expériences intégrant delta lake
• Expériences intégrant Terraform et Terragrunt
• Expériences intégrant Gitlab et Gitlab CI/CD
• Expériences intégrant les méthodologies Agile : Scrum ou Kanban
• Capacité à vulgariser et à communiquer sur des aspects purement techniques

Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l'industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.

Kéoni Consulting aide les entreprises à :

• Faire la différence
• Innover et créer
• Réinventer votre business
• Satisfaire les clients
• Gagner en avantages compétitifs
• Devenir le leader de leur secteur
• Devenir le leader de votre secteur

Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).