Senior Data Engineer | GCP, Python & Spark Pipelines

Keoni; Paris; Presencial; EUR 80.000 - 110.000; Jornada completa

Descripción de la vacante

Kéoni Consulting recherche un Data Engineer Senior spécialisé GCP et Python pour s’intégrer à l’équipe Bronze, au cœur de la plateforme Data. Vous travaillerez sur l’ingestion, la sécurisation et l’orchestration des données avec BigQuery, Spark et Airflow, tout en garantissant l’évolutivité et la conformité.

Vous concevrez et maintiendrez des pipelines et des workflows, contribuerez aux initiatives de gouvernance et participerez aux projets avec les équipes Data.

Formación

• Au moins 3 ans d’expérience en Data Ingénieur dans un environnement data.
• Compétences solides en data : structures de données, code, architecture.
• Expériences dans la conception et la réalisation de pipelines data.
• Expériences dans un environnement du cloud Google (GCP).
• Expériences intégrant BigQuery et Dataplex Universal Catalog.
• Expériences intégrant les langages Python et SQL.
• Expériences intégrant Spark et Delta Lake.
• Expériences intégrant Terraform et Terragrunt.
• Expériences intégrant Gitlab et Gitlab CI/CD.
• Expériences Agile : Scrum ou Kanban.
• Capacité à vulgariser et communiquer sur des aspects techniques.

Responsabilidades

• Participer activement aux phases de conception, planification et réalisation des tâches avec l’équipe.
• Construire et maintenir des pipelines data robustes et scalables.
• Accompagner l’exploitation et le requêtage des données par les équipes.
• Organiser et structurer le stockage des données.
• Mettre en place et maintenir des infrastructures scalables.
• Construire et maintenir les workflows CI/CD.
• Partager les bonnes pratiques entre data ingénieurs.
• Assurer l’évolutivité, la sécurité et la stabilité des environnements.
• Participer aux instances des data ingénieurs et véhiculER la documentation.
• Veille technologique active dans le domaine.

Conocimientos

Python

SQL

Spark

Airflow

GCP

BigQuery

Dataproc

Pub/Sub

Delta Lake

Terraform

Terragrunt

GitLab CI/CD

Data pipelines

Cloud Storage

Data governance

Agile

Kanban

Scrum

Herramientas

GitLab CI/CD

Terraform

Terragrunt

Airflow

Descripción del empleo

Kéoni Consulting recherche un Data Engineer Senior spécialisé GCP et Python pour s’intégrer à l’équipe Bronze, au cœur de la plateforme Data. Vous travaillerez sur l’ingestion, la sécurisation et l’orchestration des données avec BigQuery, Spark et Airflow, tout en garantissant l’évolutivité et la conformité.

Vous concevrez et maintiendrez des pipelines et des workflows, contribuerez aux initiatives de gouvernance et participerez aux projets avec les équipes Data.