Ingénieur Big Data Kestra Senior (H/F)

DGTL Performance; Guyancourt; Hybride; EUR 85 000 - 120 000; Plein temps

Résumé du poste

DGTL Performance recherche un Ingénieur Big Data Senior (H/F) pour rejoindre son pôle Data. Vous concevrez, implémenterez et maintiendrez une infrastructure cloud hybride, combinant GCP et des environnements on‑premise, avec une approche DevOps et GitOps.

Vous évoluerez dans une équipe agile, manipulerez des plateformes Big Data et orchestrateurs (Kestra, Stratus), et participerez à l'amélioration continue tout en assurant la sécurité et la haute disponibilité des solutions.

Qualifications

• Expérience confirmée (5+ ans) en Big Data ou Data Engineering.
• Maîtrise de GCP et services data (BigQuery, Dataflow, Pub/Sub).
• Infrastructures as code avec Terraform et Terragrunt.
• CI/CD avec GitLab.
• Kubernetes et containerisation (Docker).
• Python et SQL pour le traitement et l'analyse des données.

Responsabilités

• Participer à la mise en œuvre et l'évolution de la plateforme Big Data.
• Développer et maintenir les pipelines et les infra as code.
• Automatiser les workflows et les pipelines CI/CD sous GitLab.
• Administrer les plateformes Big Data et Data Engineering.
• Mettre en œuvre les orchestrateurs de workflows (Kestra, Stratus).
• Mettre en place et maintenir les outils de monitoring (Prometheus, Grafana).
• Collaborer avec les équipes Infra, Apps et DevOps.
• Rédiger la documentation technique et d'exploitation.
• Participer à l'amélioration continue et proposer des optimisations architecturales.

Connaissances

Big Data

Data Engineering

Python

SQL

Kubernetes

Outils

Terraform

Terragrunt

Docker

GitLab

Google Cloud Platform

Description du poste

Ingénieur Big Data Kestra Senior (H/F) 78 - Guyancourt

Offre n° 6845887
Ingénieur Big Data Kestra Senior (H/F)

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.https://www.dgtl-performance.comLe poste :Rejoignez le pôle de modernisation data d'un acteur majeur du secteur bancaire pour intervenir au sein d'une équipe Big Data de haut niveau. Vous participerez à la conception, l'implémentation et l'administration d'une infrastructure cloud hybride hautement résiliente, combinant les forces de Google Cloud Platform et des infrastructures on-premise.Le pôle conçoit et opère des plateformes " as a service " facilitating la mise en place d'architectures modernes, distribuées et hautement disponibles pour l'ensemble des entités du groupe. Vous évoluerez dans un environnement technologique riche, centré sur l'automatisation, l'infrastructure as code et les bonnes pratiques DevOps et GitOps, au sein d'équipes agiles et collaboratives.Le périmètre couvre l'ensemble du cycle de vie des services : de leur conception jusqu'à leur maintien en condition opérationnelle. Vous travaillerez en étroite collaboration avec les équipes applicatives, infrastructures et DevOps, dans un contexte de sécurité renforcée et de haute disponibilité.

Responsabilités

• Participer à la mise en œuvre, l'optimisation et l'évolution de la plateforme Big Data
• Développer et maintenir l'infrastructure as code avec Terraform et Terragrunt
• Automatiser et maintenir les pipelines CI/CD sous GitLab
• Administrer et faire évoluer les plateformes Big Data et Data Engineering
• Mettre en œuvre les orchestrateurs de workflows (Kestra, Stratus) pour l'automatisation des traitements data
• Mettre en place et maintenir les outils de monitoring et d'observabilité (Prometheus, Grafana, ELK)
• Assurer le maintien en condition opérationnelle des plateformes en environnement distribué
• Collaborer à la mise en œuvre des bonnes pratiques Cloud, DevOps et GitOps
• Produire la documentation technique et d'exploitation
• Participer à l'amélioration continue et proposer des optimisations architecturales

Télétravail : 2 jours par semaineLocalisation : Montpellier ou Guyancourt

Profil recherché

Indispensables

• Expérience confirmée (5+ ans) en tant qu'Ingénieur Big Data ou Data Engineering
• Solide expertise sur Google Cloud Platform (GCP) et ses services data (BigQuery, Dataflow, Pub/Sub)
• Maîtrise de l'infrastructure as code : Terraform et Terragrunt
• Compétences avancées en orchestration de workflows et pipelines (Kestra ou équivalent)
• Expertise en CI/CD avec GitLab
• Connaissance approfondie de Kubernetes et de la containerisation (Docker)
• Maîtrise de Python et SQL pour le développement et la manipulation de données
• Expérience en