Ingénieur Data / DevOps Azure - Databricks H/F

Onyx-Conseil; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Ingénieur Data orienté DevOps pour accompagner un grand groupe national du transport dans l'évolution et l’industrialisation de sa plateforme Data Cloud Azure.

Vous interviendrez sur Databricks, PySpark et pipelines Data Bronze/Silver/Gold, avec automatisation via Terraform et CI/CD (Jenkins, GitHub), supervision de la plateforme et optimisation des coûts.

Qualifications

• Expérience avec Databricks et PySpark sur données volumineuses.
• Maitrise des pipelines ETL/ELT et qualité des données.
• Connaissance d'Azure et de Terraform pour l'infra as code.

Responsabilités

• Concevoir et industrialiser les traitements Databricks (PySpark).
• Développer et optimiser les pipelines de données et fiabiliser les coûts.
• Manager le monitoring et la qualité des données via les outils Azure.

Connaissances

Databricks

PySpark

Azure

DevOps

CI/CD

Outils

Terraform

Jenkins

GitHub

Description du poste

Contexte de la mission :

C'est pour accompagner notre client, un grand groupe national du secteur du transport, dans l'évolution et l'industrialisation de sa plateforme Data Cloud Azure que nous recherchons un Ingénieur Data orienté DevOps.

Au coeur d'un environnement Data à forts enjeux, la plateforme centralise des données issues de différents référentiels techniques, applicatifs, organisationnels et financiers afin de produire des indicateurs de pilotage et des tableaux de bord décisionnels.

Vous rejoindrez une équipe intervenant sur des sujets à la fois Data, Cloud et DevOps, avec un rôle clé dans la conception et l'industrialisation des traitements de données.

Votre périmètre couvrira notamment :

• La conception et le développement de traitements Databricks / PySpark selon une architecture Bronze / Silver / Gold ;
• L'industrialisation et l'optimisation des pipelines Data ;
• L'automatisation et la gestion des infrastructures Azure avec Terraform ;
• La mise en oeuvre et le maintien des chaînes CI/CD avec Jenkins et GitHub ;
• La supervision et l'exploitation de la plateforme Data.

La mission offre également une véritable dimension de conseil et d'accompagnement : études d'opportunité, sujets d'innovation, réflexions autour des architectures Data et recommandations visant à optimiser les performances, la fiabilité et les coûts des solutions.

Responsabilités :

• Concevoir et industrialiser les traitements de données Databricks (PySpark) selon une architecture Bronze / Silver / Gold ;
• Développer, optimiser et maintenir les pipelines de données en garantissant performance, qualité et maîtrise des coûts ;
• Exploiter les formats de données (Delta, Parquet, CSV) et mettre en oeuvre les bonnes pratiques associées ;
• Assurer la supervision de la plateforme data via Azure Data Factory : monitoring, alerting, suivi de la qualité des données et reporting ;
• Renforcer la fiabilité et la résilience des traitements en participant à la gestion des incidents, à la détection d'anomalies et à l'amélioration continue ;
• Contribuer aux activités DevOps et Cloud en maintenant les infrastructures et pipelines CI/CD (Terraform, Jenkins, GitHub) et en collaborant avec les équipes métiers et techniques.