Ingénieur Data Azure / Data Engineer H/F

SCC France; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

SCC France recherche un Ingénieur Data au sein de la Direction des Services Socles et Poste de Travail pour piloter une plateforme Data, consolidant les sources liées à la gestion des actifs IT et des identités numériques via Azure Databricks et PySpark.

Vous développerez des pipelines, travaillerez sur Bronze/Silver/Gold, optimiserez les formats Parquet/Delta Lake/CSV, et participerez à la supervision, CI/CD (Terraform, Jenkins) et à l'amélioration continue avec les équipes.

Qualifications

• Formation supérieure en Informatique, Data ou équivalent.
• Minimum 5 ans d'expérience en Data Engineering.
• Expérience significative sur Azure Data Platform et Databricks.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données sur Azure Databricks.
• Développer des notebooks PySpark pour alimenter Bronze, Silver et Gold.
• Exploiter et optimiser Parquet, Delta Lake et CSV.
• Assurer qualité, performance et fiabilité des traitements.
• Optimiser les jobs et réduire les coûts d'exploitation.
• Mettre en place et maintenir supervision et monitoring des flux.

Connaissances

PySpark

Databricks

Azure

Terraform

Jenkins

GitHub

CI/CD

DevOps

Python

Data Engineering

Formation

Formation informatique/Data ou équivalent

Outils

Delta Lake

Azure Databricks

Apache Spark

GitHub

Description du poste

Au sein d'une Direction des Services Socles et Poste de Travail, vous intervenez sur une plateforme Data centralisant de multiples sources d'information liées à la gestion des actifs informatiques, aux identités numériques, aux référentiels d'entreprise et aux données de gestion.

Ces données sont consolidées au sein d'un Data Warehouse Cloud Azure afin de produire des indicateurs décisionnels, des tableaux de bord Power BI et des reportings destinés aux différentes directions métiers.

Les principaux usages concernent notamment :

• Le pilotage des services internes ;
• Le suivi de la consommation et de la facturation des offres de services ;
• L'aide à la décision ;
• Le suivi des projets et déploiements ;
• L'historisation des données ;
• L'amélioration de la gouvernance des actifs IT.

Missions principales :

Dans le cadre de l'évolution et de l'industrialisation de la plateforme Data, vous intervenez en tant qu'Ingénieur Data avec une forte dimension DevOps.

• Concevoir, développer et maintenir des pipelines de traitement de données sur Azure Databricks.
• Développer des notebooks PySpark permettant l'alimentation des couches Bronze, Silver et Gold selon l'architecture Médaillon.
• Exploiter et optimiser les formats de données Parquet, Delta Lake et CSV.
• Garantir la qualité, la performance et la fiabilité des traitements.
• Optimiser les jobs existants afin de réduire les temps d'exécution et les coûts d'exploitation.
• Mettre en place et maintenir les dispositifs de supervision et de monitoring des flux de données.
• Assurer le suivi de la qualité des données et la gestion des alertes.
• Participer à la résolution d'incidents et à l'amélioration continue de la plateforme.
• Collaborer avec les équipes métiers et techniques afin de comprendre les besoins et proposer des solutions adaptées.
• Participer à l'administration et à l'évolution de l'infrastructure cloud Azure.
• Maintenir et faire évoluer les infrastructures as code via Terraform.
• Développer et maintenir les pipelines de déploiement sous Jenkins.
• Contribuer aux processus CI/CD et aux bonnes pratiques d'industrialisation.
• Réaliser des revues de code et participer à la gestion des dépôts GitHub.
• Contribuer à l'automatisation des déploiements et à l'amélioration des standards techniques.

Profil du candidat :

• Formation supérieure en Informatique, Data ou équivalent.
• Minimum 5 ans d'expérience en Data Engineering.
• Expérience significative sur les environnements Azure Data Platform.
• Maîtrise de Databricks et du développement PySpark.
• Bonne compréhension des architectures Data Lake / Data Warehouse.
• Connaissances en Infrastructure as Code et pratiques DevOps.
• Expérience sur les outils CI/CD et les workflows Git.

Environnement technique :

Technologies & environnement technique

• Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM.
• Librairies Python courantes :
• pyspark (transformations, jointures, agrégations, optimisations).
• delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation).
• Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l’intégration avec les services cloud.