Ingénieur Data Azure et Databricks – DevOps & Pipelines

SCC France; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

SCC France recherche un Ingénieur Data au sein de la Direction des Services Socles et Poste de Travail pour piloter une plateforme Data, consolidant les sources liées à la gestion des actifs IT et des identités numériques via Azure Databricks et PySpark.

Vous développerez des pipelines, travaillerez sur Bronze/Silver/Gold, optimiserez les formats Parquet/Delta Lake/CSV, et participerez à la supervision, CI/CD (Terraform, Jenkins) et à l'amélioration continue avec les équipes.

Qualifications

• Formation supérieure en Informatique, Data ou équivalent.
• Minimum 5 ans d'expérience en Data Engineering.
• Expérience significative sur Azure Data Platform et Databricks.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données sur Azure Databricks.
• Développer des notebooks PySpark pour alimenter Bronze, Silver et Gold.
• Exploiter et optimiser Parquet, Delta Lake et CSV.
• Assurer qualité, performance et fiabilité des traitements.
• Optimiser les jobs et réduire les coûts d'exploitation.
• Mettre en place et maintenir supervision et monitoring des flux.

Connaissances

PySpark

Databricks

Azure

Terraform

Jenkins

GitHub

CI/CD

DevOps

Python

Data Engineering

Formation

Formation informatique/Data ou équivalent

Outils

Delta Lake

Azure Databricks

Apache Spark

GitHub

Description du poste

SCC France recherche un Ingénieur Data au sein de la Direction des Services Socles et Poste de Travail pour piloter une plateforme Data, consolidant les sources liées à la gestion des actifs IT et des identités numériques via Azure Databricks et PySpark.

Vous développerez des pipelines, travaillerez sur Bronze/Silver/Gold, optimiserez les formats Parquet/Delta Lake/CSV, et participerez à la supervision, CI/CD (Terraform, Jenkins) et à l'amélioration continue avec les équipes.