Data Engineer Azure Data Platform & DevOps

Onyx-Conseil; Lyon; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer pour accompagner un client dans le cloud datawarehouse sur Azure. Vous concevrez et développerez des notebooks Databricks en PySpark alimentant bronze, silver et gold, et participerez à l’industrialisation des traitements.

Vous gérerez les aspects DevOps et infra (Terraform, Jenkins) et assurerez la supervision des flux via Azure Data Factory et des dashboards. Vous travaillerez avec les équipes métiers pour prioriser les évolutions tout en respectant les

Qualifications

• Ingénieur Data avec expérience en Databricks et PySpark, capable de concevoir des pipelines robustes.
• Compétences DevOps : Azure, Terraform, Jenkins, Git et CI/CD.
• Bonne connaissance des formats Parquet/Delta et des problématiques performance/coût.
• Collaboration avec les équipes métier et techniques et sens de l’industrialisation des traitements.

Responsabilités

• Concevoir et déployer des notebooks Databricks PySpark pour Bronze/Silver/Gold.
• Optimiser les notebooks et les jobs: performance et coûts.
• Mettre en place la supervision et les dashboards de suivi des flux.
• Maintenir et faire évoluer les repos d’infrastructure (Terraform, Jenkins).
• Participer à la revue de code et aux pratiques Git/CI/CD.

Connaissances

Databricks

PySpark

Python

SQL

Azure

Terraform

Jenkins

Git

CI/CD

Data pipelines

Outils

Azure Data Factory

Terraform

Jenkins

GitHub

CI/CD tooling

Description du poste

Onyx-Conseil recherche un Data Engineer pour accompagner un client dans le cloud datawarehouse sur Azure. Vous concevrez et développerez des notebooks Databricks en PySpark alimentant bronze, silver et gold, et participerez à l’industrialisation des traitements.

Vous gérerez les aspects DevOps et infra (Terraform, Jenkins) et assurerez la supervision des flux via Azure Data Factory et des dashboards. Vous travaillerez avec les équipes métiers pour prioriser les évolutions tout en respectant les