Azure Databricks Data Engineer for Cloud Platform & CI/CD

Kicklox; Lyon; Hybride; EUR 83 000 - 101 000; Plein temps

Résumé du poste

Kicklox recherche un Ingénieur Data / Data Engineer Azure freelance à Lyon pour intervenir sur notre Datawarehouse Cloud Azure. Vous concevrez et développerez des notebooks Databricks en PySpark et alimenterez les zones Bronze/Silver/Gold.

Vous travaillerez en mode DevOps et CI/CD, avec Terraform, Jenkins et GitHub, et assurerez la fiabilité des flux de données en produisant documentation et livrables techniques.

Qualifications

• 3 ans d’expérience minimum en Data Engineering.
• Maîtrise de Python et PySpark.
• Bonne connaissance d’Azure et Databricks.
• Expérience CI/CD et industrialisation des déploiements.
• Maîtrise des formats Parquet/Delta/CSV et Delta Lake.

Responsabilités

• Concevoir et développer des notebooks Databricks en PySpark.
• Alimenter les zones Bronze / Silver / Gold.
• Exploiter Parquet, Delta et CSV.
• Optimiser les notebooks et les jobs en termes de performance et coûts.
• Mettre en place la fiabilisation et l’industrialisation des traitements.
• Suivre la qualité des données et remonter les incidents.

Connaissances

Azure Databricks

PySpark

Python

SQL

Azure Data Factory

CI/CD

Outils

Terraform

Jenkins

GitHub

Git

Description du poste

Kicklox recherche un Ingénieur Data / Data Engineer Azure freelance à Lyon pour intervenir sur notre Datawarehouse Cloud Azure. Vous concevrez et développerez des notebooks Databricks en PySpark et alimenterez les zones Bronze/Silver/Gold.

Vous travaillerez en mode DevOps et CI/CD, avec Terraform, Jenkins et GitHub, et assurerez la fiabilité des flux de données en produisant documentation et livrables techniques.