Azure Data Engineer: Databricks, ETL & Cloud Pipelines

Labsoft; Lyon; Sur place; EUR 55 000 - 75 000; Plein temps

Avantages offerts par ce poste

Transports pris en charge 50%

Prime vélo

RTT

Télétravail

Formation et certifications

Aide à l'installation

Résumé du poste

LabSoft recherche un Data Engineer expérimenté pour faire évoluer et industrialiser un Data Warehouse Cloud sur Azure, avec supervision des flux et dimension DevOps/Cloud. Vous concevrez et optimiserez les traitements Databricks en PySpark, gérerez les pipelines et contribuerez à l'amélioration continue des performances et coûts.

Le candidat idéal maîtrise PySpark, SQL, Parquet/Delta Lake et les pratiques CI/CD, et travaille en étroite collaboration avec les équipes métiers.

Qualifications

• 3 ans d'expérience minimum en Data Engineer ou Ingénieur Data
• Bonne connaissance des environnements Cloud
• Maîtrise de PySpark et SQL et d'Azure

Responsabilités

• Concevoir, développer et orchestrer des traitements Databricks en PySpark selon l'architecture Bronze/Silver/Gold
• Développer et optimiser les traitements et pipelines de données
• Manipuler les formats Parquet et Delta Lake
• Améliorer la performance, la qualité et les coûts d'exécution des traitements
• Superviser les flux Azure Data Factory et mettre en place des alertes et indicateurs
• Participer à la détection des anomalies et à la reprise sur incident
• Faire évoluer l'infrastructure via Terraform
• Maintenir et faire évoluer les pipelines Jenkins liés aux déploiements et traitements
• Collaborer avec les équipes métiers et techniques pour industrialiser les solutions
• Rédiger et maintenir la documentation technique associée
• Contribuer à l'industrialisation et aux pratiques CI/CD
• Anglais technique à l'oral et à l'écrit nécessaire

Connaissances

Azure

Databricks

Azure Data Factory

Python

PySpark

SQL

Parquet/Delta Lake

Terraform

Jenkins

Git/GitHub

CI/CD

Anglais professionnel

Outils

Power BI

Description du poste

LabSoft recherche un Data Engineer expérimenté pour faire évoluer et industrialiser un Data Warehouse Cloud sur Azure, avec supervision des flux et dimension DevOps/Cloud. Vous concevrez et optimiserez les traitements Databricks en PySpark, gérerez les pipelines et contribuerez à l'amélioration continue des performances et coûts.

Le candidat idéal maîtrise PySpark, SQL, Parquet/Delta Lake et les pratiques CI/CD, et travaille en étroite collaboration avec les équipes métiers.