Senior Data Engineer - Azure Databricks & CI/CD

O2MAX; Lyon; Sur place; EUR 70 000 - 95 000; Plein temps

Avantages offerts par ce poste

Mutuelle familiale

Ticket restaurant

12 RTT

Prime vacances

Plan épargne entreprise et retraite

Prime de mobilité durable

Co-développement encouragé

Résumé du poste

O2MAX recherche un Data Engineer Senior pour renforcer son équipe Data à Lyon. Vous concevrez, industrialiserez et optimiserez des traitements de données dans un environnement Azure, principalement sur Databricks et PySpark.

Vous travaillerez sur les pipelines, l orchestration et les coûts, avec une dimension Terraform et CI/CD. Profil avec 5+ années en Data Engineering, maîtrise de Databricks, SQL, Azure Data Factory et les formats Delta/Parquet.

Qualifications

• Expérience significative en Data Engineering et au moins 5 ans sur des sujets Data.
• Maîtrise de Databricks/PySpark, SQL et Azure Data Factory.
• Connaissance des architectures Bronze/Silver/Gold et des formats Parquet/Delta/CSV.

Responsabilités

• Concevoir et développer des notebooks Databricks en PySpark et orchestrer les flux.
• Alimenter et maintenir Bronze/Silver/Gold des pipelines de données.
• Gérer les formats Parquet/Delta/CSV et optimiser les coûts et les performances.
• Piloter les pipelines via Azure Data Factory, créer des alertes et assurer la reprise sur incident.
• Industrialiser les traitements Data avec Terraform et pipelines CI/CD (Jenkins).
• Maintenir les pipelines Jenkins et contribuer aux bonnes pratiques CI/CD.

Connaissances

Databricks / PySpark

SQL

Azure Data Factory

Bronze / Silver / Gold architectures

Delta / Parquet / CSV formats

Azure

Git / CI/CD

Terraform / Jenkins

Outils

Databricks

PySpark

Azure Data Factory

Terraform

Jenkins

Git

Description du poste

O2MAX recherche un Data Engineer Senior pour renforcer son équipe Data à Lyon. Vous concevrez, industrialiserez et optimiserez des traitements de données dans un environnement Azure, principalement sur Databricks et PySpark.

Vous travaillerez sur les pipelines, l orchestration et les coûts, avec une dimension Terraform et CI/CD. Profil avec 5+ années en Data Engineering, maîtrise de Databricks, SQL, Azure Data Factory et les formats Delta/Parquet.