Data Engineer - Pipelines & Cloud (Azure Databricks)

Groupe LR Technologies; Lyon; On-site; EUR 52,000 - 86,000; Full time

Job summary

LR Technologies Groupe, basé à Lyon, recherche un ingénieur Data expérimenté pour concevoir et déployer des pipelines de données avec Python, PySpark et Databricks.

Vous alimenterez et maintiendrez une architecture Data Lake Bronze, Silver et Gold, optimisant les traitements et assurant la qualité des données et le suivi des coûts. Une expérience cloud Azure et des pratiques CI/CD (Jenkins, GitHub) sont appréciées.

Qualifications

• Formation supérieure en ingénierie ou équivalent, expérience significative en ingénierie data.
• Maîtrise de Python, PySpark, SQL et Databricks.
• Connaissances en CI/CD et déploiement cloud (Terraform/Jenkins/GitHub).

Responsibilities

• Concevoir et développer des pipelines de données avec Python, PySpark et Databricks.
• Alimenter et maintenir une architecture Data Lake Bronze/Silver/Gold.
• Optimiser les traitements pour performance, qualité des données et coûts.
• Superviser les flux et mettre en place monitoring et alerting.
• Participer à l’industrialisation de la plateforme et à la doc technique.

Skills

Python

PySpark

SQL

Data engineering

Cloud data platforms

Education

Diplôme d'ingénieur ou équivalent en data/informatique

Tools

Databricks

Azure

Power BI

Terraform

Jenkins

GitHub

Job description

LR Technologies Groupe, basé à Lyon, recherche un ingénieur Data expérimenté pour concevoir et déployer des pipelines de données avec Python, PySpark et Databricks.

Vous alimenterez et maintiendrez une architecture Data Lake Bronze, Silver et Gold, optimisant les traitements et assurant la qualité des données et le suivi des coûts. Une expérience cloud Azure et des pratiques CI/CD (Jenkins, GitHub) sont appréciées.