Databricks Data Engineer - Scale Data Pipelines

ALTEN; Lyon; On-site; EUR 65,000 - 90,000; Full time

Benefits offered by this job

RTT

Tickets restaurant

Participation transports

Chèques vacances

Job summary

ALTEN recherche un Data Engineer spécialisé en Databricks pour renforcer son pôle Data & IA à Lyon. Vous concevrez et optimiserez des pipelines de données scalables et automatiserez les flux d’ingestion et de stockage.

Vous travaillerez avec les équipes Data Science pour garantir la qualité et la disponibilité des données, et vous participerez à la maintenance des architectures Data Lake et Data Warehouse, tout en documentant les processus et en formant les utilisateurs.

Qualifications

• Diplômé d’une école d’ingénieurs ou Master Bac+5 en Informatique / Data Science ou domaine connexe.
• Minimum 3 ans d’expérience en Data Engineer, avec Databricks et écosystèmes Big Data.
• Maîtrise de Databricks, Spark, Notebooks, et des pratiques CI/CD pour données structurées et non structurées.

Responsibilities

• Concevoir, développer et optimiser des pipelines de données scalables sur Databricks pour répondre aux besoins métiers.
• Automatiser l’ingestion, le traitement et le stockage des données en utilisant des technologies Big Data (Spark, Delta Lake, etc.).
• Collaborer avec les équipes Data Science et Analytics pour assurer qualité et disponibilité des données.
• Assurer la maintenance et l’évolution des architectures Data Lake et Data Warehouse.
• Documenter les processus et former les utilisateurs aux bonnes pratiques Databricks.

Skills

Databricks

Python

SQL

Scala

Education

Master en Informatique/Data Science

Tools

Apache Spark

Notebooks

Azure Data Factory

Delta Lake

Job description

ALTEN recherche un Data Engineer spécialisé en Databricks pour renforcer son pôle Data & IA à Lyon. Vous concevrez et optimiserez des pipelines de données scalables et automatiserez les flux d’ingestion et de stockage.

Vous travaillerez avec les équipes Data Science pour garantir la qualité et la disponibilité des données, et vous participerez à la maintenance des architectures Data Lake et Data Warehouse, tout en documentant les processus et en formant les utilisateurs.