Data Engineer Databricks - Lakehouse & CI/CD

ASTRELYA; Noisy-le-Grand; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Astrelya est à la recherche d’un Data Engineer Databricks pour moderniser les plateformes analytiques et accélérer les usages Data & IA sur des environnements Data Lakehouse.

Vous concevrez, développerez et industrialiserez des pipelines de données scalables (bronze → silver → gold) et assurerez leur sécurité et leur performance. Travail en équipe avec Data Architects, BI Engineers et product owners.

Qualifications

• Vous disposez d’une expérience confirmée en Data Engineering, idéalement dans un contexte cloud.
• Vous maîtrisez Databricks, Spark / Scala et les architectures distribuées.
• Vous connaissez les bonnes pratiques du Lakehouse et du Delta Lake.
• Vous avez déjà travaillé avec des outils d’orchestration et des pipelines CI/CD.
• Vous êtes à l’aise avec les enjeux de performance, de sécurité et de gouvernance des données.
• Vous êtes curieux(se), pragmatique, structuré(e) et capable d’échanger avec des interlocuteurs techniques comme non techniques.
• Vous avez un bon niveau d’anglais.

Responsabilités

• Participer à la définition de l’architecture de la data platform et du Data Lake / Data Warehouse.
• Concevoir et développer de nouvelles fonctionnalités sur les applications hébergées par les plateformes Data.
• Développer et maintenir des pipelines de données batch & streaming du niveau bronze → silver → gold.
• Garantir la sécurité, la robustesse et la fiabilité des pipelines, en veillant aux enjeux de performance, d’accessibilité et d’intégrité des données.
• Contribuer à l’implémentation d’un Data Lab pour accélérer les usages Data & IA.
• Mettre en place et industrialiser des chaînes CI/CD (Git, GitLab CI, Azure DevOps…).
• Participer aux mises en production et au support en cas d’incident majeur.
• Travailler aux côtés des Data Product Owners, Data Architects, BI & Analytics Engineers.
• Participer aux cérémonies agiles : daily, sprint planning, sprint review, rétrospective.
• Assurer une veille technologique continue sur les nouvelles solutions et tendances Data.

Connaissances

Data engineering

Cloud expérience

Databricks

Spark/Scala

CI/CD pipelines

Data governance & security

Anglais

Outils

Git

GitLab CI

Azure DevOps

Databricks

Spark

Scala

Description du poste

Astrelya est à la recherche d’un Data Engineer Databricks pour moderniser les plateformes analytiques et accélérer les usages Data & IA sur des environnements Data Lakehouse.

Vous concevrez, développerez et industrialiserez des pipelines de données scalables (bronze → silver → gold) et assurerez leur sécurité et leur performance. Travail en équipe avec Data Architects, BI Engineers et product owners.