Data engineer Databricks

Hexateam; Paris; On-site; EUR 65,000 - 90,000; Full time

Job summary

Hexateam recherche un Data Engineer passionné par les flux de données et les architectures modernes pour rejoindre son équipe à Paris.

Vous concevrez et maintiendrez des pipelines ETL avec Databricks et Delta Lake, assurant qualité, performance et gouvernance des données. Vous participerez aussi à l’architecture et à l’industrialisation CI/CD, avec un focus sur les API et le monitoring.

Responsibilities

• Concevoir, développer et maintenir des pipelines de données ETL pour les flux d’intégration et métiers.
• Mettre en œuvre et orchestrer les traitements de données avec Databricks.
• Modéliser les données dans Delta Lake en respectant partitionnement et gouvernance.
• Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution.
• Assurer le développement, les tests et le déploiement des composants techniques via CI/CD.
• Concevoir, développer et maintenir des API pour l’exposition et la consommation des données.
• Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting.
• Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives.
• Rédiger et maintenir la documentation technique des solutions mises en œuvre.
• Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering

Skills

Data pipelines

Databricks

Delta Lake

Spark

CI/CD

APIs

Data quality

Monitoring

Incident management

Documentation

Tools

CI/CD pipelines

Delta Lake

Spark

Job description

Missions principales

• Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe


• Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels


• Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.


• Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)


• Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API


• Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations

Activités

• Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers


• Mettre en œuvre et orchestrer les traitements de données avec Databricks


• Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance


• Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution


• Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD


• Concevoir, développer et maintenir des API pour l’exposition et la consommation des données


• Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting


• Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives


• Rédiger et maintenir la documentation technique des solutions mises en œuvre


• Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering