Data Engineer Databricks CDI

Hexateam

Paris

Vor Ort

EUR 60.000 - 110.000

Vollzeit

Vor 3 Tagen
Sei unter den ersten Bewerbenden

Erhalte eine Antwort von diesem Arbeitgeber

Dein Lebenslauf und dein Anschreiben, genau auf das zugeschnitten, was gesucht wird.

Schaffe es an den ATS-Filtern vorbei

Zusammenfassung

Hexateam recherche un ingénieur Data pour concevoir, développer et maintenir les pipelines de données et les architectures associées, en lien avec les enjeux métiers.

Vous participerez aux cérémonies SAFe et œuvrerez à la qualité, fiabilité et performance des traitements en production, tout en accompagnant l’adoption des bonnes pratiques Data Engineering au sein de l’équipe.

Qualifikationen

  • Expérience en conception et maintenance de pipelines de données
  • Connaissance de Databricks Medallion Architecture Bronze/Silver/Gold
  • Expérience CI/CD et déploiement automatisé
  • Bonne compréhension des enjeux métiers et de la gouvernance des données

Aufgaben

  • Concevoir, développer et maintenir des pipelines de données ETL pour flux d’intégration et métiers
  • Mettre en œuvre et orchestrer les traitements avec Databricks
  • Modéliser les données dans Delta Lake en respectant partitionnement et gouvernance
  • Optimiser Spark/Delta Lake et les coûts d’exécution
  • Assurer tests et déploiement des composants via CI/CD
  • Concevoir et maintenir des API pour l’exposition des données
  • Mettre en place Data Quality, monitoring et alerting
  • Analyser et résoudre incidents de production et actions correctives
  • Rédiger documentation technique et accompagner les équipes vers les bonnes pratiques

Kenntnisse

Ingénierie des données
Conduite Agile SAFe
Modélisation données

Tools

Python
SQL
Spark
Databricks
Airflow
Git
CI/CD

Jobbeschreibung

Au sein de l’équipe, vous concevez, développez et maintenez les pipelines de données et les architectures de données de la plateforme, en lien avec les enjeux métiers.


Missions principales


  • Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe

  • Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels

  • Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.

  • Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)

  • Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API

  • Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations


Activités


  • Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers

  • Mettre en œuvre et orchestrer les traitements de données avec Databricks

  • Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance

  • Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution

  • Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD

  • Concevoir, développer et maintenir des API pour l’exposition et la consommation des données

  • Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting

  • Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives

  • Rédiger et maintenir la documentation technique des solutions mises en œuvre

  • Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering


Environnement technique


  • Langages : Python, SQL

  • Data processing : Spark, PySpark, DBUtils

  • API et tests : FastAPI, Pytest

  • Data platform : Databricks, Unity Catalog

  • Orchestration : Airflow, avec migration vers Databricks Workflows

  • AWS : Lambda, Secrets Manager, S3, ECS

  • Versioning : Git

  • Industrialisation : pipelines CI/CD

Hol dir deinen kostenlosen, vertraulichen Lebenslauf-Check.

oder ziehe deine Datei hierhin.

Similar jobs

Ähnliche Jobs, die dir auch gefallen könnten

Data engineer Databricks
Data engineer Databricks

Hexateam • Paris

Vor Ort
EUR 65.000 - 90.000
Data Platform Engineer Databricks
Data Platform Engineer Databricks

VISIAN • Paris

Vor Ort
EUR 65.000 - 95.000
Tech Lead Databricks
Tech Lead Databricks

DATAMED RESEARCH • Niort

Vor Ort
EUR 90.000 - 120.000
Data Engineer
Data Engineer

Sijo • Paris

Vor Ort
EUR 60.000 - 90.000
Data Engineer
Data Engineer

Devoteam Data Driven • Levallois-Perret

Vor Ort
EUR 50.000 - 70.000
Data Engineer
Data Engineer

Inomexia • Boulogne-Billancourt

Vor Ort
EUR 52.000 - 78.000
Databricks Data Platform Engineer - Governance & Migration
Databricks Data Platform Engineer - Governance & Migration

VISIAN • Paris

Vor Ort
EUR 65.000 - 95.000
Data Engineer (H/F) (IT) / Freelance
Data Engineer (H/F) (IT) / Freelance

KUBE Partners S.L. - Pixie Services • Lille

Vor Ort
EUR 65.000 - 90.000
Data Engineer Databricks: Build Scalable Data Solutions
Data Engineer Databricks: Build Scalable Data Solutions

Jems Group • Frankreich

Hybrid
EUR 55.000 - 75.000
Senior Data and AI Engineer
Senior Data and AI Engineer

Voxalia • Lille

Hybrid
EUR 60.000 - 90.000