Data Engineer databricks (H/F)

Onyx-Conseil; Issy-les-Moulineaux; Sur place; EUR 60 000 - 85 000; Plein temps

Résumé du poste

Onyx-Conseil recherche pour l'un de ses clients un Data Engineer Databricks confirmé (H/F) dans le cadre d’un projet de transformation data au sein d’une grande entreprise internationale. Vous intégrerez une équipe agile de 8 personnes rattachée à la Direction Data.

Vous concevrez et industrialiserez des pipelines de données sur Databricks, développerez les traitements en Python/PySpark et SQL, et participerez à l’optimisation des performances et à la diffusion des bonnes pratiques.

Qualifications

• Connaissances solides en ingénierie de données et pipelines Databricks.
• Expérience Python/PySpark et SQL en production.
• Maîtrise des pratiques CI/CD et gestion des versions.

Responsabilités

• Concevoir et développer des pipelines de données sur Databricks.
• Développer les traitements en Python / PySpark et SQL.
• Optimiser les pipelines et les temps de traitement.
• Mettre en œuvre les pratiques de CI/CD et gestion des versions.
• Collaborer au sein d'une équipe agile et diffuser les bonnes pratiques Databricks.

Connaissances

Databricks

Python

PySpark

SQL

CI/CD

Git

Azure DevOps

Documentation

IA assistance

GitHub Copilot

Visual Studio Code

Outils

Databricks

Azure DevOps

Visual Studio Code

Git

Description du poste

Nous recherchons pour un de nos clients un Data Engineer Databricks confirmé (H/F) dans le cadre d’un projet de transformation data au sein d’une grande entreprise internationale, vous intégrerez une équipe agile composée de 8 personnes, rattachée à la Direction Data.

Vous interviendrez sur la mise en place et l’industrialisation de pipelines de données, ainsi que sur le suivi de leur lineage jusqu’aux cas d’usage métier. Vous contribuerez également à la diffusion des bonnes pratiques autour de Databricks et des méthodes modernes de développement data.

Missions

• Concevoir et développer des pipelines de données performants et évolutifs sur Databricks.

• Développer les traitements en Python / PySpark et SQL.

• Optimiser les pipelines existants et améliorer les temps de traitement.

• Mettre en œuvre les bonnes pratiques de partitionnement et de gestion des données.

• Contribuer à l’optimisation de la gestion des clusters et de l’ordonnancement des traitements.

• Participer à la mise en place et à l’adoption des Databricks Asset Bundles.

• Intégrer les développements dans les processus CI/CD.

• Travailler avec les outils de gestion de versions et de collaboration, notamment Git ou Azure DevOps.

• Contribuer à la documentation et à la standardisation des architectures et processus.

• Participer à la mise en place de pratiques de développement assistées par l’IA, notamment avec GitHub Copilot et Visual Studio Code.

• Apporter un support technique aux membres de l’équipe sur Databricks et les pipelines développés.

• Collaborer dans un environnement agile avec des équipes françaises et internationales.