Consultant Data Engineer Azure / Databricks Senior (IT) / Freelance

Onyx-Conseil; Aubigny-sur-Nère; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Azure confirmé, expert, capable de faire évoluer une plateforme Data Cloud et d'assurer la gouvernance et l'industrialisation des données sur Azure Databricks.

Vous contribuerez à l'intégration du Unity Catalog Databricks, à la définition des modèles de gouvernance et à l'industrialisation des mécanismes de partage, en exposant les données sous forme de Delta Lake / Iceberg et en participant à des PoC techniques.

Qualifications

• Maîtrise d'Azure Databricks, Unity Catalog et Spark.
• Expérience sur Data Lake et gouvernance des données.

Responsabilités

• Faire évoluer une plateforme Data Lake existante sur Azure et participer à l’intégration et au déploiement du Unity Catalog Databricks.
• Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données.
• Industrialiser les mécanismes de partage de données.
• Mettre à disposition les données sous forme de Delta Lake / Iceberg.
• Contribuer aux études techniques et aux PoCs (Proofs of Concept).
• Accompagner le déploiement d’un Data Lake gouverné.

Connaissances

Autonomie technique

Expérience Data Cloud

Communication efficace

Outils

Azure Databricks

Unity Catalog

Spark

GitHub

Azure DevOps

Gouvernance des données

Architecture Data Lake

Description du poste

Dans le cadre de l' e9volution d'une plateforme Data Cloud str 0t e9gique, nous recherchons un Data Engineer Azure confirm e9 e0 expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donn e9e dans un environnement Azure Databricks.

Missions

• Faire évoluer une plateforme Data Lake existante sur Azure.

• Participer e0 l'int e9gration et au d e9ploiement du Unity Catalog Databricks.

• D e9finir et mettre en 53uvre les mod e8les de gouvernance et de gestion des acc e8s aux donn e9es.

• Industrialiser les m e9canismes de partage de donn e9es.

• Mettre e0 disposition les donn e9es sous forme de tables Delta Lake / Iceberg.

• Contribuer aux e9tudes techniques et aux Proofs of Concept (POC).

• Accompagner le d e9ploiement d'un Data Lake gouvern e9.

Indispensables :

• Azure Databricks

• Unity Catalog

• Spark

• Data Engineering Azure

• GitHub

• Azure DevOps

• Gouvernance des donn e9es

• Architecture Data Lake

Appr e9ci e9es :

• Java

• JavaScript / TypeScript

• Formats Delta Lake et Iceberg

Profil recherch e9

• Consultant senior e0 expert

• Forte autonomie technique.

• Exp e9rience significative sur des plateformes Data Cloud e0 grande e9chelle.

• Capacit e9 e0 intervenir aussi bien sur les sujets d'architecture que de mise en œuvre operationnelle.

• Excellentes capacit e9s de communication et de collaboration avec les e9quipes Data et Infrastructure.