Data Platform Engineer Databricks

VISIAN; Paris; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

Free-Work recherche un ingénieur plateforme de données pour soutenir la gouvernance des données et la gestion de Databricks, en étroite collaboration avec Engie Digital et les SI locaux. Le candidat pilotera la migration des données depuis l’ancien data lake vers Databricks et assurera le support pour les data engineers et les utilisateurs métiers.

Le rôle nécessite de piloter les aspects sécurité, conformité et coût, tout en diffusant les bonnes pratiques et en assurant une communication

Responsabilités

• Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle).
• Déployer et faire respecter la gouvernance des données sur Databricks et les normes associées.
• Piloter la migration des données depuis l'ancien data lake vers Databricks.
• Accompagner et former les data engineers et les utilisateurs métiers dans l’utilisation de Databricks.
• Intégrer cybersécurité, conformité et maîtrise des coûts dès la conception.
• Partager les meilleures pratiques et retours d'expérience au sein de la communauté informatique.

Description du poste

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer).

La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks.

Les objectifs de la mission sont les suivants :

• Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle)
• Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation)
• Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks
• Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme
• Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design »)
• Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.)

Activités principales :

• Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents)
• Gouvernance des données sur Databricks : mettre en œuvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe
• Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement
• Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs — des ingénieurs de données aux utilisateurs métiers — dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation
• DataOps sur Databricks : Concevoir et mettre en œuvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes.
• Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption.
• Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique.

Principaux défis :

• Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »).
• Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données.
• Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage.

Livrables attendus :

• ? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA.
• ? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage.
• ? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers.
• ? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.