Senior Data Ops / Data Platform Engineer - Freelance (H/F)

Collective Work; Lille; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

Collective Work recherche un Senior Data Ops / Data Platform Engineer pour piloter le Datalake et la plateforme Data à Lille. Vous accompagnerez Data Engineers, Analysts et Scientists dans les usages, en favorisant une approche unifiée autour de Unity Catalog.

Vous déployez et maintenez les environnements AWS S3, mettez en œuvre des pratiques CI/CD et participez à la gouvernance des données, with emphasis sur la sécurité et l’accès.

Qualifications

• Profil senior avec expérience notable en Data Platform et Data Ops.
• Expertise AWS (S3), Databricks et Unity Catalog requise.
• Maîtrise Terraform et CI/CD, Git et IaC.

Responsabilités

• Assurer robustesse et disponibilité de la plateforme Data.
• Administrer stockage AWS S3 et Unity Catalog.
• Contribuer à CI/CD et automatisation des déploiements.
• Gérer métadonnées, catalogage et gestion des accès.
• Accompagner les équipes Data dans l’utilisation du Datalake.

Connaissances

Data Platform

Data Ops

CI/CD

Monitoring

Gouvernance

Outils

AWS S3

Databricks

Terraform / IaC

Unity Catalog

AWS Glue

Git

Hashicorp Vault

IAM

Description du poste

CONTEXTEPour le compte d'un grand groupe, nous recherchons un Senior Data Ops / Data Platform Engineer pour rejoindre une équipe en charge du Datalake et de la plateforme Data.Cette équipe porte notamment les sujets de stockage, métadonnées, catalogage et gouvernance technique du patrimoine Data. La plateforme est utilisée par différentes populations Data : Data Engineers, Data Analysts, Data Scientists et autres utilisateurs de la donnée.Un enjeu majeur de la mission concerne l'évolution du modèle actuel de stockage et de catalogage vers une approche davantage unifiée autour de Databricks Unity Catalog.MISSIONSData Platform & Storage*Garantir la robustesse et la disponibilité de la plateforme Data*Administrer et faire évoluer les environnements de stockage AWS S3*Monitorer la plateforme et mettre en place des actions proactives*Contribuer aux sujets de continuité et de reprise d'activitéInfrastructure & Data Ops*Déployer et maintenir les ressources d'infrastructure via Terraform*Participer à l'industrialisation des déploiements et aux pratiques CI/CD*Assurer le support technique autour de S3, AWS Glue et Databricks*Collaborer étroitement avec les équipes infrastructure et DataMetadata & gouvernance*Participer à l'évolution du metastore et au déploiement de Unity Catalog*Travailler sur les problématiques de catalogage, métadonnées et gestion des accès*Contribuer à l'automatisation de la gouvernance Data*Participer à l'activation et à l'exploitation des fonctionnalités de Unity Catalog : lineage, managed tables, gestion des droits, etc.Accompagnement des équipes*Définir et promouvoir les bonnes pratiques d'utilisation de la plateforme*Accompagner les équipes Data dans leur utilisation du Datalake*Conseiller les équipes lors de la conception de leurs pipelines et de leurs usages de la plateformeOUTILS & ENVIRONNEMENT*AWS, avec une expertise forte sur S3*Databricks*Terraform / Infrastructure as Code*Unity Catalog ou expérience significative des problématiques de metastore/catalogage*AWS Glue*CI/CD / Git*Monitoring et observabilité d'une plateforme Data*Gouvernance technique de la donnée et gestion des accès*Expérience appréciée sur Hashicorp Vault, IAM, PRA/PCA ou automatisation de la gouvernanceCONDITIONS DE TRAVAIL*Localisation : Métropole Lilloise*Mission longue*Présence sur site : 3 jours pas semaines obligatoires1. Profil senior avec une véritable expérience de Data Platform / Data Ops / infrastructure Data2. Expertise forte sur AWS, notamment S33. Maîtrise de Databricks4. Compétences en Terraform / Infrastructure as Code5. Expérience avec Unity Catalog ou problématiques de metastore/catalogage6. Connaissance de AWS Glue7. Pratique de CI/CD et Git8. Compétences en monitoring et observabilité d'une plateforme Data9. Connaissance de la gouvernance technique de la donnée et gestion des accès10. Un plus : expérience autour de Hashicorp Vault, IAM, PRA/PCA ou automatisation de la gouvernance11. Qualités personnelles : autonome, fiable et proactive, avec une bonne capacité de communication et d'accompagnement des utilisateurs

Type de contrat Profession libérale
Emploi non salarié Salaire

• Rémunération : - /

Expérience

• Débutant accepté