Data Platform & Data Ops Engineer

GEC _ Global Experts Consulting; Corbeil-Essonnes; On-site; EUR 60,000 - 80,000; Full time

Job summary

GEC _ Global Experts Consulting recrute pour renforcer temporairement son équipe Data Platform dans le cadre d’un projet aéronautique/ Digital Factory. Vous assurerez l’administration, l’ingestion, le stockage et l’évolution des services de données en environnement AWS, avec une forte dimension DataOps et DevOps.

Vous concevrez des architectures, automatiserez les déploiements (CI/CD), et assurerez le support technique de niveaux 2 et 3.

Qualifications

• Minimum 5 ans d’expérience sur des environnements Data Platform.
• Expérience significative en DevOps et DataOps.
• Exploitation de plateformes de données critiques.
• Maîtrise des environnements Cloud AWS.
• Mise en place et maintenance de chaînes CI/CD.
• Automatisation d’infrastructure, monitoring et observabilité.
• Gestion des enjeux de sécurité et des coûts Cloud.
• Capacité à collaborer avec Data Engineering, BI et Architecture.
• Forte autonomie et excellent niveau technique.

Responsibilities

• Administrer et exploiter les plateformes de données.
• Concevoir et maintenir des architectures DataOps sur AWS.
• Support N2/N3 des plateformes et résolution d’incidents.
• Mettre en place CI/CD et automatiser les déploiements.
• Mettre en œuvre le monitoring, alerting et dashboards.
• Contribuer à la gouvernance et aux standards Data Platform.

Skills

5+ années Data Platform

DevOps / DataOps

Exploitation de plateformes critiques

AWS Cloud (maîtrise)

CI/CD pipelines

Infrastructure automation

Monitoring / Observabilité

Sécurité et gestion des accès

Collaboration avec Data Eng / BI

Tools

AWS Glue ETL

Airflow

dbt

AWS Step Functions

CI/CD

Python

SQL

PySpark

Bash

GitLab CI

CloudWatch

Snowflake

Apache Spark

Talend

Microsoft Fabric

Job description

Un grand groupe industriel du secteur aéronautique souhaite renforcer temporairement son équipe Data Platform au sein de sa Digital Factory afin d’accompagner l’accélération des projets Data et IA, l’augmentation des volumes de données et l’industrialisation des traitements de données.

L’équipe Data Platform est responsable de la mise à disposition, de l’exploitation et de l’évolution des services permettant l’ingestion, le stockage, la transformation et la diffusion des données. Elle assure également la supervision, la sécurisation des flux et le support aux équipes Data Engineering, BI et métiers.

Missions principales

1. Administration et exploitation Data Platform

• Administrer et maintenir les plateformes de données.
• Gérer les pipelines d’intégration et les déploiements.
• Administrer les environnements DEV, TEST et PROD.
• Gérer les espaces de stockage, les accès et les habilitations.
• Garantir la disponibilité et la sécurité des plateformes.

2. Architecture et infrastructure DataOps

• Concevoir et maintenir des architectures Data sur AWS.
• Automatiser le provisionnement des infrastructures via Terraform.
• Optimiser les coûts Cloud dans une démarche FinOps.
• Assurer la scalabilité, la résilience et la sécurité des services Data.
• Mettre en place et maintenir les chaînes CI/CD.
• Automatiser les déploiements et les tests.
• Standardiser les composants Data.
• Améliorer continuellement les processus d’exploitation.

4. Support et expertise technique

• Assurer le support de niveaux 2 et 3 des plateformes Data.
• Diagnostiquer et résoudre les incidents complexes.
• Accompagner les équipes Data Engineering et BI.
• Réaliser des analyses de performance et de capacité.

5. Monitoring et observabilité

• Mettre en œuvre les solutions de supervision.
• Définir les alertes et les tableaux de bord opérationnels.
• Assurer le suivi des SLA et des indicateurs de performance.
• Anticiper les risques de saturation ou de dégradation des services.

6. Gouvernance et transformation

• Contribuer à la définition des standards de la Data Platform.
• Participer aux revues d’architecture.
• Documenter les procédures et les bonnes pratiques.
• Accompagner les projets de migration Cloud et les évolutions de plateforme.

Livrables attendus

• Templates d’infrastructure automatisés (IaC).
• Pipelines CI/CD industrialisés.
• Documentation d’exploitation.
• Procédures de déploiement et de supervision.
• Runbooks et modes opératoires.
• Dossiers techniques d’architecture.
• Reporting d’activité.
• Plans de remédiation des incidents majeurs.
• Supports de transfert de compétences.
• Documentation des processus d’automatisation et d’exploitation.

Environnement technique

Cloud et architecture : AWS (S3, IAM, Glue, Athena, Lambda, EMR, Redshift, DynamoDB), Data Mesh, Data Products, gouvernance fédérée.

Data Engineering et DataOps : AWS Glue ETL, Airflow, dbt, AWS Step Functions, CI/CD.

Langages et outils : Python, SQL, PySpark, Bash, GitLab CI, CloudWatch.

Sécurité et gouvernance : AWS Lake Formation, AWS KMS, AWS Secrets Manager, gestion des identités et des accès, Data Governance, Data Quality.

Technologies complémentaires : Snowflake, Apache Spark, Talend, Microsoft Fabric.

Profil recherché

• Minimum 5 ans d’expérience sur des environnements Data Platform.
• Expérience significative en DevOps et DataOps.
• Expérience en exploitation de plateformes de données critiques.
• Maîtrise des environnements Cloud AWS.
• Expérience dans la mise en place et la maintenance de chaînes CI/CD.
• Compétences en automatisation d’infrastructure, monitoring et observabilité.
• Connaissance des enjeux de sécurité, de gestion des accès et d’optimisation des coûts Cloud.
• Capacité à collaborer avec les équipes Data Engineering, BI et Architecture.
• Forte autonomie et excellent niveau technique.

Informations contractuelles

Durée : 3 mois renouvelables par périodes de 3 mois