Data Engineer Senior H/F

Cherrypick; Saint-Denis; Sur place; EUR 90 000 - 120 000; Plein temps

Résumé du poste

Cherrypick recherche un ingénieur data expérimenté pour accompagner la modernisation et l'évolution de nos infrastructures de données, dans le cadre d'une architecture Lakehouse à l'échelle de l'entreprise.

Vous concevrez, développerez et industrialiserez des pipelines batch et streaming avec Spark, dbt et Iceberg, déployant sur AWS, orchestrant Airflow et gérant l'infrastructure IaC (Terraform).

Qualifications

• 8 ans minimum d'expérience en Data Engineering.
• Maîtrise avancée des architectures Big Data et Lakehouse.
• Esprit d'analyse : Forte capacité à appréhender et traduire les enjeux métiers.
• Savoir-être : Rigueur, autonomie et culture de l'amélioration continue.
• Compétences indispensables (Must-have) : dbt, Apache Iceberg, Apache Spark, Python.
• Environnement Cloud AWS : Maîtrise des services clés (AWS Glue, EMR, S3).
• Architecture & Modélisation : Médaillon Bronze/Silver/Gold, Lakehouse.
• Infrastructure & DevOps : Terraform, Docker, Kubernetes, Apache Airflow.
• Observabilité : Datadog, Moteurs de requêtes Trino/Starburst.
• RGPD et Data Quality.

Responsabilités

• Concevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).
• Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).
• Industrialiser les flux via Spark, dbt et Apache Iceberg.
• Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.
• Déployer et maintenir les pipelines au sein d'un environnement Cloud AWS.
• Orchestrer les workflows ETL/ELT avec Apache Airflow.
• Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.
• Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).
• Garantir la haute disponibilité, la supervision et l'observabilité des traitements (Datadog).
• Assurer la gestion des incidents et les démarches d'amélioration continue.
• Mettre en œuvre les règles de qualité de données et rédiger la documentation technique et fonctionnelle.
• Garantir la conformité et la sécurité des flux RGPD.

Connaissances

Big Data Architecture

Data Modeling

Analytics mindset

Autonomy

Continuous improvement

Outils

dbt

Apache Iceberg

Apache Spark

Python

Airflow

Terraform

Docker

Kubernetes

Trino/Starburst

Datadog

Description du poste

Le besoinContexte de la MissionDans le cadre de la modernisation et de l'évolution de ses infrastructures de données, un acteur majeur du secteur de la mobilité et des services numériques renforce son pôle Data Services.L'objectif principal de la mission est d'accompagner l'équipe dans la conception, l'industrialisation et l'évolution des solutions Data, tout en contribuant activement à la mise en oeuvre et au passage à l'échelle de l'architecture Lakehouse de l'entreprise.Description des Tâches & ResponsabilitésArchitecture, Modélisation & DéveloppementConcevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).Industrialiser les flux via Spark, dbt et Apache Iceberg.Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.Déploiement, DevOps & InfrastructureDéployer et maintenir les pipelines au sein d'un environnement Cloud AWS.Orchestrer les workflows ETL/ELT avec Apache Airflow.Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).Observabilité, Qualité & GouvernanceGarantir la haute disponibilité, la supervision et l'observabilité des traitements (via Datadog notamment).Assurer la gestion des incidents et participer aux démarches d'amélioration continue.Mettre en oeuvre les règles de qualité de données (tests automatisés, validations et contrôles de cohérence).Rédiger la documentation technique et fonctionnelle (architectures, pipelines, règles métier).Garantir la conformité et la sécurité des flux, dans le respect des normes RGPD.

Description des Tâches & Responsabilités

Architecture, Modélisation & Développement

• Concevoir, développer et optimiser des pipelines de données à grande échelle (batch, streaming et ingestion via API).
• Structurer les transformations selon le modèle de modélisation Médaillon (Bronze / Silver / Gold).
• Industrialiser les flux via Spark, dbt et Apache Iceberg.
• Contribuer activement à la stratégie et à l'évolution de l'architecture Lakehouse.

Déploiement, DevOps & Infrastructure

• Déployer et maintenir les pipelines au sein d'un environnement Cloud AWS.
• Orchestrer les workflows ETL/ELT avec Apache Airflow.
• Gérer l'Infrastructure as Code (IaC) à l'aide de Terraform.
• Exécuter et gérer les traitements dans des environnements conteneurisés (Docker, Kubernetes).

Observabilité, Qualité & Gouvernance

• Garantir la haute disponibilité, la supervision et l'observabilité des traitements (via Datadog notamment).
• Assurer la gestion des incidents et participer aux démarches d'amélioration continue.
• Mettre en oeuvre les règles de qualité de données (tests automatisés, validations et contrôles de cohérence).
• Rédiger la documentation technique et fonctionnelle (architectures, pipelines, règles métier).
• Garantir la conformité et la sécurité des flux, dans le respect des normes RGPD.

Profil recherché

• 8 ans minimum d'expérience en Data Engineering.
• Maîtrise avancée des architectures Big Data et Lakehouse.
• Esprit d'analyse : Forte capacité à appréhender et traduire les enjeux métiers.
• Savoir-être : Rigueur, autonomie et culture de l'amélioration continue.
• Compétences indispensables (Must-have) :
  • Frameworks & Traitement Data : dbt, Apache Iceberg, Apache Spark, Python.
  • Environnement Cloud AWS : Maîtrise des services clés (AWS Glue, EMR, S3, etc.).
  • Architecture & Modélisation : Modélisation Médaillon (Bronze / Silver / Gold), architecture Lakehouse.
  • Infrastructure & DevOps : Terraform, Docker, Kubernetes, Apache Airflow.
  • Observabilité & Moteurs de requêtes : Datadog, Trino / Starburst.
  • Gouvernance : Règlements RGPD, Data Quality et automatisation des tests.