Data Engineer Senior (IT) / Freelance

Keypeople Consulting; Paris; On-site; EUR 75,000 - 110,000; Full time

Job summary

Onyx-Conseil recherche un Data Engineer Senior pour soutenir une équipe Data sur des sujets critiques autour du Data Engineering, du Big Data et des architectures Lakehouse.

Le profil doit concevoir et optimiser des pipelines à grande échelle, orchestrer des flux batch et streaming via API, et travailler sur l’architecture Lakehouse dans un environnement Cloud AWS. Hybrid, 3 jours télétravail/semaine, démarrage fin août 2026.

Qualifications

• Minimum 8 ans d’expérience en Data Engineering
• Expertise confirme des architectures Big Data et Lakehouse
• Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform
• Solide expérience sur les services AWS, notamment Glue, EMR et S3
• Connaissance de Trino / Starburst et Datadog
• Bon niveau en Python
• Forte capacité d’analyse et de compréhension des enjeux métiers
• Expérience dans l’accompagnement et l’encadrement de profils juniors
• Autonomie, rigueur et forte culture de l’amélioration continue

Responsibilities

• Concevoir, développer et optimiser des pipelines de données à grande échelle
• Mettre en œuvre des flux batch, streaming et ingestion via API
• Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold)
• Développer et industrialiser les pipelines avec DBT, Spark et Iceberg
• Contribuer à l’évolution et à l’optimisation de l’architecture Lakehouse
• Déployer et maintenir les pipelines dans un environnement Cloud AWS
• Orchestrer les workflows ETL / ELT avec Airflow
• Mettre en œuvre l’Infrastructure as Code avec Terraform
• Travailler sur des environnements conteneurisés avec Docker / Kubernetes
• Garantir la disponibilité, la supervision et l’observabilité des traitements
• Participer à la gestion des incidents et à l’amélioration continue
• Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés
• Documenter les architectures, pipelines et règles métier
• Garantir la conformité des flux, notamment dans le cadre RGPD

Skills

Data Engineering

Big Data architecture

Lakehouse

Analyse

Autonomie

Rigueur

Mentoring

Tools

DBT

Apache Spark

Apache Iceberg

AWS

Terraform

Airflow

Python

Trino/Starburst

Datadog

Docker

Kubernetes

Data Catalog

Glue

EMR

Job description

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse.

1 Data Engineer Senior

Missions principales :

• Concevoir, développer et optimiser des pipelines de données à grande échelle
• Mettre en œuvre des flux batch, streaming et ingestion via API
• Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold)
• Développer et industrialiser les pipelines avec DBT, Spark et Iceberg
• Contribuer à l’évolution et à l’optimisation de l’architecture Lakehouse
• Déployer et maintenir les pipelines dans un environnement Cloud AWS
• Orchestrer les workflows ETL / ELT avec Airflow
• Mettre en œuvre l’Infrastructure as Code avec Terraform
• Travailler sur des environnements conteneurisés avec Docker / Kubernetes
• Garantir la disponibilité, la supervision et l’observabilité des traitements
• Participer à la gestion des incidents et à l’amélioration continue
• Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés
• Documenter les architectures, pipelines et règles métier
• Garantir la conformité des flux, notamment dans le respect des exigences RGPD

Environnement technique :

• DBT / Data Catalog
• Apache Spark
• Apache Iceberg
• AWS : Glue, EMR, S3…
• Terraform
• Airflow
• Python
• Trino / Starburst
• Datadog
• Docker / Kubernetes
• Big Data / Lakehouse
• Modélisation et collecte de données

Profil recherché :

• Minimum 8 ans d’expérience en Data Engineering
• Expertise confirmée des architectures Big Data et Lakehouse
• Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform
• Solide expérience sur les services AWS, notamment Glue, EMR et S3
• Connaissance de Trino / Starburst et Datadog
• Bon niveau en Python
• Forte capacité d’analyse et de compréhension des enjeux métiers
• Expérience dans l’accompagnement et l’encadrement de profils juniors
• Autonomie, rigueur et forte culture de l’amélioration continue

Contexte :

• Environnement Data à grande échelle
• Projets autour de la modernisation et de l’industrialisation des plateformes Data
• Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud
• Collaboration avec des équipes Data, IT et métiers

Localisation : Île-de-France – Hybride

Télétravail : 3 jours par semaine

Démarrage : fin août 2026

Mission longue durée