Senior Data Engineer — Lakehouse & Big Data Pipelines

LesJeudis; Paris; Sur place; EUR 62 000 - 67 000; Plein temps

Avantages offerts par ce poste

Tickets restaurant

50% remboursement transport

Mutuelle et prévoyance santé

Résumé du poste

LesJeudis recherche un Data Engineer Senior pour accompagner le pôle Data Services dans la conception, l’industrialisation et l’évolution des solutions data, en s’appuyant sur les architectures Lakehouse, le batch et le streaming.

Vous serez amené à concevoir et déployer des pipelines à grande échelle avec Spark, DBT et Iceberg sur AWS, orchestrer les workflows avec Airflow et assurer la qualité et la conformité RGPD.

Qualifications

• 8 années minimum d'expérience en Data Engineering.
• Maîtrise avancée des architectures Big Data et Lakehouse.
• Expertise réelle sur Spark, DBT, Iceberg, AWS et Terraform.
• Maîtrise des services AWS (Glue, EMR, S3, ...).
• Connaissance de Trino/Starburst, Datadog.
• Forte capacité d'analyse et de compréhension des enjeux métiers.
• Rigueur, autonomie et culture de l'amélioration continue.

Responsabilités

• Concevoir, développer et optimiser des pipelines de données à grande échelle.
• Mettre en œuvre des flux batch, streaming et ingestion via API.
• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold).
• Développer et industrialiser les pipelines via DBT, Spark et Iceberg.
• Contribuer à l'évolution de l'architecture Lakehouse.
• Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent).
• Orchestrer les workflows ETL/ELT via Airflow.
• Mettre en œuvre l'Infrastructure as Code (Terraform).
• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).
• Garantir la disponibilité, la supervision et l'observabilité des traitements.
• Participer à la gestion des incidents et à l'amélioration continue.
• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés).
• Documenter les architectures, pipelines et règles métier.
• Garantir la conformité des flux, notamment dans le cadre RGPD.

Connaissances

Data Engineering

Big Data Architecture

Spark

DBT

Iceberg

Python

AWS

Terraform

Airflow

Outils

DBT

Iceberg

AWS

Terraform

Spark

Airflow

Description du poste

LesJeudis recherche un Data Engineer Senior pour accompagner le pôle Data Services dans la conception, l’industrialisation et l’évolution des solutions data, en s’appuyant sur les architectures Lakehouse, le batch et le streaming.

Vous serez amené à concevoir et déployer des pipelines à grande échelle avec Spark, DBT et Iceberg sur AWS, orchestrer les workflows avec Airflow et assurer la qualité et la conformité RGPD.