Data Engineer H/F - Spark, DBT, python, Iceberg, AWS et Terraform.

Lexi / Tailornet; Saint-Denis; On-site; EUR 62,000 - 67,000; Full time

Benefits offered by this job

Carte ticket restaurant

50 % du titre de transport remboursé

Mutuelle et prévoyance santé

Job summary

Lexi / Tailornet recherche un Data Engineer confirmé pour accompagner le pôle Data Services dans la conception et l’industrialisation de solutions data, avec une expertise Lakehouse et Big Data.

Vous piloterez des pipelines batch et streaming, orchestrerez des flux via Airflow et assurerez la qualité des données en conformité RGPD, en utilisant Spark, DBT, Iceberg, AWS, Terraform, Docker et Kubernetes.

Qualifications

• 8 années minimum d'expérience en Data Engineering.
• Maîtrise avancée des architectures Big Data et Lakehouse.
• Expertise sur Spark, DBT, Iceberg, AWS et Terraform.
• Maîtrise des services AWS (Glue, EMR, S3, ...).
• Connaissance de Trino/Starburst, Datadog.
• Forte capacité d'analyse et compréhension des enjeux métiers.
• Rigueur, autonomie et culture de l'amélioration continue.

Responsibilities

• Concevoir, développer et optimiser des pipelines de données à grande échelle.
• Mettre en œuvre des flux batch, streaming et ingestion via API.
• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold).
• Développer et industrialiser les pipelines via DBT, Spark et Iceberg.
• Contribuer à l'évolution de l'architecture Lakehouse.
• Déployer et maintenir les pipelines dans un environnement cloud ( AWS ).
• Orchestrer les workflows ETL/ELT via Airflow.
• Mettre en œuvre l'Infrastructure as Code (Terraform).
• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).
• Garantir la disponibilité, la supervision et l'observabilité des traitements.
• Participer à la gestion des incidents et à l'amélioration continue.
• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés).
• Documenter les architectures, pipelines et règles métier.
• Garantir la conformité des flux, notamment dans le cadre RGPD.

Skills

Big Data architecture

Lakehouse

Spark

DBT

Iceberg

AWS

Terraform

Python

Data modeling

ETL pipelines

Trino

Datadog

Airflow

Kubernetes

Docker

Education

Aucune mention d'un diplôme spécifique

Tools

Docker

Kubernetes

Airflow

Trino/Starburst

Datadog

Job description

Créé en 2003 et adossé au groupe Smart4engineering depuis 2019, nous accompagnons nos clients dans la conception, la gestion et la sécurisation de leurs infrastructures informatiques, pour les aider à relever les défis structurants d'aujourd'hui et de demain.

Dans le cadre de projets pour des clients grands comptes, nous recherchons un e développeur euse passionné e et polyvalent e pour intégrer une équipe agile et contribuer à la conception et au développement de solutions back-end et/ou full-stack.

Contrat : CDI uniquement

Salaire : 62K-67K

Expérience : 7 ans minimum

Localisation : IDF (Saint-Denis)

Contexte

Nous recherchons un e Data Engineer afin d'accompagner le pôle Data Services d'un acteur majeur du secteur des transports dans la conception, l'industrialisation et l'évolution de ses solutions data. Vous interviendrez sur des sujets d'architecture, de modélisation, d'optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l'entreprise.

Missions

• Concevoir, développer et optimiser des pipelines de données à grande échelle.
• Mettre en œuvre des flux batch, streaming et ingestion via API.
• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold).
• Développer et industrialiser les pipelines via DBT, Spark et Iceberg.
• Contribuer à l'évolution de l'architecture Lakehouse.

Livrables attendus

• Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent).
• Orchestrer les workflows ETL/ELT via Airflow.
• Mettre en œuvre l'Infrastructure as Code (Terraform).
• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).
• Garantir la disponibilité, la supervision et l'observabilité des traitements.
• Participer à la gestion des incidents et à l'amélioration continue.
• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés).
• Documenter les architectures, pipelines et règles métier.
• Garantir la conformité des flux, notamment dans le cadre RGPD.

Compétences requises

• 8 années minimum d'expérience en Data Engineering.
• Maîtrise avancée des architectures Big Data et Lakehouse.
• Expertise réelle sur Spark, DBT, Iceberg, AWS et Terraform.
• Maîtrise des services AWS (Glue, EMR, S3, ...).
• Connaissance de Trino/Starburst, Datadog.
• Forte capacité d'analyse et de compréhension des enjeux métiers.
• Rigueur, autonomie et culture de l'amélioration continue.

Compétences indispensables

• DBT
• Iceberg
• AWS (Glue, EMR, S3, ...)
• Python
• Spark
• Modélisation Médaillon.

Ce que nous mettons à votre disposition

• Environnement de travail accueillant et stimulant
• Référencements clients grands comptes dans des secteurs variés
• Entreprise en croissance : parcours de carrières évolutifs et missions à forte valeur ajoutée
• Carte ticket restaurant pour vos repas
• 50 % du titre de transport remboursé
• Mutuelle et prévoyance santé
• Environnement à dimension internationale

Intéressé e ? Nous étudierons votre candidature avec attention et bienveillance.