Data Engineer Senior / Expert – Spark, AWS, dbt, Iceberg (H/F) (IT) / Freelance

AI&DATA

Nantes

Hybrid

EUR 65,000 - 90,000

Full time

38 hours ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

AI&DATA recherche un consultant Data Engineer Senior / Expert pour renforcer l’équipe Marketing Data du pôle Data Fabric. Vous concevrez, industrialiserez et exploiterez des pipelines Data dans un environnement Lakehouse AWS, avec des exigences fortes de qualité, performance et fiabilité.

Vous utiliserez Spark/PySpark, Python, SQL et dbt, orchestrerez les traitements avec Airflow et déployerez sur AWS via Terraform.

Qualifications

  • Conception, développement et industrialisation des pipelines de données.
  • Mises en œuvre avec Spark/PySpark, Python, SQL et dbt.
  • Exploitation des données dans Apache Iceberg dans une architecture Lakehouse.
  • Orchestration avec Airflow, déploiement sur AWS et Terraform.
  • Contrôles de Data Quality, tests et observabilité.
  • RUN, analyse des incidents et traitement des causes racines.
  • Documentation, Data Contracts, lineage et métadonnées.
  • Travailler avec Product Owners et métiers pour traduire les besoins Marketing en solutions Data maintenables.

Responsibilities

  • Pipelines Data développés, testés et industrialisés ; transformations Spark et modèles dbt ; workflows Airflow.
  • Infrastructure Terraform nécessaire aux traitements.
  • Tests automatisés, contrôles de Data Quality, monitoring et alerting.
  • Documentation technique et fonctionnelle, documentation des modèles et règles métier.
  • Contribution aux Data Contracts, lineage et métadonnées.
  • Analyse et résolution des incidents, plans de remédiation.
  • Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.

Skills

Spark
PySpark
Python
SQL
dbt
Airflow
Terraform
AWS
Iceberg
Data Quality
Observabilité

Tools

Apache Iceberg

Job description

Contexte

Dans le cadre du renforcement de l’équipe Marketing Data au sein du pôle Data Fabric d'un acteur majeur du numérique et des mobilités, nous recherchons un consultant Data Engineer Senior / Expert capable d’intervenir de manière autonome sur la conception, l’industrialisation et l’exploitation de produits et pipelines Data. La mission s’inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN.

Missions principales
  • Concevoir, développer et optimiser des pipelines de données.
  • Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.
  • Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion.
  • Orchestrer les traitements avec Airflow.
  • Déployer et maintenir les traitements sur AWS et contribuer à l’Infrastructure as Code avec Terraform.
  • Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d’observabilité.
  • Participer au RUN, à l’analyse des incidents et au traitement des causes racines.
  • Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.
  • Travailler avec les Product Owners et interlocuteurs métier pour traduire les besoins Marketing en solutions Data robustes et maintenables.
Livrables
  • Pipelines Data développés, testés et industrialisés ; transformations Spark et modèles dbt ; workflows Airflow.
  • Infrastructure Terraform nécessaire aux traitements.
  • Tests automatisés, contrôles de Data Quality, monitoring et alerting.
  • Documentation technique et fonctionnelle, documentation des modèles et règles métier.
  • Contribution aux Data Contracts, lineage et métadonnées.
  • Analyse et résolution des incidents, plans de remédiation.
  • Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
Modalités
  • Lieu : Nantes – temps plein, 3 jours de télétravail par semaine
  • Déplacements et astreintes : occasionnels
  • Démarrage : dès que possible – fin estimée : 31/08/2027
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer Senior - BigData
Data Engineer Senior - BigData

VISIAN • Nantes

On-site
EUR 60,000 - 90,000
Data Engineer Senior - PySpark
Data Engineer Senior - PySpark

VISIAN • Nantes

On-site
EUR 60,000 - 85,000
Data Engineer Senior / Expert (H/F)
Data Engineer Senior / Expert (H/F)

Everience • Nantes

Hybrid
EUR 55,000 - 63,000
Mutuelle 50%
Transport remboursé 50%
Tickets Restaurant 9,50€ (60%)
+3
Data Engineer H/F - Spark, DBT, python, Iceberg, AWS et Terraform.
Data Engineer H/F - Spark, DBT, python, Iceberg, AWS et Terraform.

Lexi / Tailornet • Paris

On-site
EUR 62,000 - 67,000
Ticket restaurant
Transport 50% remboursé
Mutuelle et prévoyance santé
+1
Data Engineer Big Data Confirmé (H/F) (IT) / Freelance
Data Engineer Big Data Confirmé (H/F) (IT) / Freelance

Insitoo freelances • Lyon

On-site
EUR 70,000 - 100,000
Consultant Data Engineer Senior/Expert (IT) / Freelance
Consultant Data Engineer Senior/Expert (IT) / Freelance

ODHCOM - FREELANCEREPUBLIK • Nantes

On-site
EUR 60,000 - 90,000
Data Engineer Senior (H/F)
Data Engineer Senior (H/F)

Informatis-TS • Paris

On-site
EUR 70,000 - 110,000
Data Engineer Senior H/F
Data Engineer Senior H/F

GROUPE LR TECHNOLOGIES • Nantes

On-site
EUR 70,000 - 110,000
Senior Data Engineer / Data Engineering Tech Lead/ Data architect -(h/f) (IT) / Freelance
Senior Data Engineer / Data Engineering Tech Lead/ Data architect -(h/f) (IT) / Freelance

Emagine Consulting • La Garenne-Colombes

On-site
EUR 85,000 - 120,000
Expert Data Engineer - Datalake (IT) / Freelance
Expert Data Engineer - Datalake (IT) / Freelance

SThree plc • Courbevoie

On-site
EUR 60,000 - 85,000