Senior Data Engineer - Lakehouse on AWS, Spark & Airflow

AI&DATA

Nantes

Hybrid

EUR 65,000 - 90,000

Full time

3 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

AI&DATA recherche un consultant Data Engineer Senior / Expert pour renforcer l’équipe Marketing Data du pôle Data Fabric. Vous concevrez, industrialiserez et exploiterez des pipelines Data dans un environnement Lakehouse AWS, avec des exigences fortes de qualité, performance et fiabilité.

Vous utiliserez Spark/PySpark, Python, SQL et dbt, orchestrerez les traitements avec Airflow et déployerez sur AWS via Terraform.

Qualifications

  • Conception, développement et industrialisation des pipelines de données.
  • Mises en œuvre avec Spark/PySpark, Python, SQL et dbt.
  • Exploitation des données dans Apache Iceberg dans une architecture Lakehouse.
  • Orchestration avec Airflow, déploiement sur AWS et Terraform.
  • Contrôles de Data Quality, tests et observabilité.
  • RUN, analyse des incidents et traitement des causes racines.
  • Documentation, Data Contracts, lineage et métadonnées.
  • Travailler avec Product Owners et métiers pour traduire les besoins Marketing en solutions Data maintenables.

Responsibilities

  • Pipelines Data développés, testés et industrialisés ; transformations Spark et modèles dbt ; workflows Airflow.
  • Infrastructure Terraform nécessaire aux traitements.
  • Tests automatisés, contrôles de Data Quality, monitoring et alerting.
  • Documentation technique et fonctionnelle, documentation des modèles et règles métier.
  • Contribution aux Data Contracts, lineage et métadonnées.
  • Analyse et résolution des incidents, plans de remédiation.
  • Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.

Skills

Spark
PySpark
Python
SQL
dbt
Airflow
Terraform
AWS
Iceberg
Data Quality
Observabilité

Tools

Apache Iceberg

Job description

AI&DATA recherche un consultant Data Engineer Senior / Expert pour renforcer l’équipe Marketing Data du pôle Data Fabric. Vous concevrez, industrialiserez et exploiterez des pipelines Data dans un environnement Lakehouse AWS, avec des exigences fortes de qualité, performance et fiabilité.

Vous utiliserez Spark/PySpark, Python, SQL et dbt, orchestrerez les traitements avec Airflow et déployerez sur AWS via Terraform.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Senior Data Engineer – AWS Lakehouse & Pipelines
Senior Data Engineer – AWS Lakehouse & Pipelines

ODHCOM - FREELANCEREPUBLIK • Nantes

On-site
EUR 60,000 - 90,000
Senior Data Engineer - Lakehouse, AWS & Spark
Senior Data Engineer - Lakehouse, AWS & Spark

Everience • Nantes

Hybrid
EUR 55,000 - 63,000
Mutuelle 50%
Transport remboursé 50%
Tickets Restaurant 9,50€ (60%)
+3
Senior Data Engineer – AWS Lakehouse, Spark & Airflow
Senior Data Engineer – AWS Lakehouse, Spark & Airflow

VISIAN • Nantes

On-site
EUR 60,000 - 90,000
Lakehouse Data Engineer - Spark, Airflow, Python, DBT, AWS
Lakehouse Data Engineer - Spark, Airflow, Python, DBT, AWS

InFreelancing • Nantes

On-site
EUR 42,000 - 66,000
Senior PySpark Data Engineer – Lakehouse on AWS
Senior PySpark Data Engineer – Lakehouse on AWS

VISIAN • Nantes

On-site
EUR 60,000 - 85,000
Consultant Data Engineer Senior/Expert (IT) / Freelance
Consultant Data Engineer Senior/Expert (IT) / Freelance

ODHCOM - FREELANCEREPUBLIK • Nantes

On-site
EUR 60,000 - 90,000
Senior Data Engineer - Lakehouse & Cloud Data Pipelines
Senior Data Engineer - Lakehouse & Cloud Data Pipelines

LR Technologies Group • Nantes

On-site
EUR 75,000 - 95,000
Senior Data Engineer: Lakehouse & Cloud Pipelines
Senior Data Engineer: Lakehouse & Cloud Pipelines

Groupe LR Technologies • Nantes

On-site
EUR 70,000 - 110,000
Senior Data Engineer — Lakehouse & AI Platform
Senior Data Engineer — Lakehouse & AI Platform

Capfi • Paris

On-site
EUR 90,000 - 130,000
Senior Data Engineer: Data Lakehouse & Scalable Pipelines
Senior Data Engineer: Data Lakehouse & Scalable Pipelines

Loud Technology • Bordeaux

Hybrid
EUR 45,000 - 70,000