Senior Data Engineer – AWS Lakehouse, Spark & Airflow

VISIAN; Nantes; On-site; EUR 60,000 - 90,000; Full time

Job summary

VISIAN recherche un consultant Data Engineer Senior/Expert pour concevoir, industrialiser et exploiter des pipelines Data dans un environnement Lakehouse AWS. Autonome, vous contribuerez à la qualité, la performance et au RUN des traitements.

Vous prendrez en charge Spark/PySpark, Python, SQL et dbt, orchestrerez Airflow, déployerez Terraform et gérerez Data Quality, Data Contracts et Data Catalog en collaboration avec les Product Owners et métiers. Poste basé à Nantes.

Qualifications

• Consultant Data Engineer Senior/Expert capable d’intervenir de manière autonome sur la conception, l’industrialisation et l’exploitation de produits et pipelines Data.
• Expérience dans un environnement Lakehouse AWS avec des enjeux de qualité, performance et fiabilité des traitements.

Responsibilities

• Concevoir, développer et optimiser des pipelines de données.
• Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.
• Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion.
• Orchestrer les traitements avec Airflow.
• Déployer et maintenir les traitements sur AWS et contribuer à l’Infrastructure as Code avec Terraform.
• Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d’observabilité.
• Participer au RUN, à l’analyse des incidents et au traitement des causes racines.
• Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.
• Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables.

Skills

Pipelines de données

Spark/PySpark

Python

SQL

dbt

Airflow

AWS

Iceberg

Lakehouse

Qualité Data

Observabilité

Gestion RUN

Contrats Data

Tools

Terraform

Airflow

dbt

Job description

VISIAN recherche un consultant Data Engineer Senior/Expert pour concevoir, industrialiser et exploiter des pipelines Data dans un environnement Lakehouse AWS. Autonome, vous contribuerez à la qualité, la performance et au RUN des traitements.

Vous prendrez en charge Spark/PySpark, Python, SQL et dbt, orchestrerez Airflow, déployerez Terraform et gérerez Data Quality, Data Contracts et Data Catalog en collaboration avec les Product Owners et métiers. Poste basé à Nantes.