Senior PySpark Data Engineer – Lakehouse on AWS

VISIAN; Nantes; On-site; EUR 60,000 - 85,000; Full time

Job summary

VISIAN est à la recherche d'un Consultant Data Engineer Senior/Expert pour intervenir en autonomie sur conception, industrialisation et RUN de pipelines Data dans un environnement Lakehouse AWS.

Vous travaillerez sur des pipelines Spark/PySpark, Python, SQL et dbt, orchestrés par Airflow, déployés sur AWS et gérés via Terraform et Data Quality/Observability. Collaboration avec Product Owners et métiers.

Responsibilities

• Concevoir, développer et optimiser des pipelines de données.
• Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.
• Exploiter des données dans un format Apache Iceberg dans une architecture Lakehouse / Medallion.
• Orchestrer les traitements avec Airflow.
• Déployer et maintenir les traitements sur AWS et contribuer à l’Infrastructure as Code avec Terraform.
• Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d’observabilité.
• Participer au RUN, à l’analyse des incidents et au traitement des causes racines.
• Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.
• Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables.

Job description

VISIAN est à la recherche d'un Consultant Data Engineer Senior/Expert pour intervenir en autonomie sur conception, industrialisation et RUN de pipelines Data dans un environnement Lakehouse AWS.

Vous travaillerez sur des pipelines Spark/PySpark, Python, SQL et dbt, orchestrés par Airflow, déployés sur AWS et gérés via Terraform et Data Quality/Observability. Collaboration avec Product Owners et métiers.