Data Engineer Senior - BigData

VISIAN; Nantes; Vor Ort; EUR 60.000 - 90.000; Vollzeit

Zusammenfassung

VISIAN recherche un consultant Data Engineer Senior/Expert pour concevoir, industrialiser et exploiter des pipelines Data dans un environnement Lakehouse AWS. Autonome, vous contribuerez à la qualité, la performance et au RUN des traitements.

Vous prendrez en charge Spark/PySpark, Python, SQL et dbt, orchestrerez Airflow, déployerez Terraform et gérerez Data Quality, Data Contracts et Data Catalog en collaboration avec les Product Owners et métiers. Poste basé à Nantes.

Qualifikationen

• Consultant Data Engineer Senior/Expert capable d’intervenir de manière autonome sur la conception, l’industrialisation et l’exploitation de produits et pipelines Data.
• Expérience dans un environnement Lakehouse AWS avec des enjeux de qualité, performance et fiabilité des traitements.

Aufgaben

• Concevoir, développer et optimiser des pipelines de données.
• Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.
• Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion.
• Orchestrer les traitements avec Airflow.
• Déployer et maintenir les traitements sur AWS et contribuer à l’Infrastructure as Code avec Terraform.
• Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d’observabilité.
• Participer au RUN, à l’analyse des incidents et au traitement des causes racines.
• Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.
• Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables.

Kenntnisse

Pipelines de données

Spark/PySpark

Python

SQL

dbt

Airflow

AWS

Iceberg

Lakehouse

Qualité Data

Observabilité

Gestion RUN

Contrats Data

Tools

Terraform

Airflow

dbt

Jobbeschreibung

Contexte

Dans le cadre du renforcement d'une équipe, nous recherchons un consultant Data Engineer Senior/Expert capable d’intervenir de manière autonome sur la conception, l’industrialisation et l’exploitation de produits et pipelines Data.

La mission s’inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN.

Missions

Le consultant interviendra notamment sur les activités suivantes :

• Concevoir, développer et optimiser des pipelines de données.

• Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.

• Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion.

• Orchestrer les traitements avec Airflow.

• Déployer et maintenir les traitements sur AWS et contribuer à l’Infrastructure as Code avec Terraform.

• Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d’observabilité.

• Participer au RUN, à l’analyse des incidents et au traitement des causes racines.

• Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.

• Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables.

Livrables

Les livrables de la prestation pourront comprendre :

• Pipelines Data développés, testés et industrialisés.

• Transformations Spark et Modèles dbt.

• Workflows Airflow.

• Infrastructure Terraform nécessaire aux traitements.

• Tests automatisés et contrôles de Data Quality.

• Monitoring et alerting associés aux traitements.

• Documentation technique et fonctionnelle.

• Documentation des modèles et règles métier.

• Contribution aux Data Contracts, lineage et métadonnées.

• Analyse et résolution des incidents.

• Plans de remédiation pour les incidents ou problèmes récurrents.

• Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.