Data Engineer - Python & PySpark (On-Prem Hadoop/Hive)

Wolsome; Île-de-France; Sur place; EUR 55 000 - 85 000; Plein temps

Résumé du poste

Wolsome recherche un Data Engineer Python / PySpark pour intervenir sur des projets de traitement et de valorisation des données dans un environnement on-premise basé sur Hadoop et Hive. Vous participerez à la conception, au développement et à l’optimisation de pipelines robustes et performants.

Vous maîtrisez Python et PySpark avec une expérience sur Hadoop, Hive et SQL, en environnement Linux et avec Git. Poste en collaboration avec les équipes Data, BI et infrastructure.

Qualifications

• Maîtrise du développement Python et PySpark pour des traitements Data.
• Compétence en PySpark et traitement distribué.
• Bonne connaissance de l’écosystème Hadoop et de Hive.
• Maîtrise du SQL et manipulation de données en grande volumétrie.
• Environnement Linux et outils en ligne de commande.
• Bonnes pratiques Git et développement logiciel.

Responsabilités

• Concevoir et développer des pipelines de traitement de données avec Python et PySpark.
• Développer et optimiser des traitements distribués sur Hadoop.
• Manipuler et exploiter les données dans Hive et SQL.
• Participer à l’alimentation et transformation des flux de données.
• Optimiser les performances PySpark et requêtes Hive.
• Assurer qualité, fiabilité et disponibilité des données.
• Collaborer avec les équipes Data, BI et infra.
• Contribuer à la documentation technique et à l’industrialisation.

Connaissances

Python

PySpark

Hadoop

Hive

SQL

Linux

Git

On-premise

Outils

Hadoop ecosystem

Description du poste

Wolsome recherche un Data Engineer Python / PySpark pour intervenir sur des projets de traitement et de valorisation des données dans un environnement on-premise basé sur Hadoop et Hive. Vous participerez à la conception, au développement et à l’optimisation de pipelines robustes et performants.

Vous maîtrisez Python et PySpark avec une expérience sur Hadoop, Hive et SQL, en environnement Linux et avec Git. Poste en collaboration avec les équipes Data, BI et infrastructure.