Data Engineer: Python & PySpark on Hadoop/Hive (On-Premise)

Wolsome; Île-de-France; Presencial; EUR 65.000 - 90.000; Jornada completa

Descripción de la vacante

Wolsome recherche un Data Engineer Python / PySpark pour intervenir sur des pipelines de données robustes dans un environnement on-premise utilisant Hadoop et Hive. Vous participerez à la conception, au développement et à l’optimisation des flux de données.

Le candidat idéal maîtrise Python et PySpark, avec une expérience sur Hadoop/Hive, et une connaissance SQL. Autonomie et travail en équipe seront essentiels pour collaborer avec les équipes Data et BI.

Formación

• Maîtrise de Python et PySpark pour concevoir et optimiser des pipelines de données.
• Bonne connaissance de Hadoop/Hive et du SQL pour le traitement distribué.
• Expérience dans un environnement on-premise et dans les flux ETL/ELT.

Responsabilidades

• Concevoir et développer des pipelines de traitement de données avec Python et PySpark.
• Développer et optimiser des traitements distribués sur l’écosystème Hadoop.
• Manipuler et exploiter les données stockées dans Hive et SQL.
• Contribuer à l’amélioration continue des pratiques de développement et d’industrialisation.

Conocimientos

Python

PySpark

Linux

Git

SQL

Autonomie

Travail en équipe

Herramientas

Hadoop

Hive

Descripción del empleo

Wolsome recherche un Data Engineer Python / PySpark pour intervenir sur des pipelines de données robustes dans un environnement on-premise utilisant Hadoop et Hive. Vous participerez à la conception, au développement et à l’optimisation des flux de données.

Le candidat idéal maîtrise Python et PySpark, avec une expérience sur Hadoop/Hive, et une connaissance SQL. Autonomie et travail en équipe seront essentiels pour collaborer avec les équipes Data et BI.