Data Platform Engineer - Hadoop & PySpark Trailblazer

Onyx-Conseil; Paris; Sur place; EUR 52 000 - 78 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Hadoop/PySpark pour intervenir sur une plateforme Data stratégique et contribuer à l’évolution d’un datalake. Vous réaliserez des ingestions, des transformations et la maintenance des pipelines de données, en collaboration avec les équipes DevOps et les équipes production dans un cadre Agile et international.

Le poste implique l’utilisation de Hadoop, PySpark, Hive et SQL pour manipuler et analyser les données, avec développement et déploiement

Qualifications

• Expérience avec Hadoop et PySpark dans un Data Lake.
• Maîtrise du SQL et de Hive pour l’analyse et la transformation des données.
• Capacité à écrire des scripts shell et à concevoir des pipelines de données robustes.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données dans le datalake.
• Développer les traitements de préparation et de transformation des données.
• Maintenir et faire évoluer les pipelines PySpark et shell scripting.

Connaissances

PySpark

Hadoop

SQL

Hive

Shell scripting

Ingestion de données

Description du poste

Onyx-Conseil recherche un Data Engineer Hadoop/PySpark pour intervenir sur une plateforme Data stratégique et contribuer à l’évolution d’un datalake. Vous réaliserez des ingestions, des transformations et la maintenance des pipelines de données, en collaboration avec les équipes DevOps et les équipes production dans un cadre Agile et international.

Le poste implique l’utilisation de Hadoop, PySpark, Hive et SQL pour manipuler et analyser les données, avec développement et déploiement