Data Engineer Hadoop / PySpark - Plateforme Data (H/F)

Onyx-Conseil; Paris; Sur place; EUR 52 000 - 78 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Hadoop/PySpark pour intervenir sur une plateforme Data stratégique et contribuer à l’évolution d’un datalake. Vous réaliserez des ingestions, des transformations et la maintenance des pipelines de données, en collaboration avec les équipes DevOps et les équipes production dans un cadre Agile et international.

Le poste implique l’utilisation de Hadoop, PySpark, Hive et SQL pour manipuler et analyser les données, avec développement et déploiement

Qualifications

• Expérience avec Hadoop et PySpark dans un Data Lake.
• Maîtrise du SQL et de Hive pour l’analyse et la transformation des données.
• Capacité à écrire des scripts shell et à concevoir des pipelines de données robustes.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données dans le datalake.
• Développer les traitements de préparation et de transformation des données.
• Maintenir et faire évoluer les pipelines PySpark et shell scripting.

Connaissances

PySpark

Hadoop

SQL

Hive

Shell scripting

Ingestion de données

Description du poste

Rejoignez-nous!

Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir sur une plateforme Data stratégique et contribuer aux évolutions d’un datalake.

Vous serez en charge de la mise en œuvre technique de nouvelles ingestions de données, des traitements de préparation et de transformation, ainsi que de la maintenance et de l’évolution des pipelines de données.

Vous travaillerez en étroite collaboration avec les équipes de production applicative et DevOps, dans un environnement Agile, dynamique et international.

Ce que vous ferez:

• Mettre en œuvre de nouvelles ingestions de données au sein du datalake.

• Développer les traitements de préparation et de transformation des données.

• Maintenir et faire évoluer les pipelines de données en PySpark et shell scripting.

• Développer et optimiser les traitements de données sur la plateforme Hadoop.

• Exploiter Hive et SQL pour la manipulation, la transformation et l’analyse des données.

• Collaborer avec l’équipe DevOps et lui adresser les demandes relatives aux évolutions de la plateforme.

• Participer à l’intégration et au déploiement des évolutions via les outils de gestion de code source et d’intégration continue.

• Rédiger des spécifications techniques claires et précises.

• Analyser et résoudre des problématiques techniques complexes liées aux traitements et pipelines de données.

• Contribuer à l’amélioration continue de la plateforme et être force de proposition sur les solutions et technologies à mettre en œuvre.

Votre positionnement vous permettra d’intervenir au cœur d’une plateforme Data stratégique, en interaction avec des équipes techniques multidisciplinaires et internationales.