Hadoop & PySpark Data Engineer – Data Lake & Pipelines

VISIAN; Paris; On-site; EUR 50,000 - 70,000; Full time

Job summary

Onyx-Conseil recherche un profil Hadoop / PySpark chargé de mettre en œuvre les évolutions du datalake en lien avec l'équipe production applicative / devops. Passionné par le développement et le traitement des données, vous aurez une forte capacité d'analyse et serez autonome pour résoudre des problématiques complexes.

Vos missions incluent l'ingestion de données, le data prep/transformation, la maintenance des pipelines (Pyspark + shell scripting) et le traitement des demandes d'évolution de la

Qualifications

• Autonomie et esprit d'initiative dans un contexte dynamique.
• Solide capacité d'analyse et de résolution de problématiques liées au traitement de données.
• Bonnes aptitudes à travailler en équipe et à communiquer avec les équipes DevOps et production.

Responsibilities

• Mettre en œuvre de nouvelles ingestions de données et les transformer (data prep).
• Maintenir et faire évoluer les outils de gestion des pipelines de données (Pyspark + shell scripting).
• Répondre aux demandes d'évolutions de la plateforme transmises par l'équipe DevOps.

Skills

Autonomie

Initiative

Analyse de données

Tools

Hadoop

PySpark

Shell scripting

Job description

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s’adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.

Les tâches suivantes seront confiées au consultant :

• Mettre en œuvre de nouvelles ingestions de données, data prep/transformation

• Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting)

• Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme