Hadoop & PySpark Data Engineer – Data Lake & Pipelines

Onyx-Conseil; Paris; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un profil Hadoop / PySpark chargé de mettre en œuvre les évolutions du datalake en lien avec l'équipe production applicative / devops. Passionné par le développement et le traitement des données, vous aurez une forte capacité d'analyse et serez autonome pour résoudre des problématiques complexes.

Vos missions incluent l'ingestion de données, le data prep/transformation, la maintenance des pipelines (Pyspark + shell scripting) et le traitement des demandes d'évolution de la

Qualifications

• Autonomie et esprit d'initiative dans un contexte dynamique.
• Solide capacité d'analyse et de résolution de problématiques liées au traitement de données.
• Bonnes aptitudes à travailler en équipe et à communiquer avec les équipes DevOps et production.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données et les transformer (data prep).
• Maintenir et faire évoluer les outils de gestion des pipelines de données (Pyspark + shell scripting).
• Répondre aux demandes d'évolutions de la plateforme transmises par l'équipe DevOps.

Connaissances

Autonomie

Initiative

Analyse de données

Outils

Hadoop

PySpark

Shell scripting

Description du poste

Onyx-Conseil recherche un profil Hadoop / PySpark chargé de mettre en œuvre les évolutions du datalake en lien avec l'équipe production applicative / devops. Passionné par le développement et le traitement des données, vous aurez une forte capacité d'analyse et serez autonome pour résoudre des problématiques complexes.

Vos missions incluent l'ingestion de données, le data prep/transformation, la maintenance des pipelines (Pyspark + shell scripting) et le traitement des demandes d'évolution de la