Data Lake Engineer – Hadoop & PySpark

ALFI : Financial Markets Consultancy Services; Paris; Sur place; EUR 60 000 - 95 000; Plein temps

Résumé du poste

ALFI : Financial Markets Consultancy Services recherche un Data Engineer Hadoop / PySpark pour faire évoluer un Data Lake au sein de la DSI Corporate. Vous travaillerez avec les équipes production et DevOps pour implémenter les évolutions techniques de la plateforme Data.

Le candidat idéal possède une expérience 3 à 6 ans en Data Engineering, maîtrise Hadoop, PySpark et Hive, et communique en anglais professionnel.

Qualifications

• 3 à 6 ans d’expérience en Data Engineering.
• Maîtrise de Hadoop et de l’écosystème Hadoop.
• Expérience concrète en Python / PySpark.
• Maîtrise Hive et SQL.
• Maîtrise du scripting Shell sous Unix/Linux.
• Bonne connaissance de Git, Jenkins et Jira.
• Expérience dans un environnement Agile, idéalement Scrum.
• Anglais professionnel à l’oral comme à l’écrit.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données et transformer les données.
• Maintenir et faire évoluer les pipelines PySpark sur le Data Lake.
• Développer et maintenir des scripts Shell sous Unix/Linux.
• Exploiter Hadoop, Hive et SQL pour les traitements et requêtes.
• Rédiger des spécifications techniques claires et précises pour DevOps.
• Participer aux cérémonies Agile / Scrum et collaborer avec des équipes internationales, notamment à Porto.

Connaissances

Hadoop

Python

PySpark

Hive

SQL

Shell Unix/Linux

Git

Jenkins

Jira

Scrum

Anglais

Outils

Altair

Description du poste

ALFI : Financial Markets Consultancy Services recherche un Data Engineer Hadoop / PySpark pour faire évoluer un Data Lake au sein de la DSI Corporate. Vous travaillerez avec les équipes production et DevOps pour implémenter les évolutions techniques de la plateforme Data.

Le candidat idéal possède une expérience 3 à 6 ans en Data Engineering, maîtrise Hadoop, PySpark et Hive, et communique en anglais professionnel.