Data Engineer Hadoop / PySpark – Environnement bancaire

ALFI : Financial Markets Consultancy Services; Paris; Sur place; EUR 60 000 - 95 000; Plein temps

Résumé du poste

ALFI : Financial Markets Consultancy Services recherche un Data Engineer Hadoop / PySpark pour faire évoluer un Data Lake au sein de la DSI Corporate. Vous travaillerez avec les équipes production et DevOps pour implémenter les évolutions techniques de la plateforme Data.

Le candidat idéal possède une expérience 3 à 6 ans en Data Engineering, maîtrise Hadoop, PySpark et Hive, et communique en anglais professionnel.

Qualifications

• 3 à 6 ans d’expérience en Data Engineering.
• Maîtrise de Hadoop et de l’écosystème Hadoop.
• Expérience concrète en Python / PySpark.
• Maîtrise Hive et SQL.
• Maîtrise du scripting Shell sous Unix/Linux.
• Bonne connaissance de Git, Jenkins et Jira.
• Expérience dans un environnement Agile, idéalement Scrum.
• Anglais professionnel à l’oral comme à l’écrit.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données et transformer les données.
• Maintenir et faire évoluer les pipelines PySpark sur le Data Lake.
• Développer et maintenir des scripts Shell sous Unix/Linux.
• Exploiter Hadoop, Hive et SQL pour les traitements et requêtes.
• Rédiger des spécifications techniques claires et précises pour DevOps.
• Participer aux cérémonies Agile / Scrum et collaborer avec des équipes internationales, notamment à Porto.

Connaissances

Hadoop

Python

PySpark

Hive

SQL

Shell Unix/Linux

Git

Jenkins

Jira

Scrum

Anglais

Outils

Altair

Description du poste

Depuis 25 ans, ALFI apporte son expertise aux institutions financières, à leurs DSI et Directions Métiers pour mener à bien leurs projets de transformation.

Spécialistes des enjeux financiers et technologiques, nous accompagnons les Banques de Financement et d’Investissement, Asset Managers, Banques de Détail et Compagnies d’Assurance sur des projets exigeants de transformation, de digitalisation et d’optimisation de la performance.

Nos 200 consultants interviennent autour de trois grands piliers :

• Pilotage de projet : direction de programme, chefferie de projet, maîtrise d’ouvrage…
• IT : développement, DevOps, infrastructures réseau et système, Cloud, Data…
• Finance & Risques : finance de marché, Corporate Banking, Risk Management…

Pour accompagner l’un de nos clients, acteur majeur du secteur bancaire, nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir sur l’évolution d’un Data Lake au sein d’une DSI Corporate.

Vous travaillerez en lien étroit avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme Data.

Vous interviendrez notamment sur les sujets suivants :

• Mettre en œuvre de nouvelles ingestions de données ;
• Réaliser les traitements de data preparation et transformation ;
• Maintenir et faire évoluer les pipelines de données en PySpark ;
• Développer et maintenir des scripts Shell sous Unix/Linux ;
• Exploiter et faire évoluer les traitements sur la plateforme Hadoop ;
• Travailler avec Hive et SQL sur les traitements et requêtes de données ;
• Formaliser les besoins d’évolution à destination des équipes DevOps ;
• Rédiger des spécifications techniques claires et précises ;
• Participer aux cérémonies Agile / Scrum ;
• Collaborer avec des équipes internationales, notamment basées à Porto.

Environnement technique

Sont également appréciées des connaissances sur :

• Altair
• Bibliothèques Python orientées API

Votre profil

• Vous disposez d’environ 3 à 6 ans d’expérience sur des environnements Data Engineering ;
• Vous maîtrisez très bien Hadoop ;
• Vous avez une expérience concrète en développement Python / PySpark ;
• Vous maîtrisez Hive et disposez d’un bon niveau en SQL ;
• Vous êtes à l’aise avec le scripting Shell sous Unix/Linux ;
• Vous avez déjà travaillé avec des outils comme Git, Jenkins et Jira ;
• Vous avez évolué dans un environnement Agile, idéalement en Scrum ;
• Votre anglais oral et écrit est professionnel, afin de collaborer efficacement avec une équipe internationale ;
• Vous êtes autonome, curieux(se), force de proposition et à l’aise dans l’analyse de problématiques techniques complexes.

Nous recherchons avant tout un profil capable de combiner maîtrise de l’écosystème Hadoop, développement PySpark et compréhension des problématiques de pipelines Data en production.

Pourquoi nous rejoindre ?

Au sein de la communauté ALFI, l’humain est au cœur de notre réussite. Nous encourageons l’initiative, la curiosité et le partage des connaissances.

Un suivi personnalisé et une politique de formation exigeante permettent à chacun de développer ses compétences et d’évoluer sur des missions stimulantes et structurantes.

Vous êtes DBA PostgreSQL et vous aimez automatiser ce que les autres font encore manuellement ? Échangeons.

Chez ALFI, nous croyons que la diversité est une richesse. Nos opportunités sont ouvertes à toutes et tous, et nous veillons à fournir un environnement de travail inclusif où chacun et chacune peut s’épanouir pleinement.