Développeur Big Data Hadoop / PySpark / Python - 3 à 6 ans (IT) / Freelance

Digistrat consulting; Paris; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une société de conseil en technologie à Paris recherche un profil Hadoop / PySpark pour mettre en œuvre un datalake sur une stack Hadoop. Vous serez responsable de nouvelles ingestions de données, de la gestion des pipelines et de la collaboration avec l'équipe DevOps. Une expertise en Hadoop, Python et SQL est requise, ainsi qu'une bonne maîtrise de l'anglais. Ce poste nécessite une forte autonomie et une capacité d'analyse.

Qualifications

• Excellente maîtrise de la plateforme Hadoop et du développement en Python.
• Expérience dans des environnements agiles, notamment SCRUM.
• Capacité à rédiger des spécifications techniques claires.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données et transformations.
• Maintenir et faire évoluer les outils de gestion des pipelines de données.
• Collaborer avec l'équipe DevOps sur l'évolution de la plateforme.

Connaissances

Expertise sur Hadoop

Développement en Python / PySpark

SQL

GIT

Jenkins

Jira

Shell scripting sous Unix/Linux

Anglais écrit et oral

Outils

Indexima

Alteryx

Altair

GCP / BigQuery

Description du poste

Secteurs stratégiques : Banque d’investissement
Démarrage : ASAP
Contexte / Objectifs :
Le département a lancé un programme stratégique, comprenant plusieurs projets d'harmonisation des processus et outils. L'un de ces projets vise à constituer un datalake sur une stack Hadoop, pour répondre aux besoins en data et reporting. Ce datalake doit également devenir la composante centrale de l'architecture du SI.
Nous recherchons un profil Hadoop / PySpark qui, en lien avec l'équipe de production applicative / DevOps, sera responsable de la mise en œuvre technique des évolutions du datalake.
Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d’analyse pour résoudre des problèmes complexes.
Principales missions :
- Mettre en œuvre de nouvelles ingestions de données, data prep / transformation
- Maintenir et faire évoluer nos outils de gestion des pipelines de données (PySpark + shell scripting)
- Collaborer avec l'équipe DevOps pour les demandes relatives à l’évolution de la plateforme
- Eventuellement, mettre en œuvre une couche d'API pour exposer nos données
Profil candidat :
- Expertise spécifique :
- Maîtrise excellente de la plateforme Hadoop, ainsi que du développement en Python / PySpark et Hive
- Bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix / Linux
- Maîtrise de l'anglais écrit et oral, pour faciliter la communication avec nos interlocuteurs à Porto, qui représentent une part importante de notre équipe IT
- Expérience dans des environnements agiles, notamment avec la méthodologie SCRUM
- Connaissances et expériences avec des outils tels qu'Indexima, Alteryx, Altair, GCP / BigQuery, ainsi que des bibliothèques Python orientées API (atouts)
- Capacité à rédiger des spécifications techniques claires et précises
- Dynamisme, excellent relationnel, capacité à travailler en équipe
- Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies.