Développeur Big Data Hadoop/PySpark/Python

Free-Work; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un profil Hadoop / PySpark pour piloter les évolutions d'un datalake sur une stack Hadoop, en lien avec l'équipe production et DevOps à Paris.

Vous serez autonome, analytique et capable de proposer des solutions techniques face à des problématiques data complexes, avec ingestion de données, data prep et maintenance des pipelines. Une exposition aux API est possible.

Qualifications

• Maîtrise de Hadoop, PySpark et Hive; SQL et outils de versioning (Git).
• Bonnes connaissances de Jenkins, Jira et shell scripting sous Unix/Linux.
• Maîtrise de l’anglais à l’écrit et à l’oral.
• Expérience agile, SCRUM, dans des environnements data.

Responsabilités

• Mettre en œuvre nouvelles ingestions et data prep/transformation.
• Maintenir et faire évoluer les pipelines de données (PySpark + shell).</br>Collaborer avec DevOps pour les évolutions plateforme.
• Eventuellement mettre en œuvre une couche d’APIs pour exposer les données.
• Travailler en autonomie et proposer des solutions techniques.

Connaissances

Python

PySpark

Hive

SQL

Git

Jenkins

Jira

Shell scripting

Unix/Linux

Outils

Hadoop

GCP/BigQuery

Alteryx

Indexima

Altair

Description du poste

Secteurs stratégiques : Banque d’investissement

PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI

Démarrage : ASAP

Contexte /Objectifs :

Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI .

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.

Principales missions :

• Mettre en œuvre de nouvelles ingestions de données, data prep/transformation
• Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting)
• Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme
• Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Profil candidat:

Expertises spécifiques :

• Excellente maîtrise de la plateforme Hadoop, ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix/Linux est également nécessaire.
• Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT.
• Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM.
• Connaissances et expériences avec des outils et technologies tels que Indexima, Alteryx, Altair, GCP/Big Query, ainsi que des bibliothèques Python orientées API seraient des atouts appréciables.
• Capacité à rédiger des spécifications techniques claires et précises.
• Dynamisme, excellent relationnel et capacité à travailler en équipe.
• Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies.