[SCH] Data Engineer Hadoop - 1965 (IT) / Freelance

Free-Work; Paris; Sur place; EUR 55 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un consultant DSI pour intervenir sur les évolutions du datalake et collaborer avec l’équipe production applicative et DevOps. Vous travaillerez dans un cadre Scrum et contribuerez à l’ingestion, à la préparation et à la transformation des données.

Vous maîtrisez Hadoop, Python/PySpark et Hive, ainsi que SQL, GIT, Jenkins et Jira. Une expérience Unix/Linux et du shell scripting est indispensable, ainsi que de bonnes connaissances de l’anglais pour les échanges avec Porto.

Qualifications

• Maîtrise avancée de Hadoop et développement Python/PySpark et Hive.
• Bonne connaissance de SQL, GIT, Jenkins, Jira et shell scripting sous Unix/Linux.
• Maîtrise de l’anglais écrit et oral pour échanges avec Porto.
• Expérience en environnement agile SCRUM.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données.
• Réaliser la data prep/transformation.
• Maintenir les outils de gestion des pipelines de données.
• Faire évoluer les outils de gestion des pipelines de données avec PySpark et shell scripting.
• Adresser à l’équipe devops les demandes relatives aux évolutions de la plateforme.
• Rédiger des spécifications techniques claires et précises.
• Travailler dans un environnement agile avec la méthodologie SCRUM.

Connaissances

Python/PySpark

Hive

SQL

Unix/Linux shell scripting

SCRUM

Outils

GIT

Jenkins

Jira

Hadoop

Description du poste

Au sein de la DSI, l’entité concernée fournit aux services Technologies & Opérations les applications nécessaires à leur fonctionnement. Le consultant interviendra sur les évolutions du datalake, en lien avec l’équipe de production applicative / devops.

Missions :

• Mettre en œuvre de nouvelles ingestions de données
• Réaliser la data prep/transformation
• Maintenir les outils de gestion des pipelines de données
• Faire évoluer les outils de gestion des pipelines de données avec Pyspark et shell scripting
• Adresser à l’équipe devops les demandes relatives aux évolutions de la plateforme
• Rédiger des spécifications techniques claires et précises
• Travailler dans un environnement agile avec la méthodologie SCRUM

Profil attendu :

Le consultant doit avoir une excellente maîtrise de la plateforme Hadoop ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l’anglais à l’écrit et à l’oral est requise pour les échanges avec les interlocuteurs basés à Porto. Une expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM, est attendue.