Data Engineer: Hadoop & PySpark for Datalake Ops

Free-Work; Paris; Sur place; EUR 55 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un consultant DSI pour intervenir sur les évolutions du datalake et collaborer avec l’équipe production applicative et DevOps. Vous travaillerez dans un cadre Scrum et contribuerez à l’ingestion, à la préparation et à la transformation des données.

Vous maîtrisez Hadoop, Python/PySpark et Hive, ainsi que SQL, GIT, Jenkins et Jira. Une expérience Unix/Linux et du shell scripting est indispensable, ainsi que de bonnes connaissances de l’anglais pour les échanges avec Porto.

Qualifications

• Maîtrise avancée de Hadoop et développement Python/PySpark et Hive.
• Bonne connaissance de SQL, GIT, Jenkins, Jira et shell scripting sous Unix/Linux.
• Maîtrise de l’anglais écrit et oral pour échanges avec Porto.
• Expérience en environnement agile SCRUM.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données.
• Réaliser la data prep/transformation.
• Maintenir les outils de gestion des pipelines de données.
• Faire évoluer les outils de gestion des pipelines de données avec PySpark et shell scripting.
• Adresser à l’équipe devops les demandes relatives aux évolutions de la plateforme.
• Rédiger des spécifications techniques claires et précises.
• Travailler dans un environnement agile avec la méthodologie SCRUM.

Connaissances

Python/PySpark

Hive

SQL

Unix/Linux shell scripting

SCRUM

Outils

GIT

Jenkins

Jira

Hadoop

Description du poste

Free-Work recherche un consultant DSI pour intervenir sur les évolutions du datalake et collaborer avec l’équipe production applicative et DevOps. Vous travaillerez dans un cadre Scrum et contribuerez à l’ingestion, à la préparation et à la transformation des données.

Vous maîtrisez Hadoop, Python/PySpark et Hive, ainsi que SQL, GIT, Jenkins et Jira. Une expérience Unix/Linux et du shell scripting est indispensable, ainsi que de bonnes connaissances de l’anglais pour les échanges avec Porto.