Ingénieur Big Data Hadoop/PySpark Python – Datalake

Free-Work; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un profil Hadoop / PySpark pour piloter les évolutions d'un datalake sur une stack Hadoop, en lien avec l'équipe production et DevOps à Paris.

Vous serez autonome, analytique et capable de proposer des solutions techniques face à des problématiques data complexes, avec ingestion de données, data prep et maintenance des pipelines. Une exposition aux API est possible.

Qualifications

• Maîtrise de Hadoop, PySpark et Hive; SQL et outils de versioning (Git).
• Bonnes connaissances de Jenkins, Jira et shell scripting sous Unix/Linux.
• Maîtrise de l’anglais à l’écrit et à l’oral.
• Expérience agile, SCRUM, dans des environnements data.

Responsabilités

• Mettre en œuvre nouvelles ingestions et data prep/transformation.
• Maintenir et faire évoluer les pipelines de données (PySpark + shell).</br>Collaborer avec DevOps pour les évolutions plateforme.
• Eventuellement mettre en œuvre une couche d’APIs pour exposer les données.
• Travailler en autonomie et proposer des solutions techniques.

Connaissances

Python

PySpark

Hive

SQL

Git

Jenkins

Jira

Shell scripting

Unix/Linux

Outils

Hadoop

GCP/BigQuery

Alteryx

Indexima

Altair

Description du poste

Free-Work recherche un profil Hadoop / PySpark pour piloter les évolutions d'un datalake sur une stack Hadoop, en lien avec l'équipe production et DevOps à Paris.

Vous serez autonome, analytique et capable de proposer des solutions techniques face à des problématiques data complexes, avec ingestion de données, data prep et maintenance des pipelines. Une exposition aux API est possible.