Data Engineer Hadoop/PySpark – Charenton-le-Pont (IT) / Freelance

Onyx-Conseil; Charenton-le-Pont; Sur place; EUR 70 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Hadoop/PySpark pour intervenir au sein d’un grand groupe bancaire. Vous concevrez et déployerez des flux d’ingestion et des traitements de données, en utilisant Hadoop, PySpark et SQL, dans un datalake du CIO Office.

Vous contribuerez à fiabiliser les pipelines, améliorerez la performance et travaillerez avec DevOps et les équipes métiers, dans un cadre Agile/SCRUM et English professionnel.

Qualifications

• Conception et déploiement de flux d'ingestion et de traitements de données.

Responsabilités

• Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données

Connaissances

Anglais professionnel

Agile/SCRUM

API Python

Outils

Hadoop

PySpark

Python

Hive

SQL

Git

Jenkins

Jira

Shell Unix/Linux

GCP/BigQuery

Indexima

Alteryx

Altair

API Python

Description du poste

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark.

Environnement technique

Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API.

Contexte

Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office.

Missions

• Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données

• Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell

• Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme

• Contribuer à la fiabilité, la performance et la qualité globale du datalake

Compétences attendues

Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python