Data Engineer: Hadoop & PySpark for Datalake Innovation

Onyx-Conseil; Charenton-le-Pont; Sur place; EUR 70 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer Hadoop/PySpark pour intervenir au sein d’un grand groupe bancaire. Vous concevrez et déployerez des flux d’ingestion et des traitements de données, en utilisant Hadoop, PySpark et SQL, dans un datalake du CIO Office.

Vous contribuerez à fiabiliser les pipelines, améliorerez la performance et travaillerez avec DevOps et les équipes métiers, dans un cadre Agile/SCRUM et English professionnel.

Qualifications

• Conception et déploiement de flux d'ingestion et de traitements de données.

Responsabilités

• Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données

Connaissances

Anglais professionnel

Agile/SCRUM

API Python

Outils

Hadoop

PySpark

Python

Hive

SQL

Git

Jenkins

Jira

Shell Unix/Linux

GCP/BigQuery

Indexima

Alteryx

Altair

API Python

Description du poste

Onyx-Conseil recherche un Data Engineer Hadoop/PySpark pour intervenir au sein d’un grand groupe bancaire. Vous concevrez et déployerez des flux d’ingestion et des traitements de données, en utilisant Hadoop, PySpark et SQL, dans un datalake du CIO Office.

Vous contribuerez à fiabiliser les pipelines, améliorerez la performance et travaillerez avec DevOps et les équipes métiers, dans un cadre Agile/SCRUM et English professionnel.