Data Engineer — ML Pipelines & Hadoop Expert

Size Up Consulting; Paris; Hybrid; EUR 55,000 - 75,000; Full time

Benefits offered by this job

Tickets restaurant 60%

Mutuelle d’entreprise

Prime de cooptation 1000€

CE & événements

Activités sportives

Participation variable

Formation interne

Job summary

Size Up Consulting recherche un Data Engineer pour piloter la collecte et la transformation des données sur une plateforme Hadoop Cloudera. Vous industrialiserez les algorithmes de Machine Learning et faciliterez l’exploitation data pour analyses et décisions.

Vous réaliserez la maintenance Hadoop, gérerez l’ordonnancement via ctrlM et contribuerez à l’amélioration continue des pipelines et des livrables.

Qualifications

• Expérience minimum de 3 ans en Data Engineer.
• Connaissances HDFS, Hive et Spark.
• Maîtrise du langage Scala et de PySpark est un atout.

Responsibilities

• Maintenir les projets Hadoop (HDFS, HIVE, Spark, Scala, Kafka).
• Gérer l’ordonnancement des traitements via ctrlM.
• Organiser le flux de données (Fichiers plats, XML, web services).
• Optimiser les traitements Hadoop et industrialiser les algorithmes ML (Python, PySpark).
• Participer à l’évolution des plateformes et à la recette logicielle.

Skills

Teamwork

Communication

Adaptability

Rigour

Listening

Collaboration

Education

Formation qualifiante

Tools

Hadoop

Cloudera

HDFS

Hive

Spark

Scala

Kafka

CtrlM

Python

PySpark

XML

Web services

Job description

Size Up Consulting recherche un Data Engineer pour piloter la collecte et la transformation des données sur une plateforme Hadoop Cloudera. Vous industrialiserez les algorithmes de Machine Learning et faciliterez l’exploitation data pour analyses et décisions.

Vous réaliserez la maintenance Hadoop, gérerez l’ordonnancement via ctrlM et contribuerez à l’amélioration continue des pipelines et des livrables.