Data Engineer H/F

Size Up Consulting; Paris; Hybrid; EUR 55,000 - 75,000; Full time

Benefits offered by this job

Tickets restaurant 60%

Mutuelle d’entreprise

Prime de cooptation 1000€

CE & événements

Activités sportives

Participation variable

Formation interne

Job summary

Size Up Consulting recherche un Data Engineer pour piloter la collecte et la transformation des données sur une plateforme Hadoop Cloudera. Vous industrialiserez les algorithmes de Machine Learning et faciliterez l’exploitation data pour analyses et décisions.

Vous réaliserez la maintenance Hadoop, gérerez l’ordonnancement via ctrlM et contribuerez à l’amélioration continue des pipelines et des livrables.

Qualifications

• Expérience minimum de 3 ans en Data Engineer.
• Connaissances HDFS, Hive et Spark.
• Maîtrise du langage Scala et de PySpark est un atout.

Responsibilities

• Maintenir les projets Hadoop (HDFS, HIVE, Spark, Scala, Kafka).
• Gérer l’ordonnancement des traitements via ctrlM.
• Organiser le flux de données (Fichiers plats, XML, web services).
• Optimiser les traitements Hadoop et industrialiser les algorithmes ML (Python, PySpark).
• Participer à l’évolution des plateformes et à la recette logicielle.

Skills

Teamwork

Communication

Adaptability

Rigour

Listening

Collaboration

Education

Formation qualifiante

Tools

Hadoop

Cloudera

HDFS

Hive

Spark

Scala

Kafka

CtrlM

Python

PySpark

XML

Web services

Job description

Collecte et transformation des données, industrialisation des algorithmes de Machine Learning.

Votre rôle

En tant que Data Engineer vous jouerez un rôle clé dans la collecte et la transformation des données (plateforme Hadoop Cloudera) et l’industrialisation des algorithmes de Machine Learning. Il vous faudra mettre place des solutions techniques robustes facilitant l’exploitation des données à des fins d’analyse et de prise de décision.

Détails des missions

• Réaliser la maintenance des projets Hadoop (HDFS, HIVE, Spark, Scala, kafka).
• Gérer l’ordonnancement des traitements (via ctrlM).
• Organiser le flux de données (Fichiers plats, xml, web services).
• Optimiser les traitements Hadoop.
• Industrialiser les algorithmes de Machine Learning (Python, PySpark).
• Contribuer à l’évolution de l’usage des plateformes.
• Réaliser des tests unitaires et participer aux recettes.
• Assurer des tâches de support liées aux projets Hadoop et aux montés de version de la plateforme Cloudera.
• Contribuer à la Méthodologie Agile kanban (Daily meeting, poker planning, rétrospective, ...).
• Rédiger des documentations techniques.

Suite à cette mission, vous pourrez évoluer et découvrir des environnements techniques riches grâce aux différents secteurs sur lesquels nos clients se positionnent.

Si on parlait de vous:

Diplômé(e) d’une formation qualifiante, vous possédez une première expérience réussie d’au moins 3 ans en tant que Data Engineer?

Vous avez des connaissances HDFS, Hive, spark?

Le langage scala n’a pas de secret pour vous?

Vous souhaitez travailler en équipe?

Vous avez de réelles capacités d’écoute, de rigueur et d’adaptation?

Vous avez répondu oui? Alors vous êtes la personne parfaite pour ce poste!

Nos avantages

Prise en charge à 60% des tickets restaurant par l’employeur

Pourcentage de prise en charge de la Mutuelle d’entreprise par l’employeur supérieur au minimum légal

Prime de cooptation / parrainage: 1000€ à la fin de la période d’essai pour un CDI

Comité Social & Economique intéressant (places de cinéma ou de parcs à prix réduit, évènements collaborateurs,…)

Regroupement de collaborateurs autour d’activités sportives

Participation variable en fonction des résultats

Un Institut de Formation interne et des partenaires, pour avoir des compétences dernier cri!