Data Engineer Hadoop Spark Scala H/F

Jems Group; Nanterre; Sur place; EUR 55 000 - 90 000; Plein temps

Résumé du poste

Jems Group recherche un Data Engineer Hadoop Spark Scala à Nanterre pour concevoir et industrialiser une solution Data couvrant l'acquisition, le traitement et l’exploitation des données, en accompagnant les directions métiers.

Vous identifierez, collecterez et intégrerez les données nécessaires, assurerez la qualité avec les outils de Data Gouvernance et déploierez des tests unitaires et d’intégration pour une solution robuste.

Qualifications

• Diplômé(e) d'une école d'ingénieur ou d'une université et au moins 3 ans d'expérience dans un contexte Data.
• Maîtrise du SQL et d'au moins un langage orienté objet (Python, Java ou Scala).
• Connaissance des cadres de calcul distribué et des pratiques de Data Gouvernance.

Responsabilités

• Participer à la conception et réalisation d'une solution Data de l'acquisition à l'exploitation.
• Identifier, collecter et intégrer les données nécessaires pour résoudre les problématiques métier.
• Garantir la qualité des données avec des outils & règles de Data Governance et Data Management.
• Transformer les besoins métier en règles de gestion data et écrire les spécifications.
• Industrialiser le déploiement via tests unitaires, d'intégration et de non-régression.

Connaissances

SQL

Python

Java/Scala

Hadoop Spark

Formation

Diplômé(e) d'une école d'ingénieur ou d'une université

Outils

Git

JUnit

SonarQube

Jenkins

Description du poste

Nous recherchonsun(e) Data Engineer Hadoop Spark Scala capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data.

Vous aurez la charge de :

• Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers
• Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles
• Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management
• Transcrire des besoins métier en règles de gestion data
• Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression

En tant que Data Engineer Hadoop Spark Scala vous maîtrisez :

• Le langage SQL
• Un langage objet (Python, JAVA, Scala)
• Un framework de calcul distribué
• L'intégration continue (Git, JUnit, SonarQube, Jenkins)
• Un cloud provider (AWS, GCP, Azure) ou une distribution Big Data (Hortonworks, Cloudera, Datastax)
• Les concepts de la modélisation relationnelle et non-relationnelle

Diplômé(e) d'une école d'ingénieur ou d'une université, vous justifiez d'au minimum 3 ans d'expérience professionnelledans un contexte projet Data. Rigoureux(se), proactif(ve) et autonome vous restez en veille technologique et êtes force de proposition. Vous êtes capable de prendre de la hauteur et vous adapter aux enjeux du projet.