Data Engineer Hadoop / PySpark

Bénin Digital; Montfaucon; Sur place; EUR 55 000 - 75 000; Plein temps

Résumé du poste

Bénin Digital recherche un Data Engineer expérimenté pour rejoindre son équipe à Montfaucon. Vous travaillerez sur les pipelines PySpark, l’ingestion de données et des traitements Data dans un cadre Agile.

Vous collaborerez avec les équipes production et DevOps, rédigerez les spécifications techniques et participerez à l’évolution des traitements sur Hadoop/Hive. Expérience 3–6 ans exigée et maîtrise de Python.

Qualifications

• 3 à 6 ans d’expérience, Hadoop / PySpark.
• Autonome et opérationnel sur le traitement de gros volumes.
• Bonne maîtrise de l’anglais professionnel.

Responsabilités

• Mettre en œuvre de nouvelles ingestions de données.
• Réaliser les traitements de Data Preparation / transformation.
• Développer, maintenir et faire évoluer les pipelines de données en PySpark.
• Réaliser du Shell Scripting sous Unix/Linux.
• Collaborer avec l’équipe DevOps pour les demandes d’évolution.
• Participer au maintien en conditions opérationnelles et à l’évolution des traitements Data.
• Rédiger les spécifications techniques et documenter les solutions mises en œuvre.

Connaissances

Hadoop

Python

PySpark

Hive

SQL

Shell scripting

Unix/Linux

Outils

Git

Jenkins

Jira

Description du poste

Contexte de la mission

Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme.

Contexte de la mission

Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme.

Missions principales

• Mettre en œuvre de nouvelles ingestions de données.
• Réaliser les traitements de Data Preparation / transformation.
• Développer, maintenir et faire évoluer les pipelines de données en PySpark.
• Réaliser du Shell Scripting sous Unix/Linux.
• Collaborer avec l’équipe DevOps pour les demandes d’évolution de la plateforme.
• Participer au maintien en conditions opérationnelles et à l’évolution des traitements Data.
• Rédiger les spécifications techniques et documenter les solutions mises en œuvre.

Compétences indispensables

Très Bonne Maîtrise Attendue

• Hadoop
• Python / PySpark
• Hive
• SQL
• Shell Scripting Unix/Linux

Environnement/outils

• Git
• Jenkins
• Jira
• Méthodologie Agile / Scrum

Anglais professionnel indispensable

à l’écrit comme à l’oral,

Compétences appréciées / différenciantes

Une expérience sur les technologies suivantes constituera un plus :

Indexima – Alteryx – Altair – GCP – BigQuery – bibliothèques Python orientées API.

Profil recherché

Data Engineer disposant idéalement de 3 à 6 ans d’expérience, très opérationnel sur l’écosystème Hadoop / PySpark, avec une véritable appétence pour le développement et le traitement de volumes importants de données.

Le consultant devra être autonome, dynamique, force de proposition et techniquement curieux, avec une forte capacité d’analyse et de résolution de problèmes. Un excellent relationnel et une bonne capacité à travailler en équipe dans un environnement international sont également attendus.

Bénin Digital est une Entreprise de Services du Numérique (ESN) spécialisée dans la digitalisation des processus métiers et accompagne les clients issus des secteurs de l’industrie, de la Banque & assurance, de l’industrie, de la Grande distribution & e-commerce et des Médias & communication. Nous interagissons avec nos clients et consultants autour de compétences « tech » pour l’essentiel et les accompagnons aussi avec des talents Data, Produit, Design et Marketing Digital. Bénin Digital accompagne ses clients dans la chaine de valeur de leurs activités en leur mettant à disposition son expertise à travers des consultants hautement qualifiés pour des projets et des missions diversifiées en Afrique et en Europe.