Développeur Big Data : Python, SQL, Shell, Spark expérimenté

Keoni; Deutschland; Remote; EUR 90.000 - 120.000; Vollzeit

Zusammenfassung

Kéoni Consulting recherche un profil Développement Data expérimenté pour accompagner des projets Big Data sur une plateforme Hadoop Cloudera. Vous participerez au développement et à l'alimentation des data lakes, à la mise en place d'extractions et au support utilisateurs.

Le candidat idéal maîtrise Hadoop Cloudera, Hive/Impala, Python, SQL et Shell, avec 5+ années d'expérience. Des compétences en Spark (Scala), Jupyter et Git constituent un plus et garantissent la pérennité des livrables.

Qualifikationen

• Obligatoires: Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA.
• Un plus : Jupyter.

Aufgaben

• Développement des traitements d'alimentation et structuration des activités (JIRA).
• Description et mise en place de processus (guides, accompagnement utilisateurs).
• Pilotage opérationnel de certains sujets.
• Développement d'extractions avec SQL et Shell pour l'automatisation.
• investigation et reverse engineering dans une architecture complexe.
• Optimisation des traitements de la plateforme et des utilisateurs.
• Expliquer simplement les sujets et communiquer avec développeurs, bureau d'étude et clients.

Kenntnisse

Python development

SQL querying

Shell scripting

Spark (Scala)

GIT usage

Agile Kanban/Scrum

Linux

Jupyter

Data platform knowledge

Hadoop Cloudera

Hive

Impala

VBA

Tools

Cloudera Hadoop

Hive

Impala

Python

SQL

Shell

Spark

VBA

GIT

Jupyter

Linux

JIRA

Jobbeschreibung

Contexte

Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs

Migrations

• de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)
• d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)
• de mettre en place des extractions à partir de ces données,
• d’assurer le support niveau 2,
• de faire appliquer les consignes aux utilisateurs,
• de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes
• de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité

Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée.

Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner.

Dans le même ordre d'idée, quelques attendus :

• Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets
• Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation
• Capacité à investiguer et faire du reverse engineering dans une architecture hérite complexe
• Optimisation des traitements de la plateforme et ceux des utilisateurs
• Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et \"\"clients\"\" (Groupes de protection sociale).

Livrables attendus

• Code source documenté
• Plan de tests / fiches de test
• Bilan
• Bordereau de livraison
• Manuel d’installation
• Dossier d’exploitation
• JIRA documentée

Environnement technique - technologique

• Cloudera Hadoop
• Hive, impala
• Python
• SQL
• Shell
• Spark
• VBA
• GIT
• Jupyter
• Linux
• JIRA

COMETENCES ATTENDUES

Obligatoires: Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA

Un plus : Jupyter

Compétences techniques

• Connaisance Cloudera Hadoop, Hive, Impala
• Développement Python
• Requêtage SQL
• Développement Shell
• Développement Spark (Scala)
• Utilisation de GIT
• Agilité (méthodes Kanban et/ou Scrum)
• Compétence liée à l'environnement
• Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement)

Kéoni Consulting aide les entreprises à :

• Faire la différence
• Innover et créer
• Réinventer votre business
• Satisfaire les clients
• Gagner en avantages compétitifs
• Devenir le leader de leur secteur
• Devenir le leader de votre secteur

Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l'industrie.

Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital.

Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).