Ingénieur Data & Big Data – Expert Data Lake Production

Synanto; Lyon; Hybride; EUR 56 000 - 78 000; Plein temps

Résumé du poste

Synanto recherche un Ingénieur Data / Big Data expérimenté pour renforcer ses équipes autour d une plateforme Data Lake / Hadoop. Vous serez chargé de développer et maintenir les traitements, d'extraire et requêter les données, et d automatiser les flux avec Shell dans un cadre production.

Vous maîtrisez Hadoop/Cloudera, Hive/Impala, Python, SQL et Spark; vous travaillez sur Linux et Git, avec une culture Agile (Scrum/Kanban). Des compétences Power BI et SAS seraient appréciées.

Qualifications

• Vous disposez d'au moins 5 ans d'expérience en Data / Big Data et avez une solide expérience dans des environnements de production.

Responsabilités

• Développer et maintenir les traitements d'alimentation de la plateforme Data Lake.
• Faire évoluer les traitements existants en fonction des nouveaux besoins.
• Développer des extractions et requêtes SQL à partir des données disponibles.
• Automatiser les traitements à l'aide de scripts Shell.
• Participer à l'optimisation des traitements et des performances de la plateforme.
• Réaliser des investigations et du reverse engineering sur une architecture existante et complexe.
• Assurer le support de niveau 2.
• Effectuer des revues de code et garantir la qualité des développements.
• Documenter les développements, procédures et processus.
• Accompagner les utilisateurs et expliquer les sujets techniques à différents interlocuteurs.
• Participer à la structuration et au suivi des activités via JIRA.
• Contribuer au transfert de compétences auprès des membres de l'équipe.
• Veiller à la maintenabilité, l'exploitabilité et la performance de la plateforme.

Connaissances

Data / Big Data

Production experience

Hadoop / Cloudera

Hive / Impala

Python

SQL

Shell

Spark

Linux

Git

Agile (Scrum/Kanban)

Documentation technique

Problem solving

Outils

Cloudera Hadoop

Hive / Impala

Python

SQL

Shell

Spark

Linux

Git

VBA

Jupyter

JIRA

Description du poste

Synanto recherche un Ingénieur Data / Big Data expérimenté pour renforcer ses équipes autour d une plateforme Data Lake / Hadoop. Vous serez chargé de développer et maintenir les traitements, d'extraire et requêter les données, et d automatiser les flux avec Shell dans un cadre production.

Vous maîtrisez Hadoop/Cloudera, Hive/Impala, Python, SQL et Spark; vous travaillez sur Linux et Git, avec une culture Agile (Scrum/Kanban). Des compétences Power BI et SAS seraient appréciées.