Data Engineer / Ingénieur Data & Big Data (F/H) (F/H)

Synanto; Lyon; Hybride; EUR 56 000 - 78 000; Plein temps

Résumé du poste

Synanto recherche un Ingénieur Data / Big Data expérimenté pour renforcer ses équipes autour d une plateforme Data Lake / Hadoop. Vous serez chargé de développer et maintenir les traitements, d'extraire et requêter les données, et d automatiser les flux avec Shell dans un cadre production.

Vous maîtrisez Hadoop/Cloudera, Hive/Impala, Python, SQL et Spark; vous travaillez sur Linux et Git, avec une culture Agile (Scrum/Kanban). Des compétences Power BI et SAS seraient appréciées.

Qualifications

• Vous disposez d'au moins 5 ans d'expérience en Data / Big Data et avez une solide expérience dans des environnements de production.

Responsabilités

• Développer et maintenir les traitements d'alimentation de la plateforme Data Lake.
• Faire évoluer les traitements existants en fonction des nouveaux besoins.
• Développer des extractions et requêtes SQL à partir des données disponibles.
• Automatiser les traitements à l'aide de scripts Shell.
• Participer à l'optimisation des traitements et des performances de la plateforme.
• Réaliser des investigations et du reverse engineering sur une architecture existante et complexe.
• Assurer le support de niveau 2.
• Effectuer des revues de code et garantir la qualité des développements.
• Documenter les développements, procédures et processus.
• Accompagner les utilisateurs et expliquer les sujets techniques à différents interlocuteurs.
• Participer à la structuration et au suivi des activités via JIRA.
• Contribuer au transfert de compétences auprès des membres de l'équipe.
• Veiller à la maintenabilité, l'exploitabilité et la performance de la plateforme.

Connaissances

Data / Big Data

Production experience

Hadoop / Cloudera

Hive / Impala

Python

SQL

Shell

Spark

Linux

Git

Agile (Scrum/Kanban)

Documentation technique

Problem solving

Outils

Cloudera Hadoop

Hive / Impala

Python

SQL

Shell

Spark

Linux

Git

VBA

Jupyter

JIRA

Description du poste

Synanto est une ESN à taille humaine avec un management de proximité, une culture et des valeurs qui inscrivent nos collaborateurs au cœur de son développement. En effet, la relation avec nos consultants est un des leviers de notre proposition de valeur nous permettant d'instaurer une relation durable, tout en les accompagnant à devenir des experts. En ce sens, intégrer Synanto - devenir un Talent ∑ - c'est l'assurance de se voir proposer des missions stimulantes et d'évoluer en ayant un véritable plan de carrière. Nos secteurs d'intervention sont variés (Industrie, Energie, Transports, Distribution, Edition de logiciels ou Secteur public), avec une expertise qui reste dominante dans le secteur Banque, Finance et Assurance. Aujourd'hui, Synanto, ce sont :

• 4 agences en France (Paris, Lyon, Aix-en-Provence et Montpellier) et 2 à l'étranger (Luxembourg et Tunisie)
• 260 collaborateurs
• 1 spécialisation dans le domaine Banque | Finance | Assurance
• 1 promesse : Vos Projets, Nos Talents, Une Rencontre
• 5 valeurs fortes : Synergie, Entraide, Transparence, Diversité, Optimisme

De nombreux talents ont déjà rejoint notre équipe, pour une vision différente, des opportunités de carrière et des projets innovants. Pourquoi pas vous !?... Venez écrire l'histoire d'une entreprise, experte des SI à dimension humaine.

Le poste :

Dans le cadre du développement de ses activités Data & Big Data, notre client, acteur majeur de la protection sociale, recherche un Ingénieur Data / Big Data expérimenté pour renforcer ses équipes. Vous interviendrez au sein d'une équipe dédiée à la gestion et à l'évolution d'une plateforme Data Lake / Hadoop, dans un environnement technique riche et orienté production.

Vos missions

• Développer et maintenir les traitements d'alimentation de la plateforme Data Lake.
• Faire évoluer les traitements existants en fonction des nouveaux besoins.
• Développer des extractions et requêtes SQL à partir des données disponibles.
• Automatiser les traitements à l'aide de scripts Shell.
• Participer à l'optimisation des traitements et des performances de la plateforme.
• Réaliser des investigations et du reverse engineering sur une architecture existante et complexe.
• Assurer le support de niveau 2.
• Effectuer des revues de code et garantir la qualité des développements.
• Documenter les développements, procédures et processus.
• Accompagner les utilisateurs et expliquer les sujets techniques à différents interlocuteurs.
• Participer à la structuration et au suivi des activités via JIRA.
• Contribuer au transfert de compétences auprès des membres de l'équipe.
• Veiller à la maintenabilité, l'exploitabilité et la performance de la plateforme.

Environnement technique

• Cloudera Hadoop
• Hive / Impala
• Python
• SQL
• Shell
• Spark / Scala
• Linux
• Git
• VBA
• Jupyter
• JIRA

Profil recherché

Vous disposez d'au moins 5 ans d'expérience en Data / Big Data et avez une solide expérience dans des environnements de production.

Vous maîtrisez particulièrement

• Hadoop / Cloudera
• Hive / Impala
• Python
• SQL
• Shell
• Spark

Vous êtes également à l'aise avec

• Les environnements Linux
• Git
• Les méthodes Agile, notamment Scrum ou Kanban
• La documentation technique
• L'analyse et la résolution de problématiques complexes

Les qualités recherchées

• Communiquer avec différents types d'interlocuteurs techniques et métiers.
• Vulgariser des sujets complexes.
• Être force de proposition.
• Travailler dans un contexte de production exigeant.
• Documenter son travail et partager ses connaissances.
• Accompagner les utilisateurs avec pédagogie.

La connaissance du secteur de la protection sociale, notamment de la retraite complémentaire, est un plus.

La connaissance de Power BI et SAS serait également appréciée.