Data Engineer H/F

Holenek Ingenierie; Vannes; Sur place; EUR 60 000 - 85 000; Plein temps

Résumé du poste

Holenek Ingenierie recherche un Data Engineer Expérimenté pour rejoindre une équipe Data sur Vannes. Poste basé à Vannes avec 3 jours sur site obligatoires, dans un environnement Big Data bancaire.

Vous intégrerez une squad agile, participerez à l'architecture Data et développerez des pipelines via Spark, tout en automatisant l'ingestion et en assurant les tests et le déploiement dans les environnements. Profil recherché: 4 à 7 ans d'expérience, maîtrise Spark (streaming/batch), SQL avancé et

Qualifications

• 4 à 7 ans d'expérience minimum sur un poste similaire.
• Maîtrise de Spark (batch et streaming) et SQL (Teradata, Hive, Phoenix).
• Connaissance des bases NoSQL (HBase, MongoDB) et Hadoop Cloudera.

Responsabilités

• Participer à l'architecture Data en lien avec les architectes et la squad.
• Concevoir et développer des pipelines ETL sur Spark.
• Automatiser l'ingestion et orchestrer les flux de données.
• Réaliser les tests et déployer le produit en environnements variés.
• Assurer le fonctionnement en production et le monitoring.

Connaissances

Spark

SQL

NoSQL

Hadoop Cloudera

DevOps

Monitoring

xDI

Scrum

RGPD

Data lineage

Data catalog

Outils

Git

Jenkins

Artifactory

XL Release

ELK

Grafana

Description du poste

Dans le cadre du renforcement de leur équipe Data, nous recherchons pour notre client, acteur dans le secteur bancaire, un(e) Data Engineer Expérimenté(e) basé(e) à Vannes (3 jours sur site obligatoires). Vous intégrerez une squad agile dans un environnement Big Data à fort enjeu métier.

En tant que Data Engineer Expérimenté(e), vos missions seront de :

• Participer à la définition de l'architecture Data en lien avec les architectes et la squad
• Concevoir et développer des pipelines via ETL interne basé sur Spark (batch et streaming)
• Automatiser l'ingestion de données depuis diverses sources et orchestrer les flux de données
• Mettre en oeuvre les tests unitaires et automatisés et déployer le produit dans les différents environnements
• Garantir le bon fonctionnement en production et assurer le suivi des incidents (monitoring, optimisation)
• Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue

Ce que propose notre client

Une mission au sein d'une squad agile sur des sujets data à fort enjeu, dans un environnement Cloudera, avec une réelle dimension métier et une proximité forte avec les équipes PO/BA.

• 4 à 7 ans d'expérience minimum sur un poste similaire

Le petit + ?

Vous avez une sensibilité forte aux enjeux métiers bancaires et une expérience en environnement Hadoop Cloudera

Vos expertises, notre force commune

• Maîtrise de Spark (streaming et batch) - requis
• Maîtrise du SQL (Teradata, Hive, Phoenix) - requis
• Connaissance des bases NoSQL (HBase, MongoDB)
• Framework Big Data : Hadoop Cloudera (très fortement apprécié)
• Outils DevOps : Git, Jenkins, Artifactory, XL Release
• Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana
• Connaissance de xDI
• Pratique du cadre agile Scrum
• Sensibilité aux enjeux RGPD, data lineage et catalogage

Vos qualités humaines, nos valeurs partagées

• Bonne communication et pédagogie pour collaborer avec les équipes métiers et techniques
• Capacité à challenger les besoins et force de proposition
• Autonomie et adaptabilité dans un environnement agile
• Sensibilité forte aux enjeux métiers
• Capacité à prendre du lead sur les sujets confiés

Experience: 4 An(s)Compétences: Analyser, exploiter, structurer des donnéesQualification: CadreSecteur d'activité: Conseil en systèmes et logiciels informatiques