Data Engineer Senior Big Data / Spark – Cloudera (H/F)

Onyx-Conseil; Vannes; Sur place; EUR 55 000 - 85 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer expérimenté pour renforcer une équipe Data dans un grand groupe, sur des projets de collecte, transformation et valorisation des données en environnement Big Data. Vous évoluerez dans une démarche agile avec les métiers, PO/BA, architectes et développeurs.

Vous concevrez et déployerez des pipelines Data et des traitements ETL, participerez à l'ingestion et au stockage des données issues de multiples sources, et vous automatiserez les flux batch et

Responsabilités

• Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet.
• Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées.
• Concevoir et développer des pipelines Data et des traitements ETL.
• Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources.
• Automatiser et orchestrer les flux de données batch et streaming.
• Mettre en place les tests unitaires et automatisés.
• Déployer les solutions sur les différents environnements.
• Assurer le support de production, le suivi des incidents et l'amélioration continue des performances.
• Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code.

Outils

Spark

Hadoop Cloudera

SQL

xDI

Teradata

Hive

Phoenix

HBase

MongoDB

Git

Jenkins

Artifactory

XL Release

ELK Stack

Grafana

Description du poste

Contexte de la mission

Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs.

Vos missions

• Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet.
  

• Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées.
  

• Concevoir et développer des pipelines Data et des traitements ETL.
  

• Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources.
  

• Automatiser et orchestrer les flux de données batch et streaming.
  

• Mettre en place les tests unitaires et automatisés.
  

• Déployer les solutions sur les différents environnements.
  

• Assurer le support de production, le suivi des incidents et l'amélioration continue des performances.
  

• Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code.

Environnement technique

Big Data : Hadoop Cloudera
Traitement de données : Spark (Batch et Streaming)
Langages : SQL, xDI
Bases de données SQL : Teradata, Hive, Phoenix
Bases NoSQL : HBase, MongoDB
DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release
Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana
Méthodologie : Agile / Scrum