Senior Data Engineer - Spark, Big Data & ETL Architect

Onyx-Conseil; Vannes; Sur place; EUR 55 000 - 85 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer expérimenté pour renforcer une équipe Data dans un grand groupe, sur des projets de collecte, transformation et valorisation des données en environnement Big Data. Vous évoluerez dans une démarche agile avec les métiers, PO/BA, architectes et développeurs.

Vous concevrez et déployerez des pipelines Data et des traitements ETL, participerez à l'ingestion et au stockage des données issues de multiples sources, et vous automatiserez les flux batch et

Responsabilités

• Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet.
• Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées.
• Concevoir et développer des pipelines Data et des traitements ETL.
• Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources.
• Automatiser et orchestrer les flux de données batch et streaming.
• Mettre en place les tests unitaires et automatisés.
• Déployer les solutions sur les différents environnements.
• Assurer le support de production, le suivi des incidents et l'amélioration continue des performances.
• Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code.

Outils

Spark

Hadoop Cloudera

SQL

xDI

Teradata

Hive

Phoenix

HBase

MongoDB

Git

Jenkins

Artifactory

XL Release

ELK Stack

Grafana

Description du poste

Onyx-Conseil recherche un Data Engineer expérimenté pour renforcer une équipe Data dans un grand groupe, sur des projets de collecte, transformation et valorisation des données en environnement Big Data. Vous évoluerez dans une démarche agile avec les métiers, PO/BA, architectes et développeurs.

Vous concevrez et déployerez des pipelines Data et des traitements ETL, participerez à l'ingestion et au stockage des données issues de multiples sources, et vous automatiserez les flux batch et