Data Engineer - Vannes (IT) / Freelance

VISIAN; Vannes; Sur place; EUR 45 000 - 60 000; Plein temps

Résumé du poste

Une entreprise innovante en Bretagne recherche un Data Engineer pour participer à la définition de l'architecture Data et concevoir des solutions de collecte et de transformation de données. Ce poste requiert une expérience confirmée avec Spark dans un contexte Hadoop/Cloudera. Le candidat doit être autonome, adaptable et capable de communiquer efficacement avec diverses équipes. Un environnement collaboratif permet d'évoluer avec des interlocuteurs variés, avec un minimum de 3 jours sur site par semaine.

Qualifications

• Expérience confirmée en Data Engineering Big Data.
• Solide maîtrise de Spark dans un environnement Hadoop/Cloudera.
• Capacité à évoluer en contexte transverse.

Responsabilités

• Participer à la définition de l'architecture Data.
• Concevoir et développer des solutions de collecte et de transformation de données.
• Développer des pipelines Spark.
• Mettre en place des tests unitaires et automatisés.
• Déployer les solutions dans les environnements.

Connaissances

Spark (batch et streaming)

SQL

Scala

Kafka

Java et Shell

Outils

HDFS

Hive

HBase

Phoenix

MongoDB

Git

Jenkins

Artifactory

XL Release

ELK

Grafana

Description du poste

Localisation : Bretagne. Présence sur site minimum 3 jours par semaine. Candidatures locales privilégiées.

Contexte

Au sein d’un Chapitre Data intervenant en transverse dans l’entreprise, vous contribuez à la fabrication des cas d’usage Data portés par différentes Squads métiers. Vous évoluez dans un environnement collaboratif avec des interlocuteurs variés et participez activement aux échanges avec les membres du Chapitre présents sur d’autres sites en France.

Missions

• Participer à la définition de l'architecture Data avec les architectes et les Squads
• Concevoir et développer des solutions de collecte, transformation et stockage de données issues de multiples sources
• Développer des pipelines Spark batch et Spark Streaming
• Mettre en place les tests unitaires et automatisés
• Déployer les solutions dans les différents environnements
• Assurer le suivi en production et la gestion des incidents
• Être force de proposition et contribuer à l'amélioration continue

Environnement technique

• Spark (batch et streaming) indispensable
• SQL indispensable
• Scala apprécié
• Kafka apprécié
• Java et Shell appréciés
• Stack Hadoop Cloudera
• HDFS, Hive, HBase, Phoenix, MongoDB
• Git, Jenkins, Artifactory, XL Release
• ELK, Grafana
• Méthodologie Scrum

Connaissances appréciées

Outils de data visualisation tels que MicroStrategy, Power BI ou Tableau.

Profil recherché

• Expérience confirmée en Data Engineering Big Data
• Solide maîtrise de Spark dans un environnement Hadoop / Cloudera
• Capacité à évoluer en contexte transverse

Soft skills attendues

• Autonomie
• Adaptabilité
• Bonne communication
• Capacité à challenger les besoins
• Prise de lead et force de proposition