Data Engineer Confirmé·e

Valeuriad; Nantes; Hybrid; EUR 42,000 - 48,000; Full time

Benefits offered by this job

Pluralsight accès

Udemy accès

Mentorat

Conférences Data

RSE interne

Événements teams Nantes

Job summary

Valeuriad, ESN Agile 100% Nantaised, cherche un Data Engineer pour concevoir et construire des pipelines de données robustes. Vous assurerez l ingestion, la transformation et l exposition de flux volumineux, en utilisant Hadoop/Spark/Kafka et des outils comme Dataiku.

Vous collaborerez avec les architectes et les équipes Data pour garantir la disponibilité des données. Le poste implique une exposition Data science, des pratiques DevOps et une expérience cloud (AWS/GCP).

Qualifications

• Expérience confirmée en conception et développement de pipelines Big Data.
• Maîtrise des flux de données (ingestion, transformation et exposition).
• Bonne connaissance des technologies Hadoop/Spark/Kafka/Hive.
• Intégration avec Data Science et équipes métier.
• Expérience AWS ou cloud est un plus.

Responsibilities

• Concevoir et construire les pipelines de données robustes et performants.
• Ingestion, transformation et exposition de flux complexes et volumineux.
• Gérer le cluster Hadoop (Spark, Yarn, Ambari, Oozie) et les outils associés.
• Collaborer avec architectes, PO/PPO et équipes Data pour aligner les exigences.
• Exposer les données pour Dataiku et faciliter les modèles de Data Science.
• Gérer la configuration et l’intégration continue (Git/GitLabCI, Jenkins).
• Utiliser AWS (S3, Athena) pour la lecture et transformation des données.
• Assurer suivi des traitements et de la volumétrie avec Kibana.

Skills

Big Data

Kafka

Hadoop

Spark

Java

Scala

Dataiku

Tools

Git

GitLab CI

Jenkins

Ambari

Oozie

Kudu

Sqoop

Job description

Description De L'offre D'emploi

Pourquoi nous rejoindre ?

Parce que tu te sens limité dans ton terrain de jeux actuels et les technos/solutions que tu peux explorer ? Parce que tu en as assez des "PoC tunnels" qui ne voient jamais la prod et ne répondent à aucun besoin métier ? Bienvenue chez Valeuriad, ESN Agile, engagée et 100% Nantaise. Chez nous, pas de tour d'ivoire, pas de Silo entre Commu’ Tech, l’important c’est de travailler ensemble pour apporter un maximum de valeur.

Notre conviction ?

Technophiles dans l'âme, pour nous, l'excellence technique n'a de sens que si elle s'immerge au cœur des enjeux métiers pour y répondre avec justesse. Nous sommes le trait d'union entre la complexité des flux et la réalité du terrain pour bâtir des solutions robustes qui créent un impact concret et durable.

Ta mission

concevoir et construire les pipelines de données robustes et performants qui alimentent les systèmes de nos clients.

Le défi de ta mission sera d'assurer l'ingestion, la transformation, l'optimisation et l'exposition de flux de données complexes et volumineux (Big Data Apache, Cloud), garantissant que la bonne donnée soit disponible au bon moment pour les analyses et la Data Science.

Ton quotidien

• Étude, conception et réalisation de traitements Big Data
• Échanges avec les architectes, les PO/PPO, les développeurs et la gouvernance de données
• Import, collecte et transformation de données (SFTP, Kafka, RabbitMQ, Teradata via Hive via Sqoop)
• Alimentation et gestion du cluster Hadoop (Spark, Java, IntelliJ, Ambari, Yarn, Oozie)
• Optimisation et exposition des données pour la Data Science (Kudu, Dataiku)
• Transformation des données avec Spark (HDFS, Hive, Kafka, HBase, Phoenix)
• Utilisation de Kudu pour optimiser les requêtes utilisateurs sur les données chaudes
• Exposition de données sur Dataiku pour la création de modèles de Data Science
• Réalisation en Java/Flink pour le traitement de flux complexes et volumineux
• Gestion de la configuration et intégration continue (Git/GitLab, Jenkins, SonarQube)
• Utilisation d’AWS (S3, Athena) pour la lecture, le requêtage et la transformation des données
• Suivi des traitements et de la volumétrie avec Kibana.

La Stack Technique :

• Environnement : Big Data Apache (Hadoop, Spark, Ambari, Hive)
• Technologies : Hadoop, Ambari, RabbitMQ, Java, Scala, YarnApplication, Teradata, Sqoop, Kudu, Hue, Hive, Impala, Dataiku, Flink, Kafka, Spark, Kibana, Oozie, Git, GitLabCI, Jenkins, AWS.

Témoignage :

" En tant que Data Engineer, j'ai participé à différentes migrations de SI, de On Premise vers On Premise ou vers Cloud. Ces migrations sont enrichissantes car elles nécessitent de développer des outils de transfert et de contrôle de la donnée, tout en gardant un côté technique et fonctionnel. Cela permet aussi d’identifier les parallèles entre différents outils (dans mon cas, Hadoop et GCP). En tant que garant de ces migrations, j'ai travaillé avec mes coéquipiers pour mettre en place les ingestions existantes sur les nouveaux SI et reprendre l'historique de l'ancien SI via des traitements Spark, en contrôlant que les données soient identiques entre les deux SI."

Le Télétravail

l’usage est de2 jours / semaine

Fourchette de salaire

42K - 48K

Ce que Valeuriad t'apporte

• Un ancrage local fort : 70% de nos projets sont à Nantes Centre, le reste en 1ère couronne. On tient beaucoup à notre équilibre vie pro/perso.
• Des communautés vivantes : échange en temps réel sur nos canaux slack dédiés, participe aux ApéroTechs mensuels et Conférences hébergées, ou anime tes propres ateliers.
• Entreprise apprenante : accès à Pluralsight, Udemy, Certifs, Mentorat et Animation et Participation à des Conférences (DevFest, Printemps de la Tech, Salon de la Data, AI-pulse..).
• Une politique RSE forte en interne et auprès de notre écosystème.
• Notre agence : "Le Nid", notre espace éco-rénové à Nantes, conçu pour la convivialité et le travail collaboratif.
• Un suivi de carrière sur mesure grâce à un triptyque de référent RH/Commerce/Technique et un point d’échange planifié au moins tous les 3 mois. L’objectif : co-construire ton évolution de carrière en phase avec nos besoins et tes attentes.

Notre Démarche Recrutement, Simple Et Efficace

Rencontre avec l’équipe RH : Juliette, Guillaume ou Inés te contactera, pour te présenter Valeuriad et nos champs d’expertise, comprendre ton parcours, ton projet et voir si nos planètes sont alignées.

Rencontre avec un membre de notre Commu Data : avec Nicolas, notre Directeur Technique en lead sur la Data pour comparer vos visions et mesurer ton apport de valeur.

Rencontre avec l’un de nos commerciaux pour te parler des contextes de nos clients et t’aider à te projeter dans cette nouvelle aventure pro.

Pré-requis du poste

Ton Profil

Nous recherchons avant tout la bonne personne, qui saura se projeter dans notre organisation durablement.

Ton Bagage

• Une expérience solide : Tu as 5 ans d'expérience minimum dans la tech, dont au moins 3 ans dédiés à la construction de pipelines de données complexes.
• Des outils : Tu maîtrises au moins plusieurs outils parmi notre stack technique : Hadoop, Spark, Kafka, Java/Python, Big Query, GCP/AWS/Azure…

Ta Posture

• Pédagogue et bon communiquant.e : Tu sais te mettre au niveau de ton interlocuteur, qu'il soit Décideur, Tech ou Métier.
• Proactif·ve : Tu cherches à progresser continuellement en effectuant une veille active et tu as à cœur de partager tes découvertes avec tes pairs pour grandir ensemble.
• Collaboratif·ve : Tu es convaincu·e que la réussite est collective et tu aimes partager tes connaissances.