Data Engineer — Hybrid Big Data Pipelines & Impact

Valeuriad; Nantes; Hybrid; EUR 42,000 - 48,000; Full time

Benefits offered by this job

Pluralsight accès

Udemy accès

Mentorat

Conférences Data

RSE interne

Événements teams Nantes

Job summary

Valeuriad, ESN Agile 100% Nantaised, cherche un Data Engineer pour concevoir et construire des pipelines de données robustes. Vous assurerez l ingestion, la transformation et l exposition de flux volumineux, en utilisant Hadoop/Spark/Kafka et des outils comme Dataiku.

Vous collaborerez avec les architectes et les équipes Data pour garantir la disponibilité des données. Le poste implique une exposition Data science, des pratiques DevOps et une expérience cloud (AWS/GCP).

Qualifications

• Expérience confirmée en conception et développement de pipelines Big Data.
• Maîtrise des flux de données (ingestion, transformation et exposition).
• Bonne connaissance des technologies Hadoop/Spark/Kafka/Hive.
• Intégration avec Data Science et équipes métier.
• Expérience AWS ou cloud est un plus.

Responsibilities

• Concevoir et construire les pipelines de données robustes et performants.
• Ingestion, transformation et exposition de flux complexes et volumineux.
• Gérer le cluster Hadoop (Spark, Yarn, Ambari, Oozie) et les outils associés.
• Collaborer avec architectes, PO/PPO et équipes Data pour aligner les exigences.
• Exposer les données pour Dataiku et faciliter les modèles de Data Science.
• Gérer la configuration et l’intégration continue (Git/GitLabCI, Jenkins).
• Utiliser AWS (S3, Athena) pour la lecture et transformation des données.
• Assurer suivi des traitements et de la volumétrie avec Kibana.

Skills

Big Data

Kafka

Hadoop

Spark

Java

Scala

Dataiku

Tools

Git

GitLab CI

Jenkins

Ambari

Oozie

Kudu

Sqoop

Job description

Valeuriad, ESN Agile 100% Nantaised, cherche un Data Engineer pour concevoir et construire des pipelines de données robustes. Vous assurerez l ingestion, la transformation et l exposition de flux volumineux, en utilisant Hadoop/Spark/Kafka et des outils comme Dataiku.

Vous collaborerez avec les architectes et les équipes Data pour garantir la disponibilité des données. Le poste implique une exposition Data science, des pratiques DevOps et une expérience cloud (AWS/GCP).