Senior Data Pipeline Engineer – Big Data & Cloud

Valeuriad; Nantes; Hybrid; EUR 40,000 - 48,000; Full time

Benefits offered by this job

Télétravail 2 jours/semaine

Formation et Certifications

RSE fort

Espace Le Nid Nantes

Suivi de carrière

Job summary

Valeuriad, ESN Agile et 100% Nantaise, cherche un Data Engineer pour concevoir et construire des pipelines de données robustes et performants. Vous travaillerez sur l’ingestion, la transformation et l’exposition de flux complexes pour nos clients, en environnement Big Data.

Le poste implique des échanges avec les architectes et les équipes métiers, et s’accompagne d’un télétravail 2 jours par semaine et d’un salaire annuel brut entre 40k et 48k euros.

Qualifications

• 5 ans d'expérience minimum dans la tech.

Responsibilities

• Étude, conception et réalisation de traitements Big Data.
• Intégration avec les architectes, PO/PPO, développeurs et gouvernance de données.
• Import, collecte et transformation via SFTP, Kafka, RabbitMQ, Teradata → Hive via Sqoop.
• Gestion du cluster Hadoop (Spark, Java, IntelliJ, Ambari, Yarn, Oozie).
• Optimisation et exposition des données pour Data Science (Kudu, Dataiku).
• Transformation des données avec Spark (HDFS, Hive, Kafka, HBase, Phoenix).
• Utilisation de Kudu pour optimiser les requêtes sur les données chaudes.
• Exposition de données sur Dataiku pour les modèles de Data Science.
• Réalisation en Java/Flink pour le traitement de flux complexes et volumineux.
• Gestion de CI/CD (Git/GitLab, Jenkins, SonarQube).
• Utilisation d’AWS (S3, Athena) pour lecture et transformation des données.
• Suivi des traitements et de la volumétrie avec Kibana.

Skills

Pédagogue et bon communicant

Proactif/ve

Collaboratif/ve

Tools

Hadoop

Spark

Kafka

Java/Python

DBT

Databricks

BigQuery

GCP

AWS

Azure

Job description

Valeuriad, ESN Agile et 100% Nantaise, cherche un Data Engineer pour concevoir et construire des pipelines de données robustes et performants. Vous travaillerez sur l’ingestion, la transformation et l’exposition de flux complexes pour nos clients, en environnement Big Data.

Le poste implique des échanges avec les architectes et les équipes métiers, et s’accompagne d’un télétravail 2 jours par semaine et d’un salaire annuel brut entre 40k et 48k euros.