Data Engineer Java | Spark/Hadoop Pipelines Streaming/Batch

Dgtl Performance

Nantes

Hybrid

EUR 60,000 - 75,000

Full time

12 days ago

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

DGTL / Signe est le facilitateur pour les ressources DATA et vous rejoignez une mission stratégique dans un environnement Big Data mature. Vous piloterez la conception et l'évolution de pipelines de données massives (plusieurs téraoctets/jour) avec des fréquences variables, sur une architecture Hadoop/Spark.

Vous serez responsable du développement et de la maintenance de flux streaming et batch, en utilisant Java et Spark, et contribuerez à optimiser les performances et la fiabilité en

Qualifications

  • Maîtrise Java et développement de pipelines de données (streaming et batch).
  • Bonne connaissance de Spark et de l’écosystème Hadoop.
  • Capacité à analyser et optimiser les performances des traitements massifs.
  • Rigueur dans la conception, le code et la documentation.
  • Capacité à travailler en équipe et à communiquer sur des sujets techniques.
  • Expérience avec les outils Kafka et Flink et pratiques CI/CD.

Responsibilities

  • Concevoir et développer des pipelines de données (streaming et batch) en Java et Spark.
  • Industrialiser les KPIs métiers développés en Python par les équipes métiers.
  • Gérer et superviser le périmètre assigné, assurer le bon fonctionnement en production.
  • Effectuer le suivi et la maintenance des pipelines: monitoring et alertes.
  • Contribuer à la réduction de la dette technique: mises à jour libs et refactoring.
  • Optimiser les configurations et performances des traitements à haut volume.
  • Collaborer avec les équipes métier et data science pour les évolutions.

Skills

Java
Pipelines de données
Spark
Hadoop écosystème
Performance optimisation
Travail en équipe/communication

Tools

Kafka
Flink
CI/CD

Job description

DGTL / Signe est le facilitateur pour les ressources DATA et vous rejoignez une mission stratégique dans un environnement Big Data mature. Vous piloterez la conception et l'évolution de pipelines de données massives (plusieurs téraoctets/jour) avec des fréquences variables, sur une architecture Hadoop/Spark.

Vous serez responsable du développement et de la maintenance de flux streaming et batch, en utilisant Java et Spark, et contribuerez à optimiser les performances et la fiabilité en

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer Java (H/F)
Data Engineer Java (H/F)

Dgtl Performance • Nantes

Hybrid
EUR 60,000 - 75,000
Data Engineer: Spark, Cloud & Data Pipelines
Data Engineer: Spark, Cloud & Data Pipelines

Mp Data • Boulogne-Billancourt

On-site
EUR 55,000 - 90,000
Data Engineer - Build Scalable Data Pipelines & ML
Data Engineer - Build Scalable Data Pipelines & ML

SII Group • Lyon

Hybrid
EUR 55,000 - 75,000
Data Engineer — Spark & Java Data Pipelines
Data Engineer — Spark & Java Data Pipelines

AIS • Toulouse

On-site
EUR 50,000 - 75,000
Data Engineer Java/Scala – GCP Data Pipelines
Data Engineer Java/Scala – GCP Data Pipelines

ALTEN • Lyon

On-site
EUR 65,000 - 90,000
Tickets restaurant
Transports
Chèques vacances
+3
Cloud Data Engineer: Scalable Data Pipelines in Production
Cloud Data Engineer: Scalable Data Pipelines in Production

MP DATA • Boulogne-Billancourt

On-site
EUR 45,000 - 65,000
Data Engineer – Pipelines Énergie & Cloud (Spark/AWS)
Data Engineer – Pipelines Énergie & Cloud (Spark/AWS)

ALTEN • Bezons

On-site
EUR 65,000 - 90,000
Data Engineer - Spark Pipelines (Python/Scala)
Data Engineer - Spark Pipelines (Python/Scala)

Act Digital France • Vélizy-Villacoublay

On-site
EUR 40,000 - 60,000
Ingénieur Data Senior - Pipelines Big Data & Streaming
Ingénieur Data Senior - Pipelines Big Data & Streaming

digiRocks • Île-de-France

On-site
EUR 70,000 - 110,000
Spark Java Big Data Engineer
Spark Java Big Data Engineer

OPEN • Lyon

On-site
EUR 52,000 - 83,000