Data Engineer Java (H/F)

DGTL Performance; Nantes; Ibrido; EUR 60.000 - 75.000; Tempo pieno

Descrizione del lavoro

DGTL / Signe est le facilitateur pour les ressources DATA et vous rejoignez une mission stratégique dans un environnement Big Data mature. Vous piloterez la conception et l'évolution de pipelines de données massives (plusieurs téraoctets/jour) avec des fréquences variables, sur une architecture Hadoop/Spark.

Vous serez responsable du développement et de la maintenance de flux streaming et batch, en utilisant Java et Spark, et contribuerez à optimiser les performances et la fiabilité en

Competenze

• Maîtrise Java et développement de pipelines de données (streaming et batch).
• Bonne connaissance de Spark et de l’écosystème Hadoop.
• Capacité à analyser et optimiser les performances des traitements massifs.
• Rigueur dans la conception, le code et la documentation.
• Capacité à travailler en équipe et à communiquer sur des sujets techniques.
• Expérience avec les outils Kafka et Flink et pratiques CI/CD.

Mansioni

• Concevoir et développer des pipelines de données (streaming et batch) en Java et Spark.
• Industrialiser les KPIs métiers développés en Python par les équipes métiers.
• Gérer et superviser le périmètre assigné, assurer le bon fonctionnement en production.
• Effectuer le suivi et la maintenance des pipelines: monitoring et alertes.
• Contribuer à la réduction de la dette technique: mises à jour libs et refactoring.
• Optimiser les configurations et performances des traitements à haut volume.
• Collaborer avec les équipes métier et data science pour les évolutions.

Conoscenze

Java

Pipelines de données

Spark

Hadoop écosystème

Performance optimisation

Travail en équipe/communication

Strumenti

Kafka

Flink

CI/CD

Descrizione del lavoro

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.

Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.

Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.

https://www.dgtl-performance.com

Le poste :

Rejoignez une mission stratégique au sein d'un environnement Big Data mature, où vous piloterez la conception et l'évolution de pipelines de données critiques pour un acteur majeur du secteur des télécommunications. Vous interviendrez sur l'ensemble du cycle de vie des données, de la collecte à la production, en traitant des volumes massifs (plusieurs téraoctets quotidiens) avec des fréquences variables et des exigences élevées de performance et de fiabilité.

Vous évoluerez dans un contexte technique riche, basé sur une architecture Hadoop et Spark distribuée, où vous serez responsable du développement et de la maintenance de flux streaming et batch complexes. Votre expertise Java vous permettra de concevoir des solutions robustes et performantes, tandis que votre compréhension des enjeux d'optimisation et de scalabilité sera un atout majeur pour assurer le bon fonctionnement des traitements en production.

La mission s'inscrit dans une démarche d'amélioration continue : vous travaillerez tant sur la stabilisation des architectures existantes que sur l'industrialisation des nouveaux indicateurs métier et la modernisation de la stack technique.

Responsabilités :

• Concevoir et développer des pipelines de données (streaming et batch) en Java et Spark, assurant la collecte, l'enrichissement et le stockage des données
• Industrialiser les KPIs métier développés en Python par les équipes métiers : analyse fonctionnelle, refactoring, optimisation des performances et déploiement
• Gérer et superviser le périmètre assigné, en assurant le bon fonctionnement et la fiabilité des flux en production
• Effectuer le suivi et la maintenance des pipelines, en mettant en place des mécanismes de monitoring et d'alerte
• Contribuer à la réduction de la dette technique : mises à jour de librairies, montées de version de Spark et frameworks associés, refactoring de code
• Optimiser les configurations et les performances des traitements de données à haut volume
• Collaborer avec les équipes métier et data science pour intégrer les évolutions fonctionnelles et technologiques

Télétravail : 3 jours sur site

Localisation : Nantes

Profil recherché :

Indispensables :

• Maîtrise approfondie de Java (orientée objet, gestion des ressources, performances)
• Expérience confirmée en développement de pipelines de données (streaming et/ou batch)
• Connaissance solide de Spark et des principes du traitement distribué
• Compréhension de l'écosystème Hadoop et des architectures Big Data
• Capacité à analyser et optimiser les performances des traitements de données massifs
• Rigueur dans la conception, le code et la documentation
• Capacité à travailler en équipe et à communiquer efficacement sur des sujets techniques complexes

Fortement appréciés :

• Expérience antérieure de développeur applicatif transitant vers la Data Engineering
• Familiarité avec Python et sa réutilisation dans des contextes de production
• Connaissance des frameworks de streaming (Kafka, Flink ou équivalent)
• Expérience en monitoring et observabilité des pipelines (logs, métriques, alertes)
• Pratique de l'intégration continue et du déploiement automatisé
• Sensibilité aux enjeux de scalabilité et d'architecture distribuée
• Autonomie et capacité à anticiper les besoins de maintenance et d'amélioration technique