Data Engineer Java Spark H/F

Inetum2; Nantes; Hybride; EUR 60 000 - 85 000; Plein temps

Avantages offerts par ce poste

10 RTT en plus des congés payés

Carte Swile 9€/jour

Bonne mutuelle

Transports pris en charge 70%

Indemnités kilométriques vélo

CSE sport et loisirs, chèques vacances

Télétravail 2 jours/semaine

Résumé du poste

Inetum2 recherche un Data Engineer confirmé pour intervenir sur DatahubV2, en maîtrisant Java, Spark et les architectures Data modernes.

Vous concevrez et optimiserez des pipelines, développerez Spark sur Kubernetes, manipulerez Starburst (Trino) en SQL, et orchestrerez des workflows avec Airflow en Python. Travail en équipe, devops, logs ELK et pratiques CI/CD seront au cœur du rôle, avec 2 jours de télétravail par semaine.

Qualifications

• Expérience confirmée en Data Engineer sur environnements distribués et Big Data.
• Maîtrise avancée de Java et Spark.
• Capacité à travailler dans un environnement cloud et DevOps.

Responsabilités

• Concevoir, développer et optimiser des pipelines de données performants.
• Développer des traitements Spark sur Kubernetes (Spark as a Service).
• Manipuler les données via Starburst (Trino) en SQL.
• Orchestrer des workflows Data avec Airflow (Astronomer) en Python.
• Réaliser les intégrations Java et assurer la qualité et fiabilité des jobs.
• Contribuer au DevOps (GitLab, Jenkins, ArgoCD, Ansible) et à la surveillance ELK.

Connaissances

Spark3

Java/Scala

Python

SQL

Airflow

Kubernetes

ELK

CI/CD

Outils

Starburst (Trino)

Apache Airflow

Astronomer

GitLab

Jenkins

ArgoCD

Ansible

ELK Stack

Kubernetes

COS (S3)

Description du poste

Dans le cadre du développement du DatahubV2, nous recherchons un Data Engineer confirmé maîtrisant les environnements Java, Spark et les architectures Data modernes.

Vous interviendrez au sein de l'équipe Socle Data et serez responsable de la construction, l'optimisation et la fiabilisation des pipelines data, tout en garantissant les bonnes pratiques de développement et de performance.

Vos missions principales :

• Concevoir, développer et optimiser des pipelines de données performants (batch, calcul distribué).
• Développer des traitements Spark3 instanciés sur Kubernetes (Spark as a Service).
• Manipuler les données du DatahubV2 via Starburst (Trino) en SQL.
• Construire et orchestrer des workflows Data sur Astronomer / Apache Airflow en Python.
• Réaliser les intégrations applicatives en Java (et potentiellement Scala selon les applications).
• Assurer la qualité, la performance et la fiabilité des jobs Data.
• Contribuer à la mise en place et à la maintenance des pipelines DevOps (Gitlab, Jenkins, ArgoCD...).
• Suivre et analyser les logs applicatifs via ELK (Log as a Service).
• Coopérer avec l'équipe Socle Data, utiliser et faire évoluer les librairies Python internes.
• Participer à la documentation et à l'amélioration continue des pratiques Data du DatahubV2.

Technologies & Compétences requises

Compétences Data / Big Data

• Spark3 - Java ou Scala → Avancé Traitements distribués, performance, optimisation, exécution sur Kubernetes.

Starburst (Trino) - SQL

• → Moyen Requêtage SQL interactif, combinaison multi-sources, compréhension du SEP.

Apache Airflow / Astronomer - Python

• → Moyen Création, planification et supervision de DAGs, orchestration de workflows.

Compétences Cloud / Infrastructure

• Kubernetes, COS (S3), Vault → Bas Compréhension des environnements cloud de la DMZR.

Log as a Service (ELK)

• → Moyen Dashboarding, gestion et analyse des logs.

Compétences DevOps

• Gitlab, Jenkins, ArgoCD, Ansible - Go / Yaml → Bas Gestion et évolution de pipelines CI/CD basés sur des templates existants.

Langages

• Java → Moyen
• SQL → Moyen
• Python → Moyen
• Scala → Moyen

Profil recherché

• Expérience confirmée en tant que Data Engineer sur des environnements distribués et Big Data.
• Très bonne maîtrise de Java et Spark.
• Capacité à travailler dans un environnement cloud, containerisé et orienté DevOps.
• Bon niveau en SQL pour manipuler des données multi-sources.
• Autonomie, rigueur, esprit d'analyse, sens de la performance.
• Une expérience en contexte bancaire ou datahub est un plus.

• 10 RTT en plus des 27 jours de congés payés
• Des avantages groupes : 9€/jour sur votre carte Swile, une bonne mutuelle, prise en charge de 70% de votre abonnement de transports, des indemnités kilométriques vélo...
• Un CSE : subvention sport et loisir, chèques vacances, chèques cadeaux...
• De la flexibilité avec 2 jours de télétravail/semaine en moyenne