DATA ENGINEER JAVA SPARK

Inetum; Nantes; Hybride; EUR 60 000 - 85 000; Plein temps

Avantages offerts par ce poste

RTT et congés payés 27 jours

Swile 9€/jour

Mutuelle

Transport 70% remboursé

Indemnités vélo

CSE: chèques vacances/ cadeaux

Télétravail 2 jours/semaine

Résumé du poste

Inetum recherche un Data Engineer confirmé pour construire et fiabiliser les pipelines data au sein de l’équipe Socle Data. Vous travaillerez sur des traitements Spark 3 sur Kubernetes et manipulerez les données via Trino en SQL, tout en orchestrant des workflows Data via Airflow en Python.

Le poste nécessite une autonomie, une rigueur technique et une forte sensibilité performance, avec une exposition à l’environnement bancaire et au contexte DataHub.

Qualifications

• Expérience confirmée en Data Engineer sur des environnements distribués et Big Data.
• Très bonne maîtrise de Java et Spark.
• Capacité à travailler dans un environnement cloud, containerisé et orienté DevOps.
• Bon niveau en SQL pour manipuler des données multi-sources.

Responsabilités

• Concevoir, développer et optimiser des pipelines de données performants (batch, calc distribué).
• Développer des traitements Spark 3 sur Kubernetes (Spark as a Service).
• Manipuler les données via Starburst (Trino) en SQL.
• Construire et orchestrer des workflows Data avec Airflow en Python.
• Réaliser les intégrations applicatives en Java (et Scala selon les applications).
• Assurer la qualité, la performance et la fiabilité des jobs Data.
• Contribuer à la maintenance des pipelines DevOps (GitLab, Jenkins, ArgoCD).
• Suivre les logs via ELK et collaborer à l’amélioration des librairies internes.

Connaissances

Java

Spark

SQL

Python

Airflow

DevOps

Kubernetes

Trino

ELK

GitLab

Jenkins

ArgoCD

Di

Outils

Airflow

Trino

Starburst

Jenkins

ArgoCD

GitLab

ELK

Kubernetes

SQL

Python

Description du poste

Dans le cadre du développement du DatahubV2, nous recherchons un Data Engineer confirmé maîtrisant les environnements Java, Spark et les architectures Data modernes.

Vous interviendrez au sein de l\’équipe Socle Data et serez responsable de la construction, l’optimisation et la fiabilisation des pipelines data, tout en garantissant les bonnes pratiques de développement et de performance.

Vos missions principales :

• Concevoir, développer et optimiser des pipelines de données performants (batch, calcul distribué).
• Développer des traitements Spark 3 instanciés sur Kubernetes (Spark as a Service).
• Manipuler les données du DatahubV2 via Starburst (Trino) en SQL.
• Construire et orchestrer des workflows Data sur Astronomer / Apache Airflow en Python.
• Réaliser les intégrations applicatives en Java (et potentiellement Scala selon les applications).
• Assurer la qualité, la performance et la fiabilité des jobs Data.
• Contribuer à la mise en place et à la maintenance des pipelines DevOps (Gitlab, Jenkins, ArgoCD…).
• Suivre et analyser les logs applicatifs via ELK (Log as a Service).
• Coopérer avec l’équipe Socle Data, utiliser et faire évoluer les librairies Python internes.
• Participer à la documentation et à l\'amélioration continue des pratiques Data du DatahubV2.

Technologies & Compétences requises

• Traitements distribués, performance, optimisation, exécution sur Kubernetes.
• Requêtage SQL interactif, combinaison multi-sources, compréhension du SEP.
• Création, planification et supervision de DAGs, orchestration de workflows.

Compétences Cloud / Infrastructure

• Compréhension des environnements cloud de la DMZR.
• Dashboarding, gestion et analyse des logs.

Compétences DevOps

• Gestion et évolution de pipelines CI/CD basés sur des templates existants.

Profil recherché

• Expérience confirmée en tant que Data Engineer sur des environnements distribués et Big Data.
• Très bonne maîtrise de Java et Spark.
• Capacité à travailler dans un environnement cloud, containerisé et orienté DevOps.
• Bon niveau en SQL pour manipuler des données multi-sources.
• Autonomie, rigueur, esprit d’analyse, sens de la performance.
• Une expérience en contexte bancaire ou datahub est un plus.

• 10 RTT en plus des 27 jours de congés payés
• Des avantages groupes : 9€/jour sur votre carte Swile, une bonne mutuelle, prise en charge de 70% de votre abonnement de transports, des indemnités kilométriques vélo…
• Un CSE : subvention sport et loisir, chèques vacances, chèques cadeaux…
• De la flexibilité avec 2 jours de télétravail/semaine en moyenne