Data Engineer: Spark, Java & Cloud Pipelines — Remote

Inetum; Nantes; Hybride; EUR 65 000 - 90 000; Plein temps

Avantages offerts par ce poste

RTT supplémentaires

Bonne mutuelle

Carte Swile 9€/jour

Transport pris en charge 70%

Indemnités kilométriques vélo

CSE sport et loisirs

Chèques vacances

Télétravail 2 jours/sem

Résumé du poste

Inetum recherche un Data Engineer confirmé pour rejoindre l'équipe Data et contribuer au DatahubV2. Vous concevrez, développerez et optimiserez des pipelines big data, primaryement en Spark sur Kubernetes, et manipulerez des données via Starburst en SQL.

Vous orchestrerez des workflows Data avec Airflow en Python et participerez à l’intégration Java/Scala. Le poste s’inscrit dans un contexte hybride avec 2 jours de télétravail/semaine et un cadre cloud/containerisé oriented DevOps.

Qualifications

• Expérience confirmée en Data Engineer sur des environnements distribués et Big Data.
• Très bonne maîtrise de Java et Spark.
• Capacité à travailler dans un environnement cloud, containerisé et DevOps.
• Bon niveau en SQL multi-sources.

Responsabilités

• Concevoir, développer et optimiser des pipelines de données performants (batch, calcul distribué).
• Développer des traitements Spark 3 sur Kubernetes (Spark as a Service).
• Manipuler les données via Starburst (Trino) en SQL.
• Construire et orchestrer des workflows Data sur Astronomer / Apache Airflow en Python.
• Réaliser les intégrations en Java et possiblement Scala.
• Assurer la qualité, la performance et la fiabilité des jobs Data.
• Contribuer à la mise en place et maintenance des pipelines DevOps (GitLab, Jenkins, ArgoCD).
• Suivre les logs via ELK (Log as a Service).
• Collaborer avec l’équipe Socle Data et faire évoluer les librairies Python internes.
• Participer à la documentation et à l'amélioration continue des pratiques Data du DatahubV2.

Connaissances

Spark 3

Java/Scala

SQL

Python

Airflow

Outils

Kubernetes

GitLab

Jenkins

ArgoCD

Ansible

Description du poste

Inetum recherche un Data Engineer confirmé pour rejoindre l'équipe Data et contribuer au DatahubV2. Vous concevrez, développerez et optimiserez des pipelines big data, primaryement en Spark sur Kubernetes, et manipulerez des données via Starburst en SQL.

Vous orchestrerez des workflows Data avec Airflow en Python et participerez à l’intégration Java/Scala. Le poste s’inscrit dans un contexte hybride avec 2 jours de télétravail/semaine et un cadre cloud/containerisé oriented DevOps.