Data Engineer Confirmé SPARK (H/F)

TN France; Lyon; Hybride; EUR 45 000 - 55 000; Plein temps

Résumé du poste

An established industry player is seeking a skilled Data Engineer to join their dynamic team in Lyon. In this role, you will leverage your expertise in Spark and Big Data technologies to design and implement robust data solutions. Collaborating with cross-functional teams, you will develop efficient data pipelines and contribute to architectural decisions. This position offers the opportunity to work in a vibrant environment with a strong focus on continuous improvement and innovation. If you are passionate about data engineering and ready to make a significant impact, this is the perfect opportunity for you.

Qualifications

• Minimum 4 years of experience in Data Engineering with expertise in Spark.
• Ability to work in multi-team environments with diverse stakeholders.

Responsabilités

• Design and develop efficient data pipelines for collection, storage, and processing.
• Implement unit and automated tests for data products.

Connaissances

Data Engineering

Spark (batch & streaming)

Git

Jenkins

Java

Shell

Kafka

Agile / Scrum

Outils

Hadoop Cloudera

HDFS

Hive

HBase

Phoenix

MongoDB

ELK

Grafana

Artifactory

XL Release

Description du poste

Social network you want to login/join with:

Client:

Scalian

Location:

Lyon, France

Job Category:

-

EU work permit required:

Yes

Job Reference:

98dc67c5eab7

Job Views:

2

Posted:

03.05.2025

Expiry Date:

17.06.2025

Job Description:

• Stack Hadoop Cloudera
• DevOps : Git, Jenkins, Artifactory, XL Release, ELK, Grafana

Localisation : Nord de Lyon (2 jours de télétravail/semaine)

Démarrage souhaité : Juin 2025

Durée : Mission longue – visibilité de 3 ans

Séniorité : Minimum 4 ans d’expérience

Rémunération : 45-55K

Contexte de la mission :

Vous interviendrez au sein de différentes équipes pour concevoir et industrialiser des solutions Data robustes, dans un environnement Big Data Cloudera, en interaction avec les autres Data Engineers du site de Lyon et d'autres sites en France.

Votre rôle :

En tant que Data Engineer Confirmé, vous contribuerez à la fabrication des produits Data, avec un haut niveau d’expertise et une posture de référent technique sur Spark.

Missions principales :

• Concevoir et développer des pipelines de données performants (collecte, stockage, traitement)
• Participer à la définition de l’architecture Data
• Mettre en œuvre des tests unitaires et automatisés
• Déployer les produits dans les différents environnements
• Assurer le suivi en production (monitoring, gestion des incidents, support)
• Contribuer à l’amélioration continue des pratiques et de la qualité du code

Environnement technique :

• Big Data : Spark (batch & streaming), Kafka
• Langages : Java, Shell
• Stack Hadoop Cloudera
• Bases de données : HDFS, Hive, HBase, Phoenix, MongoDB
• DevOps : Git, Jenkins, Artifactory, XL Release, ELK, Grafana
• Méthodologie : Agile / Scrum

Qualifications :

Profil recherché :

• Minimum 4 ans d’expérience en Data Engineering, avec une maîtrise impérative de Spark (batch & streaming)
• Capacité à travailler en environnement multi-équipes, avec des interlocuteurs variés
• Force de proposition, rigueur, esprit d’équipe