Data Engineer - Spark Pipelines (Python/Scala)

Act Digital France; Vélizy-Villacoublay; On-site; EUR 40,000 - 60,000; Full time

Job summary

Act Digital France recherche un ingénieur data pour concevoir et maintenir des pipelines Spark en Python et/ou Scala, et pour industrialiser des traitements existants afin d'augmenter robustesse et performance.

Profil avec au moins 3 ans d'expérience en ingénierie de données sur des plateformes modernes, maîtrisant Python, Scala, Spark et SQL. Travail en équipe avec les Data Analysts et les métiers, dans un cadre on-premise et avec des pratiques CI/CD.

Qualifications

• Formation supérieure en informatique (Bac+3 à Bac+5) ou équivalent.
• Expérience minimale de 3 ans et plus en ingénierie de données sur des plateformes modernes en production.

Responsibilities

• Concevoir, développer et maintenir des pipelines de traitement de données avec Spark en Python et/ou Scala.
• Industrialiser des traitements Data existants (scripts, notebooks) pour les rendre robustes, testables et performants.
• Participer à la modélisation et à l'optimisation des données sur l'environnement on-premise.
• Assurer la qualité, la fiabilité et la traçabilité des données (contrôles qualité, monitoring, gestion des incidents).
• Optimiser les performances des jobs Spark (tuning, gestion de la mémoire, partitionnement).
• CollaboreR avec les Data Analysts, Data Scientists et équipes métier pour comprendre les besoins et livrer des données exploitables.
• Contribuer aux bonnes pratiques d'ingénierie (revue de code, tests, documentation, CI/CD).

Skills

Python

Scala

Apache Spark

SQL

Education

Bac+3 à Bac+5 ou équivalent

Job description

Act Digital France recherche un ingénieur data pour concevoir et maintenir des pipelines Spark en Python et/ou Scala, et pour industrialiser des traitements existants afin d'augmenter robustesse et performance.

Profil avec au moins 3 ans d'expérience en ingénierie de données sur des plateformes modernes, maîtrisant Python, Scala, Spark et SQL. Travail en équipe avec les Data Analysts et les métiers, dans un cadre on-premise et avec des pratiques CI/CD.