Data Engineer — Spark Pipelines & Data Quality

Act Digital France; Vélizy-Villacoublay; On-site; EUR 50,000 - 80,000; Full time

Job summary

act digital France recherche un ingénieur data pour concevoir, développer et maintenir des pipelines de données avec Spark en Python et Scala, dans un cadre production sur des environnements on-premise.

Vous travaillerez avec les Data Analysts et Data Scientists, assurerez la qualité, la traçabilité et l’optimisation des jobs, et contribuerez aux bonnes pratiques CI/CD et à l’ingénierie des données.

Qualifications

• Concevoir et maintenir des pipelines de données avec Spark en Python et/ou Scala.
• Industrialiser des traitements Data existants pour les rendre robustes et testables.
• Modéliser et optimiser les données dans l’environnement on-premise.
• Assurer la qualité, la traçabilité et le monitoring des données.
• Optimiser les performances des jobs Spark (mémoire, partitionnement).
• Collaborer avec les Data Analysts et Data Scientists pour livrer des données exploitables.
• Contribuer aux bonnes pratiques d’ingénierie (revue de code, tests, CI/CD).

Responsibilities

• Concevoir et développer des pipelines de données Spark en Py/Scala.
• Industrialiser des traitements existants pour robustesse et testabilité.
• Modéliser et optimiser les données en on-premise.
• Assurer qualité et traçabilité des données (contrôles, monitoring).
• Optimiser les performances des jobs Spark (tuning).
• Collaborer avec Data Analysts et Data Scientists pour livrer des données exploitables.

Skills

Python

Scala

Apache Spark

SQL

Education

Bac+3 à Bac+5 ou équivalent

Job description

act digital France recherche un ingénieur data pour concevoir, développer et maintenir des pipelines de données avec Spark en Python et Scala, dans un cadre production sur des environnements on-premise.

Vous travaillerez avec les Data Analysts et Data Scientists, assurerez la qualité, la traçabilité et l’optimisation des jobs, et contribuerez aux bonnes pratiques CI/CD et à l’ingénierie des données.