Data Engineer — Spark & Java Data Pipelines

AIS; Toulouse; On-site; EUR 50,000 - 75,000; Full time

Job summary

AIS, ESN française, recherche un ingénieur Data/Java pour développer et maintenir des traitements distribués avec Apache Spark. Vous travaillerez sur des pipelines de données volumineuses, optimiserez les performances et participerez à l’industrialisation via CI/CD.

Le candidat idéal justifie d’au moins 3 ans d’expérience sur des environnements big data et maîtrise SQL, DataFrame API et les traitements distribués. Poste basé à Toulouse, avec équipe disponible et projets variés.

Qualifications

• Expérience confirmée en développement Java et Apache Spark en production.
• Maîtrise des traitements distribués et des API DataFrame/Dataset.
• Bonnes compétences en SQL et analyse de performance pour les volumes de données.

Responsibilities

• Analyser les besoins fonctionnels et contribuer aux choix de conception technique.
• Développer et maintenir des traitements distribués en Java avec Apache Spark.
• Concevoir des pipelines de transformation et d'agrégation de données volumineuses.
• Optimiser les performances des traitements (partitionnement, jointures, mémoire).
• Rédiger les tests et garantir la qualité du code via revues et bonnes pratiques.
• Participer à l’industrialisation et aux déploiements CI/CD.
• Diagnostiquer les anomalies et maintenir les applications en conditions opérationnelles.
• Rédiger la documentation technique et collaborer avec les équipes métiers, Data et infra.

Skills

Java

Apache Spark

SQL

DataFrame API

Distributed processing

Performance tuning

Tools

Git

Maven

Gradle

CI/CD

Linux

Job description

AIS, ESN française, recherche un ingénieur Data/Java pour développer et maintenir des traitements distribués avec Apache Spark. Vous travaillerez sur des pipelines de données volumineuses, optimiserez les performances et participerez à l’industrialisation via CI/CD.

Le candidat idéal justifie d’au moins 3 ans d’expérience sur des environnements big data et maîtrise SQL, DataFrame API et les traitements distribués. Poste basé à Toulouse, avec équipe disponible et projets variés.