Senior Data Engineer - Scala/AWS for Scalable Pipelines

Opus Recruitment Solutions; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Opus Recruitment Solutions recherche un Data Engineer confirmé pour renforcer sa plateforme Data Platform, capable de concevoir et d’exploiter des pipelines distribués à forte volumétrie. Vous contribuerez à des traitements robustes en Scala et participerez aux choix d’architecture dans un contexte AWS.

Vous évoluerez dans une équipe Data dynamique, en charge de la qualité des données, de l’observabilité et des pipelines CI/CD, avec des enjeux d’optimisation des coûts et de performance.

Qualifications

• 3 à 5 ans d'expérience en ingénierie data ou équivalent.
• Conception et développement de pipelines à grande échelle.
• Respect des bonnes pratiques de qualité et de CI/CD.

Responsabilités

• Concevoir et faire évoluer des pipelines de traitement de données à grande échelle
• Développer des traitements distribués robustes et maintenables (principalement en Scala)
• Participer aux choix d’architecture et aux décisions techniques
• Optimiser les performances et les coûts des traitements
• Garantir la qualité et la fiabilité des données en production
• Participer aux code reviews et à l’amélioration continue des pratiques engineering
• Investiguer et résoudre des problématiques complexes (performance, debugging)
• Collaborer avec les équipes Data, Produit et Backend
• Évolution des pratiques techniques : Qualité logicielle, Observabilité, Tests et CI/CD, Industrialisation des pipelines

Connaissances

Scala

Apache Spark

SQL

Airflow

AWS

Docker

Outils

Docker

Description du poste

Opus Recruitment Solutions recherche un Data Engineer confirmé pour renforcer sa plateforme Data Platform, capable de concevoir et d’exploiter des pipelines distribués à forte volumétrie. Vous contribuerez à des traitements robustes en Scala et participerez aux choix d’architecture dans un contexte AWS.

Vous évoluerez dans une équipe Data dynamique, en charge de la qualité des données, de l’observabilité et des pipelines CI/CD, avec des enjeux d’optimisation des coûts et de performance.