Data Engineer - Scala AWS

Opus Recruitment Solutions; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Opus Recruitment Solutions recherche un Data Engineer confirmé pour renforcer sa plateforme Data Platform, capable de concevoir et d’exploiter des pipelines distribués à forte volumétrie. Vous contribuerez à des traitements robustes en Scala et participerez aux choix d’architecture dans un contexte AWS.

Vous évoluerez dans une équipe Data dynamique, en charge de la qualité des données, de l’observabilité et des pipelines CI/CD, avec des enjeux d’optimisation des coûts et de performance.

Qualifications

• 3 à 5 ans d'expérience en ingénierie data ou équivalent.
• Conception et développement de pipelines à grande échelle.
• Respect des bonnes pratiques de qualité et de CI/CD.

Responsabilités

• Concevoir et faire évoluer des pipelines de traitement de données à grande échelle
• Développer des traitements distribués robustes et maintenables (principalement en Scala)
• Participer aux choix d’architecture et aux décisions techniques
• Optimiser les performances et les coûts des traitements
• Garantir la qualité et la fiabilité des données en production
• Participer aux code reviews et à l’amélioration continue des pratiques engineering
• Investiguer et résoudre des problématiques complexes (performance, debugging)
• Collaborer avec les équipes Data, Produit et Backend
• Évolution des pratiques techniques : Qualité logicielle, Observabilité, Tests et CI/CD, Industrialisation des pipelines

Connaissances

Scala

Apache Spark

SQL

Airflow

AWS

Docker

Outils

Docker

Description du poste

Notre partenaire, dévelope une plateforme data capable de traiter des volumes massifs de données et d'attribuer la performance de manière fiable, à l’échelle.

Dans ce contexte, ils recrutent un(e) Data Engineer confirmé(e) pour renforcer notre équipe Data Platform.Vous contribuerez à la conception, au développement et à l’exploitation d’une plateforme data distribuée à forte volumétrie.

• Concevoir et faire évoluer des pipelines de traitement de données à grande échelle
• Développer des traitements distribués robustes et maintenables (principalement en Scala)
• Participer aux choix d’architecture et aux décisions techniques
• Optimiser les performances et les coûts des traitements
• Garantir la qualité et la fiabilité des données en production
• Participer aux code reviews et à l’amélioration continue des pratiques engineering
• Investiguer et résoudre des problématiques complexes (performance, debugging)
• Collaborer avec les équipes Data, Produit et Backend

Vous contribuerez également à l’évolution des pratiques techniques : Qualité logicielle, Observabilité,Tests et CI/CD,Industrialisation des pipelines

Stack technique : Scala, Apache Spark, SQL, Airflow, AWS,Docker

Vous disposez de 3 à 5 ans d'expérience en tant …

…nous recherchons un profil rigoureux dans la conception et la qualité du code, sensible aux bonnes pratiques, avec une approche orientée solutions.

Pourquoi les rejoindre ?

• Une équipe technique expérimentée etexigeante
• Des problématiques data à grande échelle
• Une forte implication des ingénieurs dans les décisions techniques
• Des sujets concrets avec impact produit direct
• Une culture basée sur la collaboration et l’ownership