Senior Data Engineer, Scale Data Pipelines on AWS

Laotop; Paris; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

Laotop recherche un ingénieur data et architecte cloud pour accompagner les entreprises dans leur migration vers AWS et la conception de pipelines datas scalables. L'objectif est de réduire les coûts d'infrastructure et d'optimiser les processus FinOps.

Le candidat utilisera Spark, Airflow et d'autres outils de l'écosystème AWS, avec une approche axée sur le Build small, scale later et une architecture simple pour faciliter la maintenance.

Qualifications

• Ingénierie des données et architecture cloud.
• Expérience pratique dans la migration vers AWS et la création de pipelines datas scalables.
• Connaissance de Spark, Airflow et des outils de l'écosystème AWS.

Responsabilités

• Conception et mise en place de pipelines datas scalables sur AWS.
• Optimisation des coûts d'infrastructure (FinOps).
• Utilisation de Spark, Airflow et autres outils de l'écosystème AWS.

Connaissances

Architecture cloud

Migration AWS

Pipelines data scalables

Outils

Spark

Airflow

Description du poste

Objectif de la mission:

L'objectif principal est d'aider les entreprises à migrer vers Amazon Web Services (AWS) et de concevoir des pipelines datas scalables en réduisant ainsi leurs coûts d'infrastructure jusqu'à -40% (FinOps).

Missions principales:

Conception et mise en place de pipelines datas scalables sur AWS.

Optimisation des coûts d'infrastructure (FinOps).

Utilisation de Spark, Airflow et autres outils de l'écosystème AWS.

Profil recherché:

Compétences en ingénierie des données et en architecture cloud.

Expérience pratique dans la migration vers AWS et la création de pipelines datas scalables.

Connaissance du logiciel Spark, Airflow et autres outils de l'écosystème AWS.

Pratiques à adopter:

"Build small, scale later". Commencer petit, simplifier, tester puis évoluer Validation précoce et mise en place d'une architecture simple pour une maintenance plus facile Éviter les orchestrations complexes si un simple job suffit.