Senior Data Engineer - Spark ETL & Real-Time Data Pipelines

Onyx-Conseil; Vannes; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

CATS recherche un Data Engineer expérimenté à Vannes pour renforcer la squad Data, dans un cadre agile et en lien avec PO/BA et l'équipe Dev. Vous concevrez et développerez des pipelines de collecte et stockage des données depuis diverses sources, en utilisant Spark en batch et streaming, et participerez à la migration et à la supervision des traitements.

Vous assurerez les tests, le déploiement et le monitoring, et veillerez à la qualité du code et à l'alignement avec les exigences

Qualifications

• 4–7 ans d'expérience en Data Engineering.
• Expérience dans le secteur bancaire fortement appréciée.
• Bonnes aptitudes en communication et autonomie.

Responsabilités

• Affiner les US avec le PO/BA et concevoir des pipelines de collecte et stockage.
• Développer des solutions ETL via Spark et orchestrer les flux batch et temps réel.
• Réaliser les tests unitaires et automatisés.
• Déployer les solutions dans les environnements et assurer le support.
• Contribuer à l'amélioration continue et à la qualité du code.

Connaissances

Spark streaming

Semarchy xDI

Hadoop Cloudera

Description du poste

CATS recherche un Data Engineer expérimenté à Vannes pour renforcer la squad Data, dans un cadre agile et en lien avec PO/BA et l'équipe Dev. Vous concevrez et développerez des pipelines de collecte et stockage des données depuis diverses sources, en utilisant Spark en batch et streaming, et participerez à la migration et à la supervision des traitements.

Vous assurerez les tests, le déploiement et le monitoring, et veillerez à la qualité du code et à l'alignement avec les exigences