Data Engineer Senior – Spark & Big Data

IT Link; Vannes; Sur place; EUR 50 000 - 70 000; Plein temps

Avantages offerts par ce poste

Titre Restaurant

Transports pris en charge

Mutuelle Alan

Télétravail – accord collectif et Ind.

Congés supplémentaires

CSE et activités sociales

Résumé du poste

IT Link recherche un ingénieur de données expérimenté pour rejoindre une squad agile dans le domaine bancaire. Vous collaborerez avec les PO/BA et l'équipe de développement pour faire progresser le code et partager les connaissances.

Vous concevrez et développerez des pipelines multi-sources via notre ETL interne basé sur Spark, en batch et streaming, et assurerez l'ingestion, les tests et le déploiement en production, avec un focus qualité et monitoring.

Qualifications

• 4 à 7 ans d'expérience en ingénierie de la donnée dans le secteur bancaire.
• Maîtrise de Spark (batch et streaming) et des architectures Big Data.
• Expérience avec Hadoop Cloudera et outils d'orchestration/monitoring.
• Autonomie, esprit d'initiative et sens du lead, bonnes capacités relationnelles.

Responsabilités

• Affiner les User Stories avec le PO/BA et concevoir les pipelines multi-sources.
• Concevoir et développer des pipelines via l'ETL interne basé sur Spark (batch et streaming).
• Automatiser l'ingestion et orchestrer les flux de données.
• Mettre en œuvre les tests unitaires et automatisés et déployer le produit en production.
• Garantir le fonctionnement en production: monitoring et gestion des incidents.
• Accompagner l'évolution des pratiques techniques de l'équipe.

Connaissances

Spark

Java/Scala

Python

ETL & pipelines

Big Data architecture

Autonomie & leadership

Outils

Hadoop Cloudera

Semarchy xDI

CI/CD

Description du poste

IT Link recherche un ingénieur de données expérimenté pour rejoindre une squad agile dans le domaine bancaire. Vous collaborerez avec les PO/BA et l'équipe de développement pour faire progresser le code et partager les connaissances.

Vous concevrez et développerez des pipelines multi-sources via notre ETL interne basé sur Spark, en batch et streaming, et assurerez l'ingestion, les tests et le déploiement en production, avec un focus qualité et monitoring.