Data Engineer

OVHcloud; Bordeaux; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise de cloud computing recherche un Ingénieur de données pour rejoindre l'équipe Data Processing. Vous serez responsable de la conception et de l'optimisation des systèmes de traitement de données, en utilisant des technologies comme Apache Spark. Le candidat idéal doit avoir une expérience avec le développement en Python et Golang, et est passionné par l'amélioration des performances des systèmes de données. Ce poste offre des opportunités pour travailler sur des solutions innovantes dans un environnement dynamique.

Qualifications

• Expérience professionnelle avec les technologies Apache Spark et les API microservices.
• Capacité d'analyser et surveiller les performances.
• Intérêt pour la recherche et la résolution de problèmes complexes.

Responsabilités

• Concevoir et optimiser des systèmes de traitement de données.
• Maintenir des connecteurs pour garantir intégrité et sécurité.
• Développer des pipelines d'automatisation CI/CD.

Connaissances

Connaissance des concepts de données distribuées

Expérience avec Apache Spark

Développement en Python

Développement en Golang

Analyse des indicateurs de performance

Sensibilité aux concepts DevOps

Description du poste

Data Engineer H / F / N

Au sein de votre équipe #OneTeam

• Vous rejoindrez l'équipe Data Processing Engine de l'unité Analytics.
• Notre mission est de proposer un catalogue exhaustif de connecteurs afin de collecter, transformer et raffiner les données, en proposant des outils de Data Engineering.
• Vous serez principalement responsable de la construction, de la maintenance et de l'optimisation de solutions de données distribuées, contribuant à la fiabilité, l'évolutivité et la sécurité de notre écosystème de plateforme de données.

Vos principales responsabilités

• Concevoir, implémenter et optimiser des systèmes de traitement de données distribuées comme Apache Spark.
• Construire et maintenir des connecteurs, en assurant l'intégrité, la sécurité et un accès performant aux données.
• Développer, déployer et maintenir une solution robuste grâce à des pipelines d'automatisation CI / CD, dans des langages tels que Python & Golang.
• Surveiller et améliorer les performances des systèmes de données, notamment l'optimisation des connecteurs et la gestion des ressources.
• Garantir un niveau d'excellence en suivant les recommandations idiomatiques et de code analysis / coverage du marché.
• Rédiger et maintenir une documentation technique complète pour soutenir le transfert de connaissances au sein de l'équipe et se conformer aux normes de certification.

Votre futur impact

Dans 6 mois vous aurez

• Créé et optimisé un connecteur pour enrichir notre catalogue afin de répondre à de nouveaux besoins clients.
• Participé au design collaboratif d'une nouvelle solution de gestion des workflows de données ou amélioré l'actuelle.
• Contribué à l'amélioration continue du système d'observabilité du Data Processing Engine de la Data Platform.

Compétences requises :

• Vous avez une bonne connaissance des concepts de données distribuées, d'orchestration et de Data de manière transverse.
• Vous justifiez d'au moins une expérience professionnelle avec les technologies de Apache Spark et d'écosystème API microservices.
• Vous êtes confirmé / e dans le développement (Python / Golang...).
• Vous êtes en capacité d'analyser et surveiller les indicateurs de performance.
• Vous avez une appétence pour la recherche et la résolution de problèmes complexes dans de larges environnements.
• Vous êtes sensible aux concepts DevOps, d'observabilité et de maintien en condition opérationnelle dans un environnement de production.

C'est un +

• Vous assurez et promouvez une veille sur les technologies et la compétition.
• Vous justifiez d'une expérience de maintien en condition opérationnelle d'un système à grande échelle.