Data Engineer - Référent Etl & Flux H / F

Mercato de l'emploi; Vanves; Hybride; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une société spécialisée dans le traitement des données recherche un Data Engineer pour optimiser et gérer les flux de données. Le candidat idéal a une expérience de 3 à 5 ans avec des outils ETL comme Talend, ainsi qu'une solide maîtrise de SQL. Ce poste offre l'opportunité de travailler sur des projets innovants en collaboration avec une équipe dynamique. Le poste est basé à Vanves avec une possibilité de travail à distance.

Qualifications

• Minimum 3 à 5 ans d'expérience dans l'intégration ou le développement de flux de données.
• Niveau d'anglais technique lu et écrit.
• Compréhension des systèmes ERP, notamment JDE, est un atout.

Responsabilités

• Concevoir et maintenir des flux de données variés (ETL, API).
• Développer des processus ETL avec des technologies comme Talend.
• Surveiller les flux critiques et gérer les erreurs.

Connaissances

Outils ETL / ELT

SQL

Architecture des données

API REST

Gestion des logs

Formation

Diplôme Bac +3 à Bac +5 en Informatique

Outils

Talend

Azure Data Factory

SSIS

Description du poste

Description des missions : Data Engineer / Référent ETL & Flux (H / F)

Dans le cadre du développement dynamique du pôle DATA, le Data Engineer aura un rôle clé dans la construction et l'optimisation des flux de données inter-systèmes.

Missions principales :

• Concevoir, développer et maintenir des flux de données variés (ETL, API, fichiers, SQL).
• Gérer les interfaces techniques entre l'ERP, le DataMart, et les outils métiers, IoT ou tiers.
• Maintenir une cartographie technique des flux et des dépendances, garantissant la compréhension et la traçabilité.
• Assurer la qualité, la traçabilité et la robustesse des traitements automatisés, contribuant ainsi à la fiabilité globale des systèmes.
• Participer activement à l architecture du système data, en prenant part à l'ingestion, à la transformation et à l'exposition des données.
• Mettre en oeuvre les meilleures pratiques de sécurisation et de surveillance des pipelines, permettant une gestion proactive des risques.
• Contribuer à l'élaboration de la stratégie de gouvernance technique des données, pour un usage éthique et optimal des ressources.

Activités et responsabilités associées :

• Développer et gérer des processus ETL / ELT en utilisant des technologies telles que Talend, DataFactory, ou SSIS.
• Intégrer des flux de données via différentes méthodes (API REST, fichiers plats, FTP / SFTP, bases de données).
• Automatiser les traitements, en mettant en place ordonnancements, alerting et redondance.
• Surveiller quotidiennement les flux critiques, gérer les erreurs et coordonner les redémarrages nécessaires.
• Collaborer de manière proactive avec les équipes ERP pour les extractions de données et les synchronisations.
• Documenter rigoureusement chaque flux (sources, cibles, fréquence, règles métiers).
• Optimiser les performances des traitements, qu'ils soient batch ou en temps réel.
• Participer aux choix d'outils et à l'évolution de l'architecture data, favorisant l'innovation continue.

Relations internes et externes :

• Collaborer étroitement avec le Responsable DATA, le Data Analyst, ainsi que les équipes ERP et infrastructure.
• Établir des relations solides avec des partenaires externes, comme des intégrateurs et des prestataires techniques.

Ce poste en contrat à durée indéterminée, avec la possibilité de travailler à distance, est une occasion de prendre part à un projet d'envergure au sein d'une équipe soudée. Le siège est situé à Paris 16°.

Ce poste requiert une expertise pointue dans le domaine des flux de données et des outils ETL.

Compétences technique :

• Maîtrise des outils ETL / ELT : expertise dans l'utilisation de solutions comme Talend, Azure Data Factory, SSIS, ou équivalents pour l'extraction, la transformation et le chargement des données.
• Connaissances en SQL : solide compréhension des bases de données et capacité à manipuler des requêtes complexes.
• Architecture des données : compréhension approfondie des concepts de DataMart, Datalake ainsi que des pipelines de données.
• Formats de données et API : connaissances robustes en gestion des formats variés (JSON, XML, CSV) et en intégration d'API REST / SOAP.
• Gestion des logs : aptitude à gérer les logs pour assurer un suivi efficace des processus.

Savoir-faire :

• Développement de flux : capacité à concevoir, développer et maintenir des flux de données fiables, documentés et performants.
• Optimisation des processus : identification proactive des points de rupture ou de lenteur dans les traitements de données.
• Modélisation : compétence dans la modélisation des schémas de flux et documentation de l'architecture technique pour une meilleure lisibilité et compréhension.
• Industrialisation : expérience dans l'automatisation des flux à l'aide de scripts, ordonnanceurs et triggers pour garantir un processus fluide et efficace.

Savoir-être :

• Rigueur et autonomie : apprécier le travail ciblé et structuré, tout en étant capable de prendre des initiatives.
• Communication : excellentes capacités relationnelles pour échanger efficacement avec des équipes fonctionnelles et techniques.
• Esprit d'équipe : attitude collaborative avec une forte sensibilité à l'entraide dont fait preuve le pôle.
• Curiosité technique : intérêt marqué pour les innovations et la fiabilité des données, avec une volonté d'apprendre et de se perfectionner.

Profil idéal :

• Formation : diplôme de niveau Bac +3 à Bac +5 en Informatique, Data Engineering, Développement ou domaine équivalent.
• Expérience : minimum de 3 à 5 ans d'expérience sur des sujets liés à l'ETL, à l'intégration ou au développement de flux de données.
• Connaissance des ERP : la compréhension du fonctionnement des systèmes ERP, notamment JDE, est un atout apprécié.
• Langue : niveau d'anglais technique lu et écrit.

Rejoindre ce poste offre l'opportunité de faire partie d'une dynamique d'innovation au sein d'une équipe stimulante, prête à relever des défis passionnants dans le domaine des données.