Stage – Développement logiciel – Données scientifiques : Simplifier leur intégration et optimiser leur accès

Magellium Artal Group; Ramonville-Saint-Agne; Remote; EUR 13,000 - 17,000; Part time

Job summary

Magellium Artal Group recherche un stagiaire en développement logiciel dédié aux données scientifiques.

Vous concevrez et développerez une chaîne modulaire reliant sources de données et outils d’analyse, en vous appuyant sur Python, APIs, Linux et Docker.

Le stage s’inscrit dans une démarche ARCO et FAIR, avec documentation et traçabilité des résultats, le tout au sein d’une équipe expérimentée.

Qualifications

• Étudiant.e en dernière année d’école d’ingénieurs ou master (Bac+5) en informatique ou données.
• Bonne maîtrise de Python et des API; intérêt pour construire des outils modulaires et performants.
• Connaissances Linux, Docker et stockage objet appréciées.
• Notions Git, tests automatisés et développement d’APIs.

Responsibilities

• Concevoir et développer une chaîne modulaire reliant sources de données et outils d’analyse scientifique.
• Simplifier l’intégration de nouvelles sources et exposer les données de manière compréhensible et efficace.
• Valider les traitements, documenter les choix techniques et assurer la traçabilité.
• Travailler en équipe et partager les connaissances pour favoriser la reproductibilité.

Skills

Python

API

Git

Docker

Linux

Pandas

Xarray

Tests automatisés

Education

Bac+5 en informatique / génie logiciel

Tools

Zarr

Parquet

ARCO

Job description

Stage – Développement logiciel – Données scientifiques : Simplifier leur intégration et optimiser leur accès

L’équipe Cloud Data Intelligence conçoit et développe des applications scientifiques et des plateformes de données cloud-native. Elle mobilise notamment Python, les API et les environnements conteneurisés pour faciliter l’acquisition, le traitement et l’exploitation de données complexes.

Les données ouvertes issues des programmes d’observation de la Terre, des réseaux de capteurs et des simulations scientifiques ouvrent de nouvelles possibilités pour comprendre notre environnement. Elles permettent de croiser des observations, de comparer des modèles et de construire de nouveaux indicateurs.

Leur exploitation reste cependant un défi technique : sources dispersées, formats hétérogènes, volumes importants et modalités d’accès variées. Comment intégrer facilement une nouvelle source et permettre aux scientifiques comme aux applications d’accéder efficacement aux données utiles à leurs analyses ?

L’objectif du stage est de concevoir et de développer une chaîne modulaire reliant ces sources de données aux outils d’analyse scientifique. Vous travaillerez sur deux axes complémentaires : simplifier l’intégration de nouvelles sources et exposer leurs données sous une forme compréhensible, adaptée aux usages et performante.

Vous vous appuierez sur les approches ARCO (Analysis Ready, Cloud Optimized), qui visent des données prêtes à l’analyse et un accès distant efficace, et sur les principes FAIR : des données faciles à trouver, accessibles, interopérables et réutilisables. La documentation des traitements et la traçabilité des résultats inscriront vos travaux dans une démarche de science ouverte et de reproductibilité.

Un exemple concret : intégrer de nouvelles données météorologiques, vérifier leur qualité, harmoniser leurs unités, puis permettre à un utilisateur de récupérer uniquement les variables et la période nécessaires à son analyse, sans télécharger toute l’archive.

Comprendre les sources et les usages

• Analyser des sources publiques représentatives et les besoins des utilisateurs : variables, dimensions, fréquence de mise à jour, volumes et modes d’accès.
• Étudier les solutions existantes pour l’acquisition, l’orchestration et la mise à disposition des données afin de sélectionner les composants adaptés.

Faciliter l’intégration de nouvelles sources

• Concevoir un mécanisme de connecteurs permettant d’ajouter une source sans modifier l’ensemble de la chaîne.
• Développer des traitements configurables pour récupérer les données, contrôler leur qualité et harmoniser leur structure et leurs métadonnées.
• Automatiser les mises à jour et prévoir le suivi des exécutions, la gestion des erreurs et les reprises après échec.

Proposer un accès pertinent et performant

• Décrire les jeux de données disponibles, leurs variables, unités, dimensions et provenance pour faciliter leur découverte et leur compréhension.
• Expérimenter des formats et organisations de stockage adaptés aux usages, par exemple Zarr pour des données multidimensionnelles ou Parquet pour des données tabulaires.
• Développer des interfaces permettant de sélectionner et d’extraire les données utiles selon une période, des variables ou une zone d’intérêt.
• Évaluer les temps d’accès et les volumes transférés sur des scénarios représentatifs, puis améliorer les performances.

Valider un démonstrateur réutilisable

• Mettre en œuvre une chaîne de bout en bout sur des jeux de données ouverts, puis vérifier sa capacité à intégrer une seconde source.
• Conserver les paramètres et l’historique des traitements pour expliquer et reproduire les résultats.
• Documenter l’ajout d’un connecteur, l’accès aux données et les choix techniques. Selon l’avancement, explorer une configuration graphique ou une assistance IA.

Vous serez intégré(e) à une équipe de développement et accompagné(e) par des ingénieurs expérimentés. Le démonstrateur s’appuiera sur les outils et projets de l’équipe, avec des composants réutilisables pour d’autres sources et usages scientifiques.

Étudiant(e) en dernière année d’école d’ingénieurs ou en cursus universitaire de niveau Bac+5, avec une spécialisation en informatique, génie logiciel, ingénierie des données ou calcul scientifique.

Vous disposez de bonnes bases en Python et souhaitez développer des outils qui rendent les données scientifiques plus faciles à exploiter. Vous vous intéressez à la conception de logiciels modulaires, aux API et aux problématiques de performance.

Des premières connaissances dans certains des domaines suivants seront appréciées :

• Développement : Git, tests automatisés et conception d’API.
• Données : pandas ou Xarray, manipulation de fichiers et métadonnées.
• Environnement : Linux, Docker et notions de stockage objet.
• Ouverture scientifique : intérêt pour les données ouvertes, les standards et la reproductibilité.

La connaissance préalable des formats ARCO ou des outils d’orchestration n’est pas indispensable. Curieux(se) et rigoureux(se), vous aimez expérimenter, mesurer les résultats et transformer un besoin en solution concrète. Vous appréciez le travail en équipe et le partage des connaissances.

Ce stage vous permettra de développer des compétences en ingénierie des données scientifiques, en architecture logicielle et en optimisation des accès, à partir de ressources ouvertes et de besoins concrets.