Stage de Master 2 – Diffusion guidée et génération de cartes de précipitation

Association française pour l'Intelligence Artificielle; Guyancourt; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une organisation dédiée à l'intelligence artificielle recherche un(e) stagiaire pour un projet sur l'apprentissage d'un modèle génératif utilisant des données de radar pluie. Vous travaillerez sur la génération d'images réalistes pour des événements extrêmes. Le stage nécessite des compétences en modèles de diffusion et en analyse bibliographique, ainsi qu'une bonne maîtrise des jeux de données de haute résolution. Le candidat idéal est étudiant(e) en informatique ou dans un domaine connexe.

Qualifications

• Connaissance des modèles génératifs et de leur application.
• Expérience en traitement d'images souhaitée.
• Capacité à travailler avec des jeux de données complexes.

Responsabilités

• Développer un modèle génératif basé sur des données de radar pluie.
• Tester différentes configurations d'apprentissage et leurs validations.
• Évaluer la qualité des images générées.

Connaissances

Modèles de diffusion

Apprentissage profond

Évaluation de modèles

Générations d'images

Analyse bibliographique

Formation

Étudiant(e) en informatique ou domaine connexe

Outils

Python

Bibliothèques ML

Outils d'évaluation d'images

Description du poste

Contexte général :
Ces dernières années les modèles de diffusion ont pris une importance croissante dans le
domaine de l’apprentissage profond. Il est à l’origine d’applications remarquées pour la
génération texte-vers-image mais aussi de texte-vers-vidéo. Le concept de diffusion est sous-
jacent à ces outils génératifs. La pluie est un phénomène complexe, “non stationnaire” et
“extrême”. L’apprentissage de ses propriétés nécessite de mieux prendre en compte ses
particularités. L’objectif est ici de s’intéresser à ce problème en utilisant des modèles de
diffusion pour la génération d’images de radar pluie. Ce travail sera dans la continuité de
travaux qui ont permis de tester un certain nombre de configurations de génération de cartes
de pluie mais aussi de leur évaluation.

Travail à réaliser :
Le stage se focalisera sur l’apprentissage d’un modèle génératif, guidé, sur un jeu de données
conséquent d’images de résolution fine (1km toutes les 5min) issues du réseau de radars
météorologiques ARAMIS (Météo France). Le stage devrait permettre d’identifier des
méthodes de simulations d’images « réalistes » d’événements extrêmes sous représentés dans
les jeux actuellement appris. Le jeu de données étant constitué, il faudra tester différentes
configurations d’apprentissage guidées ainsi que leurs validations.
Dans un premier temps, il s’agira de se familiariser avec les modèles de diffusion
conditionnels ainsi qu’aux choix d’implémentation. Cela se fera via une étude bibliographique
guidée, de quelques articles [1] [2] [3] et blogs [4][5][6] de référence. Un travail particulier
sera requis pour proposer des critères d’évaluation des cartes de pluie inférées. En plus du
FID (pour l’anglais Fréchet Inception Distance), on cherchera des critères spécifiques
permettant de tester la distribution des données fournies par le modèle. Il faudra aussi bien
comprendre la relation spécifique des modèles de diffusion avec les propriétés spectrales
propres aux images naturelles [7] mais aussi à la pluie.
La seconde partie du stage sera plus spécifiquement dédiée à l’apprentissage et à la génération
conditionnelle. Des premiers tests concluants, ont permis de générer des cartes de
précipitation conditionnées sur des spectres d’énergies de cartes existantes. L’objectif sera de
faire évoluer ce conditionnement pour améliorer significativement la génération. Il faudra par
ailleurs évaluer la qualité des générations obtenues sans conditionnement.

Bibliographie :
[1] Dhariwal, P., & Nichol, A. (2021). Diffusion models beat gans on image synthesis.
Advances in neural information processing systems, 34, 8780-8794.
[2] Ho, J., & Salimans, T. (2022). Classifier-free diffusion guidance. arXiv preprint
arXiv:2207.12598.
[3] Nichol, A. Q., Dhariwal, P., Ramesh, A., Shyam, P., Mishkin, P., Mcgrew, B., … & Chen,
M. (2022, June). GLIDE: Towards Photorealistic Image Generation and Editing with Text-
Guided Diffusion Models. In International Conference on Machine Learning (pp. 16784-
16804). PMLR.
[4] Weng, L. (2021). What are diffusion models?, https://lilianweng.github.io/posts/2021-07-
11-diffusion-models.
[5] Dieleman, S. (2022) Guidance: a cheat code for diffusion models,
https://sander.ai/2022/05/26/guidance.html.
[6] Dieleman, S. (2023) The geometry of diffusion guidance,
https://sander.ai/2023/08/28/geometry.html [7] Dieleman, S. (2024) Diffusion is spectral
autoregression, https://sander.ai/2024/09/02/spectral-autoregression.html.
[7] Dieleman, S. (2024) Diffusion is spectral autoregression,
https://sander.ai/2024/09/02/spectral-autoregression.html

Candidature:
Assaad Zeghina ([e-mail]), N. Viltard ([e-mail]), A. Chazottes ([e-mail])