Intern: Train Compressible Networks - Low Rank Quantization

CEA; Saclay; On-site; EUR 12,000 - 17,000; Part time

Job summary

Le LIST du CEA à Saclay recherche un stagiaire en ML pour étudier la compressibilité des réseaux neuronaux par faible rang et quantification, et explorer l’impact des préparations en formation sur les coûts de quantification.

Le candidat contribuera à des expériences avec des modèles linguistiques et à la rédaction de résultats publiables, encadré par une équipe de recherche spécialisée.

Qualifications

• Master 2 ou équivalent en ML/CS (stage étudiants).
• Compétences fortes en algèbre linéaire et optimisation.

Responsibilities

• Mesurer l’impact de l’entraînement vers le faible rang sur la compressibilité d’un modèle.
• Réaliser des expériences avec factorisation et quantification à mémoire égale.
• Proposer et tester une amélioration basée sur le prix calculé par l’équipe.

Skills

Python

PyTorch

Hugging Face

Algèbre linéaire

Optimisation

Conception d’expériences

Education

Master 2 ou école d’ingénieurs en ML/CS

Job description

Le LIST du CEA à Saclay recherche un stagiaire en ML pour étudier la compressibilité des réseaux neuronaux par faible rang et quantification, et explorer l’impact des préparations en formation sur les coûts de quantification.

Le candidat contribuera à des expériences avec des modèles linguistiques et à la rédaction de résultats publiables, encadré par une équipe de recherche spécialisée.