Intern Real-Time Deep Learning Inference For Display Power Reduction H/F

InterDigital; Cesson-Sévigné; On-site; EUR 11,000 - 16,000; Full time

Job summary

InterDigital is seeking a Master’s student to join the Video research team to accelerate DeepPVR to real-time performance on GPUs and mobile devices with neural accelerators. You will optimize the inference pipeline, experiment with pruning and quantization, and study battery-life impacts on mobile hardware.

The role involves profiling, porting to CUDA/TensorRT/ONNX, and evaluating on-device benchmarks, with opportunities to contribute to publications and invention disclosures.

Qualifications

• Currently enrolled in a Master's degree in Computer Science, Electrical Engineering, Applied Mathematics or a related field.
• Strong programming skills in Python and C/C++.
• Experience with a deep-learning framework (PyTorch or TensorFlow) and with training and evaluating convolutional networks.
• Experience with GPU programming or inference optimization (CUDA, TensorRT, ONNX, LiteRT/TensorFlow Lite, Core ML) is a strong plus.
• Familiarity with model-compression techniques (pruning, quantization, distillation) is a plus.
• Knowledge of image processing, display technologies (OLED, LCD local dimming) or perceptual image quality is a plus.
• Experience with mobile development (Android/iOS), on-device benchmarking or power measurement is a plus.
• Good communication skills in English. Autonomous, curious and rigorous in experimental work. French communication skills is a plus.

Responsibilities

• Profile the existing DeepPVR implementation to identify bottlenecks in compute, memory and data transfer.
• Re-implement and optimize the inference pipeline for real-time execution on modern GPUs (CUDA, TensorRT, ONNX Runtime).
• Port the model to mobile devices with TPU/NPU accelerators using on-device inference frameworks and optimize for real-time throughput.
• Explore network-architecture modifications such as pruning, quantization and knowledge distillation and quantify their impact on runtime, power savings and visual quality.
• Design and run experiments measuring battery-life impact of real-time DeepPVR on mobile devices, separating display power savings from compute cost.
• Document work, present results to the team, and contribute to publications or invention disclosures.

Skills

Python programming

C/C++ programming

English communication

Autonomy & curiosity

Experimental rigor

Education

Master's degree in Computer Science or related field

Tools

CUDA

TensorRT

ONNX Runtime

LiteRT/TensorFlow Lite

Core ML

Job description

Summary

DeepPVR is InterDigital's in-house deep-learning algorithm that reduces the energy consumed by images shown on OLED displays and on LCD displays with local dimming, while preserving perceived picture quality. The current implementation delivers the expected power savings but does not run in real time, mainly because of implementation inefficiencies rather than fundamental algorithmic limits. The intern will join the Video research team to make DeepPVR run in real time on modern GPUs and on mobile devices equipped with neural accelerators (TPU/NPU). The work spans inference-pipeline optimization, network-architecture modifications such as pruning and quantization, and an experimental study of the battery-life impact of running the algorithm live on a mobile device.

Responsibilities

• Profile the existing DeepPVR implementation to identify compute, memory and data-transfer bottlenecks.
• Re-implement and optimize the inference pipeline for real-time execution on modern GPUs (e.g., CUDA, TensorRT, ONNX Runtime).
• Port the model to mobile devices with TPU/NPU accelerators using on-device inference frameworks (e.g., LiteRT/TensorFlow Lite, Core ML, Qualcomm AI Engine) and optimize it for real-time throughput.
• Explore network-architecture modifications such as pruning, quantization, knowledge distillation and lightweight backbones, and quantify their impact on runtime, power savings and visual quality.
• Design and run experiments measuring the battery-life impact of running DeepPVR in real time on mobile devices, separating display power savings from the added compute cost.
• Document the work, present results to the team, and contribute to publications or invention disclosures where relevant.

Résumé

DeepPVR est un algorithme d'apprentissage profond développé en interne par InterDigital, qui réduit l'énergie consommée par l'affichage des images sur les écrans OLED et sur les écrans LCD à gradation locale (local dimming), tout en préservant la qualité d'image perçue. L'implémentation actuelle permet les économies d'énergie attendues mais ne fonctionne pas en temps réel, principalement en raison d'inefficacités d'implémentation plutôt que de limites algorithmiques fondamentales. La personne recrutée rejoindra l'équipe de recherche Video afin de faire fonctionner DeepPVR en temps réel sur des GPU récents et sur des appareils mobiles équipés d'accélérateurs neuronaux (TPU/NPU). Les travaux couvriront l'optimisation de la chaîne d'inférence, des modifications de l'architecture du réseau telles que l'élagage (pruning) et la quantification, ainsi qu'une étude expérimentale de l'impact sur l'autonomie de la batterie de l'exécution de l'algorithme en direct sur un appareil mobile.

Missions

• Profiler l'implémentation existante de DeepPVR afin d'identifier les goulets d'étranglement en matière de calcul, de mémoire et de transfert de données.
• Réimplémenter et optimiser la chaîne d'inférence pour une exécution en temps réel sur des GPU récents (par exemple CUDA, TensorRT, ONNX Runtime).
• Porter le modèle sur des appareils mobiles dotés d'accélérateurs TPU/NPU à l'aide de frameworks d'inférence embarquée (par exemple LiteRT/TensorFlow Lite, Core ML, Qualcomm AI Engine) et l'optimiser pour un débit de traitement en temps réel.
• Explorer des modifications de l'architecture du réseau telles que l'élagage, la quantification, la distillation des connaissances et des backbones allégés, et quantifier leur impact sur le temps d'exécution, les économies d'énergie et la qualité visuelle.
• Concevoir et mener des expérimentations mesurant l'impact sur l'autonomie de la batterie de l'exécution de DeepPVR en temps réel sur des appareils mobiles, en distinguant les économies d'énergie de l'écran du surcoût de calcul.
• Documenter les travaux, présenter les résultats à l'équipe et contribuer, le cas échéant, à des publications ou à des déclarations d'invention.

Qualifications

• Currently enrolled in a Master's degree in Computer Science, Electrical Engineering, Applied Mathematics or a related field.
• Strong programming skills in Python and C/C++.
• Experience with a deep-learning framework (PyTorch or TensorFlow) and with training and evaluating convolutional networks.
• Experience with GPU programming or inference optimization (CUDA, TensorRT, ONNX, LiteRT/TensorFlow Lite, Core ML) is a strong plus.
• Familiarity with model-compression techniques (pruning, quantization, distillation) is a plus.
• Knowledge of image processing, display technologies (OLED, LCD local dimming) or perceptual image quality is a plus.
• Experience with mobile development (Android/iOS), on-device benchmarking or power measurement is a plus.
• Good communication skills in English. Autonomous, curious and rigorous in experimental work. French communication skills is a plus.

Profil recherché

• Étudiant ou étudiante en master d'informatique, de génie électrique, de mathématiques appliquées ou dans un domaine connexe.
• Solides compétences en programmation Python et C/C++.
• Expérience d'un framework d'apprentissage profond (PyTorch ou TensorFlow) ainsi que de l'entraînement et de l'évaluation de réseaux convolutifs.
• Une expérience de la programmation GPU ou de l'optimisation de l'inférence (CUDA, TensorRT, ONNX, LiteRT/TensorFlow Lite, Core ML) constitue un réel atout.
• Une connaissance des techniques de compression de modèles (élagage, quantification, distillation) est un plus.
• Des connaissances en traitement d'image, en technologies d'affichage (OLED, LCD à gradation locale) ou en qualité perceptuelle des images sont un plus.
• Une expérience du développement mobile (Android/iOS), de l'évaluation des performances embarquées ou de la mesure de consommation est un plus.
• Bonnes compétences de communication en anglais. Autonomie, curiosité et rigueur dans le travail expérimental. La maîtrise du français est un plus.