Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT

Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT

Description du poste

Exploitation de la sparsité par compression de matrice sur des modèles Transformer.

Durée du contrat (en mois)

À préciser.

Description de l'offre

Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées. Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la compression de modèle de réseaux de neurones en vue de les implémenter sous forme d’inférence légère, le LIAE s’intéresse à l’exploitation de la sparsité. Il s’agit de tirer parti du nombre de « zéro » présents dans des matrices/tenseurs d’activations et/ou de poids pour réduire la taille de la mémoire requise et le nombre d’opérations induites.

Dans ce contexte, l’objectif de ce stage est d’identifier et de mettre en place des techniques d’organisation de la sparsité (semi-structuré/structuré) dans un réseau ViT. Les principales missions du candidat seront les suivantes :

1. Déployer un réseau ViT existant comme base de référence.
2. Identifier et analyser les mécanismes de création ou d'augmentation de la sparsité.
3. Identifier et analyser les mécanismes de réorganisation des matrices (stockage mémoire efficace), en particulier autour des fonctions d’activations, pouvant s’appliquer à ce modèle.
4. Mettre en place des solutions et caractériser les gains et/ou des pertes observées en termes de taille et de performance.
5. Proposer, dans la mesure du possible, des pistes d’implémentation d’un support matériel pour une implémentation embarquée.

Une bonne expérience avec Pytorch et cibles embarquées serait appréciée.

Moyens / Méthodes / Logiciels

Moyens : Linux, Versionnage Git, PC/GPU, IDE.

Profil du candidat

Niveau demandé : diplôme master (BAC+5).

Compétences : Système embarqué, IA, Python, traitement d’image, Pytorch.

Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années.

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.

Localisation du poste

À préciser.

Référence

2024-33270.

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.