Stage Quantification d'Un World Model de Type Jepa pour une Inférence Embarquée-Saclay H/F - CEA

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

- La conscience des responsabilités
- La coopération
- La curiosité

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Éventuellement, les travaux menés donneront lieu à une publication scientifique.

Contexte :

Les World Models sont des modèles d'IA qui ouvrent la voie à une nouvelle génération de systèmes autonomes. Ils ont la capacité essentielle de prendre en compte l'impact des actions sur l'environnement permettant ainsi de simuler un grand nombre de séquences d'actions et d'états futurs possibles pour prendre les meilleures décisions. Cependant, les modèles générant des environnements 2D/3D très réalistes nécessitent de vastes bases d'apprentissage, sont trop complexes pour être embarqués sur des systèmes temps réel et restent très sensibles aux bruits des capteurs, ce qui limite leur transfert de la simulation au monde réel. Récemment, les World Models de type JEPA permettent de prédire les caractéristiques essentielles des états futurs à partir d'un espace latent compact, sans avoir à reconstruire les pixels bruts. Ces modèles ont démontré des capacités d'apprentissage, une tolérance au bruit et une vitesse d'inférence remarquables, ce qui en fait de sérieux candidats pour l'autonomie robotique.

Qu'attendons-nous de vous ?

- Prendre en main LeWorldModel[1] dans ses phases d'inférence et d'apprentissage

• Identifier les verrous et contraintes pour son embarquabilité
• Valider ses performances sur un ensemble de datasets représentatifs (ex. en utilisant l'environnement stable-WM[2])
• Effectuer son profiling statique et dynamique

- Identifier et analyser les mécanismes de compression, en particulier la quantification, pouvant s'appliquer à ce modèle en s'appuyant sur les techniques de l'état de l'art et celles déjà mises en oeuvre au sein du laboratoire

- Développer un modèle permettant d'estimer l'impact de la quantification de certaines parties du réseau sur les performances applicatives et sur l'embarquabilité du modèle.

- Le candidat pourra également être amené à valider ses résultats par une exécution réelle sur une des cartes GPU embarquée basse consommation disponible au sein du laboratoire (exemple : Nvidia Jetson Orin).

Pour mener à bien ces missions, le stagiaire pourra s'appuyer sur les connaissances de l'équipe concernant les techniques de quantification ainsi que sur le framework de deep learning, développé au LIAE, pour le profiling, la compression et l'export sur cible matérielle (Aidge[3]).

[1] https://le-wm.github.io/
[2] https://github.com/galilai-group/stable-worldmodel
[3] https://eclipse.dev/aidge/

#Cea-List

Profil :

Fin d'étude ingénieur ou master 2

Compétences : Python et C++ (obligatoire), Connaissances en deep learning (obligatoire) et en développement sur système embarqué (souhaité)