Attaques par Empoisonnement Contre des Llms en Federated Learning H/F - CEA

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

- La conscience des responsabilités
- La coopération
- La curiositéVotre Stage :
Les Large Language Models (LLM) sont aujourd'hui omniprésents dans de nombreuses applications dont certaines critiques (e.g., génération de codes). Leur utilisation repose le plus souvent sur l'adaptation d'un modèle pré-entrainé (fine-tuning) sur une tâche spécifique (downstream task). Un paradigme d'apprentissage distribué comme le Federated Learning (FL) apparait comme une solution très prometteuse pour améliorer le passage à l'échelle de ce processus d'adaptation et qui permet à chaque client de préserver la confidentialité de ses données d'apprentissage.
Néanmoins les problèmes de sécurité sont nombreux, plus particulièrement ceux liés à l'intégrité du modèle. Un attaquant peut chercher à empoisonner les données d'apprentissage de certains clients pour injecter une backdoor, c'est-à-dire un comportement malveillant activé quand des données d'entrée bien spécifiques sont proposées au modèle. Par exemple, toutes les entrées présentant les mots « la marque ABCXYZ » renverront une sortie très négative du LLM adapté.
A partir de la plateforme de simulation (Python) de FL du CEA LETI, les objectifs du stage seront :
-Comprendre les différentes modalités des attaques backdoor des LLMs
-Enrichir la plateforme avec des attaques des modèles et attaques de l'état de l'art
-Evaluer la robustesse des modèles en FL

QU'ATTENDONS-NOUS DE VOUS ?
Une formation solide :
3A école d'ingénieur et/ou Master2 en Intelligence Artificielle
Bonne connaissance Python / PyTorch

Nous vous proposons :
Un poste au coeur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,
Un environnement unique de recherché dédié à des thématiques à fort enjeu sociétal, comme la préservation des ressources (économie de la fonctionnalité, monitoring et optimisation de la consommation en eau...) ou l'efficacité énergétique (maintenance prévisionnelle, optimisation des process)
Une expérience sur une thématique à la pointe de l'innovation, comportant un fort potentiel de développement industriel.
Des formations pour renforcer vos compétences ou en acquérir de nouvelles, en électronique embarquée, en mécatronique, ou en simulation de systèmes multiphysiques multi-échelles.
Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes en situation de handicap, cet emploi est ouvert à toutes et à tous.
Le CEA propose des aménagements et/ou des possibilités d'organisation, rejoignez-nous !

#IA
#LLM
#Security
#Backdoor attack