Stage M2 Vulnérabilités des Modèles d'IA Générative Lors de la Phase d'Adaptation H/F - CEA

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au coeur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

- La conscience des responsabilités
- La coopération
- La curiositéRejoignez-nous en Stage !
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

Description du poste :
Nous observons actuellement l'augmentation de la mise à disposition de modèles profonds pré-entrainés (modèles de fondations) qui vont ensuite être adaptés pour la réalisation d'une tache spécifique. Parmi les techniques d'adaptation, deux sont particulièrement intéressantes car elles ne nécessitent pas nécessairement de modifier les paramètres internes du modèle :
- RAG (Génération Augmentée par Récupération) permet aux modèles d'IA générative de se référer à une base de connaissances externe afin de générer un contenu mis à jour et spécialisé
- In-context learning (apprentissage en contexte) désigne la capacité d'un modèle d'IA générative à apprendre ou à adapter son comportement à partir d'exemples ou d'instructions fournis dans le prompt
Bien que l'utilisation de ces usages est en train de se démocratiser dans le monde industriel, il y a encore beaucoup d'incertitudes concernant les risques autour de ces techniques de personnalisation. Le sujet de stage proposé consiste à étudier les menaces liées à l'intégrité lors de l'adaptation de modèles d'IA générative par des techniques de type RAG ou In-context learning.
Le stage débutera par une étude bibliographique sur les attaques (notamment les attaques backdoor) contre les systèmes RAG [1;2] et In-context learning [3 ;4]. Les attaques prometteuses seront implémentées et évaluées. Des défenses pourront ensuite être proposées et testées.

[1] W. Zou, R. Geng, B. Wang, and J. Jia. PoisonedRAG: Knowledge poisoning attacks to retrieval-augmented generation of large language models'. ArXiv 2402.07867. Aug. 2024.
[2] H. Chaudhari, G. Severi, J. Abascal, M. Jagielski, C. A. Choquette-Choo, M. Nasr, C. Nita-Rotaru, and A. Oprea. Phantom: General Trigger Attacks on Retrieval Augmented Language Generation'. ArXiv 2405.20485. Oct. 2025.
[3] N. Kandpal, M. Jagielski, F. Tramer, and N. Carlini. Backdoor Attacks for In-Context Learning with Language Models'. ArXiv 2307.14692. Jul. 2023.
[4] S. Zhao, M. Jia, L.A. Tuan, F. Pan, and J. Wen. Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-Context Learning'. ArXiv 2401.05949. Oct. 2024.

Qu'attendons-nous de vous ?
Le stage s'adresse à un(e) étudiant(e) du cycle ingénieur/universitaire cherchant un stage M2 et manifestant l'envie de travailler dans le milieu de la recherche avec un intérêt manifeste pour la cybersécurité des IA. Idéalement, le/la candidat(e) suit actuellement une formation en lien avec le domaine de l'Intelligence Artificielle/Machine Learning. La connaissance des principaux algorithmes d'optimisation, des différents types de modèles ainsi que la maîtrise de Python sont indispensables. Durant le stage, le/la candidat(e) sera en relation directe avec un expert en cybersécurité de l'IA. Nous attendons qu'il/elle soit capable d'apporter sa rigueur, son enthousiasme et sa curiosité pour la recherche. Nous offrons la possibilité à nos stagiaires de participer à la conférence JDSE (Junior conference on Data Science and Engineering) afin de les familiariser avec le déroulement d'une conférence scientifique.
La durée du stage est de 6 mois minimum et sera rémunéré.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Vous avez encore un doute ? Nous vous proposons :
L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
Une expérience à la pointe de l'innovation, comportant un fort potentiel de développement industriel,
Des moyens expérimentaux exceptionnels et un encadrement de qualité,
Une participation aux transports en commun à hauteur de 85%,
Un équilibre vie privée - vie professionnelle reconnu,
Un restaurant d'entreprise,
Une politique diversité et inclusion.

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.