Thèse Explicabilité des Systèmes de Question-Réponse Multimodaux Vers des Méthodes Contrôlables et Interprétables H/F - Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : Laboratoire Interdisciplinaire des Sciences du Numérique Direction de la thèse : Camille GUINAUDEAU ORCID 0000000172498715 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-10-01T23:59:59 Cette thèse s'intéressera au problème des modèles « boîte noire » dans un contexte de question-réponse multimodal. Les systèmes de question-réponse développés ces dernières années ont largement bénéficié des progrès des grands modèles de réseaux neuronaux. Bien qu'ils aient permis d'améliorer la précision et l'exactitude des réponses générées, ces approches souffrent encore d'un manque d'interprétabilité, notamment en raison de l'opacité et de la complexité de tels modèles. En effet, les grands modèles de langage (Large Language Models, LLMs) ou les modèles vision-langage (Visual Language Models, VLMs) reposent sur un très grand nombre d'opérations et de paramètres (en particulier les poids des réseaux neuronaux), ce qui rend particulièrement difficile l'interprétation de leurs prédictions.

Une conséquence directe de cette opacité est la diminution de la confiance des utilisateurs ainsi que l'impossibilité de vérifier la manière dont une réponse a été construite. De plus, les contenus ou réponses générés sont parfois erronés ou contiennent des éléments inexacts ou non fondés. La production de réponses non fondées, imprécises ou inattendues est appelée hallucination. Toutefois, la notion d'hallucination dépend de ce qui est attendu du modèle : une hallucination se produit lorsque celui-ci ne respecte pas le contexte fourni ou génère une réponse factuellement incorrecte. Une littérature abondante existe sur les méthodes de détection des hallucinations, notamment concernant les différents types d'hallucinations susceptibles d'être identifiés.
Ces dernières années, les grands modèles de langage (Large Language Models, LLMs) ont été adoptés pour un large éventail de tâches et de domaines d'application. Ces modèles reposent aujourd'hui sur des architectures de réseaux neuronaux, en particulier pour les modèles les plus performants, qui s'appuient sur des fonctions paramétriques de très grande taille. Cependant, le lien entre l'entrée du modèle (le texte fourni par l'utilisateur) et la réponse produite (le texte généré par le modèle) demeure encore imparfaitement compris. La taille et la complexité de la fonction d'inférence, incarnée par ces réseaux neuronaux, rendent son analyse particulièrement difficile et limitent ainsi la possibilité de fournir des explications compréhensibles par l'être humain. Dans cette thèse, l'objectif sera de proposer de nouvelles approches permettant d'expliquer ou d'interpréter le comportement des modèles. Une première partie visera à déterminer quelles informations sont effectivement utilisées lors de la génération d'une réponse dans un cadre de question-réponse, en particulier si ces informations proviennent des connaissances internes du modèle (appelées connaissances paramétriques) ou du contexte fourni en entrée au LLM (c'est-à-dire les informations ajoutées avant la génération de la réponse).

Une seconde partie sera consacrée aux méthodes permettant de localiser les informations contextuelles utilisées lors de la génération. Ces approches sont généralement désignées sous le terme de méthodes d'attribution (attribution methods), c'est-à-dire des méthodes qui attribuent une importance relative aux différents éléments du contexte. Bien que ces approches aient été largement étudiées dans le cadre de données unimodales, peu de travaux les abordent dans un contexte multimodal.

Nous nous intéresserons plus particulièrement à des données multimodales issues de domaines spécifiques, notamment les documents pédagogiques (dans un premier temps avec un focus sur l'histoire et la biologie, puis étendus à d'autres disciplines) ainsi que les documents de brevets. Contrairement à la plupart des jeux de données existants, ces deux types de documents sont intrinsèquement multimodaux et contiennent des schémas ou illustrations. Par exemple, les documents de biologie comportent des schémas cellulaires, les documents d'histoire incluent des cartes ou des frises chronologiques, tandis que les brevets s'appuient généralement sur des schémas décrivant les inventions présentées.

Ces données introduisent une complexité supplémentaire pour les méthodes d'interprétabilité, qui doivent prendre en compte simultanément plusieurs types de contenu susceptibles d'interagir dans la production d'une réponse. Les méthodes d'attribution devront ainsi être capables d'identifier non seulement l'importance des différentes régions d'une image et des segments textuels vis-à-vis de la réponse générée, mais également l'importance des interactions entre les éléments issus des deux modalités.

Formation : Diplôme de Master (M2) en informatique, avec une préférence pour les candidats ayant une expérience dans les domaines suivants :
- Traitement automatique du langage naturel (TALN / NLP)
- Traitement de l'image
- Apprentissage automatique

- Compétences techniques :
- Maîtrise de Python et familiarité avec des bibliothèques de machine learning telles que TensorFlow, PyTorch ou Keras.
- Expérience en analyse de données et en outils de traitement de la parole.

- Autres compétences :
- Solides capacités d'analyse.
- Capacité à travailler de manière autonome ainsi qu'en collaboration dans un environnement de recherche.