Thèse Méthodes Post-Hoc de Détection de Données Hors-Distribution pour les Modèles de Fondation H/F - Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique
École doctorale : Sciences et Technologies de l'Information et de la Communication
Laboratoire de recherche : Systèmes et Applications des Technologies de l'Information et de l'Energie
Direction de la thèse : Florence ALBERGE ORCID 0000000177099684
Début de la thèse : 2026-10-12
Date limite de candidature : 2026-10-05T23:59:59

La détection d'exemples hors distribution (OoD) est essentielle pour déployer des modèles d'apprentissage automatique en toute sécurité, en particulier dans des domaines critiques comme la santé ou la conduite autonome. Alors que les méthodes classiques de détection OoD reposent sur des scores de confiance post-hoc développés pour des modèles supervisés utilisant une seule modalité, l'émergence des modèles fondamentaux de vision (VFMs) tels que CLIP ouvre de nouvelles possibilités grâce aux approches zero-shot et few-shot. Cependant, des études montrent que le fine-tuning de CLIP peut améliorer la précision en classification tout en dégradant la détection OoD, probablement en altérant ses représentations. Cette thèse vise à développer des stratégies pour préserver ou renforcer la robustesse des VFMs lors du fine-tuning, afin de permettre l'utilisation efficace des méthodes post-hoc de détection OoD. Elle cherche également à traiter les situations où la distribution est non stationnaires (courant en conditions réelles) en proposant des approches d'apprentissage capables d'adapter dynamiquement le seuil de confiance pendant l'exécution.

La détection des données hors distribution (OoD) est un enjeu majeur pour garantir la fiabilité des modèles d'apprentissage automatique déployés dans des environnements réels, notamment en santé ou dans les véhicules autonomes. Les méthodes OoD traditionnelles reposent principalement sur des scores de confiance post-hoc appliqués à des modèles supervisés classiques.

L'émergence des modèles fondamentaux de vision (VFMs), tels que CLIP, a transformé la vision par ordinateur grâce à leurs capacités zero-shot et few-shot. Toutefois, plusieurs travaux montrent que le fine-tuning de ces modèles, bien qu'améliorant la classification, peut détériorer les performances OoD en altérant leurs représentations visuo-linguistiques. Par ailleurs, les environnements réels présentent souvent des décalages de distribution non stationnaires, exigeant des mécanismes adaptatifs de décision.

Dans ce contexte, la thèse vise à mieux comprendre et améliorer la robustesse des VFMs pour la détection OoD, en tenant compte des contraintes du fine-tuning et des scénarios évolutifs.

Développer des méthodes permettant de détecter des données hors-distribution dans des modèles de type VFM et dans un contexte potentiellement non-stationnaire.

- Étudier les méthodes à l'état de l'art pour le fine-tuning et l'augmentation de la robustesse des modèles fondamentaux de vision (VFMs).

- Réaliser un benchmark exhaustif pour évaluer les méthodes de détection hors distribution (OoD) dans les VFMs.

- Explorer et développer des techniques de fine-tuning qui préservent les riches représentations visuo-linguistiques, afin d'améliorer la robustesse des VFMs. En particulier, évaluer les performances des scores de confiance post-hoc pour la détection OoD sur des VFMs affinés.

- Extraire et analyser les caractéristiques internes des VFMs (par ex. CLIP, DINO, Grounding DINO, etc.) et concevoir des scores de confiance post-hoc pour la détection OoD. Prendre en compte à la fois les décalages de covariables et les décalages sémantiques (échantillons proche OoD et loin OoD) lors de l'évaluation des scores proposés.

- Étudier et proposer une solution pour le cas des décalages de distribution non stationnaires, en particulier en abordant le problème de la sélection du seuil de confiance sous un angle basé sur l'apprentissage.

- Appliquer les méthodes développées à des scénarios réels dans des domaines tels que la santé et/ou les véhicules autonomes (perception).

- Master ou diplôme d'ingénieur en IA, informatique ou domaine similaire.
- Solide maîtrise de Python et PyTorch, connaissance des modèles vision-langage (CLIP, DINO...).
- Compétences en deep learning, fine-tuning, détection OoD et robustesse.
- Capacité à concevoir des expériences, analyser des résultats et rédiger des rapports scientifiques.
- Rigueur, autonomie et intérêt pour la recherche appliquée.