Thèse Quantification Généralisée de l'Incertitude dans l'Apprentissage Profond Bayésien H/F - Doctorat.Gouv.Fr

Établissement : Université Grenoble Alpes École doctorale : MSTII - Mathématiques, Sciences et technologies de l'information, Informatique Laboratoire de recherche : Laboratoire Jean Kuntzmann Direction de la thèse : Julyan ARBEL ORCID 0000000225254416 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-08-31T23:59:59 Le succès remarquable de l'apprentissage profond ne s'est pas accompagné d'une compréhension théorique tout aussi solide des incertitudes associées aux prédictions des modèles. Le Bayesian Deep Learning (BDL) offre un cadre probabiliste rigoureux pour la quantification des incertitudes en représentant les paramètres des modèles par des distributions a posteriori [1]. Toutefois, l'inférence bayésienne classique suppose que toute l'incertitude est entièrement décrite par une unique distribution a posteriori, confondant implicitement l'incertitude sur les paramètres du modèle avec la confiance accordée au modèle probabiliste sous-jacent. Des travaux récents sur les Sources of Uncertainty (SoU) proposent un cadre d'inférence généralisé qui dissocie explicitement ces deux notions au moyen de paramètres de confiance associés aux différentes sources d'incertitude, étendant ainsi le paradigme bayésien classique [2].
Cette thèse a pour objectif de développer les fondements mathématiques et les applications algorithmiques du cadre des Sources of Uncertainty pour le Bayesian Deep Learning. Plus généralement, elle s'inscrit dans le courant émergent de l'inférence bayésienne généralisée, qui étend les mécanismes de mise à jour bayésienne au-delà du posterior classique tout en préservant leurs fondements décisionnels [3-5]. L'objectif est de comprendre comment cette approche généralisée peut améliorer la fiabilité, l'interprétabilité et l'adaptabilité des modèles d'apprentissage profond, tout en apportant de nouvelles perspectives théoriques sur la dynamique de l'apprentissage et la quantification des incertitudes.

Le premier axe de recherche porte sur les fondements théoriques de l'inférence bayésienne généralisée. La thèse étudiera les propriétés statistiques et d'optimisation de l'inférence fondée sur les Sources of Uncertainty, établira des liens avec le Bayesian Deep Learning et la Singular Learning Theory (SLT) [6,7], et analysera l'influence des paramètres de confiance sur la concentration du posterior, les performances de généralisation et la géométrie des réseaux de neurones profonds [8].

Le deuxième axe de recherche concerne l'apprentissage continu bayésien (Bayesian Continual Learning) [9]. En combinant le cadre des Sources of Uncertainty avec des méthodes bayésiennes de parcimonie structurée, la thèse développera de nouvelles approches pour les réseaux de neurones bayésiens capables de distinguer les unités actives des unités dormantes, conduisant à des mécanismes adaptatifs de compromis entre stabilité et plasticité et à une meilleure limitation du phénomène d'oubli catastrophique (catastrophic forgetting). Au-delà des développements algorithmiques, ces travaux étudieront comment des représentations généralisées de l'incertitude peuvent guider l'allocation de la capacité des modèles tout au long d'un processus d'apprentissage continu.

Le troisième axe de recherche explore la prise de décision séquentielle dans le cadre des Sources of Uncertainty. Une première application concerne Thompson Sampling, l'un des algorithmes bayésiens de référence pour le compromis entre exploration et exploitation [10,11]. La thèse étudiera comment le cadre des Sources of Uncertainty permet de concevoir des variantes de Thompson Sampling intégrant explicitement des niveaux de confiance, ainsi que leurs garanties théoriques en termes de regret et leurs performances empiriques dans des problèmes d'apprentissage séquentiel. Reliable uncertainty quantification has become one of the central challenges of modern machine learning, particularly for scientific and safety-critical applications where predictive confidence is as important as predictive accuracy. Bayesian Deep Learning (BDL) provides a principled probabilistic framework by propagating uncertainty through posterior distributions over neural network parameters [1]. At the same time, recent developments in Singular Learning Theory (SLT) have considerably advanced the theoretical understanding of Bayesian inference in over-parameterized and singular statistical models, offering powerful tools to characterize the asymptotic behavior, posterior geometry, and generalization properties of deep neural networks [6,7]. Bayesian nonparametrics has also provided a rich theoretical framework for understanding uncertainty quantification in increasingly complex statistical models [8].

Despite these advances, the classical Bayesian paradigm assumes that a single posterior distribution fully captures all uncertainty involved in learning. More recently, the literature on generalized Bayesian inference has shown that Bayesian updating can be extended beyond the standard posterior while preserving principled decision-theoretic foundations [3-5]. Within this line of research, the recently proposed Sources of Uncertainty (SoU) framework explicitly distinguishes posterior uncertainty from confidence in the underlying probabilistic model, thereby introducing a richer representation of uncertainty than classical Bayesian inference [2]. This perspective raises new theoretical questions regarding posterior geometry, optimization, learning dynamics, and statistical guarantees, while simultaneously enabling new algorithmic developments in Bayesian Deep Learning.

The proposed PhD is embedded within the MIAI THUNDER project, whose first work package aims to establish the mathematical foundations of uncertainty quantification in deep learning and Bayesian neural networks. The thesis will contribute to this objective by developing the theoretical foundations of the Sources of Uncertainty framework, investigating its connections with Bayesian Deep Learning, generalized Bayesian inference, and Singular Learning Theory, and designing new uncertainty-aware learning algorithms. Particular emphasis will be placed on Bayesian continual learning [9] and Bayesian sequential decision making through Thompson Sampling [10] as representative application domains in which generalized uncertainty representations can substantially improve robustness, interpretability, and adaptability.

Qualifications requises

* Master (ou diplôme équivalent) en mathématiques appliquées, statistiques, informatique ou dans une discipline connexe.
* Solides connaissances en probabilités, statistique et optimisation.
* Bonne compréhension de l'apprentissage automatique (machine learning) et de l'apprentissage profond (deep learning).
* Maîtrise de la programmation en Python et d'au moins un framework moderne d'apprentissage profond (PyTorch de préférence).
* Bonne maîtrise de l'anglais, à l'écrit comme à l'oral.

Compétences appréciées

* Connaissances en statistique bayésienne ou en apprentissage automatique bayésien.
* Familiarité avec les modèles graphiques probabilistes, l'inférence variationnelle ou les réseaux de neurones bayésiens.
* Expérience en apprentissage par renforcement, apprentissage continu (continual learning) ou quantification des incertitudes.
* Intérêt pour l'analyse mathématique et les fondements théoriques de l'apprentissage automatique.
* Capacité à mener des travaux de recherche de manière autonome tout en s'intégrant dans une équipe de recherche interdisciplinaire.