Thèse Modèles Génératifs Sous Contraintes H/F - Doctorat.Gouv.Fr

Établissement : Institut Polytechnique de Paris École polytechnique
École doctorale : Mathématiques Hadamard
Laboratoire de recherche : CMAP - Centre de Mathématiques appliquées
Direction de la thèse : Luiz CHAMON ORCID 0000000177316650
Début de la thèse : 2026-11-02
Date limite de candidature : 2026-10-30T23:59:59

Les modèles génératifs, tels que les modèles de diffusion, produisent des échantillons en transformant progressivement du bruit en données complexes, comme des images ou des molécules. De nombreuses applications exigent toutefois des échantillons possédant des propriétés supplémentaires, comme la cohérence avec des mesures pour les problèmes inverses (inpainting, super-résolution, tomographie) ou des exigences sémantiques en génération sous contraintes. Les méthodes actuelles entraînent un modèle conditionnel ou ajoutent une dérive supplémentaire (guidage) à un modèle pré-entraîné. Ces approches nécessitent des données d'entraînement supplémentaires, sont limitées dans le type et le nombre d'exigences qu'elles peuvent imposer, et sont sensibles aux hyperparamètres. Ce projet vise à surmonter ces difficultés grâce à l'échantillonnage sous contraintes, en formulant le problème comme l'échantillonnage d'une distribution proche du modèle pré-entraîné qui satisfait un ensemble de contraintes de moments généralisés. S'appuyant sur les résultats de (Chamon et al., NeurIPS 2024), ce projet développe des algorithmes d'échantillonnage sous contraintes pour les modèles de diffusion, analyse leurs propriétés de convergence et les applique à des problèmes inverses en traitement d'images, en sciences et en ingénierie. Le résultat attendu est un cadre sans entraînement, doté de garanties théoriques, pour contrôler des modèles génératifs pré-entraînés.

Diffusion and flow matching models [1-3] generate samples by iteratively refining noise, for instance through a reverse diffusion process. They can be seen as parametrizing the drift of a Langevin process, typically by training a neural network to approximate the score of a target distribution. There is growing interest in conditioning these processes, driven by, e.g., inverse problems (inpainting, super-resolution, tomography). Current approaches either trains a new model to sample directly from the conditional distribution or uses Bayes' rule to decompose the conditional score into an unconditional score plus a correction term (guidance). The latter is obtained in closed form from a measurement model or by fine-tuning [4-8]. These approaches require additional training data and compute, are limited in the type and number of requirements they can impose, and are sensitive to hyperparameters. Meanwhile, recent work showed that constrained sampling problems can be solved in the MCMC setting by adapting primal-dual methods to Wasserstein spaces [9]. Together with new convergence results for score-based models [10-12], these advances open the way to the rigorous development and analysis of constrained generative models.

This project aims to develop and analyze constrained sampling methods for pretrained generative models. The resulting algorithms should not require retraining of the generative models and should accomodate multiple simultaneous requirements from a wide range of types. A detailed analyzes of the proposed methods will be carried out to determine conditions under which constraint satisfaction can be guaranteed.

This project will extend the techniques from [9] to generative models (e.g., diffusion, flow matching), exploring theoretical and practical aspects of this approach. It will begin working on algorithm development using duality and gradient descent-ascent methods. It will proceed by analyzing these algorithms to establish conditions under which we can expect dual convergence (leveraging developments from [9]) and (potentially) sample feasibility guarantees (leveraging recent advances from [10-12]). Of particular interest will be the use of these techniques to tackle inverse problems in image/audio processing, scientific applications, and engineering.

Le candidat doit être titulaire d'un diplôme de master (ou équivalent) en mathématiques, en informatique ou dans un domaine connexe, et posséder de bonnes bases en processus stochastiques (notamment en chaînes de Markov) et en optimisation (sous contraintes) (notamment en dualité). Une connaissance du transport optimal, du Monte Carlo par chaînes de Markov (MCMC) et des espaces de Wasserstein est un atout, mais n'est pas obligatoire. Le candidat devra également posséder des compétences solides en programmation en Python et PyTorch, ainsi qu'une expérience dans l'entraînement et l'évaluation de réseaux de neurones. Un intérêt pour les applications en traitement du signal et de l'image est le bienvenu, tout comme une maîtrise de l'anglais à l'écrit et à l'oral.