Doctorant Vers des Modèles de Diffusion Efficaces H/F - INRIA

A propos d'Inria

Inria, l'institut national de recherche dans les sciences et technologies du numérique, est en appui de l'État pour les stratégies nationales de recherche et d'innovation du numérique en tant qu'Agence de programmes. Inria mène plus de 300 projets de recherche et d'innovation avec ses 3500 scientifiques, ingénieurs et personnels d'appui, en partenariat avec les universités et l'écosystème numérique (entreprises, entrepreneurs, acteurs publics). Ensemble, nous explorons des domaines clés comme l'intelligence artificielle, la cybersécurité, l'informatique quantique, le Cloud, la transformation numérique de la santé, les jumeaux numériques ou encore les technologies numériques pour la défense. Nous construisons des solutions concrètes telles que des logiciels, des startups technologiques, des partenariats avec les entreprises du tissu national et des formations de pointe. Notre objectif : l'impact scientifique, technologique et industriel au service de la souveraineté numérique de la France.

Doctorant F/H Vers des modèles de diffusion efficaces

Type de contrat : CDD

Niveau de diplôme exigé : Bac +5 ou équivalent

Fonction : Doctorant

A propos du centre ou de la direction fonctionnelle

Le centre Inria de Lyon est le 9ème centre de recherche Inria. Créé en janvier 2022, il regroupe environ 410 personnes au sein de 20 équipes de recherche et des services supports à la recherche.

Ses équipes sont localisées à Villeurbanne, à Lyon Gerland,Lyon Bronainsi qu'à Saint-Etienne.

Le centre de Lyon est présent dans les domaines du logiciel, du calcul distribué et haute performance, des systèmes embarqués, du calcul quantique et de respect de la vie privée dans le monde numérique, mais aussi de la santé et de la biologie numériques.

Mission confiée

Les modèles génératifs sont devenus un paradigme central de l'intelligence artificielle moderne, permettant des avancées remarquables dans la production de texte, d'images, de sons et d'autres données complexes. Cependant, les différentes modalités ont historiquement conduit à des approches distinctes de la modélisation générative. Pour les données discrètes telles que le texte, les modèles autorégressifs se sont imposés comme le paradigme dominant : ils génèrent les échantillons de manière séquentielle en modélisant une factorisation de la distribution des données. À l'inverse, pour les données continues telles que les images, les modèles de diffusion et les approches par flow matching ont connu un succès remarquable en apprenant une transformation globale entre des distributions de bruit simples et la distribution des données. Ces approches reposent sur des mécanismes de génération fondamentalement différents et donc des biais inductifs différents.

Cette perspective soulève plusieurs questions fondamentales.

- Quelles sont les différences de biais inductif et de créativité entre les modèles autorégressifs et les modèles de diffusion discrète, et ces différences se traduisent-elles par des formes différentes de diversité des données générées ? Les deux paradigmes peuvent-ils être réunifiés au sein d'un cadre théorique et algorithmique commun ?
- Certains aspects des approches discrètes et continues peuvent-ils être combinés afin de tirer le meilleur des deux mondes ? Comment les techniques d'alignement telles que l'apprentissage par renforcement à partir de retours humains peuvent-elles être adaptées à une génération itérative et non autorégressive ?
- Enfin, les avancées récentes dans les formulations continues des modèles génératifs discrets peuvent-elles fournir de nouveaux outils pour concevoir des modèles génératifs en peu d'étapes plus efficaces pour les données discrètes, par flow-map distillation ?

Cette thèse explorera ces questions à l'intersection de la modélisation générative discrète, des méthodes de diffusion et des méthodes de flow matching.

Principales activités

Principales activités :

• developpement de nouvelles méthodes de génération pour les données discrètes
• écriture d'articles scientifiques
• dissémiantion des travaux via la diffusion de code open source
• communication orale dans des congrès

Compétences

Compétences techniques et niveau requis : master en machine learning, expérience en programmation Python (si possible open source), rigueur scientifique

Langues : anglais scientifique écrit et parlé

Compétences relationnelles : intégration dans une équipe de recherche, interactions avec les autres doctorants et permanents, travail collaboratif, autonomie

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés : 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (90 jours par an flottants) et aménagement du temps de travail
• Prestations sociales, culturelles et sportives (Association de gestion des oeuvres sociales d'Inria)
• Accès à la formation professionnelle
• Mutuelle et prévoyance avec participation employeur

Rémunération

2300€/bruts par mois.