Doctorant Graphes de Connaissances et IA Neurosymbolique pour l'Analyse et Prediction du Comportement Exploratoire des Utilisateurs dans les Visualisations H/F - INRIA

A propos d'Inria

Inria est l'institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l'interface d'autres disciplines. L'institut fait appel à de nombreux talents dans plus d'une quarantaine de métiers différents. 900 personnels d'appui à la recherche et à l'innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'eorce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.

Doctorant F/H Graphes de connaissances et IA neurosymbolique pour l'analyse et prediction du comportement exploratoire des utilisateurs dans les visualisations

Type de contrat : CDD

Niveau de diplôme exigé : Bac +5 ou équivalent

Fonction : Doctorant

A propos du centre ou de la direction fonctionnelle

L'Inria est l'Institut national de recherche en sciences du numérique, dont le centre Inria d'Université Côte d'Azur fait partie. Avec une forte expertise en informatique et mathématiques appliquées, les projets de recherche du centre Inria d'Université Côte d'Azur touchent toutes les dimensions des sciences et technologies du numérique, et génèrent de l'innovation. Implanté principalement à Sophia Antipolis, mais également à Nice ou Montpellier, il regroupe 47 équipes de recherche et neuf services d'appui. Il est présent dans les domaines de l'intelligence artificielle, la science des données, la sécurité des systèmes informatiques, la robotique, l'ingénierie de réseaux, la prévention des risques naturels, la transition écologique, la biologie numérique, les neurosciences computationnelles, les données de santé... Le Centre Inria d'Université Côte d'Azur est un acteur majeur en termes d'excellence scientifique par les résultats obtenus et les collaborations tant au niveau européen qu'international.

Contexte et atouts du poste

L'objectif de cette thèse est de développer un cadre neuro-symbolique fondé sur les graphes de connaissances (GCs) pour modéliser et interpréter l'activité des utilisateurs, permettant ainsi l'extraction et le raffinement dynamique de schémas comportementaux exploratoires interprétables, susceptibles de servir de base solide à des systèmes de visualisation adaptatifs et assistés par l'IA.

L'activité de l'utilisateur désigne toute information décrivant un utilisateur au cours de sa session d'interaction avec un système de visualisation, que ce soit par le biais d'interactions avec le système, de capteurs capturant des données biométriques ou de déclarations de l'utilisateur [1], étude qui occupe une place centrale dans le domaine de recherche de la provenance analytique[2]. L'étude de l'activité de l'utilisateur facilite l'évaluation des systèmes de visualisation, la validation des résultats analytiques, la recommandation de vues ou de tâches adaptées, entre autres [3]. Elle est particulièrement pertinente dans les contextes exploratoires, où les utilisateurs naviguent dans des ensembles de données volumineux et complexes sans objectifs prédéfinis et s'appuient souvent sur plusieurs vues complémentaires pour découvrir des motifs dans les données et extraire de la connaissance. Le volume et la diversité croissants des données et des techniques de visualisation exigent des paradigmes d'interaction flexibles, permettant aux utilisateurs de construire leurs propres flux de travail exploratoires. Par exemple, le système de visualisation eSTIMe [4], qui servira d'étude de cas pour ce travail, permet aux utilisateurs d'instancier dynamiquement des techniques de visualisation et d'assembler des tableaux de bord adaptés à la tâche à accomplir. Bien que puissante, cette flexibilité est limitée par le temps et l'expertise restreints dont disposent les utilisateurs pour une configuration efficace [5].

Il a été démontré que les caractéristiques des utilisateurs influencent la manière dont ceux-ci interagissent avec les visualisations, ce qui a des répercussions sur la précision, la rapidité et l'attention [6], renforçant ainsi la nécessité de disposer de visualisations adaptatives à l'utilisateur. Cependant, ces systèmes restent rares car ils requièrent une expertise couvrant plusieurs sous-domaines de la visualisation, notamment l'identification des caractéristiques des utilisateurs, la conception de l'adaptation et la sélection des interventions [1]. Malgré des travaux importants sur la capture et la visualisation des traces d'activité des utilisateurs, les représentations existantes sont généralement propriétaires ou ad hoc [3], ce qui limite le raisonnement automatisé, l'interopérabilité et la réutilisation à long terme. Les modèles actuels n'offrent qu'une couverture partielle du problème et ne parviennent pas à fournir une solution unifiée et basée sur des normes. Les graphes de connaissances (GC), fondés sur les normes du Web sémantique telles que RDF, RDFS et OWL, offrent une alternative prometteuse pour représenter l'activité des utilisateurs sous forme de données liées et riches sur le plan sémantique. Ces structures interopérables permettent une modélisation, une intégration, une interrogation et un raisonnement standardisés sur les modèles d'interaction, et prennent en charge des recommandations adaptatives, interprétables et assistées par l'IA. Plus précisément, l'adaptation assistée par l'IA, conçue comme un dialogue interactif entre le système et l'utilisateur, peut aider à guider les utilisateurs vers une utilisation plus efficace des outils de visualisation tout en préservant leur autonomie. La concrétisation de cette vision nécessite des interfaces prenant en charge la personnalisation pilotée par l'utilisateur, combinée à des mécanismes permettant au système d'observer, d'interpréter et d'agir en fonction de l'activité de l'utilisateur de manière contrôlée et responsable.

Références bibliographiques

[1] F. Yanez, C. Conati, A. Ottley, and C. Nobre, The State of the Art in User-AdaptiveVisualizations,Computer Graphics Forum, 2024.
[2] C. North, R. May, R. Chang, B. Pike, A. Endert, G. A. Fink, and W. Dou, Analytic Provenance : Process + Interaction + Insight,29th Annual CHI Conference onHuman Factors in Computing Systems, CHI 2011, 2011.
[3] K. Xu, A. Ottley, C. Walchshofer, M. Streit, R. Chang, and J. Wenskovitch, Survey onthe Analysis of User Interactions and Visualization Provenance,Computer GraphicsForum, 2020.
[4] A.Menin,eSTIMe : a visualization framework for assisting a multi-perspective analysis of daily mobility data. PhD thesis, Grenoble UGA - Universit e Grenoble Alpes,Nov. 2020.
[5] S. Lall e and C. Conati, The role of user differences in customization : a case studyin personalization for infovis-based content, inProceedings of the 24th InternationalConference on Intelligent User Interfaces, 2019.
[6] A. Ottley, R. J. Crouser, C. Ziemkiewicz, and R. Chang, Manipulating and controllingfor personality effects on visualization tasks,Information Visualization, 2013.

Mission confiée

S'appuyant sur des travaux antérieurs (par exemple, DIVA-O, une ontologie OWL destinée à modéliser les interactions explicites des utilisateurs au sein des systèmes de visualisation [1], et des ensembles de données ouverts sur l'activité des utilisateurs [2]), cette thèse de doctorat vise à développer des modèles RDF et IA pour la visualisation adaptative, à travers les objectifs suivants :

- Modélisation sémantique de l'activité de l'utilisateur : Développer un cadre unifié, fondé sur des vocabulaires RDF, pour représenter l'activité multimodale de l'utilisateur sous forme de GC, y compris des méthodes permettant d'intégrer et de structurer les données hétérogènes générées lors de l'exploration visuelle, notamment les interactions de l'utilisateur, le suivi du regard et les verbalisation.
- Découverte et prédiction du comportement exploratoire de l'utilisateur : Étudier et mettre en oeuvre des méthodes d'exploration de règles pour extraire et prédire le comportement exploratoire à l'aide de GCs, en combinant le raisonnement symbolique et l'IA afin d'extraire des modèles et des règles interprétables.
- Réglage fin dynamique des règles et validation des modèles :Développer des méthodes pour le raffinement incrémental et adaptatif des règles comportementales pendant l'exploration, et évaluer leur qualité, leur interprétabilité et leurs capacités prédictives dans des scénarios réels.

Références bibliographiques

[1] A.Meninand C.Faron, DIVA : An Ontology-based Approach to Model User Activity within Visualization Systems, inSAC 2026 - 41st ACM/SIGAPP Symposiumon Applied Computing, 2026.
[2] S. Mohseni, A. Pachuilo, E. H. Nirjhar, R. Linder, A. Pena, and E. D. Ragan, AnalyticProvenance Datasets : A Data Repository of Human Analysis Activity and InteractionLogs, 2018

Principales activités

Activités principales :

- Revue de la littérature et analyse de l'état de l'art : Réaliser une revue exhaustive sur les études de provenance analytique, modélisation de l'activité des utilisateurs et méthodes d'IA neurosymbolique pour la découverte et prédiction de comportements à partir des données multimodales et dynamiques.
- Modélisation sémantique de l'activité des utilisateurs : Étendre l'ontologie DIVA-O afin de représenter l'activité utilisateur multimodale, en ajoutant des aspects d'observation (suivi du regard), interprétation de l'utilisateur et des constructions analytiques de niveau supérieur.
- Construction de graphes de connaissances :Dévélopper un pipeline de transformation de données hétérogènes sur l'activité utilisateur en GCs structurés, incluant l'intégration, l'enrichissement et l'alignement des données entre les sessions et les utilisateurs.
- Extraction de règles neurosymboliques : Développer des méthodes combinant le raisonnement symbolique et l'apprentissage automatique pour extraire des règles et des modèles comportementaux interprétables à partir de CGs, afin de permettre une découverte et une prédiction explicables du comportement exploratoire des utilisateurs.
- Évaluation et validation des modèles : Évaluer la qualité, l'interprétabilité et les capacités prédictives des modèles proposés à l'aide d'ensembles de données réels, en mettant l'accent sur leur capacité à saisir et à généraliser le comportement des utilisateurs.
- Diffusion des résultats : Publier les résultats lors de conférences internationales et dans des revues spécialisées en visualisation, ingénierie des connaissances, Web sémantique et IA, et contribuer aux ressources open source.

Activités complémentaires :

- Collaboration et supervision : Travailler en étroite collaboration avec l'équipe de recherche et contribuer à la supervision d'étudiants en master sur des sujets connexes.

Compétences

Compétences techniques et niveau requis :
Ingénierie des connaissances (modélisation par ontologies RDF/OWL, conception et exploitation de graphes de connaissances), IA neurosymbolique, bases solides en apprentissage automatique et raisonnement symbolique, manipulation de données (Python, SPARQL).

Langues :
Anglais (courant, écrit et oral), français (optionnel).

Compétences relationnelles :
Autonomie, rigueur scientifique, esprit d'analyse, capacité à travailler en équipe interdisciplinaire, bonnes compétences en communication écrite et orale.

Compétences additionnelles appréciées :
Connaissances en visualisation de données ou IHM, expérience avec des données multimodales (logs d'interaction, eye-tracking), intérêt pour les systèmes interactifs ou adaptatifs, expérience en développement logiciel et/ou open source.

Avantages

- Restauration subventionnée
- Transports publics remboursés partiellement
- Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
- Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
- Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
- Prestations sociales, culturelles et sportives (Association de gestion des oeuvres sociales d'Inria)
- Accès à la formation professionnelle
- Sécurité sociale

Rémunération

Pour un doctorant

Durée: 36 mois
Localisation: Sophia Antipolis, France
Rémunération brute mensuelle : 2300€