Doctorat Liage d'Entités Multimodal H/F - CNRS

Depuis le milieu des années 2000, un effort de recherche important s'est porté sur le liage d'entités textuel qui consiste à développer des systèmes capables 1- de repérer dans des textes des mentions d'entités (mots ou suites de mots désignant des personnes, des lieux, des organisations, des composés chimiques...), 2- de générer toutes les entités candidates possibles pour chaque mention au sein de la base considérée, et, enfin, 3- de déterminer l'entité, parmi ses candidates, correspondant réellement à chaque mention du texte. Malgré les très bonnes performances des approches neurales récentes, cette tâche complexe n'est pas encore complètement résolue, en particulier dans des cas d'ambiguïté difficile à résoudre. Beaucoup plus récemment sont apparus des travaux abordant le liage d'entités dans un cadre multimodal, cherchant à exploiter conjointement les modalités visuelle et textuelle présentes dans des textes accompagnés d'images et des bases de connaissances enrichies elles aussi d'images, afin de faciliter la désambiguïsation. La thèse se situe dans ce cadre de liage d'entités multimodal et a pour objectif, en étudiant certaines questions insuffisamment ou non traitées jusqu'à présent, de faire avancer l'état de l'at de ce domaine encore jeune. Dans un premier temps, nous étudierons des méthodes visant à accroître la précision de la phase de génération des entités candidates pour une mention donnée. Dans un second temps nous aborderons concerne la fusion multimodale, avec pour objectif de proposer de nouvelles solutions. Troisièmement, exploiter pleinement les bases de connaissances à disposition est un défi majeur, sur lesquelles les
recherches déjà menées se sont très peu penchées. Ceci concerne en particulier l'exploitation de leur structure,
c'est-à-dire des relations existant entre les entités.

Cette thèse se déroulera dans le contexte de l'ANR AGAPE, coordonnée par l'IGN, qui a pour objet de rassembler dans une plateforme unique des contenus et données culturels et patrimoniaux en lien avec un jumeau numérique de la France bâti par l'IGN. Dans ce projet, il conviendra notamment de placer dans le jumeau des documents (photos, vues aériennes...) enrichis par des annotations de documentalistes, mais parfois avec un niveau de précision trop faible pour précisément les géolocaliser, ce qui est source d'ambiguïté. Le travail de recherche se verra donc appliqué dans un cas d'usage réel, grande échelle. La participation de collègues spécialistes, de l'IGN, des Archives Nationales, permettra de comprendre la nature de ces entités, mentions et des bases de connaissances particulières, qu'il sera possible de mettre en perspective des éléments plus habituellement utilisés pour la validation de contributions scientifiques dans la communauté TAL.
Contexte de travail
Le poste proposé se situe sur le campus de Beaulieu à Rennes. L'IRISA est aujourd'hui l'un des plus grands laboratoires de recherche français (plus de 850 personnes) dans le domaine de l'informatique et des technologies de l'information. Structuré en sept départements scientifiques, l'IRISA est un laboratoire d'excellence dont les priorités scientifiques sont la bioinformatique, la sécurité des systèmes, les nouvelles architectures logicielles, la réalité virtuelle, l'analyse des big data et l'intelligence artificielle. Tourné vers l'avenir de l'informatique et nécessairement tourné vers l'international, l'IRISA est au coeur même de la transition numérique de la société et de l'innovation au service de la cybersécurité, de la santé, de l'environnement et de l'écologie, des transports, de la robotique, de l'énergie, de la culture et de l'intelligence artificielle.