CDD Doctorant Manipulation Sécurisée d'Objets Déformables avec des Préhenseurs Dextres Assistés par Vision H/F - CNRS

Description du Poste Sujet De Thèse Au CNRS, sur le site du Futuroscope, l'Institut PPRIME, en collaboration avec l'INRIA de Rennes, dans le cadre d'un projet PEPR - O2R, recrute un doctorant ou une doctorante pour étudier la manipulation sécurisée et adaptative d'objets déformables à l'aide de préhenseurs multi-digitaux opérant à différentes échelles, en s'appuyant sur une perception multimodale combinant vision et mesures d'effort.1- SUJET DE THESE :------------------------------------Les défis de cette thèse portent sur la manipulation sécurisée et adaptative d'objets déformables à l'aide de préhenseurs multi-digitaux opérant à différentes échelles, en s'appuyant sur une perception multimodale combinant vision et mesures d'effort. L'objectif est de développer, à partir des plateformes TIRREX XXL et TIRREX TRIAGo, une stratégie unifiée de préhension et de manipulation applicable en configurations mono-bras et multi-bras, permettant la saisie, le transfert et le déplacement d'objets souples.Cette stratégie s'appuiera sur l'estimation dynamique de l'état de déformation de l'objet déformable saisi pour adapter en temps réel le comportement et le contrôle des préhenseurs.Les travaux incluront également des scénarios de co-manipulation impliquant soit plusieurs robots, soit un robot et un humain, afin d'analyser les synergies possibles et les mécanismes d'adaptation nécessaires. Enfin, la qualité de l'interaction humain-robot sera évaluée à travers des méthodologies centrées utilisateur pour optimiser l'ergonomie, la transparence de l'assistance et l'efficacité perçue de la manipulation partagée.2- PROJET ET CONTEXTE SCIENTIFIQUE :-------------------------------------------------------------La manipulation d'objets rigides a été largement développée dans la littérature et est en partie résolue lorsque les objets sont clairement définis et identifiés (Seguin et al., 2023). En revanche, la manipulation robotique d'objets déformables - tissus, matériaux souples, feuilles, etc. - reste un domaine de recherche central en raison de la complexité de l'état de l'objet (formes variées, déformations continues, nombreux degrés de liberté) et des dynamiques d'interaction non linéaires. Les approches classiques, basées sur des modèles rigides ou une planification statique, montrent leurs limites dès que l'objet subit des déformations importantes ou qu'il y a des occlusions visuelles.Récemment, plusieurs études ont apporté des contributions significatives. Le cadre Foldsformer (Mo et al., 2023) exploite un mécanisme d'attention spatio-temporelle pour planifier des manipulations de textiles en décomposant séquentiellement la tâche, permettant une généralisation réussie à différentes formes de tissus (T-shirt, shorts) après une simple démonstration générale. Nicola et al. (2024) ont montré qu'il était possible d'estimer l'état de déformation d'un matériau souple à partir d'une image de profondeur via un réseau de neurones convolutif (DenseNet-121), et d'utiliser cette estimation pour contrôler le robot en temps réel. Ces approches illustrent le passage d'une modélisation explicite des matériaux souples à une perception basée sur les données, plus flexible et robuste face à la variabilité des formes. D'autres travaux explorent l'adaptation du contrôle et l'exploitation du comportement dynamique du matériau : les approches par contrôle prédictif (MPC) (Qi et al., 2024) ou par contrôle adaptatif (Zimmermann et al., 2021) permettent d'anticiper les déformations futures et d'ajuster les commandes du robot en conséquence, une direction prometteuse pour garantir la stabilité et la réactivité dans des tâches complexes. Par ailleurs, Ha & Song (2022) ont démontré que des actions dynamiques (attraper, étirer, lancer) avec deux bras robotiques permettent de déployer rapidement même de grands tissus, étendant la portée physique du robot et soulignant l'intérêt des gestes dynamiques pour la manipulation d'objets déformables. Les travaux développés dans Deng et al. (2024) lient la perception visuelle, des instructions exprimées en langage naturel et des stratégies de manipulation de matériaux déformables. Les robots peuvent ainsi exécuter différentes tâches (plier, tirer, repositionner) à partir d'instructions humaines non ambiguës. Ces recherches ouvrent la voie à la manipulation d'objets souples par des systèmes interactifs et centrés sur l'utilisateur, capables de comprendre des objectifs de haut niveau. Récemment, l'équipe Rainbow de l'Inria (Rennes) a proposé une approche rapide d'asservissement visuel de forme utilisant le retour d'une caméra RGB-D et basée sur un modèle physique élastique par méthode des éléments finis (FEM), dont les paramètres sont approximés de manière grossière (Ouafo Fonkoua et al., 2024). Cette méthode permet de piloter de manière autonome des points cibles à la surface d'un objet déformable volumique vers des positions 3D souhaitées en moins de 4 secondes, avec l'avantage de ne pas reposer sur l'hypothèse d'équilibre quasi-statique de la déformation de l'objet, généralement considérée dans l'état de l'art. Malgré ces avancées, plusieurs défis restent ouverts : l'estimation fiable de l'état complet du matériau en présence d'occlusions, la généralisation entre différents matériaux, la co-manipulation humain-robot dans des contextes dynamiques et imprévisibles, ainsi que l'intégration de mains robotiques multifingers adaptatives, capables de moduler et d'adapter la prise en fonction de la déformation.Pour relever ces défis, les systèmes futurs devront combiner perception multi-capteurs (vision, profondeur, effort, contact), modèles et contrôleurs adaptatifs.3- OBJECTIFS ET MÉTHODOLOGIE :-------------------------------------------------------------Dans cette thèse, nous proposons d'exploiter l'utilisation de préhenseurs robotiques multidigitaux à différentes échelles pour développer une stratégie de préhension et d'interaction capable de comprendre et d'anticiper la déformation du matériau manipulé à partir d'une perception multimodale. L'approche proposée s'appuie principalement sur la vision et l'évaluation des forces d'interaction, utilisées à la fois pour estimer l'état de déformation, détecter les zones de contact pertinentes et ajuster en continu la dynamique de manipulation. L'objectif est de permettre des interactions autonomes, flexibles et fiables avec une large variété d'objets souples, en intégrant perception, adaptation morphologique et contrôle actif au sein d'un cadre unifié de contrôle robotique dédié à la préhension et à la co-manipulation dextre.La thèse se concentrera plus particulièrement sur l'étude des méthodes pour caractériser, à partir des mesures acquises par le système robotique (position, effort, vision), le comportement mécanique de l'objet souple sous l'action des mains robotiques multidigitaux. Elle inclura également le développement d'une méthode de préhension autonome des objets, avec optimisation des points de contact robot/objet, permettant au robot de sélectionner dynamiquement les emplacements de préhension les plus efficaces pour maximiser la maniabilité dans la tâche de mise en forme de l'objet souple. Une stratégie de contrôle multimodale sera développée, basée sur les données RGB-D (couleur et profondeur) et les mesures d'effort de contact fournies par les mains robotiques multidigitaux. Enfin, une validation expérimentale des développements sera menée sur les plateformes TIRREX XXL et TIRREX TRIAGo. 4- COMPÉTENCES :-----------------------------------Le candidat ou la candidat(e) doit avoir un excellent parcours académique et être titulaire d'un master (ou équivalent) en robotique et vision par ordinateur et devra également posséder les compétences suivantes :- Solides connaissances en robotique ;- Expérience en vision par ordinateur, robots physiques ou simulation 3D ;- Excellentes compétences en programmation C++ ;- Maîtrise écrite et orale de l'anglais ;- Capacité à mener des validations expérimentales ;- Aptitude à travailler de manière autonome ainsi qu'en collaboration.Skills/Requirements Votre Environnement de Travail Cette thèse sera financée par le PEPR O2R, et plus particulièrement par l'Action Structurante 2. Elle sera co-dirigée par des chercheurs du laboratoire PPRIME-CNRS (Poitiers, France) et de l'Inria (Rennes, France) :Le poste est à temps plein pour une durée de 3 ans et sera divisé en deux périodes de 18 mois.- La première période, le/la doctorant(e) sera basé(e) au sein de l'équipe Rainbow de l'Inria à Rennes, en France. - La deuxième période, il/elle sera basé(e) dans l'équipe RoBioSS au PPRIME-CNRS au Futuroscope, en France. Contraintes et risques Des déplacements de courte durée, en France et à l'étranger, sont à prévoir. Rémunération et avantages Rémunération La rémunération est d'un minimum de 2300,00 € mensuel Congés et RTT annuels 44 jours Pratique et Indemnisation du TT Pratique et indemnisation du TT Transport Prise en charge à 75% du coût et forfait mobilité durable jusqu'à 300€ À propos de l'offre Référence de l'offre UPR3346-NADMAA-168 Section(s) CN / Domaine de recherche Mécanique des solides. Matériaux et structures. Biomécanique. Acoustique À propos du CNRS Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d'associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement. Le CNRS Les métiers de la recherche