Interaction à l’aide d’un Pad dans des Environnements de Réalité Mixte

Jury

• Maud MARCHAL, Professeure, INSA Université de Rennes – Rapportrice
• Thomas PIETRZAK, Professeur, Université de Lille – Rapporteur
• Ferran ARGELAGUET, Chargé de recherche, Inria Université de Rennes – Examinateur
• Céline COUTRIX, Directrice de recherche, CNRS Université Grenoble Alpes – Examinatrice
• Jean-Daniel FEKETE, Directeur de recherche, Inria Saclay – LISN – Examinateur

Résumé

Les environnements de Réalité Mixte (RM) intègrent des éléments virtuels dans l’espace physique de l’utilisateur, créant des expériences immersives où objets réels et contenus numériques coexistent. Cette distribution spatiale du contenu virtuel est riche, car elle permet d’afficher l’information là où elle prend son sens, mais elle complexifie aussi l’interaction avec les éléments virtuels disséminés dans l’environnement.

Cette thèse étudie l’utilisation d’un pad, une petite surface tactile, comme moyen d’interaction indirecte en RM. Elle explore la conception de pads opportunistes, créés à partir de surfaces existantes et s’appuyant uniquement sur les capteurs intégrés aux dispositifs de RM, notamment le suivi des mains. L’objectif est de faciliter et enrichir l’interaction en RM, avec une attention particulière portée aux scénarios de maintenance industrielle.

La première contribution étudie les techniques de Spatial Window Switching (SWS), qui permettent aux utilisateurs de localiser une fenêtre particulière parmi celles distribuées dans l’environnement. Nous concevons et évaluons des techniques reposant sur une vue d’ensemble des fenêtres sous forme de miniatures, reliées visuellement à leur position réelle. Les résultats montrent que ces techniques réduisent significativement le temps de recherche et les déplacements physiques, aidant ainsi les utilisateurs à localiser plus efficacement le contenu virtuel d’intérêt.

La deuxième contribution explore l’utilisation de la main non dominante comme support pour un pad toujours disponible, en exploitant uniquement le suivi des mains des dispositifs de RM. Trois stratégies d’ancrage sont évaluées : pad flottant à proximité de la main, aligné avec un objet plat tenu en main, ou directement sur la paume de la main. Les résultats montrent des performances similaires entre les approches, indiquant que le suivi des mains a atteint un niveau de maturité suffisant pour permettre l’utilisation de la paume comme surface tactile. Bien que ces pads soient moins performants qu’un écran capacitif, ils permettent de garder les deux mains libres et offrent des repères proprioceptifs et haptiques.

La troisième contribution, TriPad, introduit une technique permettant de transformer toute surface physique passive en pad interactif, en utilisant uniquement le suivi des mains. L’utilisateur pose sa main immobile sur la surface, puis effectue un “tap” en levant puis rebaissant la main. Le système reconnaît ce mouvement caractéristique et déduit le plan pour ancrer le pad à partir de la position des trois bouts de doigts au moment où la main était immobile. Nous validons la robustesse de TriPad sur différents types de surfaces (bois, verre, plâtre) et le comparons aux techniques d’interaction directe disponibles dans les dispositifs de RM. Les résultats montrent que TriPad offre un meilleur compromis entre vitesse et précision, notamment sur les surfaces horizontales où il réduit la fatigue et améliore le confort.

Pris ensemble, les techniques de Spatial Window Switching, les pads liés à la main et ceux ancrés sur des surfaces physiques ouvrent de nouvelles possibilités d’interaction indirecte en Réalité Mixte. Elles permettent de résoudre des problèmes d’accès, de confort et de précision propres aux interactions directes.

Cette thèse se conclut par une discussion sur les perspectives d’amélioration de ce paradigme d’interaction indirecte et son applicabilité dans les environnements industriels, en particulier pour la maintenance assistée par réalité mixte, où les techniciens peuvent bénéficier d’interactions plus efficaces et sûres.