Réalité étendue pour le patrimoine culturel : Annotation et interaction à distance pour l’archéologie et la muséologie

Jury

• Ronan QUERREC Rapporteur & Examinateur Professeur, Centre Européen de Réalité Virtuelle École nationale d’ingénieurs de Brest
• Livio DE LUCA Rapporteur & Examinateur, Directeur de recherche, MAP – UPR CNRS 2002 Université Aix-Marseille
• Anastasia BEZERIANOS Examinatrice, Professeure, Polytech, Université Paris-Saclay
• Daniela PETRELLI Examinatrice, Full professor, Politecnico di Milano & Sheffield Hallam University
• Maria ROUSSOU Examinatrice, Associate Professor, National and Kapodistrian University of Athens
• Adalberto SIMEONE Examinateur, Associate Professor, KU Leuven

Invités

• Jean-Baptiste HOUAL, ENS, AOROC
• Thomas BONTEMS, NOOVAE

Résumé 

Au fur et à mesure de la croissance et de la diffusion de la technologie de la réalité mixte, le nombre des domaines d’applications augmente. Dans le domaine de l’archéologie et du patrimoine culturel, le travail assisté par ordinateur, la réalité augmentée et la réalité virtuelle peuvent accroître l’impact visuel et l’immédiateté de l’interaction avec un site, un artefact ou avec d’autres experts, leur permettant de visiter des sites inaccessibles ou détruits.

L’objectif de cette recherche est de soutenir les différentes étapes impliquées dans le travail sur des sites d’intérêt culturel ou archéologique, depuis les activités initiales de reconstruction et d’analyse par des experts, jusqu’à la présentation finale au grand public comme dans des musées, des activités qui pour certaines sont également censées être distantes, multi-utilisateurs voire collaboratives.

Les principales exigences en matière d’assistance aux experts sont apparues lors de sessions d’atelier avec des archéologues de l’AOROC (Archéologie et Philologie d’Orient et d’Occident) et ont conduit à la conception et à l’implémentation d’une plateforme visant à faciliter leur travail quotidien, en relevant les défis du traitement de grands ensembles de données, en fournissant des méthodes de visualisation et d’interaction efficaces, en permettant aux experts d’explorer des hypothèses non conventionnelles ou précédemment négligées et en permettant la collaboration à distance.

Cette recherche adopte un paradigme de réalité virtuelle (RV) pour l’annotation archéologique, permettant une exploration et une visualisation contextuelles à plusieurs niveaux et évaluant les techniques d’interaction les mieux adaptées aux scènes archéologiques densément encombrées.

En complément de l’assistance aux experts, le deuxième défi consiste déterminer comment mettre les nouvelles connaissances à la disposition du grand public. Il s’agit de réfléchir à comment présenter un site d’intérêt de la façon la plus captivante possible en exploitant le potentiel de la réalité étendue (RE). Les cas d’utilisation et les scénarios ont été discutés en collaboration avec NOOVAE, une entreprise spécialisée dans la reconstruction en 3D et le rendu cinématographique de sites importants du point de vue du patrimoine culturel. Les aboutissements ont principalement encouragé l’étude des visites guidées à distance en RE. Ce travail de thèse a développé et exploré des perspectives innovantes dans ce domaine avec une seconde plateforme, destinée au grand public. L’une des principales considérations était de savoir comment fusionner efficacement des éléments de l’espace physique avec des éléments des environnements virtuels, de manière progressive et incrémentale, en suivant différentes gradations sur le continuum réalité-virtualité de Milgram et Kishino, afin d’évaluer quelle approche est la plus adaptée aux environnements muséaux ou aux visites sur site, sans négliger pour autant le soutien au travail d’experts.

De plus, pour prendre en charge la navigation basée sur la téléportation avec les applications de réalité mixte pour le patrimoine culturel, une nouvelle métaphore du portail est proposée et constitue la pierre angulaire de notre approche. La métaphore proposée vise à assurer une navigation cohérente entre virtuel et physique, tout en considérant la question des tailles variables et des petits espaces de travail des utilisateurs

Abstract

As the growth and diffusion of mixed reality technology progresses, its number of application fields increases. In the field of Archaeology and Cultural Heritage, computer assisted work, augmented and virtual reality can increase the visual impact and the immediacy of the interaction with a site, an artefact, or with other fellow experts, enabling virtual exploration of sites that are otherwise inaccessible or no longer exist.
This research work aims to support the various stages involved in working at a site of cultural or archaeological interest, from the initial reconstruction and analysis work-flow for experts to the end-stage presentation for a general audience such as in museum, activities that for some are also supposed to be remote, multi-user even collaborative.
The main requirements for expert support emerged during workshop sessions with archaeologists at AOROC (Archéologie et Philologie d’Orient et d’Occident) and led to the design and implementation of a platform aimed at facilitate their daily work, addressing the challenges of handling large datasets efficiently, providing effective visualisation and interaction methods, allowing experts to explore previously overlooked, non-conventional hypotheses and enabling remote collaboration.
This work adopts a Virtual Reality (VRVirtual Reality) paradigm to archaeological annotation, allowing multi-level contextual exploration and visualisation and assessing the best suited interaction techniques for densely cluttered archaeological scenes.
In addition to the assistance for experts, the second challenge is how to make the new knowledge available to a general public. This involves a reflection on how to present a site of interest in the most captivating manner, leveraging the potential of eXtended Reality (XR). The use cases and scenarios were discussed in collaboration with NOOVAE, an enterprise specialised in 3D reconstruction and cinematic rendering of sites of cultural heritage importance. The outcomes mainly encouraged investigating remote-guided visits in XR.
This thesis work developed and explored innovative perspectives in this domain with a second platform, intended for a general public. A key consideration was how to effectively merge elements from the physical space with elements from the virtual environments, in a progressive and incremental way, following different gradations on Milgram and Kishino’s Reality-Virtuality Continuum, to assess which approach better serves museum environments or on-site visits, without simultaneously disregarding the support for expert work.
Moreover, to support teleportation-based navigation with Mixed Reality for Cultural Heritage applications, a new Portal metaphor has been designed to serve as a cornerstone of our approach. The proposed metaphor aims to ensure a coherent navigation between virtual and physical spaces, while addressing the issue of variable sizing and small users’ workspaces.

Lieu

Salle des conférences du 507