Interaction Affective Multimodale

Les modalités de communication que nous étudions concernent principalement les informations visuelles (portées par le visage et le corps), tactiles, haptiques, verbales, auditives ou encore tangibles. Elles sont étudiées indépendamment ou en combinaison, de manière congruente ou non, à partir d’expressions statiques et dynamiques. L’étude de ces modalités perceptives s’ancre dans le champ de la cognition incarnée et vise à interroger des processus bas niveau (non réflexifs et automatiques) et haut niveau (réflexifs) dans l’intégration des informations pour la compréhension des actions, émotions ou états mentaux d’autrui, ou de la construction d’un modèle de situation. Dans le traitement informatique des interactions, cette distinction entre bas niveau et haut niveau se retrouve également dans les niveaux de descripteurs.

Processus bas niveau

Nous nous intéressons à la résonance motrice et à la contagion émotionnelle qui sont sous-tendus par des processus bas niveau lors de la perception d’autrui.

• Un des processus est celui d’anticipation automatique de la suite d’un mouvement naturellement en jeu lors de la perception du mouvement d’un objet, d’un corps ou d’un visage humain (Prigent et al., 2017, Dozolme et al., 2018). Nous nous interrogeons également sur la possible modulation de ce processus, notamment lors de la perception d’un mouvement social invitant ou non l’observateur à une interaction (en collaboration avec le laboratoire Structures Formelles du Langage, UMRUnité Mixte de Recherche 7023, Université Paris 8). 
• D’autres processus bas niveau étudiés concernent ceux impliqués dans le phénomène de mimétisme facial (Philip et al. 2017) et la manière dont les utilisateurs perçoivent des combinaisons d’expressions congruentes et incongruentes d’émotions sur différentes modalités (expressions faciales, postures, texte, …) (Martin et al. 2018).
• Dans le cadre de collaborations entre les groupes AMIArchitectures et modèles pour l'Interaction et CPUCognition Perception et Usages, nous interrogeons la perception de la combinaison de différents stimuli (tactiles, visuels et auditifs) (Tsalamlal et al. 2016, Gaffary et al. 2018) et également en quoi les modalités d’interaction (haptique, tactile, tangible) avec des dispositifs favorisent la construction d’une représentation spatiale (Arnaud et al., 2016, Bellik & Clavel, 2016, 2017).

Processus haut niveau

Les processus haut niveau étudiés relèvent plus de l’expérience utilisateur ou encore des sentiments de présence ou d’immersion étudiés dans le cadre d’interaction avec des dispositifs de réalité virtuelle.

• Cela s’est traduit dans la thèse de Mehdi Boukhris (2012-15) par la question de la fidélité perçue d’un clone virtuel interrogeant notamment les informations nécessaires pour assurer un degré de fidélité élevé entre un agent virtuel et son référent réel lors de l’expression d’émotions.(lien vers la thèse sur HAL)
• Depuis 2017, dans le cadre de la thèse de Delphine Potdevin (2017-2020), nous étudions comment les modalités d’interaction avec un agent conversationnel animé peuvent jouer sur différentes dimensions de l’expérience utilisateur : intimité perçue, image de l’entreprise, etc.(lien vers la thèse sur HAL)
• En collaboration avec le groupe ILES, nous cherchons à produire un agent virtuel communiquant par Langue des Signes Française (LSF) qui soit accepté par des individus sourds signeurs mais aussi compréhensible. Ainsi, la thèse de Felix Bigand (2018-2021) financé par le projet ROSETTA, nous permettra d’explorer également les processus cognitifs haut et bas niveaux en jeu lors de la perception d’un mouvement moteur utilisé cette fois-ci dans le cadre d’une langue à part entière qui est la LSF.(lien vers la thèse sur HAL)