TLP

Dimensions affectives et sociales des interactions parlées avec des (ro)bots et enjeux éthiques

Membres : Laurence Devillers, Gilles Adda, Claude Barras, Eric Bilinski (ASARD), Caroline Etienne, Joseph Mariani, Sophie Rosset (ILES), Ioana Vasilescu

Les activités autour du thème « Dimensions affectives et sociales des interactions parlées avec des (ro)bots et enjeux éthiques» ont été concentrées sur trois axes

  • la robustesse de la détection des émotions à partir d’indices paralinguistiques et l’utilisation de ces systèmes dans les interactions avec des robots,
  • l’interaction affective avec des machines en utilisant des théories en linguistique sur l’interaction, en sociologie sur les rites sociaux, en psychologie cognitive sur les modèles d’évaluation et la théorie des états mentaux,
  • le besoin de réflexions éthiques autour de la modélisation affective et le pouvoir de manipulation par les machines vocales (chatbot, robots sociaux, objets vocaux connectés) dans la société.

Les sujets de recherche principaux sont la perception et l’interprétation des signaux émotionnels et sociaux en contexte dans l’interaction orale avec des bots ou des robots.

La détection des émotions est effectuée à partir d’indices non verbaux principalement acoustiques alliés à la détection d’indices linguistiques. Les performances des modèles (SVM, réseaux de neurones, deep learning) et leur pouvoir de généralisation dépendent de la qualité et quantité des données d’entraînement. Notre travail de recherche sur les émotions est fondé sur l’utilisation de matériel spontané « real-life ». L’équipe a collecté et analysé un grand nombre de bases de données dans différents contextes permettant des études cross-corpus : dans des centres d’appels pour des consultations financières, des appels d’urgence médicale ou encore lors d’interactions humain-robot avec des personnes âgées dans des maisons de retraite. Les expressions émotionnelles sont extrêmement variables d’un individu à l’autre, d’une situation à l’autre. Nous étudions ces facteurs de variabilité (âge, sexe, tâche, personnalité, santé, lieu, rôle, etc.) et comparons différentes approches d’apprentissage dans l’interaction robotique. L’utilisation des robots conversationnels est assez récente et peu contextualisée.

Nous visons à former des machines intelligentes capables de traiter des dimensions affectives et sociales dans l’interaction avec des humains en contexte dans un espace physique et social. Dans l’interaction, un profil de l’utilisateur est construit dynamiquement à partir du comportement expressif non verbal détecté et du contexte pendant l’interaction. Ce profil est utilisé pour modifier le comportement de la machine qui s’adapte ainsi à l’utilisateur. Le rôle de l’humour dans l’interaction humain-machine a fait l’objet de travaux récents. Des tests ont été menés auprès de personnes âgées pour des applications de robots compagnons avec les robots Pepper et Nao à l’hôpital Broca et dans des EHPAD avec des gérontologues et des ergothérapeutes dans le cadre de deux projets JOKER et ROMEO2. Nous avons monté le projet EU-Chistera JOKER (2013-2018) et participé au projet BPI ROMEO2 (2013-17), qui faisait suite au projet FUI ROMEO.

Cinq thèses ont été soutenues dans cette période sur des sujets autour des interactions émotionnelles

  • C. Chastagnol (Reconnaissance automatique des dimensions affectives dans l’interaction orale homme-machine pour des personnes dépendante) en 2013,
  • A. Delaborde (Modélisation du profil émotionnel de l’utilisateur dans les interactions parlées Humain-Machine) en 2013,
  • M. Soury (Détection multimodale du stress pour la conception de logiciels de remédiation) en 2014,
  • F. Yang (Détection de marqueurs affectifs et attentionnels de personnes âgées en interaction avec un robot) en 2015 et
  • L. Béchade (L’humour dans les interactions sociales homme-robot) en 2018.

Ethique

Des travaux sur l’éthique de la conception de ces systèmes doués d’intelligence artificielle sont en cours à la fois sur la transparence et explicabilité des approches d’apprentissage “deep learning” mais aussi sur le pouvoir de manipula­tion dans l’interaction avec des machines affectives.

Nous sommes impliqués dans le comité de réflexion sur l’éthique de la recherche en numérique CERNA d’Allistène. Plusieurs rapports ont été produits sur l’éthique de la recherche en robotique, sur l’éthique de la recherche en apprentissage machine. Des recherches en philosophie des sciences sont également menées en collaboration avec des philosophes de Sorbonne Université.

Par ailleurs, l’équipe a été impliquée dans l’ISN sur le pôle coévolution humain-machine3 pour mener des recherches interdisciplinaires avec des sociologues et des juristes (ISN T2R (2015-2016), ISN IHR (2015-2016)). Nous avons actuellement un nouveau projet financé par l’institut de convergence interdisciplinaire de Paris-Saclay DATAIA4 sur la manipulation incitative par les machines affectives (Bad Nudge, Bad Robot) avec des économistes et nous sommes impliqués dans IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems et en charge d’un groupe de réflexion P7008 sur les standards et normes autour du “nudging”. Un axe transversal “ALLIÉ: Alliance entre Langue, Linguistique, Interaction affective humain-machine et Éthique” a d’ailleurs été proposé sur ce sujet au département CHM du LIMSILaboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur, créé en 1972 et dont les équipes ont rejoint celles du LRI en 2021 pour fonder le LISN..

Des travaux sur l’éthique de la conception de ces systèmes doués d’intelligence artificielle sont en cours à la fois sur la transparence et explicabilité des approches d’apprentissage “deep learning” (Thèse CIFRE de C. Etienne (en cours), sur le pouvoir de manipulation dans l’interaction avec des machines affectives mais aussi sur la réflexion nécessaire en philosophie des sciences sur l’appréhension de la réalité technologique des interactions homme-machine. L. Devillers est impliquée dans le comité de réflexion sur l’éthique de la recherche en numérique CERNA d’Allistène depuis 2015. Plusieurs rapports ont été produits sur l’éthique de la recherche en robotique, sur l’éthique de la recherche en appren­tissage machine (L. Devillers et al., CERNA 2017 (FR) 2018 (AN)). Par ailleurs, l’équipe a été impliquée dans l’ISN sur le pôle co-évolution humain-machine (http://digitalsocietyinstitute.com/fr) pour mener des recherches interdisciplinaires avec des sociologues et des juristes (ISN T2R (2015-2016), ISN IHR (2015-2016)). Nous avons actuellement un nouveau projet financé par l’institut de convergence interdisciplinaire de Paris-Saclay DATAIA sur la manipulation incitative par les machines affectives (Bad Nudge, Bad Robot) avec des économistes et juristes (2 thèses débuteront en parallèle en infor­matique et en économie en octobre 2018) et nous sommes impliqués dans IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems (L. Devillers est en charge d’un groupe de réflexion P7008 sur les standards et normes autour du “nudging”). Un travail en philosophie des sciences est en cours avec le co-encadrement de S. Volkov (2016-) sur le sujet « Vers un nouveau paradigme de l’interaction humain-machine » avec la philosophe des sciences A. Barberousse (Sorbonne Université). L’objectif de la thèse est l’analyse philosophique du problème de l’interaction homme-robot (IHR).

L’interaction avec des robots affectifs et sociaux a un fort pouvoir de modification du comportement des personnes qui vont les utiliser. Nous parlons de co-évolution humain-machine : la machine s’adapte à l’humain et l’humain s’adaptera à la machine. Ces sujets sont importants à anticiper dans la société, ce sujet dépasse la communauté scientifique et a été diffusé à une large audience dans le livre “Des robots et des hommes : mythes, fantasmes et réalité“, paru chez Plon en 2017.