BEGIN:VCALENDAR VERSION:2.0 PRODID:-//wp-events-plugin.com//7.4.5//EN TZID:Europe/Paris X-WR-TIMEZONE:Europe/Paris BEGIN:VEVENT UID:0-285@lisn.upsaclay.fr DTSTART;TZID=Europe/Paris:20250702T093000 DTEND;TZID=Europe/Paris:20250702T093000 DTSTAMP:20250630T072014Z URL:https://www.lisn.upsaclay.fr/evenements/continuous-recognition-of-clie nt-emotions-from-speech-and-text-in-real-world-call-center-conversations/ SUMMARY:Continuous Recognition of Client Emotions from Speech and Text in R eal-World Call Center Conversations DESCRIPTION:Jury\nM. Björn SCHULLER - Professeur\, Imperial College London &\; Technical University of Munich (Rapporteur)\nM. Yannick ESTÈVE - Professeur\, Avignon Université (Rapporteur)\nMme Catherine PELACHAUD - D irectrice de recherche\, CNRS\, ISIR\, Sorbonne Université (Examinatrice) \nM. Fabien RINGEVAL - Maître de conférences\, Université Grenoble  \;Alpes \;(Examinateur)\nM. Nicolas SABOURET - \; Professeur\, Uni versité Paris-Saclay (Examinateur)\nMme Sophie ROSSET - Directrice de rec herche\, CNRS (Examinatrice)\nRésumé\nComprendre les émotions des clien ts dans les interactions de centres d'appels est essentiel pour améliorer l'expérience client et l'efficacité du service. Cependant\, la plupart des jeux de données existants sur les émotions en centre d'appels repose nt sur des étiquettes catégorielles\, ce qui ne permet pas de capturer l es fluctuations subtiles au cours d’une conversation. Par ailleurs\, il existe peu de jeux de données continus\, à grande échelle et disponible s publiquement\, pour des interactions en service client dans des conditio ns réelles.\nPour combler cette lacune\, nous présentons CusEmo\, un nou veau jeu de données d’émotions\, avec des annotations continues et con textuelles\, issu de conversations d’un centre d’appels. Notre annotat ion s’appuie sur la théorie des émotions construites de Lisa Feldman B arrett\, selon laquelle les émotions sont générées dynamiquement à pa rtir de l’affect de base et des connaissances conceptuelles. Suivant ce principe\, nous annotons en continu la valence et l’arousal au fil du te mps\, tout en intégrant des informations contextuelles de haut niveau tel les que le rôle social\, le statut de résolution\, l’urgence\, l’emp athie\, l’engagement et la satisfaction\, qui façonnent la construction globale des expériences émotionnelles dans les interactions de centre d 'appels. Le jeu de données a été annoté par deux annotateurs\, étudia nts en psychologie\, et comprend 470 conversations d'une durée variant de 14 à 311 secondes\, totalisant 13\,1 heures de parole. Afin d’en assur er l’applicabilité dans des contextes réels\, sa conception respecte l es principes éthique et responsable.\nAu-delà de la création du jeu de données\, nous comparons systématiquement trois approches d’extraction de caractéristiques : (1) des descripteurs manuels\, (2) des représenta tions apprises de bout en bout\, et (3) des embeddings pré-entraînés. N ous menons des analyses approfondies sur l’impact de différents facteur s sur la performance de la reconnaissance continue des émotions\, notamme nt la longueur des segments\, le décalage temporel émotionnel\, la modé lisation conjointe ou séparée des dimensions émotionnelles des annotate urs\, ainsi que l'intégration du contexte conversationnel via l’apprent issage multi-tâches (multi-task learning\, MTL).\nEnfin\, nous comparons les modalités vocale et textuelle en évaluant les performances du modèl e audio pré-entraîné wav2vec 2.0 et du modèle textuel pré-entraîné FlauBERT sur la reconnaissance continue des émotions. Cette analyse offre des perspectives pour les futures recherches en reconnaissance multimodal e des émotions\, et met en lumière les défis clés liés à l’intégr ation des informations vocales et textuelles. Plus largement\, notre trava il met en évidence les défis technologiques et éthiques liés aux appli cations de la reconnaissance des émotions en conditions réelles.\nSummar y\nUnderstanding customer emotions in call center interactions is essentia l for improving customer experience and service efficiency. However\, most existing call center emotion datasets rely on categorical labels\, which fail to capture subtle fluctuations throughout a conversation. Furthermore \, publicly available large-scale continuous emotion datasets for real-wor ld customer service interactions are lacking.\nTo bridge this gap\, we int roduce CusEmo\, a novel emotion dataset with contextual and continuous ann otations\, derived from real-world call center conversations. Our annotati on is inspired by Lisa Feldman Barrett’s Theory of Constructed Emotion\, which posits that emotions are constructed dynamically based on core affe ct and conceptual knowledge. Following this principle\, we annotate valenc e and arousal continuously over time\, while also incorporating high-level contextual information such as social role\, resolution status\, urgency\ , empathy\, engagement and satisfaction\, which shape the overall construc tion of emotional experiences in call center interactions. The dataset is double-annotated by trained psychology students and consists of 470 conver sations ranging from 14s to 311s\, totaling 13.1 hours of speech. To ensur e its applicability in real-world contexts\, its design follows ethical an d responsible development principles.\nBeyond dataset creation\, we system atically compare three feature extraction approaches: (1) hand-crafted fea tures\, (2) end-to-end (E2E) learned representations\, and (3) pre-trained embeddings. We conduct extensive analyses on how different factors impact continuous emotion recognition performance\, including segment length\, e motional time shift\, joint vs. separate modeling of emotional dimensions and annotators\, and the integration of conversational context using multi -task learning (MTL). \;\nFinally\, we compare speech and text modalit ies by benchmarking the pre-trained audio model (wav2vec 2.0) and the pre- trained text model (FlauBERT) on continuous emotion recognition. This anal ysis provides insights into future multimodal emotion recognition research and highlights key challenges in integrating speech and textual informati on. More broadly\, our work highlights the technological and ethical chall enges associated with real-world applications of emotion recognition.\nAcc édez au direct en ligne via ce lien CATEGORIES:STL,Thèses et HDR LOCATION:LISN Site Belvédère\, Rue du Belvédère Campus universitaire b ât 507 91405 Orsay\, France X-APPLE-STRUCTURED-LOCATION;VALUE=URI;X-ADDRESS=Rue du Belvédère Campus universitaire bât 507 91405 Orsay\, France;X-APPLE-RADIUS=100;X-TITLE=LIS N Site Belvédère:geo:0,0 END:VEVENT BEGIN:VTIMEZONE TZID:Europe/Paris X-LIC-LOCATION:Europe/Paris BEGIN:DAYLIGHT DTSTART:20250330T030000 TZOFFSETFROM:+0100 TZOFFSETTO:+0200 TZNAME:CEST END:DAYLIGHT END:VTIMEZONE END:VCALENDAR