BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//wp-events-plugin.com//7.4.5//EN
TZID:Europe/Paris
X-WR-TIMEZONE:Europe/Paris
BEGIN:VEVENT
UID:0-327@lisn.upsaclay.fr
DTSTART;TZID=Europe/Paris:20251010T140000
DTEND;TZID=Europe/Paris:20251010T140000
DTSTAMP:20251008T145221Z
URL:https://www.lisn.upsaclay.fr/evenements/resume-de-presentations-multim
 odales-avec-des-modeles-de-langue/
SUMMARY:Résumé de présentations multimodales avec des modèles de langue
DESCRIPTION:Jury\nBenoit FAVRE\, Rapporteur &amp\; Examinateur\, Professeur
 \, HDR\, Aix-Marseille Université\, LIS\nPhilippe MULLER\, Rapporteur &am
 p\; Examinateur\, Maître de Conférences\, HDR\, Université Paul Sabatie
 r\, IRIT\nBenoît MACQ\, Examinateur\, Professeur\, Université catholique
  de Louvain\, ICTEAM\nEwa KIJAK\, Examinatrice\, Maîtresse de Conférence
 s\, HDR \, Université de Rennes\, IRISA\nRésumé\nLe résumé abstractif
  de présentations longues et multimodales pose des défis uniques en rais
 on de la complexité émergeant de l'intégration de modalités variées (
 e.g. audio\, vidéo\, transcription\, diapositives) et la création de ré
 sumés concis et informatifs sur de longs contextes.Les avancées récente
 s dans les modèles de langue suggèrent qu'ils sont désormais capables d
 e relever ces défis\, mais une évaluation complète pour cette tâche re
 ste encore insuffisamment explorée.Dans cette thèse\, nous étudions les
  capacités des modèles de langue multimodaux à produire des résumés a
 bstractifs à partir des différentes modalités de présentations multimo
 dales\, brutes et extraites\, en tirant parti de la complémentarité et d
 e l'alignement temporel entre ces modalités.Tout d'abord\, nous introduis
 ons TIB-dataset un jeu de données pour le résumé abstractif de présent
 ations multimodales\, ainsi que son sous-ensemble TIB-benchmark\, pensé p
 our l'évaluation. Ils sont constitués de plus de 9100 présentations mul
 timodales issues de conférences académiques\, avec des transcriptions et
  des images clés extraites\, accompagnées de leurs résumés de référe
 nce.Ensuite\, nous proposons le score Importance-based Relevance (IbR)\, u
 ne métrique d'évaluation sans référence conçue pour évaluer la perti
 nence des résumés sans dépendre de résumés de référence\, dans le c
 adre d'un ensemble de métriques qui a pour but de permettre une évaluati
 on fine du résumé abstractif multimodal.Troisièmement\, nous menons une
  analyse approfondie des modèles de langue multimodaux\, comparant leurs 
 performances sous différents formats d'entrée unimodaux et multimodaux u
 tilisant l'audio\, la vidéo\, ou des modalités dérivées comme les tran
 scriptions ou les diapositives.Nos expériences conduisent à une comparai
 son du rapport coût-efficacité de ces formats\, contrastant les scores d
 'évaluation avec les longueurs des séquences de tokens.Ces contributions
  fournissent une base solide pour les recherches futures sur les systèmes
  de résumé multimodal. TIB-dataset\, TIB-benchmark\, la métrique IbR ai
 nsi que notre ensemble d'outils pour la représentation multimodale sont p
 ubliés librement afin de favoriser la reproductibilité et l'innovation d
 ans ce domaine émergent.\nLieu : Bâtiment Eiffel de Centrale SupelecSall
 e : Amphithéâtre VI\nSalle virtuelle : lien
CATEGORIES:STL,Thèses et HDR
LOCATION:8 Rue Joliot Curie 91190  Gif-sur-Yvette\, France
X-APPLE-STRUCTURED-LOCATION;VALUE=URI;X-ADDRESS=8 Rue Joliot Curie 91190  G
 if-sur-Yvette\, France;X-APPLE-RADIUS=100;X-TITLE=:geo:0,0
END:VEVENT
BEGIN:VTIMEZONE
TZID:Europe/Paris
X-LIC-LOCATION:Europe/Paris
BEGIN:DAYLIGHT
DTSTART:20250330T030000
TZOFFSETFROM:+0100
TZOFFSETTO:+0200
TZNAME:CEST
END:DAYLIGHT
END:VTIMEZONE
END:VCALENDAR