LIPS

Langue Interaction Parole et Signes (LIPS)

L'équipe LIPS, composée de chercheurs et enseignants-chercheurs en linguistique et traitement des langues, conduit des recherches pluridisciplinaires sur les langues orales, parlées et signées. Elle coopère largement avec les autres équipes du département STL, ainsi qu'avec d'autres départements du laboratoire.

Les enjeux scientifiques de l’équipe LIPSLangue Interaction Parole et Signes concernent les langues orales, parlées et signées, avec des objectifs de description linguistique et de modélisation. L’équipe rassemble des chercheurs en traitement des langues et des linguistes avec un focus sur la dimension située du langage : nous utilisons des données variées, de différentes tailles et sources, illustrant la variation linguistique dans toutes ses dimensions, des unités minimales au sens. Les traitements multimodaux impliquant la variété écrite et sonore des langues parlées ainsi que d’autres informations visuelles (par exemple l’oculométrie) ou des variétés écrites et orales de langues différentes (par exemple des vidéos de langue des signes sous-titrées en français) est également au cœur de nos préoccupations. Nos travaux donnent lieu à une variété d’applications : reconnaissance et synthèse de la parole et de la langue des signes, systèmes de dialogue. Notre recherche est par nature interdisciplinaire et nécessite des compétences en traitement du signal, en linguistique et en informatique.

Les activités de l’équipe s’articulent autour de trois thèmes :

Recherche d’information dans les dialogues

Les travaux sur la recherche d’informations multimodales et conversationnelles s’articulent autour de deux piliers principaux : l’intégration de la multimodalité dans les systèmes de recherche d’informations et l’étude des interactions dialogiques. Plus précisément, cette recherche se concentre sur la manière de représenter les données multimodales, en prenant en compte les contextes et divers aspects multimodaux dans les représentations développées, et en relevant le défi posé par la rareté des données disponibles. Les méthodes d’intelligence artificielle mises en œuvre abordent également les questions liées au traitement des données dégradées, à l’apprentissage continu et interactif, ainsi qu’à l’analyse des données, tout en visant à rendre les prédictions des modèles compréhensibles, dans une optique d’explicabilité.

Modélisation et traitement automatique des langues des signes

Les langues des signes, langues peu dotées, sont dotées d’un système linguistique découlant de leur nature visuo-gestuelle : un grand nombre d’informations sont exprimées simultanément et organisées dans l’espace, et l’iconicité joue un rôle central. La modélisation informatique des LS nécessite la conception de représentations avec peu de données disponibles, et où les modèles préexistants, essentiellement linéaires, ont été développés pour des langues écrites ou parlées et ne couvrent pas tous les aspects des LS. A travers des projets et des thèses et en lien avec les locuteurs de ces langues (par exemple traducteurs et journalistes sourds), nous abordons les questions de recherche suivantes : Comment analyser, représenter et traiter les LS ? Comment prendre en compte les spécificités linguistiques liées à leur nature visuo-gestuelle (multilinéarité, spatialisation, iconicité) ? Quels types d’approches sont possibles avec peu de données ? Les projets en cours sont détaillés sur cette page.

Traitement de la parole et modélisation de la variation multilingue

Les études sur ce thème visent à comprendre les phénomènes de variation qui sous-tendent les changements temporels et spatiaux dans le langage parlé et à développer des modèles à utiliser dans le traitement automatique de la parole. L’un de nos objectifs est de structurer l’information contenue dans les documents audio en développant des modèles et des algorithmes qui s’appuient sur diverses sources d’information et peuvent servir à détecter la présence de la parole, à identifier la langue parlée et à caractériser le(s) locuteur(s), à transcrire la parole en texte dans la même langue ou dans une langue différente, ou à identifier des entités spécifiques ou des caractéristiques acoustiques. En ce qui concerne la reconnaissance de la parole, nos recherches visent à compléter la séquence de mots reconnus par la ponctuation et par des informations paralinguistiques telles que les hésitations, les rires ou les bruits de respiration. Nous étudions également des techniques d’apprentissage frugales et les appliquons à la reconnaissance vocale pour des langues et des tâches à faibles ressources.

Actualités

Toutes les actualités

Événements

Tous les événements

Projets et contrats

Tous les projets et contrats

Coordination

Membres de l’équipe

Dernières publications sur HAL

  • Communication dans un congrès

    Luc Pommeret, Thomas Gerald, Patrick Paroubek, Sahar Ghannay, Christophe Servan, et al.. LLM-based Atomic Propositions Help Weak Extractors: Evaluation of a Propositioner for Triplet Extraction. KG-LLM@LREC – Knowledge Graphs and Large Language Models, ELRA, May 2026, Palma De Majorque, Spain. ⟨hal-05572941⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Luc Pommeret, Thibault Wagret, Jules Deret. THIVLVC: Retrieval Augmented Dependency Parsing for Latin. EvaLatin (LT4HALA@LREC), ELRA, May 2026, Palma De Majorque, Spain. ⟨hal-05572961v1⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Article dans une revue

    Jean-Luc Gauvain, Gilles Adda, Lori Lamel, Fabrice Lefèvre, Holger Schwenk. Transcription de la parole conversationnelle. Revue TALTraitement Automatique des langues : traitement automatique des langues, 2005, 45 (3). ⟨hal-01434260⟩

    STL, TLP

    Année de publication

    Publication HAL

  • Communication dans un congrès

    Jean-Luc Gauvain, Gilles Adda, Martine Adda-Decker, Alexandre Allauzen, Veronique Gendner, et al.. Where are we in transcribing French broadcast news?. Eurospeech, Sep 2005, Lisbonne, Portugal. pp.1665-1668, ⟨10.21437/Interspeech.2005-544⟩. ⟨hal-01434245⟩

    STL, TLP

    Année de publication

    Publication HAL

  • Communication dans un congrès

    Hélène Bonneau-Maynard, Alexandre Allauzen, Daniel Déchelotte, Holger Schwenk. Combining Morphosyntactic Enriched Representation with n-best Reranking in Statistical Translation. HLT/NACL workshop on Syntax and Structure in Statistical Translation, Apr 2007, Rochester, United States. pp.65-71. ⟨hal-01434104⟩

    STL, TLP

    Année de publication

    Publication HAL

  • Article dans une revue

    Sophie Rosset, Delphine Tribout, Lori Lamel. Multi-level information and automatic dialog act detection in human-human spoken dialogs. Speech Communication, 2008, 50 (1), pp.1-13. ⟨10.1016/j.specom.2007.05.007⟩. ⟨halshs-00746318⟩

    STL, TLP

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Duarte M. Alves, André F T Martins, Ayoub Hammal, et al.. EuroBERT: Scaling Multilingual Encoders for European Languages. COLM 2025 – Second Conference on Language Modeling, Oct 2025, Montreal, Canada. pp.1-28. ⟨hal-05226285⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Thèse

    Pierre Lepagnol. Petits modèles génératifs en contexte industriel : Adaptation par prompting avec peu de données. Intelligence artificielle [cs.AIArtificial Intelligence]. Université Paris-Saclay, 2026. Français. ⟨NNT : 2026UPASG011⟩. ⟨tel-05572429⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Ayoub Hammal, Pierre Zweigenbaum, Caio Corro. KAD: A Framework for Proxy-based TestDéfinition courte Lorem ipsum-time Alignment with Knapsack Approximation Deferral. EACL 2026 – 19th Conference of the European Chapter of the Association for Computational Linguistics, Mar 2026, Rabat, Morocco. pp.3854-3872, ⟨10.18653/v1/2026.eacl-long.179⟩. ⟨hal-05571208⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Autre publication scientifique

    Karin Dassas, Cyrille Bonamy, Bruno Bzeznik, Emmanuelle Frenoux, Gaël Guennebaud, et al.. Estimer l’impact carbone des activités numériques d’une unité de recherche. 2026. ⟨hal-05568070⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Jules Françoise, Julie Lascar, Cyril Verrecchia, Sidonie Minodier, Michèle Gouiffès, et al.. LaboSignes: an Interactive French Sign Language Recognition Interface. ACM CHI’26, Apr 2026, Barcelona, Spain. ⟨10.1145/3772363.3799328⟩. ⟨hal-05564455⟩

    AMIArchitectures et modèles pour l'Interaction, ASARD, STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Pré-publication, Document de travail

    Clément Morand, Jacques Combaz, Aurélie Névéol, Anne-Laure Ligozat. When rebound effect is not a side effect: analyzing sociotechnical contexts of digital technologies. 2026. ⟨hal-05566029⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Julie Lascar, Jules Françoise, Michèle Gouiffès, Annelies Braffort, Diandra Fabre. PoET: Lightweight Pose Encoder Transformer for Online Sign Language Recognition. 21st International Conference on Computer Vision Theory and Applications, Mar 2026, Marbella, Spain. pp.19-28, ⟨10.5220/0014237500004084⟩. ⟨hal-05564749⟩

    AMIArchitectures et modèles pour l'Interaction, STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Baptiste Pras, Nona Naderi. Fine-Grained Mention-Level Analysis of Biomedical Entity Linking Models. Medical Informatics Europe 2026, May 2026, Gênes (Italie), Italy. ⟨hal-05544092⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Notice d’encyclopédie ou de dictionnaire

    Albert Rilliard. Fala, emoções e atitudes. Speech Sciences Entries, 2024, https://gepf.falar.org/entries/66. ⟨hal-05474723⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Article dans une revue

    Natalia Grabar, Cyril Grouin. Year 2021: COVID-19, Information Extraction and BERTization among the Hottest Topics in Medical Natural Language Processing. IMIA Yearbook of Medical Informatics, 2022, 31 (01), pp.254-260. ⟨10.1055/s-0042-1742547⟩. ⟨hal-03931852⟩

    ILES, STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Pierre Lepagnol, Sahar Ghannay, Thomas Gerald, Christophe Servan, Sophie Rosset. Format Matters: A Critical Evaluation of Output Formats for Prompting LLMs in SLU and NER. The Fifteenth biennial Language Resources and Evaluation Conference (LREC 2026), May 2026, Palma de Majorque, Spain. ⟨hal-05546569⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Clémentine Bleuze, Fanny Ducel, Maxime Amblard, Karën Fort. COCOA: Creation and Exploratory Investigation of a Corpus of Claims from NLP Articles. LREC 2026 – International Conference on Language Resources and Evaluation, ELRA Language Resources Association, May 2026, Palma de Mallorca, Spain. ⟨hal-05547842⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Pré-publication, Document de travail

    Mathilde Aguiar, Pierre Zweigenbaum, Nona Naderi. Assessing the Difficulty of Inference Types in Natural Language Inference for Clinical Trials. 2026. ⟨hal-05533706v2⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Article dans une revue

    Juan Manuel Coria, Hervé Bredin, Sahar Ghannay, Sophie Rosset, Khaled Zaouk, et al.. Diart: A Python Library for Real-Time Speaker Diarization. Journal of Open Source Software, 2024, 9 (99), pp.5266. ⟨10.21105/joss.05266⟩. ⟨hal-05530961⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Clémentine Bleuze, Karën Fort, Vincent P. Martin, Aurélie Névéol. Grands modèles de langue pour la détection de pathologies psychiatriques : promesses, réalité, et enjeux. Journée d’étude “LLM@hopital”, ATALA, Mar 2026, Paris, France. ⟨hal-05532823⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Iskandar Boucharenc. Hierarchical Prefixes for Long Document Representations. ECIR, Apr 2025, Lucca, Italy. pp.171-177, ⟨10.1007/978-3-031-88720-8_28⟩. ⟨hal-05530637⟩

    STL

    Année de publication

    Publication HAL

  • Communication dans un congrès

    Fanny Ducel, Aurélie Névéol, Vidit Khazanchi, Loïc Leclere, Arthur Pedrini, et al.. Code-switching as a Bias Indicator in LLMs: “The consequences are not the same para nosotros”. LREC 2026 – 15th biennial Language Resources and Evaluation Conference, May 2026, Palma De Mallorca, Spain. ⟨hal-05529786⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Oralie Cattan, Christophe Servan, Sophie Rosset. On the Usability of Transformers-based models for a French Question-Answering task. Joint Conference of the Information Retrieval Communities in Europe (CIRCLE) 2022, Jul 2022, Samatan, France. ⟨hal-03701740⟩

    ILES, STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Léa Pacini, Jérôme Dupire, Isabelle Barbet, Olivier Pons, Camille Guinaudeau, et al.. Textbook’s accessibility for children with dyspraxia and visual disability. 17th International Conference of the Association for the Advancement of Assistive Technology in Europe, AAATE 2023, Association for the Advancement of Assistive Technology in Europe, Aug 2023, Paris, France. ⟨hal-04410340⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Fanny Ducel. How to define, understand and evaluate stereotypical biases in language models?. Séminaire du groupe de travail Intelligence Artificielle Sûre, Intelligible et Vérifiable (IASIV), Mar 2025, Palaiseau, France. ⟨hal-05467784⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Thèse

    Gustave Cortal. Natural language processing for subjectivity analysis in personal narratives. Computation and Language [cs.CL]. Université Paris-Saclay, 2026. English. ⟨NNT : 2026UPASG003⟩. ⟨tel-05501345⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Poster de conférence

    Julie Halbout, Annelies Braffort, Michèle Gouiffès. Annotation automatique d’un corpus de Langue des Signes Française. Rencontres Jeunes Chercheurs en Parole (RJCP), Nov 2025, Paris, France. ⟨hal-05495878⟩

    STL

    Année de publication

    Publication HAL

  • Poster de conférence

    Annelies Braffort, Michael Filhol, Michèle Gouiffès, Julie Halbout, Julie Lascar. Sign Language Processing with Linguistic Structure. BMVA Symposium on AIArtificial Intelligence for Sign Language Translation, Production, and Linguistics, Dec 2025, London, United Kingdom. ⟨hal-05495664⟩

    STL

    Année de publication

    Publication HAL

  • Communication dans un congrès

    Jules Françoise, Julie Lascar, Cyril Verrecchia, Sidonie Minodier, Michèle Gouiffès, et al.. LaboSignes : vers une IAIntelligence Artificielle participative pour la reconnaissance automatique de la Langue des Signes Française. Journée d’études AFIA-ATALA : Technologies linguistiques pour les langues peu dotées, Dec 2025, Paris, France. ⟨hal-05495906⟩

    AMIArchitectures et modèles pour l'Interaction, STL

    Année de publication

    Publication HAL

  • Communication dans un congrès

    Idrissa Mahamoudou Dicko, Nona Naderi. Biomedical hallucination detection of LLMs using Med-HALT and HaloScope frameworks. 10th Junior Conference on Data Sciences and Engineering Conference (JDSE 2025), Sep 2025, Paris, France. ⟨hal-05483690⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Chapitre d'ouvrage

    Philippe Boula de Mareüil, Albert Rilliard, Frédéric Vernier. Valorisation de la diversité linguistique à travers un atlas sonore. Myriam Caressa; Christophe Doubovetzky. Langue(s) et droit(s). Enjeux et paradoxes en France, L’Harmattan, pp.177-188, 2025, Logiques Juridiques, 978-2-336-55319-1. ⟨hal-05464189⟩

    AVIZ, STL

    Année de publication

    Publication HAL

  • Chapitre d'ouvrage

    Natalia Grabar, Thierry Hamon, Emmanuelle Canut. Le langage simplifié pour le public FLE : des critères linguistiques à interroger. Éducation, formation et communication. L’accompagnement des publics en exil. Problèmes de langue et modalités de communication, A paraître, 2865310019. ⟨hal-05465059⟩

    STL

    Année de publication

    Publication HAL

  • Article dans une revue

    Anjani Dhrangadhariya, Roger Hilfiker, Karl Martin Sattelmayer, Nona Naderi, Katia Giacomino, et al.. RoBuster: A Corpus Annotated with Risk of Bias Text Spans in Randomized Controlled Trials in Physiotherapy and Rehabilitation (forthcoming/in press). JMIR Formative Research, In press, ⟨10.2196/55127⟩. ⟨hal-05462769⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Fanny Ducel, Karën Fort, Aurélie Névéol. La linguistique appliquée pour une IAIntelligence Artificielle plus éthique. NéALA 2025 – Colloque sur Naturel et Artificiel en Linguistique Appliquée : une époque de paradoxes, Jul 2025, Nancy, France. ⟨hal-05457534⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Autre publication scientifique

    Luciana Benotti, Fanny Ducel, Karën Fort, Guido Ivetta, Zhijing Jin, et al.. Navigating Ethical Challenges in NLP: Hands-on strategies for students and researchers. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 5: Tutorial Abstracts), 2025, ⟨10.18653/v1/2025.acl-tutorials.5⟩. ⟨hal-05457524⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Chapitre d'ouvrage

    Simon Devauchelle, Albert Rilliard, David Doukhan, Lucas Ondel Yang. Variation of Perceived Voice Pitch Across Time Periods, Gender, and Age in French Media Archives. Valentina De Iacovo; Bianca Maria De Paolis; Daniela Mereu. The voice in the media and new technologies, 12 (004), Officinaventuno, pp.47-71, 2024, Studi Associazione Italiana Scienze della Voce, 978-88-97657-73-6. ⟨10.17469/O2112AISV000004⟩. ⟨hal-05450567⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Thèse

    Armand Stricker. Towards More Natural Dialogues : Integrating Chitchat Capabilities into Task-oriented Dialogue Agents. Document and Text Processing. Université Paris-Saclay, 2025. English. ⟨NNT : 2025UPASG065⟩. ⟨tel-05453281⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Mathieu Laï-King, Patrick Paroubek. Pre-training data selection for biomedical domain adaptation using journal impact metrics. 23rd Workshop on Biomedical Natural Language Processing, Aug 2024, Bangkok, Thailand. pp.363-369, ⟨10.18653/v1/2024.bionlp-1.27⟩. ⟨hal-05447036⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Rapport

    Adrien Berthelot, Tiago da Silva Barros, Laurent Lefèvre, Anne-Laure Ligozat, Emeline Pegon. Multi-criteria and multi-stage environmental study of Pl@ntnet service for the year 2024. Inria Lyon. 2026. ⟨hal-05448455v2⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    François Buet, Camille Guinaudeau, Cyril Grouin, Sahar Ghannay, Shin’ichi Satoh. XAI for Gender Representation in Media Analysis. 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2025), IEEE Signal Processing Society, Apr 2025, Hyderabad, India. pp.1-5, ⟨10.1109/ICASSP49660.2025.10888945⟩. ⟨hal-05442625⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Phrashant Khatri, Hansjörg Mixdorff, Preeti Rao, Albert Rilliard. Recognition of Audio-Visual Attitudes. 36. Konferenz Elektronische Sprachsignalverarbeitung (ESSV), Department of Speech Science and Phonetics of the Institute of Music, Media and Speech Sciences at the Martin Luther University Halle-Wittenberg in Halle/Saale; Central German Association for Speech Science and Speech Education, Mar 2025, Halle / Saale, Germany. pp.19-26. ⟨hal-05426157⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Poster de conférence

    Luc Pommeret, Sophie Rosset, Christophe Servan, Sahar Ghannay. AtomicEval: Evaluation Framework for Atomic Proposition Autonomy with French Propositioner. 10th Junior Conference on Data Sciences and Engineering, Sep 2025, Gif-sur-Yvette, France. . ⟨hal-05414939⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Michael Filhol. AZVD as a Sign Language writing system proxy, and the potential evolution. Proceedings of Grapholinguistics in the 21st century, Oct 2024, Venice, Italy. ⟨hal-05344585⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Autre publication scientifique

    Bran Knowles, Vicki L Hanson, Christoph Becker, Mike Berners-Lee, Andrew A Chien, et al.. Climate Change: What is Computing’s Responsibility?. 2025, pp.1-18. ⟨10.4230/DagMan.11.1.1⟩. ⟨hal-05369257⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Quentin Le Tellier, Marc Evrard, Albert Rilliard, Jean-Sylvain Liénard. Impact de la parole expressive sur l’estimation de l’intensité vocale. CFA 2025 – 17e Congrès Français d’Acoustique, Société Française d’Acoustique (SFA), Apr 2025, Paris, France. ⟨hal-05365670⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Jean-Sylvain Liénard, Albert Rilliard, Marc Evrard, Quentin Le Tellier. Variabilité du signal de parole en fonction de la Force de Voix en situation d’interaction orale. CFA 2025 – 17e Congrès Français d’Acoustique, Société Française d’Acoustique (SFA), Apr 2025, Paris, France. ⟨hal-05366097⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

  • Communication dans un congrès

    Quentin Le Tellier, Marc Evrard, Albert Rilliard, Jean-Sylvain Liénard. Robust Vocal Intensity Prediction: Overcoming Dataset Bias with Pretrained Deep Models. Interspeech 2025, Odette Scharenborg; Catharine Oertel; Khiet Truong, Aug 2025, Rotterdam, Netherlands. pp.1728-1732, ⟨10.21437/Interspeech.2025-2311⟩. ⟨hal-05359416⟩

    STL

    Année de publication

    Disponible en libre accès

    Publication HAL

Toutes les publications