Membres : J. Françoise, V. Belissen,Y. Bellik, H. Bull,H. Chaaban,N. Delprat,M. Gouiffès
Collaborateurs : A. Braffort (ILES), M. Filhol (ILES), É. Prigent (CPU), S. Fdili Alaoui
Analyse automatique de vidéos de Langue des Signes
Caractérisation des articulateurs impliqués dans la langue des signes française (LSF) : regard, labialisation, mouvement et forme des mains. Étude de leur impact dans la distinction entre signes lexicaux et signes à visée illustrative.
Caractérisation du mouvement manuel (emplacement, symétrie, mono et bimanualité, mouvement local et global)
Reconnaissance de signes lexicaux et identification de structures linguistiques : pointages, balises
Segmentation et annotation de vidéos de LSF, détection de pauses
Alignement de texte (français écrit) et de vidéo de LSF pour la création d’un concordancier français écrit-LSF et pour le sous-titrage automatique de vidéos de LSF.
Méthodes : utilisation d’estimateurs de pose par apprentissage tels que Deep Hand, Deep Face, OpenPose, réseaux récurrents RNN LSTM, graph-based networks.
Live-coding pour l’analyse et la sonification du mouvement
Projet CO/DA : Improvisation conjointe entre danse et live coding
La conception d’interactions expressives basées sur le mouvement pour la danse contemporaine nécessite le développement de nouveaux outils et méthodologies de design.
Le thème mouvement contribue à :
Développer une nouvelle approche du design d’interactions utilisant le mouvement s’appuyant sur l’improvisation
Permettre le prototypage rapide et la programmation à la volée (« live-coding ») des interactions basées sur le mouvement, notamment la sonification
Élaborer de nouvelles pratiques d’improvisation en danse augmentée où les interactions entre mouvement et son sont programmées en temps réel
Étudier l’influence d’un retour sonore continu sur la perception du mouvement, en particulier concernant l’anticipation du mouvement d’une personne.
Méthodes : design centré sur l’utilisateur, live-coding, programmation réactive, traitement du signal de mouvement, reconnaissance de geste
Apprentissage du Mouvement en IHM
Étude et modélisation de l’apprentissage moteur en IHM, en particulier concernant l’acquisition de la coarticulation dans l’apprentissage de séquences de gestes bimanuels
Études d’interactions « apprenantes » et « apprenables » qui prennent en comptent les mécanismes d’apprentissage réciproques entre l’utilisateur et un système d’apprentissage automatique interactif
Développement d’outils d’apprentissage automatique centré sur l’humain permettant la personnalisation d’interactions gestuelles et l’adaptation aux capacités sensori-motrices de différents utilisateurs.
Application à l’apprentissage du mouvement dans des contextes artistiques (danse) et pour l’assistance aux personnes en situation de handicap.
Méthodes : études expérimentales de l’apprentissage, modèles statistiques pour la modélisation du mouvement (HMMs et extensions)
Emotion, avatar-matière et conscience de soi
Elementa
Travail en recherche et création sur le ressenti émotionnel d’une transformation virtuelle de la densité du corps sous forme de matières élémentaires
Etude des liens entre conscience corporelle et matérialité virtuelle à travers le paradigme de Rêverie Augmentée prenant en compte la dimension imaginaire dans la boucle d’action-perception et l’interaction immobile avec un avatar matériel
Evaluation de l’impact des différentes modalités son/mouvement/image sur le ressenti corporel et le sentiment de soi (postures, comportements psychomoteurs, entretiens d’explicitation)
Mise au point de protocoles expérimentaux pour le développement d’une offre alternative et originale de remédiation cognitive et émotionnelle, ciblée sur la modulation des processus attentionnels impliqués dans la perception de l’état interne du corps et la régulation des émotions.
Méthodes : dispositif interactif RêvA, développé au LISN/LIMSI dans le cadre de la thématique VIDA (collaboration N. Ladevèze et L. Bolot, ASARD), utilisé comme support de médiation thérapeutique, pour l’étude du sentiment de soi et comme outil de production artistique.