Mouvement

Analyse automatique de vidéos de Langue des Signes

• 
• Caractérisation des articulateurs impliqués dans la langue des signes française (LSF) : regard, labialisation, mouvement et forme des mains. Étude de leur impact dans la distinction entre signes lexicaux et signes à visée illustrative. 
• Caractérisation du mouvement manuel (emplacement, symétrie, mono et bimanualité, mouvement local et global)
• Reconnaissance de signes lexicaux et identification de structures linguistiques : pointages, balises
• Segmentation et annotation de vidéos de LSF, détection de pauses
• Alignement de texte (français écrit) et de vidéo de LSF pour la création d’un concordancier français écrit-LSF et pour le sous-titrage automatique de vidéos de LSF.

Méthodes : utilisation d’estimateurs de pose par apprentissage tels que Deep Hand, Deep Face, OpenPose, réseaux récurrents RNN LSTM, graph-based networks.

Live-coding pour l’analyse et la sonification du mouvement

La conception d’interactions expressives basées sur le mouvement pour la danse contemporaine nécessite le développement de nouveaux outils et méthodologies de design.

Le thème mouvement contribue à :

• Développer une nouvelle approche du design d’interactions utilisant le mouvement s’appuyant sur l’improvisation
• Permettre le prototypage rapide et la programmation à la volée (« live-coding ») des interactions basées sur le mouvement, notamment la sonification
• Élaborer de nouvelles pratiques d’improvisation en danse augmentée où les interactions entre mouvement et son sont programmées en temps réel
• Étudier l’influence d’un retour sonore continu sur la perception du mouvement, en particulier concernant l’anticipation du mouvement d’une personne.
• Méthodes : design centré sur l’utilisateur, live-coding, programmation réactive, traitement du signal de mouvement, reconnaissance de geste 

Apprentissage du Mouvement en IHM

• Étude et modélisation de l’apprentissage moteur en IHM, en particulier concernant l’acquisition de la coarticulation dans l’apprentissage de séquences de gestes bimanuels
• Études d’interactions « apprenantes » et « apprenables » qui prennent en comptent les mécanismes d’apprentissage réciproques entre l’utilisateur et un système d’apprentissage automatique interactif
• Développement d’outils d’apprentissage automatique centré sur l’humain permettant la personnalisation d’interactions gestuelles et l’adaptation aux capacités sensori-motrices de différents utilisateurs.
• Application à l’apprentissage du mouvement dans des contextes artistiques (danse) et pour l’assistance aux personnes en situation de handicap.

Méthodes : études expérimentales de l’apprentissage, modèles statistiques pour la modélisation du mouvement (HMMs et extensions) 

Emotion, avatar-matière et conscience de soi

• Travail en recherche et création sur le ressenti émotionnel d’une transformation virtuelle de la densité du corps sous forme de matières élémentaires
• Etude des liens entre conscience corporelle et matérialité virtuelle à travers le paradigme de Rêverie Augmentée prenant en compte la dimension imaginaire dans la boucle d’action-perception et l’interaction immobile avec un avatar matériel
• Evaluation de l’impact des différentes modalités son/mouvement/image sur le ressenti corporel et le sentiment de soi (postures, comportements psychomoteurs, entretiens d’explicitation)
• Mise au point de protocoles expérimentaux pour le développement d’une offre alternative et originale de remédiation cognitive et émotionnelle, ciblée sur la modulation des processus attentionnels impliqués dans la perception de l’état interne du corps et la régulation des émotions.

Méthodes : dispositif interactif RêvA, développé au LISN/LIMSI dans le cadre de la thématique VIDA (collaboration N. Ladevèze et L. Bolot, ASARD), utilisé comme support de médiation thérapeutique, pour l’étude du sentiment de soi et comme outil de production artistique.