Myblog3D : réalité virtuelle et IHM multimodale

16 octobre 2008

La réalité virtuelle multi-utilisateurs permet de nouveaux services de communication interpersonnelle à distance médiatisée par des avatars dans des mondes virtuels habités. En rassemblant dans un même espace virtuel les objets partagés et les utilisateurs distants, elle offre un moyen d’interaction et de collaboration.
Le projet de R&D Myblog3D, développé par I-Maginer et 3 laboratoires de recherche (CNRS-Telecom Paris Tech, Telecom & Management Sud Paris, Université Paris 8) propose de renforcer la perception mutuelle des internautes communicant et partageant des objets au sein d’un espace 3D virtuel par un dispositif d’interaction innovant intégrant des interfaces perceptuelles et la restitution virtuelle 3D des utilisateurs.

Il prendra la forme concrète d’un simulateur d’entretiens d’embauche faisant interagir dans un environnement 3D un candidat représenté par son avatar et un responsable de recrutement représenté par un agent conversationnel, permettant donc de visualiser les interactions homme/avatar/ACA.

Par vision artificielle en temps réel, au moyen d’une webcam ou d’un capteur stéréoscopique, il va permettre d’animer avec réalisme les avatars à partir d’une acquisition des gestes et expressions du visage de l’utilisateur ainsi représenté. Les paramètres inaccessibles, par exemple la direction du regard ou la pose de la main, ou acquis avec une robustesse insuffisante, sont générés de façon réaliste à partir de modèles comportementaux.
Par une perception multimodale intégrant la vision et la voix, Myblog3D appréhende également les émotions du locuteur et ses objets d’intérêt. L’animation du visage des agents virtuels sera générée automatiquement, de façon le plus possible conforme à la parole prononcé par l’utilisateur et à son état émotionnel.
En outre, le projet propose des algorithmes de transformation dynamique de la voix et des visages parlants qui permettent une graduation dans le déguisement ou la découverte de l’identité.
Ce projet s’attaque donc au verrou technologique de la perception et de la modélisation humaine par la machine. Il rassemble des technologies issues de travaux de recherche et les intégre dans une application fonctionnant en temps réel sur des PC grand public.

Une première restitution publique est prévue le 20 novembre prochain à 14h30 dans les locaux de Telecom Paris Tech. Plus d’informations sur http://myblog3d.com