Home page for NicolasChafai

La communication est multimodale par essence. Nous conversons par la parole mais aussi l’intonation de notre voix, les expressions du visage, la direction du regard, nos gestes, la position du corps, etc. Tout notre corps participe a la communication. Ces comportements non-verbaux sont liés à la structure syntaxique de notre phrase, d’autres à sa valeur sémantique, d’autres à la structure de l’information de notre discours, à notre personnalité, aux relations sociales que nous entretenons avec notre partenaires de conversation, etc.

Pour que les agents conversationnels personnifiés (ECA ou Embodied Conversational Agents) aient une crédibilité, il faut pouvoir les doter de capacités de communication multimodale de même niveau que celles des humains. Sur ce point, il est avant tout primordial de conserver une interaction temps réel. Or, en fonction des techniques d'animation, du contexte d'intégration (puissance de la machine, de la carte graphique) ce n'est pas forcément possible de déployer toutes les modalités de communication de l'agent dans une boucle d'interaction temps réel avec l'usager.

Une idée qui sera développée dans la thèse est à construire une approche de génération de niveaux de détail basée sur la sémantique, afin d'adapter l'animation de l'ECA selon le contexte d'usage. Cette approche  déterminera  les caractéristiques de comportements (expressions  faciales, gestes ou mouvement du corps) qui contiennent l'information sémantique et n'utilisera  que celles là pour calculer l'animation finale. 

Un problème majeur est alors de caractériser les comportements et de déterminer quelles caractéristiques sont les plus porteuses de sens dans les comportements. Cette caractérisation sera faite par une analyse de corpus. En ce qui concerne l'animation, on partira d'algorithmes d'animation d'humanoïdes 3D: animation  faciale musculaire et animation gestuelle à base de cinématique inverse développées à FT R&D et dans l'équipe de Catherine Pelachaud (Paris VIII, experte Agent conversationnel 3D). Pour l'analyse vidéo et la caractérisation des comportements par leur information sémantique, on s'appuiera sur des experts du pole MINDS et pour l'évaluation, on s'appuiera sur les équipes impliquées dans l'évaluation d'ECA dans le projet PRP-MMT.

Communication is multimodal. We speak through voice, but also through intonation, face expressions, gaze direction, gesture, posture. The whole body is engaged in the process of communication. This non-verbal communication is linked to the syntactic structure of speech, to its semantic content, to the information structure of speech, to our own personality, to the social relations we share with our interlocutor, etc.

To make Embodied Conversational Characters ECAs believable, man has to endow these ECAs with multimodal communication capacities at the same level as for human beings. However, the application developped is real time. Depending on animation techniques used, on system performances, it is sometime not possible to compute and to render all modalities of an interaction between a user and an agent with real time constraints.

The proposed work in this thesis is to build a scalable level of detail based on gesture semantic, in order to adapt an ECA to a particular context of use. This approach will have to provide behavior caracteristics (facial expressions, gesture, body movement) that contains any semantic information. The final animation will render only the most significant of this behavior.

One of the most problematic step is to caracterize behaviors, and to determine which parameters are the most pertinent and significant. This caracterization will be based on a corpora analysis. Face to animation rendering, we will use 3D humanoïd animation algorithms developped at France-Télécom, and in Professor Catherine Pelachaud' team (Paris 8, France).