Mesurer le langage corporel pour retracer les émotions

Mesurer le langage corporel pour retracer les émotions

Est-il possible de décoder nos émotions à partir de nos mouvements ? Comment étudier les émotions « de l’extérieur » en utilisant des méthodes empiriques ? Pour répondre à ces questions, une grande équipe de recherche internationale et interdisciplinaire dirigée par l’Institut Max Planck d’esthétique empirique (MPIEA) de Francfort-sur-le-Main, en Allemagne, a développé une méthodologie scientifique intégrative.

En utilisant des moyens artistiques et numériques tels que la technologie de capture de mouvement, les chercheurs ont développé le logiciel EMOKINE pour mesurer les caractéristiques cinématiques objectives des mouvements qui expriment des émotions. Les résultats de l'étude ont récemment été publiés dans la revue Méthodes de recherche sur le comportement.

L'équipe a demandé à une danseuse professionnelle de répéter de courtes chorégraphies devant un écran vert. On lui a demandé d'exprimer différentes émotions à travers ses mouvements : colère, contentement, peur, bonheur, neutralité et tristesse. Pour capturer les mouvements de danse sous forme de « données », les scientifiques ont plongé dans le bassin technologique du MPIEA. La danseuse portait une combinaison de capture de mouvements intégrale de XSENS, équipée d'un total de 17 capteurs très sensibles.

Les mouvements dynamiques du corps ont été mesurés et enregistrés à l'aide d'une caméra. Les chercheurs ont ensuite extrait les caractéristiques cinématiques objectives (paramètres de mouvement) et programmé le logiciel EMOKINE, qui fournit ces paramètres de mouvement à partir d'ensembles de données par simple pression sur un bouton.

Suivi informatisé des mouvements de tout le corps

Au total, 32 statistiques sur 12 paramètres de mouvement ont été compilées et extraites d'un ensemble de données de danse pilote. Les paramètres cinématiques enregistrés étaient, par exemple, la vitesse, l'accélération ou la contraction des membres.

« Nous avons identifié 12 caractéristiques cinématiques des mouvements émotionnels du corps entier qui ont été discutées séparément dans la littérature sur les recherches précédentes. Nous les avons ensuite extraites toutes d'un même ensemble de données, puis avons introduit les caractéristiques dans le logiciel EMOKINE », rapporte Julia F. Christensen, première auteure du MPIEA.

Le suivi des mouvements est utilisé dans de nombreux domaines depuis quelques années car l'enregistrement objectif des paramètres de mouvement peut fournir des informations sur les intentions, les sentiments et l'état d'esprit des personnes. Cependant, cette recherche nécessite une méthodologie basée sur la théorie afin de pouvoir tirer des conclusions significatives des données enregistrées.

« Ce travail montre comment la pratique artistique, la psychologie et l'informatique peuvent travailler ensemble de manière idéale pour développer des méthodes d'étude de la cognition humaine », explique le co-premier auteur Andrés Fernández de l'Institut Max Planck pour les systèmes intelligents de Tübingen, en Allemagne.

Le cadre méthodologique qui accompagne le logiciel, et qui utilise explicitement les mouvements de danse pour étudier les émotions, s'éloigne des approches de recherche précédentes, qui ont souvent utilisé des clips vidéo d'« actions émotionnelles », comme agiter les mains ou marcher.

« Nous sommes particulièrement ravis de la publication de ce travail, qui a impliqué tant d'experts, par exemple de l'Université Goethe de Francfort-sur-le-Main, de l'Université de Glasgow et une équipe de tournage de WiseWorld Ai, au Portugal. Il a réuni des disciplines de la psychologie, des neurosciences, de l'informatique et de l'esthétique empirique, mais aussi de la danse et du cinéma », résume l'auteur principal Gemma Roig, professeur d'informatique, de vision computationnelle et du laboratoire d'IA à l'Université Goethe.

Le logiciel open source

EMOKINE est disponible gratuitement sur ZENODO et GitHub et peut être adapté à d'autres systèmes de capture de mouvement avec des modifications mineures. Ces outils numériques disponibles gratuitement peuvent être utilisés pour analyser l'expression émotionnelle des danseurs et d'autres groupes d'artistes, ainsi que les mouvements du quotidien.

Les chercheurs espèrent désormais que le logiciel EMOKINE qu’ils ont développé sera utilisé en psychologie expérimentale, en neurosciences affectives et en vision par ordinateur, en particulier dans l’analyse des médias visuels assistée par l’IA, une branche de l’IA qui permet aux ordinateurs et aux systèmes d’extraire des informations significatives à partir d’images numériques, de vidéos et d’autres entrées visuelles.

EMOKINE aidera les scientifiques à répondre aux questions de recherche sur la manière dont les paramètres cinématiques des mouvements du corps entier transmettent différentes intentions, sentiments et états d’esprit à l’observateur.