Aspect multimodal de la perception

Du côté de la réception (de l’auditeur ou du spectateur), de très nombreuses problématiques émergent dans la mesure où différents canaux sensoriels (ouïe, vision, proprioception, etc.) sont mobilisés. Dans nos précédents travaux, nous avons par exemple mis en évidence l’existence d’une distorsion entre les métriques visuelle et sonore dans la perception de la dynamique.

Ce résultat nous interroge naturellement sur la façon dont nous fusionnons les informations émanant des deux modalités pour former des représentations cohérentes du monde. Afin d’asseoir notre paradigme d’études dans un formalisme mathématique, il s’agira de modéliser le processus d’intégration multisensorielle en termes probabilistes, en s’appuyant sur des inférences bayésiennes. La compréhension de ces processus d’interaction permettra d’ouvrir de nouvelles voies dans l’étude de la relation entre le son et le comportement humain tout en précisant la façon dont un contrôle de la morphologie des sons peut agir sur la vision et sur le mouvement (geste, équilibre postural, cf. études décrites dans le paragraphe suivant).

Dans la perception des formes audiovisuelles, nous étudierons les modalités d’association son-musique-image qui peuvent donner lieu à de multiples significations. Il s’agira notamment de proposer des approches qui permettront de prendre en compte les processus d’interprétations incluant des éléments contextuels provenant du sujet (historiques, culturels, communicationnels, etc.).