La caractérisation pertinente des attributs spatiaux du son ainsi que leur manipulation efficace sont porteuses de grands espoirs, en particulier quant à la possibilité de créer et d’interagir avec des environnements virtuels immersifs. Les défis techniques actuels ne concernent pas tant les dispositifs de captation et de restitution que les possibilités d’interaction avec l’information spatiale. Il existe peu de travaux portant sur des représentations intermédiaires pertinentes du son 3D. Dans notre approche, ces représentations sont liées à la perception, mais aussi aux spécificités du domaine applicatif (parole, musique, cinéma, etc.). Nos recherches concerneront deux aspects du son 3D :
– L’étude de la perception de sons spatialisés dans ses aspects statiques (scènes complexes, sources non ponctuelles) mais aussi dans ses aspects dynamiques (trajectoires de sources mobiles). Nous nous appuyons sur un équipement expérimental peu courant : une plateforme de restitution sonore 3D enrichie de dispositifs de capture de mouvement.
– Le contrôle perceptif de l’espace sonore. Les enjeux d’une telle recherche se situent ainsi à 2 niveaux : 1) Au niveau fondamental le projet vise à comprendre la façon dont un auditeur perçoit l’espace sonore 3D dans lequel il est immergé et comment cet espace influence la perception de l’information auditive. 2) Au niveau applicatif, le projet vise à répondre à l’attente des professionnels du son et de la musique qui cherchent à construire des processus immersifs procurant à l’auditeur une véritable expérience perceptive contrôlée.
Technologies du son 3D pour la recréation d’œuvres artistiques :
Les techniques de captation et de restitution 3D offrent des outils de médiation innovants dans le processus de recréation d’une œuvre patrimoniale. Cette perspective est un outil précieux pour permettre de recréer des pratiques artistiques transgénérationelles et redéployer des univers sonores historiques, au sein de lieux patrimoniaux majeurs (Projet Ars Musica – Palais des papes d’Avignon – recréation du paysage sonore dans et autour de la chapelle du pape Clément VI au XIVe siècle).
L’objectif est d’utiliser toutes les possibilités des technologies virtuelles sonores (Captation et diffusion multicanal en immersion, en binaural, etc.) afin de permettre à des musiciens de mieux comprendre les conditions de création d’origine d’une production et les enjeux d’interprétation qui s’en dégagent et ce, quelle qu’en soit l’époque. En outre, il sera envisagé d’adapter ces technologies pour la reconstitution 3D (visuelle et sonore) de sites archéologiques, en particulier préhistoriques, en collaboration avec des chercheurs du MAP (Modèles et simulations pour l’Architecture et le Patrimoine, UMR 3495).
Contenus narratifs en réalité virtuelle/augmentée (Cinematic RV) :
Les technologies audio 3D sont aujourd’hui couramment intégrées dans les contenus en réalités virtuelles à visée narrative (dit Cinematic VR). Du point de vue des applications cinématographiques, nous étudierons l’apport du son 3D par rapport à des technologies classiques (ex. la stéréophonie ou un rendu 3D dégradé au casque) en prenant en compte les éléments de mise en scène, la narration, et d’autres facteurs tels que le contexte de consommation des contenus. Par exemple, il est connu depuis longtemps au cinéma que les sons audibles dans les voies audio arrières d’un système multicanal ne doivent pas trop attirer l’attention du spectateur afin qu’il reste concentré sur l’écran qui se situe à l’avant.
Or, si la réalité virtuelle étend la surface projetée, jusqu’à en abolir les frontières, le spectateur reste toujours immergé dans une construction artificielle dont il faut définir le cadre. Pour cela, elle doit être appréhendé comme un nouveau medium qui nécessite son propre langage, qui n’est pas celui du cinéma, ni celui du jeu vidéo ou de la pure expérience sensorimotrice. Nous tenterons ainsi de déterminer le rôle que peut jouer la modalité auditive et la dimension spatiale dans des situations caractéristiques des films en RV (influence sur l’attention visuelle, espace trans-diégétique, coïncidence des espaces réels et virtuels, interactivité et délinéarisation).
