Son 3D, immersion sonore et multisensorielle

La caractérisation pertinente des attributs spatiaux du son ainsi que leur manipulation efficace sont porteuses de grands espoirs, en particulier quant à la possibilité de créer et d’interagir avec des environnements virtuels immersifs. Les défis techniques actuels ne concernent pas tant les dispositifs de captation et de restitution que les possibilités d’interaction avec l’information spatiale. Il existe peu de travaux portant sur des représentations intermédiaires pertinentes du son 3D. Dans notre approche, ces représentations sont liées à la perception, mais aussi aux spécificités du domaine applicatif (parole, musique, cinéma, etc.). Nos recherches concerneront deux aspects du son 3D :

– L’étude de la perception de sons spatialisés dans ses aspects statiques (scènes complexes, sources non ponctuelles) mais aussi dans ses aspects dynamiques (trajectoires de sources mobiles). Nous nous appuyons sur un équipement expérimental peu courant : une plateforme de restitution sonore 3D enrichie de dispositifs de capture de mouvement. Sur ce thème, un projet ANR ContInt a été déposé lors de l’appel à propositions 2017 (PercepSon3D), en collaboration avec Telecom ParisTech et les entreprises Immersion et Novelab.

– L’étude de représentations intermédiaires adaptées à l’édition en temps réel de scènes sonores ainsi qu’aux processus de transmission et de stockage des flux audio 3D (codage). Pratiquement, ces représentations sont définies par des transformations mathématiques des enregistrements multicanaux, typiquement des décompositions en composantes principales dans le domaine temps-fréquence. Sur ce thème, un contrat de thèse industrielle avec Orange Labs est en cours d’élaboration.


Technologies du son 3D pour la recréation d’œuvres artistiques :

Les techniques de captation et de restitution 3D offrent des outils de médiation innovants dans le processus de recréation d’une œuvre patrimoniale. Cette perspective est un outil précieux pour permettre de recréer des pratiques artistiques transgénérationelles et redéployer des univers sonores historiques, au sein de lieux patrimoniaux majeurs (Projet Ars Musica – Palais des papes d’Avignon – recréation du paysage sonore dans et autour de la chapelle du pape Clément VI au XIVe siècle).

L’objectif est d’utiliser toutes les possibilités des technologies virtuelles sonores (Captation et diffusion multicanal en immersion, en binaural, etc.) afin de permettre à des musiciens de mieux comprendre les conditions de création d’origine d’une production et les enjeux d’interprétation qui s’en dégagent et ce, quelle qu’en soit l’époque. En outre, il sera envisagé d’adapter ces technologies pour la reconstitution 3D (visuelle et sonore) de sites archéologiques, en particulier préhistoriques, en collaboration avec des chercheurs du MAP (Modèles et simulations pour l’Architecture et le Patrimoine, UMR 3495).


Contenus narratifs en réalité virtuelle/augmentée (Cinematic RV) :

Les technologies audio 3D sont aujourd’hui couramment intégrées dans les contenus en réalités virtuelles à visée narrative (dit Cinematic VR). Du point de vue des applications cinématographiques, nous étudierons l’apport du son 3D par rapport à des technologies classiques (ex. la stéréophonie ou un rendu 3D dégradé au casque) en prenant en compte les éléments de mise en scène, la narration, et d’autres facteurs tels que le contexte de consommation des contenus. Par exemple, il est connu depuis longtemps au cinéma que les sons audibles dans les voies audio arrières d’un système multicanal ne doivent pas trop attirer l’attention du spectateur afin qu’il reste concentré sur l’écran qui se situe à l’avant.

Or, si la réalité virtuelle étend la surface projetée, jusqu’à en abolir les frontières, le spectateur reste toujours immergé dans une construction artificielle dont il faut définir le cadre. Pour cela, elle doit être appréhendé comme un nouveau medium qui nécessite son propre langage, qui n’est pas celui du cinéma, ni celui du jeu vidéo ou de la pure expérience sensorimotrice. Nous tenterons ainsi de déterminer le rôle que peut jouer la modalité auditive et la dimension spatiale dans des situations caractéristiques des films en RV (influence sur l’attention visuelle, espace trans-diégétique, coïncidence des espaces réels et virtuels, interactivité et délinéarisation).