Nos tutelles

Aix-Marseille Université CNRS Ministère de la culture

Nos partenaires

École Supérieure d'Art d'Aix-en-Provence

Rechercher




Accueil > français > Thèmes

Thème 2 : Perception virtuelle et augmentée - applications industrielles, sociétales et thérapeutiques

Responsable : Mitsuko Aramaki

publié le , mis à jour le

Résumé :

Ce thème adresse les problématiques liées aux nouvelles formes de perception au travers des technologies émergentes, quelles soient embarquées ou associées à des dispositifs immersifs et interactifs. Ces technologies fournissent une grande variété de données physiques, qui en les rendant sensibles et signifiantes, permettraient d’accéder à des perceptions inédites du monde. Ces aspects soulèvent des questions fondamentales communes aux applications envisagées : Quelles informations doit-on révéler et comment les révéler, notamment par le son ? Comment notre perception est-elle modifiée par l’adjonction d’informations sensorielles multiples via des technologies ? Ils appellent également à une réflexion nouvelle et générale sur l’interaction entre l’homme, la science et la technologie, et en particulier sur l’appropriation de ces nouveaux objets susceptibles d’être appréhendés comme des « greffes » technologiques. Ce thème vise ainsi à anticiper le bouleversement culturel et environnemental induit par une augmentation de nos perceptions, notamment sous-tendue par le son, selon différents cas d’usages dans le domaine industriel (transport, sport, etc.), sociétal (apprentissage, musique, cinéma, etc.) et de l’ingénierie pour la santé (remédiation, biofeedback). Les recherches s’appuieront sur la mise en place d’une plateforme technologique d’immersion multisensorielle, adossée à l’UMR et pourront bénéficier du concours de différentes structures pluridisciplinaires (IMéRA, CRVM, etc.) et de partenaires socio-économiques majeurs (PSA, etc.).

Description :

Technologies émergentes embarquées

Les nouvelles interfaces de commande par tablette ou par le geste offrent de nombreuses perspectives dans l’interaction avec des systèmes de plus en plus complexes. Dans certaines situations (de conduite par exemple), elles peuvent être coûteuses en ressources cognitives attentionnelles, en particulier visuelles. Sur la base des travaux menés dans le Thème 1, il s’agira ici de développer des Interfaces Homme-Machine (IHM) sonores permettant de décharger notamment le canal visuel afin d’aider les utilisateurs dans leurs usages d’interface virtuelle (par la reconnaissance du geste) ou d’interface tactile déportée (donc utilisée en aveugle). Le son sera à la fois une aide à l’apprentissage et un feedback d’accompagnement et de confirmation de commande. Par ailleurs, nous nous intéresserons au développement d’équipements sonifiés pour apprendre un geste expert précis, à savoir le jeu instrumental dans le contexte musical et le geste sportif. Les innovations proposées visent à une véritable évolution des pédagogies d’apprentissage dans ces domaines. Enfin, dans le domaine clinique, les aides auditives s’équipent de technologies miniaturisées intégrant des procédés de traitement du signal évolués mais pas toujours basés sur la prise en compte de critères perceptifs. Il s’agira ici d’explorer de nouvelles pistes d’encodage de l’information utile basées sur les invariants morphologiques sonores relatives à l’évocation des sources (Thème 1). En effet, un nouveau codage de l’implant cochléaire basé sur des informations sémiotiquement robustes pourra être évalué en terme d’efficacité du dispositif et de performance perceptivo-cognitive (intelligibilité, compréhension du sens).
Des installations artistiques constitueront également un cadre d’expérimentations sonores diverses. A titre d’exemple, le projet « RoadMusic » conçu et développé par P. Sinclair, a donné lieu à un dispositif numérique qui génère de la musique électronique en temps réel en fonction des caractéristiques liées au trajet d’une voiture (texture, bosses, virages), à la conduite (accélération, trajectoire, freinage) et au paysage traversé (luminosité). Ce dispositif offre ainsi au conducteur une expérience nouvelle où l’ambiance sonore et l’environnement s’accordent virtuellement.

Révéler l’invisible et l’insensible

Une recherche muséographique (médiation scientifique) sera également menée selon les principes déjà concrétisés par ses promoteurs avec le Cosmophone (http://cosmophone.in2p3.fr). La démarche sera amplifiée en investiguant de façon plus générale, sur un mode expérimental et émotionnel, la frontière entre la « réalité extérieure » étudiée par les sciences contemporaines de la nature, et la « réalité intérieure » de la conscience humaine conditionnée par les sens et la cognition. L’objectif sera de concevoir des installations révélant les phénomènes les plus intimes de la nature de façon directe et intuitive, en interfaçant leur détection avec des systèmes de représentation sensible fondés sur les lois de la perception. Le résultat doit être une « réalité augmentée » non pas simplement virtuelle, comme cela se pratique dans les simulateurs, mais en prise directe avec les phénomènes réels concernés. Quelques pistes non exhaustives envisagées à ce stade incluent : la mise en évidence en temps réel de la radioactivité naturelle du corps humain, l’exploration tactile de la structure des atomes via un microscope à effet tunnel interfacé avec un dispositif haptique, l’imagerie interactive de phénomènes biologiques cellulaires intimes, etc.

Cinéma 3D interactif et mondes virtuels immersifs

Un des grands enjeux actuels concerne ce qu’il est commun d’appeler de nos jours le cinéma 3D. Expérimenter de nouveaux processus de captation et de post-production pour des films à 360° (3D), identifier et solutionner les contraintes techniques de captation et d’exploitation d’images et du son à 360° (3D), dans des conditions professionnelles, constitue l’objet des recherches proposées. Elles donneront lieu au dépôt d’un projet PacaLabs (« Innover avec son marché ») dont l’objectif sera d’évaluer l’apport effectif de ces nouvelles technologies de captation audio (conjointement à l’image) ainsi que des retours d’usage de ces outils au cours de six tournages expérimentaux.
Les systèmes immersifs de réalité virtuelle ont également énormément évolué. Alors que les rendus d’images de synthèse réalistes sont maintenant presque devenus un standard, les banques de sons enregistrés sont encore utilisées dans ce domaine. La synthèse des sons constituerait alors une véritable rupture méthodologique, en permettant des transformations sonores en temps réel, un rendu audio interactif et une immersion accrue de l’utilisateur dans le monde virtuel (par ex. projet « New Atlantis » et soumission du projet européen collaboratif MAPPING, Thème 7). Basé sur les résultats du projet ANR Physis, des pistes nouvelles seront explorées. Il s’agira de mettre en œuvre des nouvelles technologies permettant d’engendrer des sons directement à partir de paramètres physiques, contextuels et sémantiques des objets du monde virtuel. L’expérience immersive et interactive sera notamment évaluée en terme de modification des états conscients (Thème 3).
Enfin, les techniques de captation sonore 3D, ainsi que les différentes réverbérations de type « convolution » offre des outils de médiation spécifiques et innovants dans le processus de recréation d’une œuvre patrimoniale. Cette perspective peut être un outil précieux pour permettre de recréer des pratiques artistiques « transgénérationelles » : « redéployer » des univers sonores historiques, au sein de lieux patrimoniaux majeurs (Projet Ars Musica - Palais des papes d’Avignon - recréation du paysage sonore dans et autour de la chapelle du pape Clément VI au XIVe siècle). L’objectif est d’utiliser toutes les possibilités des technologies virtuelles, sonores (Captation et diffusion multicanal en immersion, psycho-acoustique binaurale, etc.) afin de permettre à des musiciens de mieux comprendre les conditions de création d’origine d’une production et les enjeux d’interprétation qui s’en dégage et ce, quelle qu’en soit l’époque. En outre, il sera envisagé d’adapter ces technologies pour la reconstitution 3D (visuelle et sonore) de sites archéologiques, en particulier préhistoriques, en collaboration avec des chercheurs du MAP (Modèles et simulations pour l’Architecture et le Patrimoine, UMR 3495).

Remédiation par le son des déficiences sensorielles (motrices, visuelles)

Le son peut également constituer un outil efficace pour faciliter le diagnostic et la rééducation de déficiences motrices. Une première application en collaboration avec les chercheurs du Laboratoire de Neurosciences Cognitives (J.L. Velay et J. Danna) a été mise en œuvre dans le cadre du projet ANR MetaSon. Les études menées ont permis d’apporter une preuve de concept pour l’utilisation du son dans le cadre du diagnostic et de la remédiation de troubles graphomoteurs, notamment dans la dysgraphie, trouble spécifique dans la production de l’écriture. Les vécus de conscience de ces troubles auprès des enfants dysgraphiques ont été examinés par les techniques d’explicitation (Thème 3). Le projet proposé vise à consolider et formaliser la méthodologie qui a été mise en place, en finalisant les expériences en cours et en démontrant les potentialités applicatives du son comme vecteur d’information. Ces approches croisées avec l’analyse des vécus de conscience (Thème 3) permettront de recueillir des informations pré-réfléchies inscrites dans l’action motrice, et de les corréler avec des caractéristiques acoustiques du son associées à la dynamique évoquée. Nous envisageons également la réhabilitation clinique pour la maladie de Parkinson ou bien la rééducation chez le patient hémiplégique pour lesquelles les performances motrices sont irréversiblement altérées.
Parmi les technologies supplétives, les dispositifs de substitution sensorielle visent à aider les personnes ayant une déficience sensorielle en convertissant les informations d’un organe sensoriel déficient (par ex. la vision) en informations spécifiques à une autre modalité sensorielle (par ex. le toucher ou l’audition). Les deux grandes familles de dispositifs existant pour compenser les déficits visuels sont les dispositifs de substitution visuo-tactiles, convertissant des images en vibrations tactiles et les dispositifs de substitution visuo-auditifs convertissant des images en sons. D’un point de vue appliqué, ces dispositifs ont pour objectif d’aider les personnes ayant une déficience visuelle en permettant de reconnaître et de localiser des objets. D’un point de vue fondamental, ces dispositifs permettent d’étudier les mécanismes perceptifs se constituant grâce à une nouvelle forme d’interaction avec l’environnement, aux niveaux de l’acquisition de nouvelles habiletés perceptives, de la phénoménologie associée et de la plasticité structurelle et fonctionnelle du système nerveux central. Les travaux envisagés dans ce cadre en collaboration avec M. Auvray (ISIR, Paris) se focaliseront sur la substitution visuo-auditive et s’inscriront à la fois en amont et en aval de la conception des dispositifs. Ils impliqueront l’étude de la nature et des possibilités offertes par la substitution sensorielle, des facteurs centraux à leur apprentissage, et leur adéquation à la population cible en prenant en compte les spécificités individuelles.

Biofeedback basé sur le son : applications thérapeutiques

Le biofeedback est en plein développement en raison de la capacité grandissante des ordinateurs à réaliser des analyses rapides (du type transformée de Fourier) des signaux électrophysiologiques (EEG, ECG, EMG, etc.) tout en présentant en même temps des stimuli à l’origine de la boucle de biofeedback. Sur un plan clinique, on observe que les indications validées de ces méthodes, et plus particulièrement le neurofeedback (NF), sont d’une part les déficits de l’attention du Trouble avec Déficit Attentionnel et Hyperactivité (TDAH), certaines épilepsies pharmaco-résistantes, et les troubles du sommeil. Les traitements par NF sont caractérisés par leur excellente acceptation par les patients (puisque sans adjuvant moléculaire) et leur capacité à améliorer leur estime d’eux-mêmes et leur qualité de vie. Il est également probable que les indications de ces thérapeutiques vont s’élargir à d’autres pathologies psychiatriques. Un élément fondamental qui semble apparaître est le fait que le NF passe par des changements dans les modalisations de la conscience (on préfère le terme « modalisation », plus dynamique que le mot « état »), changements qui semblent assez durables et en tout cas très efficaces dans le processus thérapeutique. Malheureusement les stimuli utilisés sont le plus souvent très simples, voire indigents (barres, petits ballons ou bateaux). Il semblerait ainsi possible de complexifier les stimuli pour accroître les changements dans les modalisations de la conscience et en particulier d’introduire par exemple un neurofeedback dont le but serait de permettre au patient de modifier via les variations des bandes de fréquence de l’EEG des sons générés par le synthétiseur de scènes sonores d’environnement (Thème 1), ce qui pourrait avoir pour effet une certaine ataraxie. Une telle recherche serait coordonnée avec le Thème 3 de l’étude des vécus de conscience et fera l’objet d’un dépôt de projet ANR (Défi « Vie, santé et bien-être »).