Le Langage des Sons

Ce programme structurant a pour objectif de décrypter le contenu sémiotique des sons du quotidien en vue de proposer des modèles et des représentations fondés sur les lois de la perception.

Notre environnement sonore nous parle constamment. Ce projet a pour but de décrypter le contenu sémiotique des sons du quotidien, et vise ainsi à constituer un véritable langage sonore (non verbal) pouvant être utilisé pour informer mais également pour guider (vers une cible au sens large) et même susciter un comportement particulier chez l’auditeur.

Il s’agit alors d’évaluer la manière dont le contrôle de la morphologie des sons permet d’agir de façon explicite ou implicite sur notre comportement et d’établir des modèles empiriques et/ou formels d’interactions multimodales mettant en jeu la modalité auditive. Nous poursuivons ces investigations en situation par la proposition de nouvelles méthodes d’apprentissage par le son allant du domaine sportif, artistique ou éducatif jusqu’au domaine thérapeutique.

Détermination d’invariants morphologiques sonores

Afin de décrypter le contenu sémiotique des sons, nous ferons dans un premier temps l’hypothèse que la reconnaissance des événements sonores est associée à la perception de structures morphologiques spécifiques contenues dans le signal acoustique et porteuses de sens. Ainsi en accord avec l’approche écologique de la perception, nous avons proposé un paradigme de contrôle de la synthèse appelé {action-objet} dans lequel les sons du quotidien sont décrits comme le résultat perceptif d’une action sur un objet. Ce paradigme a conduit à la détermination d’invariants structurels et transformationnels liés respectivement à la reconnaissance des propriétés de l’objet et de son interaction avec l’environnement. Il s’agira ici d’approfondir ces recherches pour identifier de nouveaux types d’invariants et de développer des nouvelles méthodologies basées sur l’exploration de différentes approches :

  • Approche physique : la méthodologie employée sera basée sur l’analyse des signaux non stationnaires engendrés par des modèles physiques dont le comportement (linéaire et non linéaire) est représentatif de percepts sonores préalablement classifiés (objets frappées ou frottées, grandes déformations, gongs, interactions continues, etc.). Les outils numériques de synthèse basés sur la description physique des sources sonores seront construits en collaboration avec les chercheurs de l’Université d’Edimbourg.
  • Approche mathématique : à partir de la propriété d’invariance mathématique, les invariants morphologiques seront définis en termes de matrices de déformation (caractérisant l’action) associées à des processus stochastiques stationnarisés (caractérisant l’objet). Des algorithmes d’estimation basés sur des représentations adéquates des signaux (transformée en ondelette généralisée) seront développés et optimisés (méthodes convexe et non-convexe) en collaboration avec les chercheurs de l’I2M.
  • Approche perceptive : outre les méthodes psychophysiques classiques (tests perceptifs), des approches introspectives seront mises en place afin de mieux comprendre le ressenti de l’auditeur. Nous explorerons par exemple une nouvelle manière d’interroger notre perception sur la base de l’imitation vocale. Nous faisons ainsi l’hypothèse que les sujets révèleront naturellement les caractéristiques acoustiques les plus signifiantes d’un son en l’imitant vocalement. Des outils d’analyse des signaux vocaux seront développés pour l’estimation de structures formantiques et la caractérisation du signal d’excitation.

Cadre théorique et formalisation d’un langage des sons

Nous souhaitons définir ici un cadre théorique à ce langage des sons. Dans quelles situations le sonore est-il indiciel, iconique, symbolique, multimodal ? Notre explorerons différentes postures sémiotiques, en se décentrant du logocentrisme de Saussure pour se rapprocher du pragmatisme philosophique et éthique de Peirce ou de Sebeok, de l’approche énactive de Varela ou de l’approche écologique de Gibson. Nous nous intéresserons également à la sémiologie/sémiotique du musical – en tant que méthode d’analyse de la signification musicale. Développées dans le sillage des études structuralistes, les premières méthodes sémiotiques ont en effet cherché à comprendre la signification musicale en la rapprochant du langage verbal et de son fonctionnement. A partir de ces considérations, il s’agira de mettre en critique la relation entre le son et sa signification sous différents modes, notamment sa verbalisation, sa métaphorisation (relevant d’une dialectique entre perçu, réel et imaginaire) ou sa figuration conduisant à une réflexion plus générale sur la temporalité (sonore et musicale) et ses modes d’instauration de sens. Cette sémiotique du sonore que nous mettons en question voit ainsi dans la question du langage celle de la polarité entre variance et invariance, entre code et énonciation, entre signe et interprétant.

Informer, guider et influencer par le son

Les études sur le contenu informatif des sons constitueront une base de connaissances nécessaire pour aborder les aspects relatifs à l’utilisation du son comme moyen de communication, de guidage et d’influence sur le comportement humain. Il s’agira ainsi d’évaluer la manière dont le contrôle de la morphologie de sons permet d’agir de façon explicite ou implicite sur notre comportement et d’établir des modèles empiriques et/ou formels d’interactions multimodales mettant en jeu la modalité auditive.

Outre les avancées fondamentales escomptées, ces travaux seront mis en situation dans différents cas d’usage en vue d’applications industrielles et sociétales majeures : le développement d’interfaces homme-machine innovantes et ergonomiques utilisant la synthèse sonore (domaine automobile), des outils interactifs de synthèse sonore pour les jeux vidéo et le cinéma, l’aide à l’apprentissage par la sonification du geste expert (graphique, sportif et musical) ou le domaine de l’ingénierie de la santé (remédiation, biofeedback, sons et thérapies).

Responsable