Nos tutelles

Aix-Marseille Université CNRS Ministère de la culture

Nos partenaires

École Supérieure d'Art d'Aix-en-Provence

Rechercher




Accueil > français > Thèmes

Thème 1 : Modélisation et contrôle perceptif des sons (langage des sons)

Responsable : Sølvi Ystad

publié le , mis à jour le

Résumé :

Ce thème vise à la construction d’un véritable langage des sons. Il s’agit ici d’intégrer la perception et la sémiotique sonore au sein des méthodes de synthèse afin de contrôler les sons de façon « intuitive », à partir d’une description sémantique du ressenti. Un tel objectif implique de repenser la représentation du monde sonore en croisant et en faisant interagir des disciplines différentes afin de relier les connaissances mathématiques, physiques et vibratoires aux connaissances perceptives et cognitives.
Ce thème soulève de nombreuses questions fondamentales liées notamment au sens attribué aux sons et à la musique, aux morphologies d’un signal sonore responsable de l’attribution du sens, aux représentations mathématiques et perceptives des sons, à l’influence des sons sur le comportement humain et au rôle de la perception auditive en présence d’autres modalités sensorielles. En abordant ces questions, nous souhaitons développer une plateforme de synthèse permettant de créer et transformer des sons réalistes ou inouïs et de contrôler les sons de façon continue et intuitive.
Parmi les nombreuses applications qui émanent de ce thème nous pouvons évoquer la sonification de voitures électriques, le guidage de gestes experts (sportifs, musicaux, etc.), des nouveaux outils pour la composition musicale et pour le cinéma (indexation supervisée, « clonage » de locuteurs).

Description :

Représentation et modélisation des sons

La caractérisation et la manipulation des signaux sonores sont fortement dépendantes de la forme mathématique utilisée pour représenter le signal. Une action importante de ce thème vise à proposer de nouvelles alternatives aux méthodes classiques et à y intégrer des concepts perceptifs.

  • Représentations mathématiques et modélisation morphologique des signaux sonores : nos efforts vont consister à définir de nouvelles représentations ou à perfectionner des représentations existantes : Transformées adaptatives (e.g. dont la résolution est automatiquement adaptée au contenu du signal) et/ou à motivation perceptive (qui se rapprochent de la manière dont le signal est perçu). On s’appuiera sur les résultats obtenus dans le projet ANR POTION, en particulier les nouvelles méthodes de décomposition adaptative avec contraintes perceptive et de parcimonie, ainsi que les nouvelles transformées non-stationnaires perceptuelles (ERBLet et ERB-MDCT), en prolongeant la collaboration avec l’Acoustics Research Institut de Vienne (Autriche) et l’institut de Mathématiques de Marseille.
  • Lorsqu’on dispose de connaissances a priori sur la source sonore, il peut être plus efficace d’avoir recours à un modèle paramétrique pour analyser le signal. Dans ce cadre, nous continuerons à développer les décompositions en modes oscillants et amortis, rendues possibles par les nouvelles méthodes haute-résolution (dérivées de l’algorithme ESPRIT), ainsi que les identifications de systèmes source-filtre complexes (utilisant des modèles statistiques évolués de l’excitation). Ces modèles permettent d’identifier les paramètres physiques et mathématiques des modèles de synthèse décrits plus bas (Synthèse d’invariants morphologiques).
  • Représentation « perceptive » des sons : le paradigme action/objet que nous avons développé ces dernières années permet de construire une nouvelle représentation de l’espace sonore. En accord avec l’approche écologique de la perception, nous pouvons caractériser la perception des sons par des invariants morphologiques qui définissent l’objet et l’action génératrice du son. Ces invariants sous tendent l’espace perceptif des sons. Il s’agira ici d’approfondir ces recherches en identifiant de nouveaux types d’invariants et en explorant différentes approches d’investigation de la perception humaine telles que l’imitation vocale et gestuelle ainsi que les entretiens d’explicitation (voir Thème 3). Le formalisme associé à cet espace sonore sera abordé en collaboration avec l’institut de Mathématiques de Marseille (B. Torrésani).

Synthèse et contrôle perceptif des sons

Les méthodes de synthèse numérique des sons s’appuient sur des représentations bas niveau : représentations physiques de la source sonore ou représentations morphologiques du signal de pression. Le contrôle de la synthèse nécessite ainsi de manipuler des paramètres physiques ou mathématiques qui n’ont pas toujours de relation directe avec la perception des sons engendrés. L’objectif de cette section est de mettre en oeuvre une méthodologie de contrôle « intuitif » des sons.
L’identification des invariants morphologiques décrite précédemment permet de créer des sons dont le contenu informatif est explicite. Il s’agira ici de construire des modèles de synthèse sonore basés sur la manipulation de ces invariants. L’objectif final est le contrôle des sons à haut niveau, basé sur une organisation multidimensionnelle des sons portée par des labels reliés aux évocations induites par les sons, en accord avec nos propres modèles cognitifs. Les applications de ce travail seront nombreuses : domaine de l’automobile (sonification de voitures électriques et de nouveaux usages), de l’aéronautique (alarmes dans les cockpits d’avion), de la création musicale (nouveaux paradigmes d’exploration de l’espace sonore, sons inouïs) et du cinéma (doublage son automatique pour la voix et les sons d’environnement, indexation supervisée, « clonage » de locuteurs).
L’espace de contrôle des sons décrit plus haut permet l’hybridation d’invariants « improbables » et la construction contrôlée d’objets sonores inouïs (frotter le vent, faire couler du métal, etc.). Afin d’investiguer les potentialités d’une telle approche à la construction d’un véritable langage des sons, une plateforme de synthèse interactive et temps réel sera développée. Elle intègrera les méthodologies décrites plus haut et constituera le cœur pérenne de nos réalisations. Elle sera à la base des études sur les interactions multimodales et sur les environnements virtuels tels que New Atlantis (voir Thèmes 2 et 7).

Aspect multimodal de la perception

Comme pour tout langage, la « signification » des sons dépend fortement du contexte. L’étude de l’influence sur la perception sonore et le comportement humain de l’environnement sonore (sons environnants, espace perçu) et de l’interaction avec les autres modalités, représente un fort enjeu de ce thème de recherche.

  • Langage des sons : informer mais aussi guider et influencer : en exploitant les attributs propres à l’information auditive, le son peut constituer un moyen privilégié d’influence sur l’humain. Nous avons pu montrer qu’une cinématique évoquée par un son influence significativement la cinématique du geste et la trace produite dans une tâche de reproduction graphique du mouvement d’un point lumineux. Ce résultat révèle l’importance de la modalité auditive dans l’intégration multisensorielle des mouvements continus. Il s’agira ainsi d’évaluer la manière dont le contrôle de la morphologie de sons permet d’agir de façon explicite ou implicite sur notre comportement et d’établir des modèles empiriques et/ou formels d’interactions multimodales mettant en jeu la modalité auditive. Nous poursuivrons ces investigations en proposant des nouvelles méthodes d’apprentissage par le son allant du domaine sportif au domaine thérapeutique ou éducatif (voir également Thème 2). Ainsi, nous étudierons les liens naturels entre gestes et sons, cohérents ou non avec les mouvements biologiques, afin de proposer des stratégies génériques de guidage de gestes. • Nous viserons à formaliser des modèles d’interactions afin de calibrer les manipulations sonores aptes à orienter le geste vers un objectif (geste expert, geste sportif, geste musical, etc.).
    Nous envisageons également d’inclure une interactivité entre la posture du sujet et le son (liée au timbre, hauteur perçue, sonie et effets spatiaux) afin d’optimiser des comportements posturaux propres à des applications définies (maintien de l’équilibre ou aide à la stabilisation de personnes par exemple). Dans ce cadre l’influence de la modalité auditive sur des indices d’orientation allocentrée sera questionnée en collaboration avec des chercheurs de l’ISM (L. Bringoux, C. Bourdin). En particulier, il s’agira de montrer que des indices sonores spécifiant l’orientation d’une scène contextuelle influence la perception de la verticalité subjective au même titre que des indices visuels, ce qui remettrait en cause l’idée d’une dépendance sensorielle univoque dans des tâches de jugement spatial, au profit d’une dépendance individuelle amodale à des cadres de référence spatiaux.
  • Cognition spatiale : la perception qu’a l’observateur de son environnement repose sur la compréhension de la manière dont la multitude d’informations sensorielles s’organise dans l’espace. Les interactions entre les sens soulignent l’importance d’étudier la perception spatiale d’un point de vue multisensoriel. Dans ce cadre, nous nous proposons d’étudier en collaboration avec M. Auvray (ISIR, Paris) le développement conjoint ou disjoint des prises de perspectives dans les trois modalités sensorielles les plus importantes pour la perception de l’espace : la vision, l’audition et le toucher. Nous évaluerons les possibles transferts d’une modalité sensorielle à l’autre lors d’un apprentissage de prises de perspectives ainsi que l’évaluation des capacités de prises de perspectives lorsque l’information spatiale est distribuée sur plusieurs modalités sensorielles. Ceci impliquera l’étude du rôle de la redondance de l’information spatiale mais également des capacités de sélection et d’inhibition de l’information lorsque l’information spatiale est conflictuelle.

Sémiotique sonore et musicale

  • Sonothèque « sons du sud » : le département SATIS et ASTRAM ont développé depuis plusieurs années une sonothèque en ligne de sons d’ambiance : Sons du Sud (www.sonsdusud.fr). Cette base de données sonore est conçue pour répondre aux besoins des professionnels du son et spécifiquement à ceux des monteurs son pour le cinéma et l’audiovisuel. L’objectif de cette recherche consiste à déterminer une logique d’indexation des sons qui permette leur classification dans la perspective d’une recherche optimale de ceux-ci, c’est-à-dire dépassant le cadrage d’une description purement causale du son. La proposition doit donc permettre d’ouvrir les champs d’application, en allant au-delà des usages les plus habituels rencontrés au sein de la profession.
  • Langage musical – sémiotique musicale : la sémiologie/sémiotique du musical – en tant que méthode d’analyse de la signification musicale (et du sens) - occupe depuis les années 1960 (linguistic turn) une place importante dans les études musicologiques dites systématiques (c’est-à-dire interdisciplinaires). Développées dans le sillage des études structuralistes, les premières méthodes sémiotiques ont cherché à comprendre la signification musicale en la rapprochant du langage verbal et de son fonctionnement. En raison de similitudes (comme par exemple : ouïe, grammaire, transcriptibilité, sonore), le langage musical semble en effet correspondre en tout point au mode de fonctionnement du langage verbal. On notera ainsi les premières méthodes mises au point par Nicolas Ruwet portant sur l’analyse paradigmatique de monodies musicales. Il est par ailleurs à noter que le pouvoir signifiant du musical est reconnu dans de nombreux textes d’esthétique et cela dès l’Antiquité classique (Platon …). La seconde génération de méthodes sémiotiques (dès les années 1980) élargira sa réflexion dans une perspective post-structuraliste en tentant à la fois de diversifier ses outils mais aussi d’élargir la comparaison entre langage musical et langage verbal. Cette dynamique est toujours actuelle, au plan international (ICMS – International Congress of Musical Semiotics - fondé par E. Tarasti dans les années 1990, par exemple et regroupant à l’heure actuelle de très nombreux chercheur-es à l’international).
    Il s’agira (1) de revenir sur cette histoire de la sémiologie/sémiotique musicale et sur son importance pour la musicologie contemporaine, (2) de travailler au plus près de la réalité perceptive, mais aussi musicienne, ce que l’on appelle « langage musical », cela en relation avec les recherches effectuées par les autres projets du Thème 1 et (3) de mettre en critique la relation entre le son et sa signification sous différents modes, notamment sa verbalisation, sa métaphorisation (relevant d’une dialectique entre perçu, réel et imaginaire) ou sa figuration conduisant à une réflexion plus générale sur la temporalité musicale et ses modes d’instauration de sens.