Représentation et modélisation des sons :
La caractérisation et la manipulation des signaux sont fortement dépendantes de la forme mathématique adoptée pour les représenter. Nos efforts vont consister à définir de nouvelles représentations ou à perfectionner des représentations existantes: transformées adaptatives (e.g. dont la résolution est automatiquement adaptée au contenu du signal) et/ou à motivation perceptive (qui se rapprochent de la manière dont le signal est perçu). On s’appuiera sur les nouvelles méthodes de décomposition adaptative avec contraintes basées sur des critères perceptifs et de parcimonie, ainsi que les nouvelles transformées non-stationnaires perceptuelles.
Par ailleurs, lorsqu’on dispose de connaissances a priori sur la source sonore, il peut être plus efficace d’avoir recours à un modèle paramétrique pour analyser le signal. Dans ce cadre, nous continuerons à développer les décompositions en modes oscillants et amortis, rendues possibles par les nouvelles méthodes haute-résolution (dérivées de l’algorithme ESPRIT), ainsi que les identifications de systèmes source-filtre utilisant des modèles statistiques de l’excitation.
Enfin, le paradigme action/objet que nous avons développé ces dernières années permet de construire une nouvelle représentation perceptive des sons. En accord avec l’approche écologique de la perception proposée par J.J. Gibson, nous pouvons caractériser la perception des sons par des invariants morphologiques qui définissent l’objet et l’action génératrice du son. Il s’agira ici d’approfondir ces recherches afin d’identifier de nouveaux types d’invariants en explorant des approches physiquement informées (modèles physiques, simulations) ou des méthodes d’investigation de la perception humaine basées sur l’introspection telles que l’imitation vocale, gestuelle ou les entretiens d’explicitation des vécus conscients (tels que développés dans l’axe 3).
Synthèse et contrôle perceptif des sons :
Le domaine de la synthèse sonore dispose désormais d’outils, de modèles et de méthodes aptes à créer des sons d’un réalisme impressionnant. L’enjeu actuel se situe au niveau du contrôle perceptif de la synthèse. L’identification des invariants morphologiques décrite précédemment permet de créer des sons dont le contenu informatif est explicite. Il s’agira ici de construire des modèles de synthèse sonore basés sur la manipulation de ces invariants. L’objectif final est le contrôle des sons à haut-niveau, basé sur une organisation multidimensionnelle des sons portée par des labels reliés aux évocations induites par les sons, en accord avec nos propres modèles cognitifs.
Ce contrôle permettra l’hybridation d’invariants « improbables » et la construction d’objets sonores inouïs calibrés (e.g. frotter le vent, faire couler du métal, etc.). Afin d’explorer les potentialités d’une telle approche à la construction d’un véritable langage des sons, une plateforme de synthèse sonore interactive et temps réel est mise en place. Elle intègre les méthodologies développées et constitue le cœur pérenne de nos réalisations.
Nouveaux paradigmes gestuels pour la musique :
Il s’agit ici d’explorer des nouvelles possibilités de contrôle de la synthèse par le geste dans un contexte musical. Un prototype de baguettes équipées de capteurs de mouvement (accéléromètre, gyroscope, etc.) a été récemment développé dans le laboratoire. L’interfaçage de ces baguettes avec un processus de synthèse sonore permettant de générer une large palette de sons d’impacts est en cours d’implémentation et d’évaluation. Pour cela, différents mappings (mise en correspondance entre l’interface et la synthèse) sont mis en œuvre à partir d’un algorithme de reconnaissance de gestes et la calibration des paramètres est définie sur des critères de jouabilité.
