Nos tutelles

Aix-Marseille Université CNRS Ministère de la culture

Nos partenaires

École Supérieure d'Art d'Aix-en-Provence

Rechercher




Accueil > français > Thèmes

Thème 8 : Interactions image – son – musique

Responsable : Rémi Adjiman

publié le , mis à jour le

Résumé :

Ce thème est consacré aux interactions entre l’image, le son et la musique dans les œuvres audiovisuelles (linéaires ou non linéaires), dans le théâtre, l’art lyrique, les installations et toutes les formes de création qui mêlent le visuel et le sonore.
Dans les formes audiovisuelles, l’interaction image-son-musique permet par l’infinie variation de l’association de l’image et du son de participer à la production de sens. La compréhension de ce phénomène où sa simple prise en compte ouvre une voie complémentaire à la connaissance des images ou des sons seuls et de leurs usages.
Cette thématique est fondamentalement interdisciplinaire. Elle croise différentes approches : sémiotique, phénoménologique, physiologique, neuro-physiologique, physique du signal, psycho-cognitive, sémio-pragmatique, narratologie, histoire de l’art et des techniques… en prenant en compte la question des dispositifs, des contextes de réception, des situations de communication, des technologies mises en œuvre…
Il s’ouvre également aux questions de réception du spectateur, de rôle du son dans la perception-compréhension de l’image et vice-versa. Les questions de co-construction du sens - tout n’étant pas dans les données objectives fournies au spectateur - et l’interprétation dans le cours d’action de la projection sont également centrales.

Description :

Présentation du thème pour le cinéma

Les réflexions pragmatiques autour des relations image-son-musique au cinéma ne sont pas nouvelles. Elles sont apparues, au temps du cinéma muet, dès l’origine des premières tentatives de diffusion d’une musique et/ou de bruitages faits en direct sur des images dans la salle de projection.
Dès 1928, la première formalisation et problématisation autour de ce thème apparaît avec Eisenstein qui signe « le manifeste du contrepoint orchestral ». Le texte de quelques pages prône la non coïncidence des images et des sons. Il pointe aussi la pauvreté de l’utilisation redondante et illustrative du son dans la plupart des films parlants, qui deviennent par là même du théâtre filmé.

Ainsi apparaissent rapidement des interrogations autour d’opposition comme synchronisme VS a-synchronisme, son in VS son off, son dépendant de l’image VS son répondant à sa propre logique interne…

Comprendre les rapports qu’entretiennent les images et les sons au cinéma, mais également dans toutes les formes de création du spectacle vivant ou des installations, nécessite de s’intéresser fondamentalement aux conditions de leur mise en correspondance, aux formes de création de toutes les expressions audio-visuelles et à la compréhension de sa réception et de son interprétation.

Ce thème est donc ouvert à toutes les formes artistiques qui s’appuient sur une interaction du visuel et du sonore et qui l’incarnent dans une scénographie propre, captée ou non par un dispositif, enregistré ou non sur un support, et représenté ou non en temps réel : opéra, théâtre, dispositifs muséaux, installations innovantes et toutes formes hybrides de création, dans la mesure où les questions des rapports audiovisuels peuvent s’y insérer et où il devient pertinent de comprendre comment les relations image-son-musique participent à construire l’œuvre.

Mais si de nombreuses problématiques peuvent favoriser la structure audio-visuelle elle-même (par exemple les données filmiques au cinéma) et les formes d’association de l’image et du son, il est aussi possible, voire nécessaire, de dépasser ce cadrage pour y insérer le l’énonciateur de la production et/ou le spectateur.

Au-delà du structuralisme et de la physiologie

Sur un écran de cinéma où, par définition, tous les objets sont coplanaires (c’est-à-dire situés sur un même plan), on ne peut pas avoir le relief, ni le volume, mais on garde la perspective par la profondeur de champ. Le relief est sur les objets. La profondeur est entre les objets. La compréhension de l’écran 2D, comme représentation d’une image 3D captée, associé à des sons, est une construction qui relève de l’habitude. Le spectateur sait reconstruire cet espace visuel dans la profondeur. Il l’a appris au cinéma, mais également dans toutes les formes de représentation photographique.

Le travail d’interprétation du montage induit également un processus cognitif qui implique l’habitude. Dans le cas d’une fiction cinématographique, lors de la succession des plans, le spectateur cherche les continuités temporelles ou spatiales, il cherche des logiques pour reconstruire un tout c’est-à-dire un espace qui laisse au récit la possibilité de progresser. Ainsi le découpage se structure d’une façon qui guide ou accompagne le travail que le spectateur-expert fait par habitude.

Si les capacités physiologiques du spectateur sont ici mobilisées, tant du point de vue de la vision, de l’ouïe ou de la perception multimodale, il ne peut être question de les convoquer de manière exclusive. Les processus qui mobilisent la cognition et les interprétations complexifient la compréhension des phénomènes et élargit l’objet d’étude.
Au cours de l’interprétation, le spectateur est placé au cœur d’un dispositif, il mobilise des éléments contextuels (historiques, culturels, communicationnels…), des acquis, des habitudes interprétatives, il construit un récit et mobilise des intentions réactionnelles d’où sont issues des attentions particulières et qui finalement conduisent à la construction de significations et de totalités signifiantes, des représentations.

La thématique des rapports image-son-musique réserve un espace de recherche très conséquent. Le travail de l’association des images et des sons (opéré tant du point de vue du praticien professionnel qui sélectionne un son pour le placer sur des images, que de celui du spectateur expert qui va donner un sens à la mise en correspondance des données audio-visuelles), peut être analysé dans de nombreux contextes, souvent spécifiques, qui peuvent prendre en compte des usages, des dispositifs (smartphone, écran d’ordinateur, salle de cinéma), des technologies (le multicanal, le son 360°, etc.), des typologies sémio-pragmatiques d’interprétation…

Du côté de la réception, de très nombreuses problématiques peuvent émerger et s’insérer dans des cadres d’observation multiples.
Comment le son parvient-il à guider le regard, à renforcer l’interrogation ou l’attente de l’usager ? Comment le son agrandit-il l’image (effet de la profondeur du son et effet de largeur du son) ? Comment parvient-il à créer une continuité entre deux espaces visuels distincts ? Comment le son hors champ vient-il solliciter la fonction imaginative du spectateur ? Comment s’active la mise en correspondance de l’image et du son ? Comment s’opère cette fusion perceptive multimodale ? A l’inverse, à quel moment vient s’immiscer un interstice dans notre perception, c’est-à-dire un écart entre l’image et le son ?
Toutes ces questions ne peuvent trouver des réponses exclusivement dans l’analyse des données ou dans la connaissance de nos capacités neuro-physiologiques : c’est aussi en analysant le cours d’action de l’interprétation, des intentions, des attentions portées, du cheminement précis des attentes et de la prise en compte de l’engagement dans la narration (lorsqu’elle est en jeu) que l’on peut extraire une connaissance précise du système d’interaction.

Du côté des professionnels, d’autres problématiques intéressent ce thème. En quoi tel ou tel dispositif innovant modifie la scénographie de l’image et du son ? Comment l’énonciateur de la production, le réalisateur, le compositeur, l’artiste pensent-ils l’association des images et des sons ? Comment le monteur son va t-il sélectionner un son qui va s’associer à des images déjà montées ? Comment anticipe-il cette relation ? Comment la teste-il et la valide-il ?

Ces recherches ouvrent également des réflexions sur les modalités d’association de l’image et du son. Il est tout à fait pertinent, en vue des multiples applications professionnelles, de comprendre comment peuvent varier les significations possibles d’un même son associé à différentes images, de saisir le caractère convenu ou créatif d’une interaction, de mesurer les contraintes qu’imposent l’image et le découpage sur les possibilités en termes de scénographie sonore.

Les ambiances sonores, un thème en devenir

Dans cette thématique de recherche, la question des ambiances sonores et musicales constitue un point focal spécifique dans la mesure où les ambiances sonores sont un type de son qui, pour diverses raisons, a pris beaucoup d’importance au cours de ces 25 dernières années. De plus, le rapport à l’image des ambiances sonores et musicales est par définition non synchrone, ce qui autorise une liberté au niveau des usages dont peu de sons disposent.

L’ambiance trouve aujourd’hui une multiplicité de débouchés (cinéma, théâtre, opéra, installations, jeux vidéo, etc.) et fédère les chercheurs à travers des réseaux constitués comme le réseau « ambiance ».
http://www.ambiances.net/home.html

Un des projets développé au sein du laboratoire, sur lequel il est possible de s’appuyer, est la sonothèque « Sons du Sud » sonothèque de sons d’ambiance (à vocation cinématographique) captés dans la région PACA et indexés au sein de ce dispostif.
http://www.sonsdusud.fr