Vers les Unités sémiotiques temporelles intermédias ?

© conception et réalisation graphique: Benjamin Dumont / Smalt benjamin@smalt.fr

Le laboratoire Musique et Informatique de Marseille est une association de créateurs fondée en 1984 par des compositeurs de musique contemporaine. Dès son origine, le lien entre création et recherche a servi de clef de voûte à ce groupe de compositeurs qui s’est élargi rapidement, associant des artistes venus des arts plastiques, du multimédia, de la danse, de la poésie numérique, de la littérature… Nous produisons nos œuvres régulièrement lors de concerts, œuvres qui, de par la composition de l’équipe, ont pris au cours des années une forme souvent intermédiatique.

Entre 1991 et 1996, l’équipe du laboratoire MIM et son directeur de recherche François Delalande1, du GRM2, instaurent avec les Unités sémiotiques temporelles (UST) une nouvelle façon d’aborder le problème de la sémantique musicale. Ils se veulent dans le prolongement et en complémentarité du Traité des objets musicaux3 de Pierre Schaeffer4, à propos duquel François Delalande, en accord avec le MIM, constatait alors :

… cette description « typo-morphologique » repose sur une attitude d’écoute, que Schaeffer appelle « écoute réduite », qui consiste à faire abstraction de toute signification, causale ou associative, qui s’attache au son et est donc, par définition, impropre à analyser la musique comme objet signifiant.5

I.               Les Unités sémiotiques temporelles.

Plutôt qu’une définition au sens strict, je proposerai ici quelques textes dans le but d’aider à concevoir ce que l’on entend par UST.

– Rien que de plus banal que de terminer l’exécution d’un morceau par un ralenti qui va créer un effet de détente. C’est banal, mais c’est tout à fait fondamental, et pourtant l’analyse musicale classique n’a rien à dire sur ce ralenti et cet effet de détente, tout simplement parce que ce n’est pas écrit – ou écrit de façon très sommaire, comme indication de jeu – et que l’analyse musicale s’est traditionnellement occupée des notes. Or, un vulgaire ralenti est un moyen puissant de créer du sens. C’est une configuration temporelle, mais qui est immédiatement généralisée, mise en rapport avec des configurations analogues qui ne relèvent pas seulement du sonore. L’interprète a ainsi entre les mains toute une palette de moyens de créer des sens différenciés, rien qu’en négociant son ralenti. Est-ce qu’il y en a une infinité ? Ce n’est pas sûr. Le ralenti peut-être un « sur l’erre », dans le vocabulaire des UST, c’est-à-dire une dissipation de l’énergie ; ou bien on peut maintenir l’énergie constante jusqu’à un point de rupture où elle décroît de façon accélérée – on a alors affaire à une « chute » ; ou bien créer, juste avant la fin, un appui, qui amènera un « élan » prolongé par le silence ; ou encore un moment de compression qui contrastera avec une dilatation, selon la figure répertoriée « contracté-étendu ».6

– Qu’est-ce qu’une occurrence d’unité sémiotique temporelle ? C’est un segment musical qui, même hors contexte, possède une signification temporelle précise, due à son organisation morphologique (l’UST elle-même est la classe d’équivalence, plus abstraite, des segments qui présentent, même hors contexte, une signification temporelle due à des organisations morphologiques analogues).7

– Cette façon d’appréhender le sonore, de favoriser l’écoute, parle certes à l’intellect mais aussi à l’imagination. Elle est également liée à un vécu physique, à un « geste musical » (très souvent, d’ailleurs, les UST sont « mimées » par les élèves, qui traduisent une impression quasi physique lors de leur description.8

Les UST répertoriées par le MIM sont au nombre de 19, que l’on peut classer en deux grandes catégories :

• à durée délimitée dans le temps, susceptibles de s’inscrire dans la mémoire immédiate et d’apparaître comme une figure, d’une durée inférieure à 10 secondes ;

• à durée non délimitée dans le temps, perçues comme un processus continu qui pourrait durer éternellement.

Elles se présentent sous la forme de fiches comportant leur nom, une description morphologique et une description sémantique.

Vers l’analyse en UST des œuvres vidéo-musicales

Les UST se sont révélées à l’usage un excellent outil pour l’analyse des œuvres musicales, et fort de ce succès quelques tentatives ont été menées au sein, et à l’extérieur, du MIM pour en élargir l’usage à d’autres domaines artistiques.

Cependant, jusqu’à aujourd’hui, aucune de ces recherches n’a répondu de notre point de vue à la problématique spécifique à l’analyse d’œuvres audiovisuelles, notamment les expériences que nous avons menées au MIM dans ce domaine et qui tentaient de leur appliquer stricto sensu une analyse en UST.

De trop nombreux accommodements nous ont paru en effet nécessaires pour adapter cet outil, basé sur l’unique perception auditive, à une perception tout à la fois auditive et visuelle. Car bien que la musique soit l’un des médias représentés, son association avec d’autres médias oblige à reconsidérer la manière même que nous avons de percevoir. Il nous a donc semblé nécessaire d’oublier pour un temps les UST, ou du moins leurs définitions, afin de retrouver une sorte de naïveté perceptive.

Par ailleurs, ce qui nous semble important dans l’intermédia et ce sur quoi nous souhaitons faire porter une analyse en UST, c’est l’étude sémiotique de la relation entre les médias, et non pas l’analyse successive en UST de chacun des deux médias, comme nous l’avions envisagé un moment.

Et donc, puisque c’est l’espace créé par l’interrelation des médias qui est porteur de la sémiose, c’est pour les œuvres audiovisuelles intermédias ainsi définies que nous souhaitons élaborer des outils d’analyse sémiotique, sur le  modèle des UST.

Ces outils d’analyse auraient pour fonction de caractériser le discours intermédiatique, la discursivité de cet espace.

Après quoi, catégoriser les différentes discursivités obtenues nous permettrait une modélisation comparable à celle des UST.

Il nous a donc semblé nécessaire d’initier une nouvelle expérience.

II.             Vers une méthodologie

Les premiers principes de l’expérience

En résumé, la problématique qui se pose à nous n’est donc plus l’analyse en UST d’œuvres audiovisuelles mais l’élaboration d’outils en vue de cette analyse : peut-on trouver dans les œuvres audiovisuelles des segments temporels dont la signification relève de l’interaction des différents médias ? Et si oui, peuvent-ils être ramenés à quelques prototypes morphologiquement descriptibles qui pourront alors être qualifiés d’unités sémiotiques temporelles ?

Afin d’avancer vers une réponse à cette problématique, j’ai élaboré un premier protocole  expérimental que nous avons mis en œuvre  avec les créateurs intéressés par cette recherche, constitués en groupe de travail au sein du laboratoire MIM.

Le groupe de recherche et le corpus d’œuvres

Le groupe  de recherche est constitué d’artistes, créateurs membres du MIM, chacun engagé dans sa propre recherche artistique, en prise avec un matériau, une discipline. On y trouve donc, outre des compositeurs, des artistes vidéo, des auteurs, des  plasticiens. Nous rejoignent parfois des personnalités extérieures au MIM dont l’expérience et la recherche personnelle croisent nos réflexions.

L’étude proposée au groupe commence par la constitution d’un corpus d’œuvres audiovisuelles. Nous avons choisi, pour commencer, quelques œuvres principalement parmi celles des créateurs du MIM.

Une séance hebdomadaire de travail collectif, d’une durée moyenne de deux heures, est consacrée à cette recherche. Les œuvres sont diffusées devant le groupe, à partir d’un ordinateur, un vidéoprojecteur envoie l’image sur un écran mural, le son est émis en stéréo par deux haut-parleurs amplifiés, à gauche et à droite de l’écran.

Segmentation

Chaque œuvre fait l’objet de trois séances de segmentation. Cela permet au plus grand nombre possible de protagonistes d’effectuer au moins une segmentation de l’œuvre et amoindrit les perturbations individuelles conjoncturelles qui affectent parfois  la qualité perceptive de tout un chacun.

Pour réaliser ces segmentations et afin de concentrer notre attention sur la perception du déroulement temporel, nous avons catalogué et étiqueté en trois grands types la manière dont nous le percevons :

a)     Nous percevons une stagnation temporelle que nous désignons par le terme « Etat ».

b)    Nous percevons que quelque chose évolue que nous désignons par le terme « Processus ».

c)     Nous percevons un surgissement, soudain et bref, pour lequel nous utilisons le terme « Evénement ».

Ces trois manières de percevoir le déroulement du temps ont été associées à des symboles graphiques nous permettant de les noter rapidement et de les transcrire dans le tableau des relevés.

Symboles utilisés :

Etat   _

Processus /

Evénement |

Nous avons affiné l’usage de ce vocabulaire en ajoutant quelques nuances à ces trois marqueurs originels.

• A la notion simple d’Etat s’ajoute la notion d’Etat agité notée ^^
• La notion de Processus peut s’affiner en :

– Processus croissant noté /+

– Processus décroissant noté /-

Les limites temporelles d’un segment

Nous avons constaté en observant les segments obtenus par cette méthode que le groupe avait fonctionné de manière largement consensuelle, déterminant trois sortes de limites qui président à ces segmentations. Dans de nombreux cas, la procédure d’observation a permis de fixer des limites très précises aux segments.

• Premier cas : synchronisme des deux médias

Il s’agit  d’une limite de segment où les deux médias sont en parfaite symbiose (par exemple, un changement d’image synchrone avec un coup de gong). Chaque participant relève le même temps précis où advient ce changement.

Exemple : Moving Through – Vidéo de Frank Dufour.

• Deuxième cas : prédominance d’un média sur l’autre

L’un des médias a une présence perceptive nettement plus forte que l’autre, il est alors le seul indicateur d’un changement, et donc d’une limite, qui dans ce cas est toujours précise (par exemple, l’écran devient noir, bien que la musique ne manifeste aucune variante, ou bien, inversement, rien de signifiant ne se passe à l’image alors que l’univers musical change soudain de façon manifeste).

Exemple 1 : Mémoires – Vidéo de Pierre Carrelet – Musique de Philippe Festou.

Exemple 2 : Méditation – Vidéo de Pierre Carrelet – Musique de Philippe Festou.

• Troisième cas : imprécision dans le synchronisme des deux médias

Dans la plupart des cas, le comportement des deux médias marquant un changement de temporalité n’est pas absolument synchrone ; la limite est alors notée dans une fourchette de quelques secondes.

Lorsque cet asynchronisme apparaît important, nous avons vérifié la pertinence de la segmentation. Nous l’avons fait en discutant les raisons de considérer cette séquence comme une unité du point de vue du sens et  de la narration.9

Ce questionnement nous a plusieurs fois permis de redéfinir les limites de certains segments proposés à l’étude, soit en découpant certains d’entre eux en plusieurs segments, soit en groupant deux segments en un seul. Mais l’importance de cet asynchronisme ne signifie pas nécessairement que la segmentation est erronée, il peut aussi provenir du tuilage de deux segments conjoints.

Bilan concernant l’emploi des marqueurs temporels

Les marqueurs temporels se sont révélés très efficaces pour canaliser notre perception vers les différentes manifestations de la temporalité, mais cela nous a aussi donné un premier langage commun qui, bien que sommaire et interprétable à l’envi, a largement contribué au défrichage de nos premières expérimentations en matière de segmentation des œuvres. L’utilisation de ces notions, qui n’ont pas fait l’objet d’une définition commune, s’est faite au gré du choix de chacun des participants, dans le but d’aider à une meilleure concentration de la perception du déroulement temporel.

Cependant, ces marqueurs, dont l’avantage est de préciser un mode de déroulement temporel, ne sont pas pour autant adéquats à la description qualitative d’un segment.

C’est la raison pour laquelle nous avons complété notre protocole, qui, dans ce premier temps, ne concernait que le déroulement temporel, en portant notre attention sur le discours et la manière dont celui-ci s’élabore.

III.           Expérimentation de nouvelles catégories qualifiantes (Une description qualitative du temps : le discours)

L’observation renouvelée des œuvres et la pratique de leur segmentation nous a plusieurs fois amenés à nous poser la question du sens, ce que nous pourrions résumer ainsi : « Pourquoi dans cette œuvre, notamment dans la séquence observée, avons-nous la sensation que les deux médias nous “parlent ensemble” ? »

J’émets l’hypothèse que ce sont les diverses façons dont les éléments constitutifs des différents médias sont interconnectés qui instaurent le sens, et j’appelle « discursivité » 10 ce mode d’interconnexion des médias qui conduit l’énergie dans le temps. Ce discours entre les médias apparaît de manière particulièrement évidente dans quatre segments d’œuvres du corpus, et c’est à partir de ces évidences que j’ai proposé au groupe d’aller plus avant dans cette hypothèse.

Voici donc ces quatre propositions d’analyse du discours :

–  Segment de 0’53’’ à 1’12’’, extrait de Mémoires de Ph. Festou et P. Carrelet

–  Segment de 2’12’’ à 2’33’’, extrait de Grains de F. Dufour

–  Segment de 0’ à 0’31’’, extrait de Vrai(semblable)ment de J.-P. Moreau

–  Segment de 0’47’’ à 1’20’’, extrait de Contre Sens de Cl. Moreau

a. Segment extrait de Mémoires 11.

Mémoires – Vidéo de Pierre Carrelet – Musique de Philippe Festou.

Descriptif du segment :

Nous percevons dans ce segment  un seul moment :

Le son et l’image sont rythmés, pulsés, de manière synchrone. Le rythme, la pulsation perçus entraînent une sensation de marche, d’avancée que nous qualifions de
«  avec direction »12. La perception globale se résumerait par l’antagonisme : « continuité/discontinuité ».

Analyse du discours :

Le discours semble construit sur deux types d’analogies, formelle et de comportement.

–       Une analogie formelle :

La fragmentation des images dans leur texture et du son dans son profil dynamique (pizzicati) donne une sensation de discontinuité.

–       Une analogie de comportement :

La cohésion du discours est maintenue par la pulsation synchrone, sonore et visuelle, qui lui donne une direction, d’où la sensation de continuité.

Ce qui fait discours ici est le processus rythmique de réitération13 d’éléments comparables entre eux.

b. Segment extrait de Grains 14.

Grains – Vidéo de Frank Dufour.

Descriptif du segment :

Nous percevons dans ce segment, là aussi, un seul moment :

Le son et l’image partagent trois caractéristiques : leur intensité et leur densité de matière sont faibles, leur occupation spatiale est réduite. Ce qui se dégage de l’ensemble est quelque chose de ténu, de minimaliste.

Analyse du discours :

Le discours semble construit ici sur trois analogies de comportement :

–  intensité faible

–  densité de matière faible

–  spatialité réduite.

C’est l’effet conjugué de ces trois analogies qui fait discours ici et que je résume par : énergie de faible intensité globalement stable.

c. Segment extrait de Vrai(semblable)ment 15.

Vrai(semblable)ment – Vidéo Jean-Pierre Moreau, sur des encres de Jacques Mandelbrodt.

Descriptif du segment :

Nous percevons dans ce segment quatre moments successifs :

a)     1^er moment : l’augmentation d’intensité commence d’abord dans le son (volume croissant), puis se poursuit dans l’image (luminosité croissante). Mouvement de fondu d’entrée.

b)    2^e moment : le son, dont le timbre se présentait comme un « trait précis », semble se fragmenter, se « spatialiser ». Simultanément, l’image, concentrée sur une seule tache sombre, fait découvrir de nombreuses autres taches sombres qui se répartissent (explosent) dans l’espace. L’ensemble donne une sensation d’éloignement.

c)     3^e moment : l’image est stabilisée tandis que le son ne l’est pas.

d)    4^e moment : l’image, donnant la sensation spatiale d’un rapprochement, se focalise sur une seule tache sombre ; dans le même temps, le son, précédemment « éparpillé », se concentre sur un son « resserré » plus précis.

Analyse du discours :

En résumé, cette discursivité s’analyserait donc en quatre moments :

a)     Le 1^er moment est construit sur une analogie de comportement entre les deux médias : la conduite de l’intensité, intensité sonore croissante, d’abord, relayée par une intensité lumineuse, croissante à son tour. L’une prend le relais de l’autre.

b)    Le 2^e moment est construit sur une analogie dans le processus de spatialisation. Le son semble se disperser, dans le même temps l’image sombre du début se disperse également, se fragmente.

c)     Le 3^e moment est construit sur une analogie de comportement mais cette fois par dissemblance, l’image est spatialement stable alors que le son est spatialement instable.

d)    Le 4^e moment est construit sur une analogie que nous nommons « focalisation ». L’image se focalise sur une seule tache sombre, tandis que le son se concentre, s’unifie autour d’une fréquence.

Le discours est construit dans la continuité temporelle par les analogies de comportement suivantes :

–   variation d’intensité (croissante)

–   spatialisation

–  spatialité

–  focalisation.

d. Segment extrait de Contre Sens 16.

Contre Sens – Vidéo Claude Moreau, Musique Jean-Pierre Moreau.

Descriptif du segment :

Nous percevons dans ce segment trois moments :

a)     1^er moment : l’image de fond est terne et informe, la figure 1, située en bas à droite de l’écran, apparaît de façon très lente (avec direction17), et par surimpression à la figure de fond dont elle est très proche du point de vue de la texture. La voix et le phrasé musical sont en mouvement descendant (avec direction18), le texte est en opposition dans les termes : « Je suis allongé, je lis et ne peux plus lire… ».

b)    2^e moment : la perception d’une direction est donnée par la pulsation dans le sonore, cellules rythmiques réitérées, et la diction scandée du texte19 ; elle est donnée également par le changement, de couleur et d’intensité lumineuse, de la texture de chacune des figures ainsi que par la croissance des dimensions de la figure 2, située en haut à gauche de l’écran. Mouvements visuels et pulsation sonore (musique et voix) donnent la sensation d’une direction.20

–          La modulation de cette  direction se fait par le déplacement latéral et vertical de la figure 121 combiné à la croissance puis la décroissance de ses dimensions et, d’autre part, par la croissance puis la décroissance de l’intensité lumineuse de la texture des trois figures, figures 1 et 2 et figure de fond.

c)     3^e moment : le phrasé musical en mouvement ascendant s’arrête sur un son tenu, le mouvement des figures 1 et 2, s’arrête également sur des dimensions et des textures ramenées à l’identique, le texte annonce : « Plus de sens ». Le mouvement, dans son ensemble, est bref et s’arrête de façon brusquée.

Analyse du discours :

Cette discursivité s’analyserait donc en trois moments :

a)     1^er moment : Deux processus sont simultanément à l’œuvre : l’image se « révèle » lentement, le son « se dépose ». C’est grâce à l’analogie de comportement (processus dans le son et dans l’image) que nous percevons la complémentarité des deux mouvements comme faisant discours, discours que nous nommons « condensation ».

b)    2^e moment : Deux processus sont à l’œuvre, une énergie qui avance puis qui, dans un second temps, semble modulée, modelée, par spatialisation. Cette complémentarité fait discours, nous nommons ce 2^e moment « trajectoire en cloche » mais gardons en mémoire sa dualité constitutive, peut-être indicative d’une énonciation discursive multivoque, un mode discursif qui viendrait « infléchir » un énoncé principal :

Une véritable grammaire d’œuvre peut alors être visée, […] où les notions de « temps » et de « modes » grammaticaux jouent, en musique comme en grammaire des verbes dans les langues, un rôle tout à fait essentiel. Sauf qu’en musique, les modes grammaticaux sont souvent multivoques et qu’il arrive aux « temps de la discursivité musicale »  d’exprimer toute une combinatoire syncrétique de passé, de présent et d’avenir, comme aux « modes de la discursivité musicale » de se constituer tout à la fois en expression indicative d’une situation, impérative d’une injonction, conditionnelle d’un aléa, et subjonctive d’une volonté, d’un souhait, d’un désir ou d’un rêve… 22

c)     3^e moment ; La complémentarité des différents processus de fin à l’œuvre tant dans l’image que dans le son font discours. Nous nommons celui-ci « volonté de finir ».

Ce qui fait discours, c’est la succession de ces trois moments :

–  condensation

–  trajectoire  en cloche

–  volonté de finir.

Pour conclure…

Un certain nombre de termes déjà utilisés dans la description morphologique des UST se trouvent utilisés ici. Il s’agit des notions de « avec direction » et « sans direction », l’indication « avec réitération » apparaît également, ainsi que le terme « trajectoire ».

Ce nombre a été augmenté des termes spatialisation, focalisation, intensité, spatialité, densité de matière, rythme…  Termes  qu’il serait intéressant, dans les expériences à venir et si le besoin s’en fait sentir, de réutiliser, en vue d’établir un glossaire précisant le cadre de leur utilisation.

Nous avons effleuré la possibilité d’une expression discursive plurivoque dont l’équivalent n’existe pas dans les UST… pour l’instant du moins.

Comme je l’indiquais au début de cet article, la suite prévue, lorsque nous aurons étudié un nombre plus important de segments, est de les soumettre à comparaison. Nous pensons que des similitudes dans le profilé des discours vont se révéler et nous permettre de constituer des catégories que nous définirons. Des segments temporellement délimités, catégorisés, dont la discursivité est définissable, c’est très précisément ce que sont les UST ; il nous restera alors à vérifier si celles que nous avons mises à jour  sont ou non spécifiques à l’intermédia.

Jean-Pierre Moreau, compositeur, Président du MIM – laboratoire Musique et Informatique de Marseille.