Corps de l’article

Dans le domaine du discours numérique, le terme « figure » s’est rapidement imposé pour circonscrire certains phénomènes de sens émergeant de la combinaison entre le mouvement, la manipulation et le texte ou l’image. À la suite de Stuart Moulthrop, Jean Clément souligne par exemple que, « appliqué à l’hypertexte, le concept de métaphore permet de rendre compte du fait que tel fragment se prête à plusieurs lectures en fonction des parcours dans lesquels il s’inscrit » (Clément, 1995 : en ligne). N. Katherine Hayles (2007) propose le terme d’« embodied metaphor » pour désigner la relation entre similarités fonctionnelles et manipulations de l’interacteur dans le domaine des jeux vidéo. Serge Bouchardon (2007) met en relation l’hypertexte et l’ellipse. Nicole Pignier (2005) identifie la présence de figures de style linguistiques dans les bannières publicitaires animées et interactives sur le Web. Dans Matières textuelles sur support numérique, nous avons de même rapproché les « figures animées et interactives » dans la littérature numérique des figures de style classiques comme l’hypotypose, la métalepse, la métaphore et la métonymie (Saemmer, 2007). Bien que les figures, et notamment la métaphore, aient suscité des approches controversées à travers les siècles, une définition manque pourtant souvent dans les analyses rhétoriques citées. Par ailleurs, le transfert des figures linguistiques dans le domaine du discours numérique non seulement nous semble aujourd’hui problématique à cause de la nature pluricode des textes ou images animés et manipulables [1], mais il aboutit aussi parfois à une taxinomie très étendue qui risque de faire perdre de vue les principes de construction et de fonctionnement généraux.

Dans un projet de recherche que nous menons avec Philippe Bootz, Serge Bouchardon et Jean Clément, nous essayons de compléter les approches citées par une analyse sémio-rhétorique identifiant avec précision les procédés par lesquels la figure animée et interactive souligne, confirme ou subvertit les conventions du discours numérique [2]. Dans cet article, seront plus particulièrement abordés les phénomènes de sens qui émergent de la combinaison habituelle ou inhabituelle entre le texte ou l’image et le mouvement [3]. Nous postulerons que les « figures d’animation » constituent d’importants facteurs de « littérarité » dans les oeuvres numériques.

De Quintilien à Pierre Fontanier, la figure a généralement été considérée comme un écart, « un changement raisonné du sens ou du langage par rapport à la manière ordinaire et simple de s’exprimer » (Quintilien, 1978 : 11-13). Parmi les équivalents proposés pour désigner cet « écart », peuvent être cités les termes « abus » (Paul Valéry), « viol » (Jean Cohen), « scandale » (Roland Barthes), « anomalie » (Tzvetan Todorov), « déviation » (Leo Spitzer) ou « subversion » (Nicolas Beauzée). Le point problématique dans toutes ces approches se cristallise, d’une part, autour de l’identification de la « norme » par rapport à laquelle la figure ferait écart et, d’autre part, autour de l’idée que l’interprétation pourrait rétablir le sens littéral momentanément « voilé ». François Rastier s’insurge ainsi contre ces « pures constructions » linguistiques que constituent pour lui la norme et l’écart, en avançant que « le sens n’étant pas immanent au texte, mais à ses pratiques d’interprétation, il doit être rapporté à elles » (2001 : 35). Néanmoins, Tzvetan Todorov a sans doute raison d’affirmer que « les effets de style ne pourraient exister s’ils ne s’opposaient à une norme, à un usage établi » (1965 : 300). Afin de souligner l’importance des attentes suscitées par cet usage établi dans la définition de la figure, nous préférons au terme polémique de « norme » celui de « convention », défini avec le Groupe µ comme « systématique », « augmentant la prévisibilité » : « La convention, comme son nom l’indique, lie le destinateur au destinataire. Elle ne crée bien entendu aucune surprise ». L’« écart » sera défini comme « non systématique », « localisé », « surprenant » et « diminu[ant] la prévisibilité » (1970 : 42-43).

Pour Gérard Genette, des figures comme la métaphore constituent la manière qu’a la littérature de se signaler elle-même en défiant les attentes du lecteur (1966 : 205). Janez Strehovec se réfère aux formalistes russes en définissant la « littérarité » des écrits numériques comme une déviation de l’usage ordinaire, et il se demande quels pourraient être les équivalents de cette déviation dans le discours numérique (2010 : 211). Tout en gardant en mémoire le fait que les conventions (la « grammaire ») du discours numérique sont loin d’être stabilisées, nous voudrions affirmer que, dans ce domaine, le différentiel avec les attentes du lecteur se situe entre autres dans les « figures d’animation » et les « figures de manipulation » [4], et que ce différentiel, que l’on pourrait appeler le « style » d’une oeuvre numérique, pourrait constituer un important facteur de « littérarité » [5] en fondant l’unicité de l’oeuvre (Riffaterre, 1979 : 8).

1. Vers une sémiotique du mouvement visuel

Afin de montrer comment, dans le discours numérique, le sens se construit, observons d’abord l’un des grands classiques de la web-publicité avant de revenir à des exemples littéraires : une bannière dans laquelle, sur un fond plus ou moins multicolore, clignote à un rythme rapide (environ trois pulsations par seconde) le mot « soldes ». Commençons par décomposer cet ensemble texte–mouvement en dégageant deux systèmes signifiants. D’un côté, le mot « soldes » avec ses significations que nous pouvons relever dans une encyclopédie :

Les soldes consistent à vendre avec une forte réduction (braderie) sur le prix […]. Les soldes ne peuvent être réalisés qu’au cours de deux périodes par année civile. […] Leur durée maximale autorisée est de six semaines. (Wikipédia)

D’un autre côté, le mouvement du « clignotement ». Contrairement au mot « soldes » qui rentre dans la catégorie des « signes au sens strict », c’est-à-dire des « signes arbitraires et non correspondants », un mouvement comme le clignotement fait partie des « signes motivés par ressemblance créés par des découpages non correspondants » (Klinkenberg, 2000 : 193), donc des icônes.

Figure 1

Le mot « soldes » clignote à un rythme rapide sur cette bannière qui pourrait se trouver sur un site commercial. Capture d’écran d’un modèle archétypal construit à partir d’exemples de notre corpus[6].

Le mot « soldes » clignote à un rythme rapide sur cette bannière qui pourrait se trouver sur un site commercial. Capture d’écran d’un modèle archétypal construit à partir d’exemples de notre corpus6.

-> Voir la liste des figures

Le clignotement « rappelle », par sa matérialité même, des phénomènes du monde physique : l’apparition et la disparition rapides de signaux lumineux sur les bords d’autoroutes, le clignotement des enseignes lumineuses dans les grandes villes ou celui des boutons sur les appareils électriques, ou alors notre coeur qui bat… « Ces signes sont motivés, et le sont par ressemblance », c’est ainsi que Jean-Marie Klinkenberg définit l’icône (ibid.). L’icône est ancrée dans la perception. Quelque chose du monde physique survit en elle, est reconnu comme tel.

Laissons pour l’instant de côté le texte qui est mis en mouvement par clignotement (le mot « soldes » avec ses significations), pour nous concentrer sur la perception du rythme, de la fréquence, de l’amplitude, de l’énergie du mouvement sur l’axe du temps. Dans cet exemple publicitaire, un élément textuel apparaît et disparaît donc à un rythme rapide et de façon réitérée. Le clignotement n’est pas la seule déclinaison de ce qu’on pourrait spontanément appeler une unité sémiotique « apparition ou disparition ». Dans notre corpus qui comporte une centaine de bannières publicitaires et une vingtaine d’oeuvres littéraires numériques, nous avons repéré des exemples où un élément apparaît et disparaît très lentement, apparaît lentement sans disparaître, ou disparaît sans réapparaître. Qu’est-ce que ces déclinaisons ont réellement en commun ? D’un point de vue technique, une apparition ou une disparition lentes ou rapides se « fabriquent » certes à peu près de la même manière, et une disparition seule pourrait être considérée comme un clignotement interrompu. Pourtant, le lecteur n’y associe sans doute pas du tout les mêmes expériences, et ne fait pas signifier ces mouvements de la même façon.

Si, en revanche, nous comparons maintenant une bannière où le mot « soldes » clignote rapidement et de manière réitérée, une bannière où ce mot change de couleur au même rythme, et une bannière où le mot change rapidement et périodiquement de taille, nous constatons que, malgré les différences évidentes entre les caractéristiques visuelles mobilisées, les trois animations seront probablement perçues de manière assez semblable par le lecteur ; en tout cas, les analyses faites à partir de notre corpus permettent d’affirmer que les créateurs de bannières utilisent visiblement ces trois animations dans le même but.

Figure 2

Le mot « soldes  ;» change de couleur ou de taille à un rythme rapide et de façon réitérée sur ces deux bannières qui pourraient se trouver sur un site commercial. Modèles archétypaux construits à partir d’exemples de notre corpus[7].

Le mot « soldes  ;» change de couleur ou de taille à un rythme rapide et de façon réitérée sur ces deux bannières qui pourraient se trouver sur un site commercial. Modèles archétypaux construits à partir d’exemples de notre corpus7.

-> Voir la liste des figures

Alors que, dans un premier temps, une catégorisation selon certains comportements visuels comme apparition/disparition semblait s’imposer à cause d’une ressemblance forte entre les processus de fabrication, nous avançons aujourd’hui l’hypothèse que la sémiotique temporelle [8], d’abord élaborée pour le domaine musical, permet d’établir des catégories du mouvement qui, tout en étant fondées sur certaines caractéristiques visuelles différentes, sont perçues de façon semblable par le lecteur.

L’icône est, dans l’animation, un signe motivé par une ressemblance avec les choses. Cette relation entre le stimulus (le support matériel du signe : par exemple l’apparition ou la disparition), le signifiant (l’ensemble modélisé de stimuli visuels correspondant à un ensemble stable que l’on peut atteindre grâce au stimulus : par exemple le clignotement) et la chose est, selon Klinkenberg, gérée par le « type », la « représentation mentale » :

Celle-ci a été constituée par des processus d’intégration et de stabilisation d’expériences antérieures […]. J’ai déjà vu des chats et je sais qu’ils ont des moustaches, qu’ils griffent, et qu’ils miaulent… Bref, j’en connais un bout sur les chats, et ce bout fait partie du type.

2000 : 385

De même, dans beaucoup de contextes culturels, nous connaissons un bout sur le clignotement. Le lecteur perçoit donc le clignotement et, grâce au type, l’identifie comme tel. D’autres formes de mouvement avec des caractéristiques visuelles différentes font appel à ce même type : le changement de couleur rapide et réitéré avec contrastes forts, le changement de taille rapide et répété. Pour la reconnaissance du type, le rythme et la réitération font ainsi partie des caractéristiques hautement déterminantes.

Ces mêmes caractéristiques jouent un rôle important dans la catégorisation des « unités sémiotiques temporelles » (UST) entreprise par les chercheurs du MIM (Laboratoire Musique et Informatique de Marseille) [9] dans le domaine musical. Les UST ont été définies par le MIM comme des unités sonores « issues d’une série de remarques nées de la pratique de la musique électroacoustique ». Seize UST ont pu être identifiées à partir d’un corpus musical [10]. Elles ont été validées par des tests auprès d’auditeurs, qui semblent en effet pouvoir communément les reconnaître [11]. Nous considérons les UST comme des unités abstraites qui peuvent être implémentées dans différents médias : du son, du texte, de l’image. Nous avons jusqu’ici répertorié les correspondants visuels de six UST (voir le tableau à la page 28).

Seront présentées ci-dessous trois unités particulièrement fréquentes. Elles seront illustrées par des exemples du corpus provenant de la littérature numérique.

Exemple d’une unité sémiotique du mouvement : obsessionnel

L’« obsessionnel » est défini comme une unité non délimitée dans le temps, à phase unique, constituée d’une formule dont la répétition crée une pulsation rapide [12]. Dans le domaine musical, l’obsessionnel désigne, par exemple, un son insistant et répétitif comme le « beep-beep » d’une alarme. Un correspondant visuel [13] de cette UST peut être repéré dans les exemples publicitaires précités, où le mot « soldes » clignote, change de couleur ou de taille à un rythme rapide, mais aussi dans certaines oeuvres de littérature numérique.

Zeit für die Bombe de Susanne Berkenheger est l’une des oeuvres hypertextuelles les plus connues de langue allemande. Le lecteur expérimente la course folle de la jeune Veronika à travers rues et appartements moscovites, le périple de son malheureux amoureux Ivan qui, au lieu de pouvoir serrer Veronika dans ses bras, se retrouve chargé d’une valise contenant une bombe, et l’infidélité notoire de Vladimir, actuel amant de Veronika. Une des séquences de cette hyperfiction est caractérisée par un obsessionnel : dans la phrase « Und die Bombe tickte », le mot « bombe » clignote rapidement.

Figure 3

Dans cet extrait de Zeit für die Bombe de Susanne Berkenheger, le mot « bombe » clignote à un rythme rapide dans un contexte stable[14].

Dans cet extrait de Zeit für die Bombe de Susanne Berkenheger, le mot « bombe » clignote à un rythme rapide dans un contexte stable14.

-> Voir la liste des figures

Exemple d’une unité sémiotique du mouvement : trajectoire inexorable

La « trajectoire inexorable » est une unité à phase unique présentant une évolution linéaire, qui se caractérise par une « prévisibilité de la non-fin ». Dans le domaine musical, elle est par exemple représentée par un son qui n’en finit pas de monter, et qui donne l’impression de pouvoir se prolonger indéfiniment [15]. Dans le domaine visuel, l’agrandissement ou le rétrécissement progressif, ou tout autre changement de position ou de taille évolutif sans perte d’énergie peuvent constituer un correspondant visuel de cette UST. Lorsqu’un élément traverse l’écran, puis s’arrête à un endroit précis, le but de la trajectoire visuelle est prévisible. Dans ce cas, nous parlerons d’une « trajectoire à but défini ».

Prenons comme exemple d’une trajectoire inexorable dans le domaine visuel une séquence dans Sous Terre de Grégory Chatonsky (figure 4). Cette oeuvre hypermédiatique permet d’explorer les couloirs d’un métro parisien imaginaire, chargés de souvenirs et d’histoires comme les coins et recoins d’une mémoire humaine. La séquence en question est intitulée « le reflet des voyageurs ». Par-dessus des vidéos plus ou moins floues dans lesquelles le lecteur reconnaît des scènes de métro, s’affichent des mots qui rétrécissent d’abord légèrement. L’activation d’un de ces mots par clic provoque ensuite une augmentation progressive de leur taille, jusqu’à un passage progressif hors cadre.

Figure 4

Extrait de Sous Terre par Grégory Chatonsky (2000). Une vingtaine de mots, par exemple « absence » ou « passages », s’agrandissent après avoir été activés par le lecteur, jusqu’à déborder l’espace d’affichage et passer hors-champ[16].

Extrait de Sous Terre par Grégory Chatonsky (2000). Une vingtaine de mots, par exemple « absence » ou « passages », s’agrandissent après avoir été activés par le lecteur, jusqu’à déborder l’espace d’affichage et passer hors-champ16.

-> Voir la liste des figures

Exemple d’une unité sémiotique du mouvement : sur l’erre

L’unité « sur l’erre » est délimitée dans le temps. Elle est caractérisée par une extinction progressive par disparition naturelle de l’énergie [17]. Dans le domaine sonore, une baisse continue du volume jusqu’au silence entre dans cette catégorie. Sur le plan visuel, l’UST « sur l’erre » peut se traduire par une lente disparition d’un objet par effacement ou « floutage » progressif.

Dans un extrait de In the White Darkness de Reiner Strasser (figure 5), oeuvre hypermédiatique consacrée à l’expérience interactive et animée d’une mémoire évanescente, littéralement « trouée » par la maladie d’Alzheimer, les unités « trajectoire inexorable » et « sur l’erre » s’imbriquent : une image change d’abord de position sur l’écran (trajectoire inexorable), puis se décompose tout en se dédoublant avant de disparaître dans le fond (sur l’erre).

Figure 5

Extrait de In the White Darkness de Reiner Strasser (2004). À partir de l’activation du cercle blanc dans le coin inférieur droit, une image traverse l’écran, qui s’efface ensuite tout en se dédoublant[18].

Extrait de In the White Darkness de Reiner Strasser (2004). À partir de l’activation du cercle blanc dans le coin inférieur droit, une image traverse l’écran, qui s’efface ensuite tout en se dédoublant18.

-> Voir la liste des figures

2. Les figures d’animation

2.1 Les traits signifiants

Et qu’est-ce que des unités sémiotiques du mouvement telles que l’« obsessionnel », le « sur l’erre » ou la « trajectoire inexorable » signifient ? Pour plus de précision, nuançons immédiatement la question, car la construction de la signification ne peut évidemment être séparée de la signification du texte ou de l’image sur lesquels le mouvement est appliqué, ni du contexte multi- et hypermédia d’une création numérique, ni des habitudes et connaissances du lecteur.

Certes, par des expériences physiques communes des déclinaisons visuelles de l’obsessionnel dans le monde physique, un lien de ressemblance se crée entre le signifiant et la chose. Cette expérience commune donne cependant lieu à des interprétations diverses sur le plan symbolique [19] : grâce à sa connaissance des signalisations clignotantes sur les routes ou des machines, le lecteur peut par exemple associer à un clignotement des significations comme « attention », « danger », « urgence » sans que cette signification soit directement motivée par les caractéristiques physiques. Nous appelons « traits signifiants possibles » les caractéristiques que le « lecteur modèle » (selon la définition d’Umberto Eco [20]) associe à un mouvement parce qu’elles ont été sélectionnées au long des expériences répétées dans une culture. L’analyse des objets animés du corpus a fait émerger grand nombre de combinaisons récurrentes de certains mouvements avec certains textes ou images (par exemple l’association entre le mot « soldes » et le mouvement du clignotement dans le contexte de sites commerciaux). Nous constatons que les créateurs de ces animations ont visiblement prévu (ou au moins visé) l’activation d’un certain nombre de traits signifiants pour une majorité du public cible (par exemple « urgence » dans le cas du mot « soldes » clignotant). La récurrence des mêmes combinaisons mouvement–texte/image dans les mêmes contextes crée une attente chez le lecteur. Si un élément quelconque (mouvement, image, geste, etc.) a acquis de la signification pour le lecteur à un moment donné de son expérience de lecture, que cette signification a ensuite pu être mobilisée dans diverses situations, divers contextes, alors il est fort probable que, si cet élément se présente à nouveau, la même signification soit mobilisée comme l’un des moments initiaux de l’interprétation. Cette signification peut ensuite être modifiée ou invalidée par les étapes suivantes du processus d’interprétation.

Le tableau ci-contre propose une typologie des six unités sémiotiques du mouvement identifiées jusqu’alors à partir de notre corpus, avec leurs traits d’iconicité et leurs traits signifiants possibles.

Typologie des six unités du mouvement

Unités sémiotiques du mouvement

Déclinaisons visuelles

Traits d'iconicité basés sur des types

Traits signifiants possibles

Trajectoire inexorable ou à but défini

Unité limitée ou non délimitée dans le temps, à phase unique, présentant une évolution linéaire.

Apparition progressive ;

De l’infiniment grand vers le petit (sans perte d’énergie) et du petit vers l’infiniment grand ;

Agrandissement progressif et rétrécissement progressif ;

Changement de position à vitesse égale.

Une chose ou un être traverse le champ de vision, approche, se manifeste, soit par une traversée de l’espace, soit par l’action de lunettes/d’un télescope/d’une loupe.

Gain, matérialisation rassurante, naissance ;

Révélation, cohérence, résolution d’une énigme ;

Métamorphose, transformation sans perte de matière ;

Cohérence naturelle.

Sur l’erre

Unité délimitée dans le temps, à une seule phase. Extinction progressive par disparition d’énergie.

Disparition progressive ;

« Floutage », décomposition ;

Changement de position en ralentissement par perte d’énergie.

Une chose ou un être se désintègre, disparaît complètement ; un être s’essouffle.

Éloignement physique ou émotionnel ;

Installation d’une énigme, passage au rêve ;

Perte, disparition inexorable, mort.

Obsessionnel

Unité non délimitée dans le temps, à phase unique, constituée d’une formule dont la répétition crée une pulsation.

Clignotement ;

Changement de couleur brusque et répété ;

Changement de position brusque et répété ;

Agrandissement/rétrécissement répétés.

Enseignes lumineuses, feu de signalisation, clignotants, boutons sur des machines, cardiogramme, radio-réveil, coeur, respiration à cadence rapide.

Urgence ;

Danger ;

Stress, nervosité ;

Excitation émotionnelle.

Stationnaire

Unité délimitée dans le temps à phase unique, à progression non linéaire, constituée de deux profils successifs opposés.

Apparition/disparition lente et réitérée, changement de taille réitéré mais lent ;

Changement de couleur lent et réitéré ;

Déplacement « sur-place ».

Un hamster dans sa roue, un animal faisant deux pas en avant et deux pas en arrière dans sa cage ;

Le mouvement d’une berceuse ;

Le va-et-vient de la pendule d’une horloge.

Continuité ;

Stabilité (éventuellement avec une vitalité, un dynamisme intérieurs) ;

Monotonie ;

Légère inquiétude vite résorbée.

Sans direction par excès d’information

Unité non délimitée dans le temps, faite d’éléments multiples, assez brefs, divers, se chevauchant.

Changements de position rapides et non linéaires de plusieurs éléments ;

Succession d’éléments différents à plusieurs endroits.

Espace urbain saturé d’enseignes lumineuses, tableaux de bord complexes ;

Mouvements de foule.

Non-maîtrise, désordre, chaos ;

Envahissement ;

Dynamisme juvénile.

En suspension

Unité non délimitée dans le temps, formule en répétition quasi sans variation, dans un déroulement temporel assez lent.

Mouvement de balancement lent et répété ;

Mouvement circulatoire ou quasi circulatoire lent autour d’un axe fixe.

Des éléments suspendus à des fils et suivant le mouvement d’un courant d’air ;

Des feuilles, des fruits, des branches, des arbres se balançant dans le vent, voguant sur l’eau.

Stagnation et immobilité, mais avec attente de changement ;

Équilibre instable pouvant se rompre à tout moment.

-> Voir la liste des tableaux

2.2 Le couplage conventionnel

Une unité sémiotique du mouvement est donc potentiellement porteuse d’un certain nombre de traits signifiants. Ceux-ci sont actualisés en fonction du texte ou de l’image sur lequel le mouvement est appliqué, ainsi qu’en fonction du contexte multi- et hypermédia d’une création numérique et du contexte culturel et social d’un lecteur particulier. Par l’expression « figure d’animation », nous désignons une relation – entre des textes ou images et un mouvement – dans laquelle la sémiose est basée sur des processus d’intersection de traits signifiants associés au mouvement, au texte/à l’image, et aux contextes.

Plus le champ d’intersection entre les traits signifiants du mouvement et du texte/de l’image est étendu (et plus l’union des traits mobilisés répond aux attentes du lecteur forgées par le contexte immédiat – l’isotopie [21] –, les habitudes de lecture et le contexte culturel et social), plus la sémiose relève du « couplage conventionnel ». Le terme « conventionnel » est utilisé ici non pas sous l’angle d’une « norme » immuable constituée à l’intérieur de l’objet, mais comme un « degré zéro » dans le sens de ce que le lecteur attend dans cette position.

Revenons au mot « soldes » qui clignote à un rythme rapide dans une bannière publicitaire (ou qui change de couleur ou de taille au même rythme) sur un site commercial. Ce mouvement qui s’apparente à l’UST « obsessionnel » est porteur de traits signifiants possibles : « urgence », « danger », « stress ». Le texte « soldes », sur lequel l’animation est appliquée, mobilise également un certain nombre de traits signifiants : « événement commercial », « réduction de prix », « période limitée dans le temps », « urgence d’en profiter ». Par une intersection des traits signifiants associés au mot et au mouvement en fonction du contexte commercial, se forme un ensemble signifiant qui pourrait être paraphrasé ainsi : « la période des soldes est un événement important, limité dans le temps, il y a urgence d’en profiter ». Les facteurs d’iconicité comme le battement du coeur ou la respiration rapides soutiennent cet ensemble signifiant et ajoutent le trait « montée d’émotions », directement lié à une « urgence » éprouvée sur le plan corporel.

L’ensemble mouvement–texte répond parfaitement aux attentes du lecteur : les traits signifiants partagés par le mouvement et le texte sont si nombreux que le mouvement joue principalement un rôle de confirmation ou d’accentuation du sens mobilisé par le texte. Néanmoins, lors de la sémiose, les habitudes ainsi que d’autres facteurs contextuels jouent un rôle important pour un lecteur précis : les déclinaisons visuelles de l’obsessionnel créent par exemple chez certains malades d’épilepsie un risque de crise susceptible de réactiver le trait signifiant « danger ».

Les couplages conventionnels mettent l’accent sur les contenus, précisent leur signification et captent le regard du lecteur sans troubler ses attentes. Beaucoup d’exemples de bannières publicitaires relèvent du registre des couplages conventionnels. Dans la littérature numérique, certaines combinaisons texte/image–mouvement entrent également dans cette catégorie des figures d’animation.

Exemple de couplage conventionnel impliquant l’unité « sur l’erre »

Reprenons l’exemple de l’unité sémiotique du mouvement « sur l’erre » dans In the White Darkness de Reiner Strasser (voir la figure 5). Cette création numérique thématise la lente décomposition de la mémoire par la maladie d’Alzheimer. Des traits sémiotiques comme « oubli », « dégénération », « dissociation » sont potentiellement activés par l’isotopie environnant l’animation déjà brièvement décrite auparavant : une image change de position sur l’écran (« trajectoire à but défini »), puis se décompose tout en se dédoublant avant de disparaître (« sur l’erre »). C’est au moyen d’une interface graphique constituée de petits ronds blancs que le lecteur déclenche cette animation. Des traits signifiants comme « stimulation-réflexe », « zone sensible », mais aussi « trou de mémoire » peuvent alors être mobilisés chez le lecteur. L’image elle-même montre un coucher de soleil très avancé ; en avant-plan, une lumière éclaire un bâtiment ou une rambarde dont nous pouvons seulement deviner l’existence à partir d’un petit fragment de muret. Selon le contexte culturel, un coucher de soleil peut symboliser la fin d’une période ou d’une vie entière, le repos, la mélancolie ; soulignons que le créateur de ce poème numérique, Reiner Strasser, est d’origine allemande, et que l’expression « Lebensabend » (littéralement « soir de la vie ») est couramment utilisée dans cette langue pour désigner la dernière période de vie d’un être humain. Les traits signifiants comme « transformation sans perte de matière », « cohérence », « persistance » sont potentiellement mobilisés par l’UST « trajectoire à but défini » caractérisant l’arrivée de l’image dans le champ de vision du lecteur ; ces traits sont pourtant rapidement remplacés par les traits « perte », « disparition », « épuisement » associés à l’UST « sur l’erre » qui caractérise la disparition progressive des images dans le fond. Cette UST partage un grand nombre de traits signifiants avec l’isotopie générale de la création, ainsi qu’avec le contenu de l’image du coucher de soleil. L’énigme posée par le caractère fragmentaire de l’image ne sera pas résolue dans In the White Darkness : en effet, tout incite le lecteur à penser qu’images et mots ne constituent plus que les réflexes végétatifs d’une mémoire agonisante, se désintégrant aussi vite qu’ils apparaissent. Cette décomposition lente et inexorable est rendue sensible par des figures d’animation où le mouvement précise et confirme certains traits signifiants mobilisés par les images.

Exemple de couplage conventionnel impliquant l’unité « obsessionnel »

Dans la phrase « La bombe faisait tic-tac » extraite de Zeit für die Bombe de Susanne Berkenheger, le mot « bombe » clignote, mobilisant l’unité sémiotique du mouvement « obsessionnel » (voir figure 3). Les traits signifiants associés au mot « bombe » peuvent être relevés dans une encyclopédie : « engin explosif », « destruction », « horloge déclenchant le compte à rebours ». (Wikipédia). L’« obsessionnel » est porteur de traits signifiants possibles comme « urgence », « danger », « excitation », « stress ». Par une intersection des traits associés au mot et au mouvement en fonction du contexte, se forme un ensemble signifiant qui pourrait être paraphrasé ainsi : « le compte à rebours de la bombe est lancé, le temps passe, le danger est imminent ». Le couplage conventionnel entre mouvement et texte permet donc non seulement de préciser l’état actuel de la bombe (le compte à rebours est lancé), mais aussi de renforcer une ambiance de stress et de danger par une sollicitation périodique du sens de la vue. En principe, cet ensemble mouvement–texte semble répondre parfaitement aux attentes du lecteur : les traits signifiants partagés sont si nombreux que le mouvement joue principalement un rôle de confirmation et de précision du sens déjà mobilisé par le mot « bombe ».

Grâce à ce champ d’intersection très étendu, ce couplage rentre plus précisément dans la catégorie des « ciné-grammes » (appelés ainsi en correspondance avec le calligramme papier). Le ciné-gramme constitue un cas particulier du couplage conventionnel : les traits signifiants mobilisés par le texte/l’image et le mouvement se trouvent en intersection quasiment totale, de sorte qu’une impression de redondance se crée. Au lieu de souligner et de conforter seulement les traits signifiants mobilisés par le texte/l’image, cette quasi-redondance (qui n’est jamais tout à fait entière) peut dans certains cas révéler la nature pluricode de l’ensemble (notamment dans l’animation textuelle) et conforter les attentes du lecteur tout en les minant secrètement de l’intérieur.

Dans une analyse de Zeit für die Bombe, Roberto Simanowski (2007) fait remarquer qu’au lieu d’animer le mot « bombe », l’auteure aurait pu faire clignoter le verbe « faisait tic-tac » ; la meilleure solution aurait même consisté à supprimer le verbe qui ne fait que doubler l’énoncé : seul resterait donc visible le mot « bombe » clignotant. Finalement, toujours selon Simanowski, Susanne Berkenheger aurait pu aller jusqu’à remplacer le mot « bombe » par l’image d’une bombe émettant un tic-tac sonore. Dans sa première suggestion, Simanowski ne prend cependant pas en compte le fait que le clignotement du verbe « faisait tic-tac » aurait provoqué une collision étrange entre le temps du récit au passé et le présent de l’animation – collision qui est non pas totalement évitée, mais atténuée par le clignotement du mot « bombe ». Dans sa deuxième suggestion visant la suppression complète du verbe « faisait tic-tac », il néglige le fait qu’un clignotement visuel n’est pas complètement de la même nature que le son du « tic-tac », aussi proches soient-ils : une suppression du verbe ferait croire le lecteur à une bombe silencieuse ! Si Susanne Berkenheger a préféré affecter le mot « bombe » d’un clignotement et non pas d’un tic-tac sonore, c’est qu’il s’agissait sans doute d’expérimenter justement la proximité évidente entre un clignotement et un son insistant comme le tic-tac (donc entre un obsessionnel visuel et un obsessionnel sonore), tout en exhibant les différences subtiles entre eux.

L’animation « La bombe faisait tic-tac » joue par ailleurs avec les correspondances et les écarts entre l’évocation linguistique du son de la bombe (improprement imité par l’onomatopée du verbe « tickte » statique) et le mouvement du clignotement qui attribue au « tic-tac » sa périodicité nécessaire tout en suggérant une apparition/disparition visuelle étrangère au comportement de cette bombe précise. Sous les apparences d’une animation tout à fait attendue, cet ensemble texte/image met en doute et inquiète ainsi nos perceptions et habitudes (un peu comme le tableau « Ceci n’est pas une pipe » de René Magritte). La révélation du caractère pluricode creuse des écarts dans cette quasi-redondance entre son, mouvement et texte, ouvrant ainsi un champ d’expérimentation riche pour la littérature numérique. Il serait possible d’approfondir cet écart et d’affecter le mot « bombe » d’un mouvement inhabituel : par exemple, il pourrait flotter dans l’espace comme un nuage, se plier et se déplier comme les ailes d’un papillon. Néanmoins, avant de passer à ce genre de « couplages non conventionnels », reprenons notre troisième exemple d’animation conventionnelle.

Exemple de couplage conventionnel impliquant l’unité « trajectoire inexorable »

Dans l’animation textuelle Sous Terre de Grégory Chatonsky, de la même façon qu’une vingtaine d’autres mots dans cette séquence, le mot « passages » grandit progressivement lorsque le lecteur l’active par clic, jusqu’à déborder l’espace d’affichage et passer vers le « hors champ » (voir la figure 4). Le mot « passages » désigne en même temps l’action, le fait de « traverser » un lieu, et l’endroit où l’on peut passer (Petit Robert). Le mouvement d’agrandissement des lettres relève de l’unité sémiotique « trajectoire inexorable », mobilisant potentiellement des traits comme « transformation sans perte de matière », « cohérence », « persistance », « dynamisme continu ». Par une intersection des traits en fonction du contexte, le trait signifiant « traversée » du mot « passage » se trouve ainsi confirmé par le mouvement continu du mot, et l’agrandissement peut être interprété comme un mouvement de rapprochement. Le couplage semble répondre aux attentes du lecteur forgées, d’une part, par ses habitudes avec des objets traversant son champ de vision dans le monde physique et, d’autre part, par son expérience des objets, machines et voyageurs qui passent effectivement dans les couloirs et wagons de métro.

À nouveau, l’on pourrait aller jusqu’à constater une certaine redondance entre les traits signifiants mobilisés par le mouvement et le mot, et appeler cette animation un « ciné-gramme ». La pseudo-redondance entre le trait « traversée » associé au mot et celui associé au mouvement semble constituer un effet mimétique, tout en rappelant néanmoins que le mot « passages » fait seulement imaginer des traversées au lecteur, alors que le mouvement décrit un véritable passage sur l’écran. Elle donne par ailleurs de la matérialité à un mot qui, habituellement, désigne le passage de quelqu’un ou de quelque chose, et pointe ainsi l’absence d’un sujet dans l’énoncé. Souvenons-nous que le mot peut désigner aussi les « passages » qu’un passager traverse. À cause du mouvement de « débordement », le lecteur peut avoir l’impression d’être littéralement traversé par le passage, sans heurt ni perte de matière. Les passages souterrains du métro révèlent ainsi leur véritable nature de « non-lieux » selon la définition de Marc Augé (1992), où se croisent en silence et s’ignorent des milliers de présences-absences, formant des « parenthèses anonymes » sans jeu social. Même ce couplage d’apparence conventionnel entre mouvement et texte se révèle ainsi riche de possibilités d’interprétation. Ces possibilités se démultiplient dans le cas du « couplage non conventionnel ».

2.3 Le couplage non conventionnel

Dans un « couplage d’animation non conventionnel », la relation entre le texte ou l’image et le mouvement est également fondée sur une intersection de traits signifiants ; le champ d’intersection entre les traits associés au mouvement et ceux associés au texte ou à l’image est pourtant plutôt réduit. Un différentiel se crée ainsi entre les attentes du lecteur et l’état réalisé dans l’animation.

Figure 6

Le mot « cerveau » clignote à un rythme rapide et de façon réitérée sur cette bannière qui pourrait se trouver sur un site de rencontres. Modèle archétypal construit à partir d’exemples de notre corpus[22].

Le mot « cerveau » clignote à un rythme rapide et de façon réitérée sur cette bannière qui pourrait se trouver sur un site de rencontres. Modèle archétypal construit à partir d’exemples de notre corpus22.

-> Voir la liste des figures

Dans certains cas de couplages non conventionnels, une médiation peut néanmoins se mettre en place entre les traits signifiants et le contexte, de sorte que le lecteur arrive à faire signifier au moins partiellement l’ensemble pluricode texte/image–mouvement. Les couplages non conventionnels pourraient ainsi s’apparenter à la figure appelée « métaphore » dans le domaine linguistique.

Pour approfondir l’explication des différences entre couplages conventionnels et non conventionnels, observons d’abord un exemple de bannière sur un site de rencontres. En dessous de la photo d’un couple souriant, clignote à un rythme rapide le mot « cerveau », précédé par « écoutez votre ». Il est fort probable que, dans le contexte d’un site de rencontres, cette animation déconcerte le lecteur. Va-t-il s’en détourner avec le constat que cette animation « ne fait pas sens » ?

Afin de sonder plus précisément le fonctionnement sémiotique d’un tel couplage, nous proposons un schéma d’analyse élaboré par Jean-Marie Klinkenberg pour la métaphore linguistique (2000 : 344-347), et qui sera adapté aux conditions spécifiques du discours numérique.

Le premier pas consiste à repérer l’isotopie qui entoure l’ensemble pluricode en question. Ici, il s’agit de la promesse d’une histoire d’amour mobilisant des traits signifiants comme « montée d’émotions », « rencontre amoureuse ». Dans une deuxième étape est repéré l’élément allotope, c’est-à-dire l’élément surprenant, déconcertant – ici, le mot « cerveau ». Grâce au type qui rappelle toutes sortes d’éléments clignotants dans le monde physique (entre autres le battement rapide du coeur), des traits signifiants comme « urgence », « danger », « stress », « montée d’émotions » sont potentiellement mobilisés chez le lecteur par le clignotement. Le lecteur ne s’étonnerait sans doute guère de voir clignoter le mot « coeur » dans le cadre d’un site de rencontres (voir les réflexions concernant le ciné-gramme). L’organe « cerveau » en revanche n’est pas caractérisé par un battement physique rapide ; il mobilise par ailleurs des traits signifiants comme « raison », « intellect » et « maîtrise » qui restent en dehors du champ d’intersection entre les traits associés au mouvement et ceux associés au texte. Plus le champ d’intersection des traits signifiants est réduit (et plus l’élément se révèle allotope par rapport à l’isotopie environnante), plus l’animation est perçue par le lecteur comme « incohérente ». Le couplage non conventionnel comporte donc toujours le risque de provoquer l’incompréhension, voire le rejet de la part du lecteur. Dans le cas du mot « cerveau » qui clignote, si le lecteur se détourne avec le constat que cette animation « ne fait pas sens » parce que le cerveau ne clignote pas dans le monde des choses, le processus de production de la figure s’arrête.

Compte tenu de l’isotopie, il est pourtant possible qu’un « degré conçu » se reconstruise, destiné à « sauvegarder le principe général de coopération ». Lors de cette troisième étape, il s’agit d’abord de repérer avec exactitude le « degré perçu » de la figure, l’élément allotope – ici, le mot « cerveau ». À ce « degré perçu » est superposé un contenu compatible avec le reste du contexte. Ce contenu compatible peut être formulé comme « organe humain vivant réagissant à la perception » : il s’agit bien de l’élément convergeant entre les traits associés au cerveau, au clignotement et à l’isotopie. Dans la terminologie klinkenbergienne, ce contenu est appelé « degré conçu 1 ».

La quatrième étape dans la constitution de la figure consiste à superposer le degré perçu et le « degré conçu 1 » grâce à l’établissement d’un lien dialectique. Il importe donc de sélectionner les composantes sémantiques compatibles entre le perçu « cerveau » et le conçu « organe humain vivant réagissant à la perception », afin de les appliquer au second. Le degré conçu complet pourrait donc être formulé comme suit : « le cerveau est certes le siège de l’intellect, de la raison et de la pensée, mais il est aussi un organe humain vivant qui réagit, comme le coeur, avec une montée d’émotions à une perception ».

Il apparaît pourtant clairement que la réalisation des deux dernières étapes de médiation est conditionnée par l’isotopie environnant l’élément animé : il suffirait de placer cette animation dans le contexte d’un site pédagogique vantant les mérites du brainstorming pour qu’elle ne paraisse plus du tout impertinente. En revanche, le fait de trouver une bannière clignotante avec le mot « soldes » sur un site de rencontres serait sans doute considéré par le lecteur comme foncièrement impertinent, même si le mot « soldes » et le contexte « site de rencontres » partagent bien un trait signifiant commun – l’aspect commercial.

La réalisation du processus de médiation dépend également des habitudes, des connaissances et du contexte culturel et social du lecteur. Ainsi, telle personne souffrant de troubles cardiaques lira peut-être le battement du mot « cerveau » sur un site de rencontres comme une preuve inquiétante de la fragilité des liens entre corps et esprit ; telle autre personne percevra le mouvement comme insistant, et interprétera cette animation comme une mise en scène de la prédominance des émotions sur la raison. Par ailleurs, pour être surpris par le clignotement du mot « cerveau » dans le contexte d’un site de rencontres, il faut que le lecteur fasse partie d’une culture qui considère le coeur comme siège (symbolique ou réel) des émotions (ou qu’il connaisse tout simplement le cliché « écoutez votre coeur »).

Certes, le couplage non conventionnel comporte toujours un risque d’incompréhension à cause du différentiel qui se crée entre les attentes du lecteur et l’état réalisé dans l’ensemble pluricode. Même si certains créateurs de publicité jouent avec la surprise et le trouble provoqués par cette figure afin de créer des « sensations nouvelles » ou de doter une marque d’une aura subversive, le terrain d’application le plus riche du couplage non conventionnel reste le domaine de la littérature et des arts numériques.

Exemple de couplage non conventionnel impliquant l’unité « trajectoire inexorable »

Dans la séquence « le reflet des voyageurs » de l’oeuvre Sous Terre de Grégory Chatonsky, le mot « passage » n’est pas le seul à s’agrandir progressivement sur l’écran. Parmi la constellation d’une vingtaine de mots, observons la trajectoire inexorable décrite par le mot « absence ». Alors que le mouvement mobilise potentiellement des traits signifiants comme « transformation sans perte de matière », « cohérence », « persistance » et « dynamisme continu », le mot « absence » signifie l’« éloignement », la « séparation », le « manque » (Petit Robert). Le champ d’intersection entre les traits associés au mouvement et ceux associés au texte est donc plutôt réduit, et certains traits semblent même entrer en contradiction entre eux.

Tandis que la trajectoire inexorable fait partie des mouvements observables dans le métro (des wagons, des voyageurs, des machines de nettoyage, des ascenseurs qui passent), le mot « absence » paraît en effet déconcertant à plusieurs égards – sa présence même rappelle l’impossibilité du langage à désigner matériellement le manque par l’inscription, et l’agrandissement insiste encore sur cette contradiction. Compte tenu du contexte multi- et hypermédia de cette création, le principe général de coopération semble toutefois pouvoir être au moins partiellement sauvegardé. Le lecteur peut en effet repérer des traits sémiotiques compatibles entre le mot « absence » et les caractéristiques définissant un passage en métro, et formuler le résultat de la médiation comme suit : « malgré la persistance des mouvements, l’absence est l’une des caractéristiques principales définissant un passage en métro ». La matérialité du mouvement révèle ainsi l’absence fondamentale de rencontres, l’impossibilité de contact véritable entre passagers dans ce « non-lieu » – comme si, en effet, des absences s’y croisaient indéfiniment, matérielles, mais vides.

Le couplage non conventionnel ne pourra pourtant jamais être entièrement « épuisé » par le processus de médiation décrit. Ne serait-ce qu’en s’inscrivant dans le contexte des vingt autres mots animés de la séquence et des vidéos de fond, cette médiation reste fragile, suffisamment disjonctive pour laisser place à l’Autre. Par ailleurs, l’hyperfiction Sous Terre ne propose pas qu’une méditation sur les passages et les passagers dans le réseau sous-terrain du métro, elle suggère à plusieurs reprises une analogie avec le réseau Internet [23].

En osant subvertir les attentes du lecteur par des couplages non conventionnels entre mouvements et mots, Grégory Chatonsky essaie donc de rendre sensible l’absence-présence paradoxale des millions de voyageurs qui se croisent dans les espaces souterrains des grandes villes. Et, par analogie, il remet en question le mythe de l’abolition des distances et de la présence immédiate et tangible des êtres humains sur Internet. C’est ainsi que l’identité du lecteur-web se présente dans Sous Terre comme un trou noir à la fois rempli de matière et vide, palpable et absent. Et c’est ainsi que l’absence-présence paradoxale des passages et passagers du métro et d’Internet s’interprète dans Sous Terre également comme une analogie de la mémoire, avec ses voies de traverse multiples et ses recoins secrets. Le potentiel « métaphorique » des figures d’animation (et de manipulation) est exploré dans cette création pour rendre visibles (palpables) des paradoxes, sans pour autant les expliquer, et constitue incontestablement un facteur puissant de « littérarité » [24].

Conclusion

Comme nous avons essayé de le montrer à travers l’analyse de plusieurs créations, une part de la littérarité des oeuvres numériques (qu’elles relèvent de la poésie animée ou manipulable ou du récit hypermédiatique) se situe donc dans le jeu avec les contraintes, les règles, les conventions du discours numérique – qu’on parle de renversement des stéréotypes, de détournement d’usages, de déstabilisation ou de perturbation du sens commun, pour qualifier ces projets artistiques aux antipodes des productions de masse de l’industrie culturelle et des dispositifs d’information et de communication basés sur une séparation entre forme et contenu. Grâce à leur caractère atypique, qui est fondé entre autres sur une mise en relation surprenante entre les significations du texte ou de l’image et celles du mouvement en fonction du contexte, ces oeuvres littéraires numériques remettent en question nos horizons d’attente, nos habitudes et nos réflexes dans l’univers numérique.

Il sera intéressant de se pencher sur les aspects immersifs de ces figures d’animation (et aussi des figures de manipulation) liés à leur caractère iconique. Ils constituent un défi pour la critique contemporaine qui a souvent condamné l’immersion comme une « illusion » psychologiquement et politiquement dangereuse. Dans les expérimentations littéraires les plus convaincantes comme Sous Terre, ce potentiel immersif est à la fois exploré et subtilement inquiété, transformant l’oeuvre numérique en « médiateur pour temps flottants » (Blanckeman, 2000 : 15).

Il faut par ailleurs souligner le fait que, dans cet article, nous avons adopté un regard synchronique, qui ne prend pas en compte l’instabilité du dispositif numérique. En réalité, cette instabilité a une influence capitale sur l’actualisation des animations numériques, et donc sur les traits signifiants mobilisés (Saemmer, 2009). Elle est explorée de différentes manières par les écrivains et artistes numériques [25].

Troisième et dernière remarque : en déduisant la liste des traits signifiants d’une analyse des objets du corpus, nous postulons que les pratiques créatives du discours numérique non seulement anticipent sur les attentes des lecteurs, mais les créent. Comme l’affirme Jean-Claude Passeron,

[...] aucun texte, ou icône ne sont jamais si contraignants ou si parlants qu’ils puissent suffire à imposer en tout contexte un pacte de réception assurant la rencontre des attentes du récepteur inscrites dans le texte ou l’icône.

2006 : 425

Même si nous pensons que les objets forgent les usages par un certain nombre de structures récurrentes, il sera important d’instaurer des dispositifs d’observation afin de mettre la description sémiotique des signes et figures du discours numérique à l’épreuve des usages réels : nous prévoyons cette mise à l’épreuve par exemple dans le cadre du projet franco-tunisien USET [26].

* Tous les documents en ligne cités dans cet article ont été consultés le 28 janvier 2011.