Browsed by
Tag: synesthésie

La synesthésie dans le gameplay

La synesthésie dans le gameplay

Alors ministre de la culture, Frédéric Mitterrand considère que le jeu vidéo s’est progressivement inscrit au carrefour de disciplines créatives aussi vastes que variées, du graphisme au cinéma, de la programmation à l’histoire, tout en passant par l’architecture et la photographie.” Cette définition agglomérante de l’esthétique vidéoludique est intéressante car elle illustre ce qui peut sauter aux yeux d’un non-joueur : le jeu vidéo semble, vu de l’extérieur, être un ensemble d’esthétiques empilées (graphismes, musiques, architecture des niveaux, mise en scène, dialogues…) qui, bon an mal an, cohabitent sans s’articuler.

C’est toutefois ignorer le coeur de ce qui fait le jeu vidéo : le gameplay et la dimension interactive. Or, parce qu’il est l’organe qui ordonne toutes les autres esthétiques et génère l’identification, le gameplay devrait être le principal objet d’étude quand on parle d’esthétique du jeu vidéo. A vrai dire, on peut même se demander si le gameplay peut être défini par la rencontre et la mise en cohérence des esthétiques.

Tout jeu vidéo pratique la synesthésie

Qu’est-ce que le terme anglais gameplay désigne précisément ? Concaténation des mots game (jeu) et play (expérience de jouer), le gameplay est l’expérience vécue par le joueur au contact de la jouabilité. Il peut être mis en rapport avec la capacité du jeu à créer une identification, et donc à générer l’illusion d’immersion par la mobilisation des sens. Concrètement, le gameplay se construit en deux temps. Le joueur est d’abord investi par la nécessité d’interagir pour mettre en mouvement le jeu. Cette interaction est enregistrée par les contrôles, c’est à dire l’ensemble des règles qui régissent, dans le code, la gestion des entrées. Ces contrôles ayant été traités, des feedbacks sont émis vers le joueur qui lui donnent une sensation d’agency. Ces feedbacks peuvent être visuels (sprites qui se déplacent), auditifs (sons ou musique évolutifs), tactiles (vibrations). Le gameplay est donc un aller-retour de stimuli entre le joueur et la machine, et on peut alors poser l’équation : contrôles + feedbacks = gameplay.

Il faut ici noter que, même dans son déroulement le plus simple, le gameplay mobilise toujours plusieurs sens de manière concomitante. Ainsi, dans Pong, lorsque nous manipulons le potentiomètre de la manette, notre corps enregistre une sensation tactile et mécanique, tandis que, au même moment, notre oeil capte un feedback visuel : celui du mouvement de notre rectangle-personnage. Ces deux sensations non seulement se déploient en même temps, mais sont analysées par le joueur comme une chaîne de causes et d’effets : on tourne le potentiomètre donc la palette bouge. Elles s’enrichissent alors l’une l’autre d’un sens supérieur : celui de la liberté de mouvement, de l’emprise de l’homme sur son environnement, de la prise en main de son propre destin (celui de perdre ou de gagner). C’est pourquoi on peut parler d’une synesthésie du gameplay qui se retrouve dans absolument tout jeu vidéo et participe de leur définition.

Terme composé de “syn-” (avec, ensemble) et “esthétique” (expérience véhiculée par les sens), la synesthésie désigne une expérience qui est véhiculée par l’association de plusieurs sens plutôt qu’un seul. Pour qu’il y aie synesthésie, il ne suffit pas d’avoir deux moyens esthétiques juxtaposés, comme, par exemple, un film qui cumule musique et image. Il est nécessaire que la mobilisation commune de ces sens crée une expérience supérieure a la somme de leurs expériences particulières. C’est à dire que, pour rester dans la formulation mathématique (qui a le mérite d’être plus claire qu’une longue phrase) : synesthésie > esthétique 1 + esthétique 2. Si on considère l’exemple du cinéma, la juxtaposition dans un blockbuster de musique de Hans Zimmer et d’une scène d’action n’est pas synesthétique, car ces deux esthétiques semblent cohabiter sans s’unir, chacune poursuivant ses propres buts. Au contraire, on pourrait soutenir que l’utilisation de la musique dans le film Il buono, il brutto, il cattivo de Sergio Leone, parce qu’elle s’associe harmonieusement avec les plans et soutient leur esthétique, crée une expérience synesthétique chez le spectateur supérieure aux deux expériences que seraient l’écoute de la musique seule ou la vision du film sans musique.

La reprise de l’étude du gameplay au regard de la synesthésie semble alors révéler une idée fondamentale : la synesthésie est inhérente au jeu vidéo. La vision du personnage qui se meut est en effet toujours augmentée du sens que c’est le sujet qui le fait bouger, qui s’investit dans ce personnage par le toucher, qui procède à une identification constante. Le jeu vidéo peut donc être compris comme une synesthésie à deux degrés : toucher + vision = agency. Et ceci semble se confirmer pour tout jeu dont les contrôles ne sont pas cassés ou saccadés et donc dont le gameplay est satisfaisant.

La transformation des esthétiques en art par le gameplay

A partir de là, on ne peut plus décemment considérer le jeu vidéo comme un agrégat d’esthétiques diverses. Il devient évident que le gameplay, parce qu’il est la source synesthétique du jeu vidéo, doit être placé au centre de la réflexion. Les questions qui viennent à l’esprit sont alors : est-ce que le gameplay peut mobiliser plus de deux sens ? Mais surtout, est-ce que cette synesthésie peut tant charger de sens les différentes esthétiques qu’elle aboutisse à l’émergence d’une esthétique artistique unifiée ?

Pour réfléchir à ces questions, considérons le jeu Rez (Dreamcast, PS2, 2001). Pris séparément du reste, son gameplay est un shoot them up 3D assez classique, vu à la troisième personne. La particularité de Rez est que les contrôles ne génèrent pas seulement systématiquement des feedbacks visuels (personnage en mouvement) mais également des feedbacks auditifs. Le joueur est en effet invité à construire la musique du jeu par l’interaction avec les ennemis et le niveau. Le joueur, par les contrôles, produit ainsi deux esthétiques : l’une visuelle et l’autre auditive, qui sont à la fois concomitantes et complémentaires. Il y a donc production d’expériences sensibles associées qui, mises ensemble, ne forment plus qu’une esthétique supérieure. On peut ici parler de synesthésie à trois degrés : sont mobilisés le toucher (manipulation de la manette), le visuel (mouvement du personnage, ciblage des ennemis, mouvement du niveau) et l’auditif (musique générée intégralement par l’action du joueur). Cette synesthésie contrôlée par le joueur crée un sentiment fort qui peut confiner à l’idée esthétique ou, du moins, dépasser l’expérience d’une synesthésie à deux degrés.

Nous sommes ici en présence de l’utilisation raisonnée d’un outil artistique. Puisque la synesthésie a la capacité d’augmenter la densité de sens de plusieurs esthétiques, elle peut aller jusqu’à générer une idée esthétique si cette densité dépasse un certain seuil. Cet outil, bien utilisé, est une voie pour le jeu vidéo de transmission artistique. On voit alors, par l’exemple de Rez, que le jeu vidéo peut tendre à mettre en ordre des esthétiques éparses (musique, graphismes, etc.) par le gameplay synesthétique. Le gameplay synesthétique est donc l’ossature qui assigne à chaque esthétique sa place et son importance, chacune étant mise au service d’une esthétique plus grande qu’elles. Evidemment, ceci ne peut s’observer que dans une poignée de jeux qui ont pris le parti de mettre le gameplay et la synesthésie au centre du processus de création. A contrario, un jeu comme Assassin’s Creed Unity (PS4, XBOX one, PC, 2014) est un bon exemple de juxtaposition d’esthétiques qui ne s’associent jamais. La musique est utilisée, comme dans un blockbuster, pour qualifier la séquence sans en découler. Les contrôles sont limités à une manipulation basique du personnage (combat à 1 bouton). Les graphismes sont de qualité dans l’objectif d’être jugés séparément du reste, comme un critère d’achat. Aucun de ces éléments n’a d’emprise sur les autres et aucune association esthétique ne se produit.

Force est alors de constater que, si la synesthésie est un outil puissant de production artistique dans le jeu vidéo, car elle augmente le sens de ses esthétiques, elle n’est que peu employée (et jamais dans les grandes productions dites AAA).

L’impossibilité à dire la synesthésie dans les critiques de jeux vidéo

Le concept de synesthésie, alors qu’il n’est pas complexe, n’apparaît jamais dans le catalogue des idées des critiques de jeux vidéo. Ceci est dû à la structure même de ces critiques. Se considérant plutôt comme des “testeurs”, et donc un guide d’achat pour consommateurs, les journalistes-critiques ont organisé un système de notation par critères pour qualifier les jeux vidéo. Cette notation a l’effet pervers d’exploser et de segmenter les esthétiques. Comment serait-il possible que des testeurs qui doivent remplir, comme des entités aliénées entre elles, les cases “graphisme”, “musique”, “gameplay“, soient sensibles à l’articulation de ces éléments ? Parce que leur méthode découpe et isole ces esthétiques et dirige (voire détermine) la teneur de leur expérience face au jeu, il est tout à fait improbable que les testeurs perçoivent une synesthésie lorsqu’elle existe.

Peut-être serait-il temps que les jeux ne soient plus critiqués selon la méthode des sèche-linges, mais plutôt selon celle du cinéma ou de la littérature. Il est en effet étrange de vouloir dresser une liste de critères quantifiables et dits objectifs pour qualifier un objet culturel qui a une cohérence interne. L’expérience face aux oeuvres de l’esprit n’est pas la somme des expériences de ses composantes, mais est unique et cohérente. Par définition, une oeuvre de l’esprit ne peut pas être consommée comme un cheeseburger et n’a pas de but utile comme un outil.

La notation a par ailleurs l’effet pervers de valoriser l’agréable sur l’artistique. Afin d’avoir un critère à noter, les testeurs se posent en effet la question du divertissement apporté par le gameplay, les musiques, les graphismes (est-ce qu’on passe un moment sympathique ?) bien plus que celle de leur densité esthétique et de leur articulation pour générer une esthétique lourde de sens. Il y a donc un vide critique quasiment total qui entrave, par répercussion, l’émergence de jeux vidéo artistiquement valables. Les créateurs qui ont besoin d’un retour sur investissement et sont soumis à l’oeil froid et quantificateur de Metacritic ne peuvent pas prendre le risque d’avoir une mauvaise note. De plus, le fait même qu’ils savent qu’ils sont notés par critères les poussent à fabriquer les esthétiques de manière cloisonnée : la musique est construite à part du gameplay, lui-même construit à part des graphismes, pour maximiser la qualité intrinsèque de chacun. Cette méthode de production empêche toute émergence d’art vidéoludique, puisque l’outil d’articulation des esthétiques autour du gameplay est exclu du processus de production.

Il apparaît donc nécessaire, pour qui voudrait stimuler le jeu vidéo dans la voie de l’art et de la densité esthétique, de fonder une critique globale opposée à la critique segmentante actuelle.

Conclusion

La synesthésie apparaît comme un des éléments constitutifs de l’expérience vidéoludique. Si elle est présente dans tous les jeux vidéo sous la forme toucher + vision = agency, ce n’est que lorsque les créateurs s’en saisissent comme d’un outil artistique qu’elle peut amener le jeu vidéo à exprimer une idée esthétique. Il s’agit donc d’un outil esthétique puissant, mais peu exploité, notamment parce que la critique et les créateurs sont enfermés dans une définition de l’esthétique vidéoludique comme d’un ensemble de critères plutôt que comme d’une expérience cohérente. Il serait pourtant fécond de voir se développer l’idée que la musique n’est pas là pour accompagner l’expérience mais peut être organisée, manipulée, maîtrisée par le gameplay et former avec lui une puissante synesthésie.