Browsed by
Tag: liberté

La synesthésie dans le gameplay

La synesthésie dans le gameplay

Alors ministre de la culture, Frédéric Mitterrand considère que le jeu vidéo s’est progressivement inscrit au carrefour de disciplines créatives aussi vastes que variées, du graphisme au cinéma, de la programmation à l’histoire, tout en passant par l’architecture et la photographie.” Cette définition agglomérante de l’esthétique vidéoludique est intéressante car elle illustre ce qui peut sauter aux yeux d’un non-joueur : le jeu vidéo semble, vu de l’extérieur, être un ensemble d’esthétiques empilées (graphismes, musiques, architecture des niveaux, mise en scène, dialogues…) qui, bon an mal an, cohabitent sans s’articuler.

C’est toutefois ignorer le coeur de ce qui fait le jeu vidéo : le gameplay et la dimension interactive. Or, parce qu’il est l’organe qui ordonne toutes les autres esthétiques et génère l’identification, le gameplay devrait être le principal objet d’étude quand on parle d’esthétique du jeu vidéo. A vrai dire, on peut même se demander si le gameplay peut être défini par la rencontre et la mise en cohérence des esthétiques.

Tout jeu vidéo pratique la synesthésie

Qu’est-ce que le terme anglais gameplay désigne précisément ? Concaténation des mots game (jeu) et play (expérience de jouer), le gameplay est l’expérience vécue par le joueur au contact de la jouabilité. Il peut être mis en rapport avec la capacité du jeu à créer une identification, et donc à générer l’illusion d’immersion par la mobilisation des sens. Concrètement, le gameplay se construit en deux temps. Le joueur est d’abord investi par la nécessité d’interagir pour mettre en mouvement le jeu. Cette interaction est enregistrée par les contrôles, c’est à dire l’ensemble des règles qui régissent, dans le code, la gestion des entrées. Ces contrôles ayant été traités, des feedbacks sont émis vers le joueur qui lui donnent une sensation d’agency. Ces feedbacks peuvent être visuels (sprites qui se déplacent), auditifs (sons ou musique évolutifs), tactiles (vibrations). Le gameplay est donc un aller-retour de stimuli entre le joueur et la machine, et on peut alors poser l’équation : contrôles + feedbacks = gameplay.

Il faut ici noter que, même dans son déroulement le plus simple, le gameplay mobilise toujours plusieurs sens de manière concomitante. Ainsi, dans Pong, lorsque nous manipulons le potentiomètre de la manette, notre corps enregistre une sensation tactile et mécanique, tandis que, au même moment, notre oeil capte un feedback visuel : celui du mouvement de notre rectangle-personnage. Ces deux sensations non seulement se déploient en même temps, mais sont analysées par le joueur comme une chaîne de causes et d’effets : on tourne le potentiomètre donc la palette bouge. Elles s’enrichissent alors l’une l’autre d’un sens supérieur : celui de la liberté de mouvement, de l’emprise de l’homme sur son environnement, de la prise en main de son propre destin (celui de perdre ou de gagner). C’est pourquoi on peut parler d’une synesthésie du gameplay qui se retrouve dans absolument tout jeu vidéo et participe de leur définition.

Terme composé de “syn-” (avec, ensemble) et “esthétique” (expérience véhiculée par les sens), la synesthésie désigne une expérience qui est véhiculée par l’association de plusieurs sens plutôt qu’un seul. Pour qu’il y aie synesthésie, il ne suffit pas d’avoir deux moyens esthétiques juxtaposés, comme, par exemple, un film qui cumule musique et image. Il est nécessaire que la mobilisation commune de ces sens crée une expérience supérieure a la somme de leurs expériences particulières. C’est à dire que, pour rester dans la formulation mathématique (qui a le mérite d’être plus claire qu’une longue phrase) : synesthésie > esthétique 1 + esthétique 2. Si on considère l’exemple du cinéma, la juxtaposition dans un blockbuster de musique de Hans Zimmer et d’une scène d’action n’est pas synesthétique, car ces deux esthétiques semblent cohabiter sans s’unir, chacune poursuivant ses propres buts. Au contraire, on pourrait soutenir que l’utilisation de la musique dans le film Il buono, il brutto, il cattivo de Sergio Leone, parce qu’elle s’associe harmonieusement avec les plans et soutient leur esthétique, crée une expérience synesthétique chez le spectateur supérieure aux deux expériences que seraient l’écoute de la musique seule ou la vision du film sans musique.

La reprise de l’étude du gameplay au regard de la synesthésie semble alors révéler une idée fondamentale : la synesthésie est inhérente au jeu vidéo. La vision du personnage qui se meut est en effet toujours augmentée du sens que c’est le sujet qui le fait bouger, qui s’investit dans ce personnage par le toucher, qui procède à une identification constante. Le jeu vidéo peut donc être compris comme une synesthésie à deux degrés : toucher + vision = agency. Et ceci semble se confirmer pour tout jeu dont les contrôles ne sont pas cassés ou saccadés et donc dont le gameplay est satisfaisant.

La transformation des esthétiques en art par le gameplay

A partir de là, on ne peut plus décemment considérer le jeu vidéo comme un agrégat d’esthétiques diverses. Il devient évident que le gameplay, parce qu’il est la source synesthétique du jeu vidéo, doit être placé au centre de la réflexion. Les questions qui viennent à l’esprit sont alors : est-ce que le gameplay peut mobiliser plus de deux sens ? Mais surtout, est-ce que cette synesthésie peut tant charger de sens les différentes esthétiques qu’elle aboutisse à l’émergence d’une esthétique artistique unifiée ?

Pour réfléchir à ces questions, considérons le jeu Rez (Dreamcast, PS2, 2001). Pris séparément du reste, son gameplay est un shoot them up 3D assez classique, vu à la troisième personne. La particularité de Rez est que les contrôles ne génèrent pas seulement systématiquement des feedbacks visuels (personnage en mouvement) mais également des feedbacks auditifs. Le joueur est en effet invité à construire la musique du jeu par l’interaction avec les ennemis et le niveau. Le joueur, par les contrôles, produit ainsi deux esthétiques : l’une visuelle et l’autre auditive, qui sont à la fois concomitantes et complémentaires. Il y a donc production d’expériences sensibles associées qui, mises ensemble, ne forment plus qu’une esthétique supérieure. On peut ici parler de synesthésie à trois degrés : sont mobilisés le toucher (manipulation de la manette), le visuel (mouvement du personnage, ciblage des ennemis, mouvement du niveau) et l’auditif (musique générée intégralement par l’action du joueur). Cette synesthésie contrôlée par le joueur crée un sentiment fort qui peut confiner à l’idée esthétique ou, du moins, dépasser l’expérience d’une synesthésie à deux degrés.

Nous sommes ici en présence de l’utilisation raisonnée d’un outil artistique. Puisque la synesthésie a la capacité d’augmenter la densité de sens de plusieurs esthétiques, elle peut aller jusqu’à générer une idée esthétique si cette densité dépasse un certain seuil. Cet outil, bien utilisé, est une voie pour le jeu vidéo de transmission artistique. On voit alors, par l’exemple de Rez, que le jeu vidéo peut tendre à mettre en ordre des esthétiques éparses (musique, graphismes, etc.) par le gameplay synesthétique. Le gameplay synesthétique est donc l’ossature qui assigne à chaque esthétique sa place et son importance, chacune étant mise au service d’une esthétique plus grande qu’elles. Evidemment, ceci ne peut s’observer que dans une poignée de jeux qui ont pris le parti de mettre le gameplay et la synesthésie au centre du processus de création. A contrario, un jeu comme Assassin’s Creed Unity (PS4, XBOX one, PC, 2014) est un bon exemple de juxtaposition d’esthétiques qui ne s’associent jamais. La musique est utilisée, comme dans un blockbuster, pour qualifier la séquence sans en découler. Les contrôles sont limités à une manipulation basique du personnage (combat à 1 bouton). Les graphismes sont de qualité dans l’objectif d’être jugés séparément du reste, comme un critère d’achat. Aucun de ces éléments n’a d’emprise sur les autres et aucune association esthétique ne se produit.

Force est alors de constater que, si la synesthésie est un outil puissant de production artistique dans le jeu vidéo, car elle augmente le sens de ses esthétiques, elle n’est que peu employée (et jamais dans les grandes productions dites AAA).

L’impossibilité à dire la synesthésie dans les critiques de jeux vidéo

Le concept de synesthésie, alors qu’il n’est pas complexe, n’apparaît jamais dans le catalogue des idées des critiques de jeux vidéo. Ceci est dû à la structure même de ces critiques. Se considérant plutôt comme des “testeurs”, et donc un guide d’achat pour consommateurs, les journalistes-critiques ont organisé un système de notation par critères pour qualifier les jeux vidéo. Cette notation a l’effet pervers d’exploser et de segmenter les esthétiques. Comment serait-il possible que des testeurs qui doivent remplir, comme des entités aliénées entre elles, les cases “graphisme”, “musique”, “gameplay“, soient sensibles à l’articulation de ces éléments ? Parce que leur méthode découpe et isole ces esthétiques et dirige (voire détermine) la teneur de leur expérience face au jeu, il est tout à fait improbable que les testeurs perçoivent une synesthésie lorsqu’elle existe.

Peut-être serait-il temps que les jeux ne soient plus critiqués selon la méthode des sèche-linges, mais plutôt selon celle du cinéma ou de la littérature. Il est en effet étrange de vouloir dresser une liste de critères quantifiables et dits objectifs pour qualifier un objet culturel qui a une cohérence interne. L’expérience face aux oeuvres de l’esprit n’est pas la somme des expériences de ses composantes, mais est unique et cohérente. Par définition, une oeuvre de l’esprit ne peut pas être consommée comme un cheeseburger et n’a pas de but utile comme un outil.

La notation a par ailleurs l’effet pervers de valoriser l’agréable sur l’artistique. Afin d’avoir un critère à noter, les testeurs se posent en effet la question du divertissement apporté par le gameplay, les musiques, les graphismes (est-ce qu’on passe un moment sympathique ?) bien plus que celle de leur densité esthétique et de leur articulation pour générer une esthétique lourde de sens. Il y a donc un vide critique quasiment total qui entrave, par répercussion, l’émergence de jeux vidéo artistiquement valables. Les créateurs qui ont besoin d’un retour sur investissement et sont soumis à l’oeil froid et quantificateur de Metacritic ne peuvent pas prendre le risque d’avoir une mauvaise note. De plus, le fait même qu’ils savent qu’ils sont notés par critères les poussent à fabriquer les esthétiques de manière cloisonnée : la musique est construite à part du gameplay, lui-même construit à part des graphismes, pour maximiser la qualité intrinsèque de chacun. Cette méthode de production empêche toute émergence d’art vidéoludique, puisque l’outil d’articulation des esthétiques autour du gameplay est exclu du processus de production.

Il apparaît donc nécessaire, pour qui voudrait stimuler le jeu vidéo dans la voie de l’art et de la densité esthétique, de fonder une critique globale opposée à la critique segmentante actuelle.

Conclusion

La synesthésie apparaît comme un des éléments constitutifs de l’expérience vidéoludique. Si elle est présente dans tous les jeux vidéo sous la forme toucher + vision = agency, ce n’est que lorsque les créateurs s’en saisissent comme d’un outil artistique qu’elle peut amener le jeu vidéo à exprimer une idée esthétique. Il s’agit donc d’un outil esthétique puissant, mais peu exploité, notamment parce que la critique et les créateurs sont enfermés dans une définition de l’esthétique vidéoludique comme d’un ensemble de critères plutôt que comme d’une expérience cohérente. Il serait pourtant fécond de voir se développer l’idée que la musique n’est pas là pour accompagner l’expérience mais peut être organisée, manipulée, maîtrisée par le gameplay et former avec lui une puissante synesthésie.

Ludique et artistique : une contradiction ?

Ludique et artistique : une contradiction ?

Dans un article du 16 avril 2010 intitulé “Les jeux vidéo ne seront jamais un art“, le critique américain Roger Erbert évoque deux idées importantes, sans les formuler formellement, qui, selon lui, retiennent le jeu vidéo de devenir “un medium artistique”. Il pose d’abord, avec une grande justesse, l’erreur profonde de définition de son interlocutrice qui défend les jeux vidéo comme “art”. Sa définition repose sur celle, médiocre, de Wikipedia, qui confond l’agréable et l’art. Roger Erbert développe alors sa propre définition de l’art qui s’articule autour d’un dépassement de la pensée d’Aristote et qui l’amène à une phrase quasi-kantienne, mais non-aboutie : “mon idée est que l’art se construit à mesure qu’il améliore ou altère la nature grâce au passage de ce que l’on peut appeler l’âme de l’artiste, ou vision.” C’est accepter la définition décrite dans mon article précédent qui pose que l’art est une transformation du réel par le créateur afin de donner l’intuition d’idées esthétiques qui dépassent la matière de l’oeuvre (c’est ce que Roger Erbert nomme “amélioration de la nature”). Mais ce qui m’intéresse aujourd’hui est sa deuxième critique : la question de l’interactivité et de la vocation ludique des jeux vidéo. A la fin de son article, Roger Erbert se demande si la revendication des joueurs à faire entrer les jeux vidéo dans les arts n’est pas qu’un moyen de légitimation de leur pratique, face à une société qui les méprise. Il affirme alors qu’il vaut mieux jouer sans se soucier du reste, car c’est là la vocation du jeu vidéo : s’amuser par l’interaction avec la machine.

L’interactivité est-elle une limite à l’expression esthétique ?

Cette position est extrêmement intéressante car elle soulève une limite de la mise en art des jeux vidéo : leur vocation ludique, réalisée par l’entrée d’inputs, poursuit un but diamétralement opposé à celui d’une oeuvre d’art, qui est de transmettre une idée par la sensibilité. On note d’ailleurs que tous les media artistiques reconnus comme tels procèdent non pas par l’action mais par la contemplation : que ce soit au cinéma, en peinture, en musique ou en littérature, le public est avant tout récepteur de la charge esthétique et n’est en position d’acteur que de manière marginale. Le public se fait certes acteur par l’interprétation critique et l’imagination personnelle, mais ce n’est que dans un second temps. A contrario le jeu vidéo met en position d’acteur tous ceux qui se saisissent de la manette, depuis son écran titre qui demande d’appuyer sur start jusqu’au dernier input qui sanctionne la fin de l’expérience vidéoludique, par le game over ou la complétion du jeu. Il y a donc une différence fondamentale de moyens entre le jeu vidéo tel qu’il existe aujourd’hui et les différentes activités qui produisent régulièrement des œuvres d’art.

Mais alors, l’interaction ne peut-elle produire que de l’amusement ? Et comment le produit-elle ? Pour comprendre ce second point, il faut bien voir que l’interactivité permet au jeu vidéo d’être un simulateur de libre arbitre et que c’est en cela qu’il procure des sensations agréables et amusantes. On utilise le terme de “libre arbitre”, ici, dans le sens que prête la recherche américaine au terme d’agency, qui n’est jamais qu’une adaptation néo-libérale de l’idée de liberté autonome d’action de Hobbes dans le Léviathan. Les jeux vidéo organisent la liberté d’action du joueur par leurs feedbacks et par la simulation d’une emprise du joueur sur le destin du monde virtuel. La reproduction de la liberté physique dans le jeu vidéo vise à ce que le joueur oublie les règles arbitraires placées par les développeurs. La grande différence entre un bon jeu tel que Metal Gear Solid 3 et un mauvais jeu est ainsi que, dans le premier, le joueur a l’illusion de reproduire la liberté d’action qu’il pourrait exercer sur le monde physique. Dans MGS 3, le joueur-acteur ne se contente pas de tuer des marionnettes de polygones, mais peut les menacer, les intimider, les attraper, les dépouiller, les utiliser comme bouclier, les surprendre, les leurrer, les manipuler. Il peut également évoluer dans l’environnement de nombreuses façons : se cacher, monter aux arbres, se coucher dans l’herbe, courir, aller quasiment où bon lui semble. Toutes ces capacités d’action, prévues par les développeurs, se transforment en une illusion de libre arbitre qui procure une sensation de bien être et d’amusement. Et c’est bien l’interactivité déployée dans toutes les directions qui permet la construction de cette liberté vidéoludique. On constate d’ailleurs que la frustration de joueurs chevronnés provient souvent des limitations arbitraires de liberté d’action, ainsi que l’explique parfaitement Totalbiscuit dans sa vidéo Modern Military Shooters in a nutshell.

Ainsi, il paraît certain que l’interactivité est le moyen principal de construction de la densité ludique des jeux vidéo. Elle vise donc l’amusement et l’agréable, ce qui est bien différent de la vocation artistique. En cela, Roger Erbert touche un point véridique pour la plupart des jeux vidéo et récuse parfaitement son interlocutrice qui est dans la confusion des termes. Il ne faut cependant pas ici confondre les moyens et les buts : a priori, ce n’est pas parce qu’on constate que l’interactivité construit le ludique qu’elle est exclusive au ludique. Si l’interactivité est le moyen du ludique dans les jeux vidéo, est-il possible de la voir devenir le moyen de leur charge esthétique ?

L’identification, outil esthétique puissant

Pour répondre à cette question, il faut développer le concept d’embodiment qui a été intégré à la réflexion sur les jeux vidéo par les game studies. Hérité de la psychologie cognitive, cette théorie considère que l’esprit est étroitement lié au corps et est même façonné par lui. Dans les jeux vidéo, elle permet d’expliquer les effets de personnification du joueur à son avatar. Il ne faut pas la saisir comme une “projection de l’esprit dans l’avatar, nouveau corps”, car le corps et l’esprit ne peuvent être dissociés et sont, dans cette théorie, imbriqués. Il faut plutôt saisir que les signaux extérieurs qui construisent notre réalité sont traités par le cerveau de la même manière qu’ils soient physiques ou virtuels. Par exemple, si un oiseau passe devant votre œil, l’image qu’il imprime sur votre rétine et que le cerveau transforme en concept “oiseau” n’est pas une représentation parfaite du réel mais est la brique élémentaire qui construit votre réalité interprétée par votre esprit. Vous ne voyez donc pas cet oiseau dans sa matérialité, mais vous voyez une image qui le représente. Ainsi, toute perception est construite par le sujet et est donc subjective ; c’est l’intuition originelle de Descartes qui a été approfondie par Kant puis Henri Poincaré. A partir de là, que l’image d’oiseau soit issue de chair, de pixels ou de polygones, le cerveau le traite de la même manière : il obtient l’étiquette oiseau, avec la distinction évidente : cet oiseau-ci est physique, celui-là est virtuel. L’embodiment dans le jeu vidéo est donc l’identification par notre cerveau d’un environnement dont il traite les signaux comme s’il s’agissait de ceux du monde physique, c’est pourquoi je parlerai d’identification. Ce n’est donc pas que l’esprit se projette dans l’avatar, mais bien que l’esprit transforme l’environnement virtuel en réalité. Ce n’est pas nous qui allons au jeu, c’est le jeu qui s’impose à nous par l’envoi de signaux qui sont traités par le cerveau avec les mêmes outils que lorsqu’il traite le monde physique. L’esprit identifie ces pixels comme “champignon”, “sol”, “ciel”, “moi”, etc., ce qui suffit à créer l’immersion, grâce à la confusion des traitements cognitifs entre signaux virtuels et physiques.

Ceci étant posé, on s’aperçoit que l’identification dans les jeux vidéo est celle qui permet la plus grande mobilisation des sens. L’identification n’est en effet possible que par la présence concomitante de signaux visuels (les graphismes), auditifs (le son) et tactiles (la manette). On note ici que, parce que l’on n’a pas les mêmes attentes entre un film et un jeu vidéo, l’identification ne suit pas le même processus : alors qu’il est tout à fait acceptable qu’un film ne soit pas interactif, il est tout à fait frustrant qu’un jeu vidéo ne le soit pas. On accepte donc de s’identifier à un film sans interaction, car cela ne fait pas parti du contrat filmique, mais pas à un jeu vidéo sans input, puisqu’il ne remplit pas cette attente du contrat ludique. Ainsi l’identification dans le jeu vidéo mobilise plus de sens que celle dans le cinéma, qui en mobilise déjà plus que l’identification littéraire, uniquement visuelle. Mais ce qu’ajoute l’identification vidéoludique d’essentiel est l‘identification du moi à un avatar grâce à la prise en compte de la liberté d’action. L’esprit distingue en effet l’image de son propre corps de celle du reste du monde par le fait qu’il peut la bouger volontairement. Puisque les jeux vidéo permettent, par l’interactivité, de bouger un avatar, l’identification avatar = mon corps est bien plus aisée que dans le cinéma ou la littérature. Cela ne dresse pas de hiérarchie entre ces processus d’identification, mais montre simplement que l’interactivité crée une identification nouvelle qui doit être utilisée par le créateur.

L’identification est en effet à la base des méthodes de production esthétique justement parce qu’elle est mobilisatrice de sens. Puisque l’art consiste à transmettre une idée par la sensibilité, l’implication des sens est nécessaire dans la production artistique. Et on comprend, au terme de ce développement, que l’identification est un outil esthétique puissant puisqu’elle rend disponible les sens à la réception d’une idée.

La promesse esthétique du jeu vidéo

Mais est-ce que cet outil a déjà été utilisé dans le jeu vidéo dans le but de créer une oeuvre à forte densité esthétique, et donc une oeuvre d’art ? Car il n’est pas tout de démontrer que l’interactivité peut être au service de l’esthétique grâce à l’identification, encore faut-il savoir si ce moyen a été utilisé dans le but de faire art. On peut facilement trouver des exemples d’identification forte ayant pour but non pas l’artistique mais la peur. Amnesia est par exemple une réussite dans le domaine de la mobilisation des sens et de l’identification du corps du joueur à un avatar faible, vulnérable et en danger permanent, ce qui produit de la peur. On a vu qu’il y avait de nombreux exemples d’identification à but ludique. L’identification à but érotique est également convenablement représentée dans le jeu vidéo. En ce qui concerne l’identification à but artistique, force est de constater qu’elle est la plupart du temps incomplète, pas portée à son terme ou absente. Ceci ne signifie pas une incapacité des jeux vidéo à faire art, mais plutôt une maladresse dans leur utilisation de l’identification et du gameplay. Tous les outils sont cependant présents, et quelques jeux ont des moments esthétiques denses qui touchent du doigt l’artistique.

L’identification artistique dans les jeux vidéo sonne donc aujourd’hui comme un horizon et une promesse, un possible en phase d’exploration, car le medium est jeune. L’interactivité est cependant un moyen de mobilisation des sens unique aux jeux vidéo, et donc leur voie d’accès privilégiée vers l’artistique. Le gameplay doit donc être au cœur de l’analyse esthétique des jeux vidéo et est le moyen d’identification le plus intéressant parce qu’il leur est spécifique. J’en veux pour preuve l’essai vidéoludique Passage, qui transmet au joueur une charge esthétique incroyablement lourde vis à vis de la simplicité de ses moyens techniques, grâce à l’identification par l’interactivité. Passage est la promesse que, si un jeu vidéo veut se faire art, il doit s’approprier le gameplay comme outil d’expression esthétique et non pas le marginaliser dans les Quick Time Events.