Imparablement, l’automne arrivé on retrouve dans la presse spécialisée et parfois dans la presse généraliste le «test» du nouveau FIFA, la simulation de football d’Electronic Arts qui domine le classement des ventes de jeux vidéo. Mais… ces tests sont-ils vraiment différents ? Est-il même nécessaire de tester la nouvelle version du jeu ou suffit-il de décrire les nouvelles équipes et les fonctionnalités, les règles n’ayant pas changé ?
Je me suis essayé à quelques analyses informelles à partir d’une quarantaine de tests provenant de sites français (et un suisse), sur des versions allant de FIFA 01 à FIFA 17.
Recevoir des jeux (gratuitement)
Récemment, une aimable personne a fait connaître l’existence de ce blog à quelques distributeurs de jeux vidéo en Suisse. Le lendemain, je découvrais dans mon courrier une version «promo only» de NHL 17. Deux semaines plus tard, c’était FIFA 17.
Recevoir gratuitement des jeux est le fantasme de nombreux joueurs et joueuses. D’après le journaliste Russ Pitts dans son livre «Sex, Drugs and Cartoon Violence», c’est même ce qui pousse les journalistes jeu vidéo à faire ce choix de carrière.
Cependant, ce blog n’est pas spécialement destiné à la critique de jeux dès leur sortie. Dès lors, fallait-il renvoyer ces jeux ? Honnêtement, ce n’est pas désagréable de recevoir FIFA 17 chez soi, qui plus est quelques jours avant sa sortie. Et puis, le jeu est à mon avis très bon : prise en main rapide (à l’exception des balles arrêtées…) et graphismes excellents. Il y a un souci du détail et le plaisir de jeu est au rendez-vous. De plus, le mode aventure est chouette et le jeu me laisse battre mon frangin.
Comment résoudre mon dilemme et parler de FIFA 17 tout en suivant la ligne éditoriale de ce blog ?
En comparant des tests de FIFA
Est-ce que chacun écrit le même test que son concurrent, année après année ?
Pour répondre à cette question, j’ai compilé les tests des FIFA 01 à 17 depuis les sites de Gamekult et de jeuxvideo.com, en choisissant à chaque fois le test de la version sortie sur la PlayStation la plus récente. J’ai également récupéré les tests de FIFA 17 du Journal du Gamer, de RTL, de TF1 et du Temps pour avoir un point de comparaison.
J’essaie de vulgariser l’exercice. N’hésitez pas à poser des questions.
Distance textuelle
Tout d’abord une bonne nouvelle : il n’y aucun plagiat à signaler.
N’étant pas un spécialiste du domaine, je me suis inspiré d’un article de blog de Bodong Chen pour démarrer la suite. Mon code est disponible ici. Je n’ai par contre pas partagé les textes pour des raisons évidentes, mais on les trouve tous en ligne.
Voici la procédure mise en place :
- Préparer les données.
- Les mots les plus courants sont retirés.
- Les mots restants sont réduits à leur racine. Par exemple, «grand», «grande», «grands» et «grandes» sont considérés comme un même mot.
- Calculer la fréquence d’apparition par document de tous les mots présents au moins une fois dans un document, n’importe lequel (les plus courants sont «FIFA», «joueur», «jeu», suivis un peu plus loin de «passe», «équipe» et «match»).
- Calculer la distance d’un texte à l’autre sur la base de ces fréquences d’apparition. Plus deux textes ont de mots en commun, plus ils sont proches.
- Représenter les articles dans un graphique à deux dimensions sous la forme d’un multidimensional scaling. C’est l’étape un peu balèze reposant sur des notions d’algèbre linéaire (pas d’inquiétude, une majorité applique cette méthode sans l’avoir comprise).
- Calculer la perte d’information subie lors de l’étape précédente.
Les résultats
Nous obtenons le graphe suivant. La distance utilisée est la distance euclidienne (une option choisie au point 3 de la procédure ci-dessus).
Les couleurs correspondent aux différents sites d’information donnés par la légende à droite. Chaque point représente un test de jeu, le label donnant le nom de l’auteur du test et la version du jeu (par exemple «rivaol_10» fait référence à ce test de FIFA 10).
Comment lire ce graphe ? Tout d’abord, il ne faut pas chercher à comprendre l’ordonnancement selon les axes en abscisse («axe x») et en ordonnée («axe y»). Les points ont été positionnés dans le graphe en fonction de la distance entre les textes, donc de l’existence de mots en commun, mais ces distances n’ont pas pu être conservées car un espace de 39 dimensions (40-1) serait requis pour ça [1]. Or, nous n’en avons que deux à disposition. Ainsi, le graphique que l’on observe ici est la représentation optimale de ces 40 textes dans un espace à deux dimensions, avec une perte de l’information au passage qu’il sera nécessaire d’estimer.
Deux textes proches dans le graphe partagent en théorie plus de mots que deux textes éloignés. Ceci semble confirmé par le regroupement des articles de Gamekult (dont quinze sont du même auteur !) dans la partie basse du graphe. On remarque d’ailleurs une tendance à devenir de plus en plus «original» avec le temps. Les articles de jeuxvideo.com occupent eux la partie supérieure, de même que les articles de FIFA 17 provenant des autres médias.
Une estimation de la qualité du graphique, c’est-à-dire de sa capacité à représenter le plus fidèlement l’information, accompagne la représentation graphique. Il semblerait ici que ce ne soit pas fameux, bien qu’honorable (0.2269). Cela signifie qu’il y a des effets dans la matrice des distances que nous ne pouvons pas observer dans le graphe. Cela serait-il dû à l’important nombre de mots différents composant chaque texte ?
Pour dépasser la projection en deux dimensions et consulter les distances intactes, c’est par ici.
Fausses pistes
Je me suis demandé ensuite si une mesure de distance plus simple pourrait être plus efficace. En l’occurrence, j’ai testé une distance binaire. Dans ce cas, pour deux textes donnés on considère tous les mots qu’ils contiennent, puis on compte le nombre de mots apparaissant dans l’un mais pas dans l’autre. Finalement, on divise le nombre obtenu par le nombre total de mots. Par exemple, la distance entre «un chat noir» et «un chat blanc» sera de 0.5 (0 pour «un» et «chat», 1 pour «noir» et «blanc», on somme puis on divise par le nombre de mots différents qui vaut 4).
Malheureusement, le résultat de cette approche s’est avéré tout simplement dépendant de la longueur des articles, et donc sans intérêt.
J’ai également tenté la méthode pondérée tf-idf qui consiste à calculer la fréquence d’apparition des mots comme au point 2, puis de multiplier ces fréquences par un coefficient associé à chaque mot (une pondération) : plus un mot est rare, plus le coefficient sera haut (pour donner moins d’importance aux mots les plus courants). Ensuite, le reste de la procédure se fait normalement. Ici aussi les résultats sont inutilisables avec deux tests placés chacun à une extrémité – «puyo_17» (Gamekult) et «rivaol_11» (jeuxvideo.com) – et les 38 autres regroupés en un amas au centre.
Et en comparant avec d’autres jeux vidéo ?
Voici le graphe que l’on obtient en appliquant la même procédure – avec la distance euclidienne – aux quarante tests de FIFA ainsi qu’à PES 2017, (le concurrent direct de FIFA 17), GTA IV, NHL 10 et The Legend of Zelda: The Wind Waker.
Qu’observe-t-on ? Pour les FIFA, la structure présentée à la figure précédente demeure identique, y compris pour la qualité de l’ajustement. Par contre, les autres jeux sont allés s’insérer à des endroits stratégiques. Ainsi NHL 10 se trouve proche de la nébuleuse centrale (pour le vocabulaire sportif ?), tandis que PES 2017 est placé avec les FIFA de Gamekult (il s’agit du même auteur). Wind Waker, un jeu d’aventure cette fois, est placé à l’écart, proche de la marge de droite. GTA IV se démarque également en s’éloignant vers le haut.
Future works
Ce travail n’est pas d’une grande fiabilité et ne pourrait donner lieu à une publication scientifique, mais il a le mérite de défricher une problématique à ma connaissance jamais explorée auparavant dans le contexte du jeu vidéo. Une autre fois, il serait intéressant d’entrer dans une analyse du style de ces articles au lieu de rester à la surface. Il serait intéressant par exemple d’extraire des figures de style propres à chaque jeu, ou les formules permettant d’identifier un auteur.
Pour terminer, je recommande cette vidéo du Temps montrant quelques joueurs du Lausanne-Sport découvrir le jeu 😉
[1] Soit les distances entre trois points tels que la somme de deux de ces distances soient toujours plus grandes que la troisième. Il est alors possible de positionner ces trois points dans un espace à deux dimensions en respectant les distances données. C’est également possible avec quatre points dans un espace à trois dimensions, par contre ce n’est pas possible avec quatre points dans un espace à deux dimensions ou avec trois points dans un espace à une dimension (une droite). Pourtant, c’est ce que nous faisons avec le multidimensional scaling moyennant un peu d’approximation.
