IA : des agents intelligents apprennent à jouer à Battlefield 1

Magnus Nordin est le directeur technique du SEED, Search for Extraordinary Experiences Division (division de recherche pour les expériences extraordinaires), une équipe d'EA qui étudie les loisirs interactifs de demain. Dans l'entretien suivant, celui-ci nous présente un agent intelligent autonome qui a appris à jouer au multijoueur de Battlefield 1 en partant de rien.

Pour commencer, parlez-nous de vous. Quel a été votre parcours professionnel et quel est votre rôle au sein du SEED ?

J'ai travaillé pendant vingt ans en tant qu'informaticien dans différents domaines avant de rejoindre EA il y a six ans. Au début, je travaillais avec DICE, puis j'ai rejoint le SEED lorsqu'il a été fondé, il y a deux ans.

Au SEED, nous essayons de comprendre à quoi ressembleront les loisirs interactifs sur le long terme. Bien que nous ayons fait quelques recherches académiques, nous ne sommes pas une unité de recherche à proprement parler On sombre vite dans l'abstraction quand on réfléchit à ce que nous réserve l'avenir, alors nous essayons de rester dans le domaine du concret en nous concentrant sur les technologies qui devraient, selon nous, influencer les loisirs interactifs d'ici trois à cinq ans.

Notre objectif est de concevoir des prototypes fonctionnels et de véritables expériences créatives avec les technologies émergentes comme l'intelligence artificielle, l'apprentissage automatique, la réalité virtuelle et augmentée et les mondes virtuels dynamiques à grande échelle.

Dans le cadre de l'un de vos derniers projets, vous avez conçu un agent capable d'apprendre par lui-même à jouer au multijoueur de Battlefield 1. Comment ce projet a-t-il vu le jour ?

Quand j'ai découvert qu'une IA créée par DeepMind avait appris toute seule à jouer à de vieux jeux Atari, je n'en revenais pas. Cet événement qui date de 2015 m'a fait réfléchir. Comment pourrait-on concevoir un agent capable d'apprendre par lui-même à jouer à un triple A moderne à la première personne comme Battlefield ? Lorsque j'ai rejoint le SEED, j'ai créé une équipe spécialisée dans l'apprentissage profond et j'ai commencé à recruter du personnel dans le but de répondre à cette question.

Nous nous sommes d'abord focalisés sur les bases puis avons conçu un FPS 3D rudimentaire pour tester nos algorithmes et entraîner le réseau. Quand nous avons obtenu des résultats satisfaisants sur ce jeu archaïque, nous avons travaillé avec l'équipe de DICE pour intégrer l'agent dans l'environnement de Battlefield.

Votre agent intelligent peut-il s'en sortir face à un joueur humain sur Battlefield ?

Nous avons effectué quelques tests. Des agents ont affronté des humains dans des modes simplifiés où seuls les pistolets étaient autorisés. Les humains étaient meilleurs que les agents, mais ces derniers ne se sont pas fait écraser pour autant.

Quand il est question de gameplay basique, l'agent s'en sort plutôt bien. Il a appris à modifier son comportement en fonction de certains facteurs, comme la santé basse ou le manque de munitions. Cependant, Battlefield va bien au-delà de l'élimination simple des adversaires. C'est un jeu qui repose beaucoup sur des éléments stratégiques comme le travail d'équipe, la connaissance de la carte et la maîtrise des classes et des équipements. Si nous voulons que l'IA l'emporte, nous devrons étendre ses capacités.

Néanmoins, il faut savoir qu'après les tests, certains participants nous ont demandé d'indiquer clairement qui sont les agents en jeu, pour qu'ils soient reconnaissables. De notre point de vue, c'est bon signe. Ça veut dire qu'ils se comportent un peu comme des humains.

Malgré tout, on a vu des agents se promener n'importe où et courir en cercle. Qu'est-ce qui peut expliquer ce genre de comportement ?

Pour le moment, les agents ne sont pas très doués pour la planification. Si l'un d'entre eux repère un objectif ou un joueur, il réagit, mais s'il n'a rien en visuel, il se met à tourner en rond, à la recherche de quelque chose à faire. Idéalement, il devrait parcourir la carte à la recherche d'adversaires ou se mettre à l'abri, mais les agents n'en sont pas encore à ce stade. Je suis certain que plus tard, ils seront plus intelligents et feront moins de choses loufoques.

Combien de temps l'agent s'est-il entraîné ?

Quand vous jouez à Battlefield, vous ne vous contentez pas d'appuyer sur un seul bouton. Au contraire, vous devez réaliser diverses actions en simultané. Nous avons laissé l'agent observer un humain jouer pendant 30 minutes. C'est ce qu'on appelle l'apprentissage par imitation. Ainsi, il a pu commencer son entraînement autonome avec quelques bases au niveau des combinaisons.

Ensuite, les agents que nous avons présentés lors de la démonstration se sont entraînés pendant six jours contre d'autres versions d'eux-mêmes et des bots traditionnels, sur plusieurs machines en parallèle. En gros, cela revient à 300 jours de jeu. Ils ont beau s'améliorer en continu, ils n'apprennent pas vite.

L'agent possède le même champ de vision qu'un être humain et utilise la mini-carte, mais nous nous sommes vite rendu compte que Battlefield est visuellement trop complexe pour l'agent. Alors, nous avons dû simplifier ce qu'il voit.

Nous savons que des agents capables d'autoapprentissage avaient appris à jouer à de vieux jeux d'arcade, au premier Doom et au jeu de go. En quoi votre travail se distingue-t-il de ces expériences ?

De ce que l'ont sait, c'est la première fois qu'on intègre de l'apprentissage profond dans un triple A complexe à la première personne. D'autant plus qu'il s'agit de Battlefield, un jeu aux mécaniques particulièrement élaborées.

Concrètement, à quoi sert cette technologie ?

Dans le court terme, ce projet aidera l'équipe de DICE à peaufiner son service d'assurance-qualité et de test en lui permettant de détecter plus de crashs et de bugs.

Dans les jeux futurs, quand les IA seront plus développées, je pense que ces agents feront partie intégrante des jeux. Ce seront des PNJ intelligents qui pourront accomplir différentes tâches, s'adapter et évoluer au fil du temps en accumulant de l'expérience lors de leurs interactions avec les humains.

À votre avis, quand peut-on espérer croiser ces IA autonomes dans les jeux vidéo ?

Je suis certain que ces agents intelligents rejoindront petit à petit les jeux vidéo dans les années à venir, mais ils ne serviront pas qu'à remplacer les anciens bots. L'apprentissage profond a également des applications dans le contenu généré de manière procédurale, l'animation, les voix synthétiques ou encore la reconnaissance vocale.

Est-ce que les agents intelligents finiront par battre des joueurs professionnels ? Si, quand ?

Je risque gros à faire de telles prédictions, mais je pense que les agents pourront battre les humains dans des modes compétitifs limités (équipes concentrées, objectifs simples à reconnaître et petites cartes) d'ici quelques années, mais au SEED, nous ne cherchons pas spécialement à créer des IA capables de battre les humains. On veut avant tout concevoir de nouvelles expériences pour rendre les jeux encore meilleurs. Or, ce n'est pas nécessairement drôle de perdre face à une IA supérieure.

______________________

LE SEED est une équipe pluridisciplinaire au sein d'EA Worldwide Studios. Elle se concentre sur l'étude et le développement des loisirs interactifs de demain. Pour plus d'informations sur le SEED, rendez-vous sur https://www.ea.com/seed.

Pour ne rien manquer de l'actualité EA, lisez notre blog, suivez-nous sur Twitter et Instagram et aimez notre page Facebook.