Technical Director Magnus Nordin erläutert, wie die Search for Extraordinary Experiences Division (SEED) – ein Team bei EA, das sich mit der Zukunft des interaktiven Entertainments befasst – einen selbstlernenden KI-Agenten gebaut hat, der sich das Spielen des Multiplayers von Battlefield 1 von Grund auf selbst beigebracht hat.

Erzähl uns erst einmal etwas über dich selbst. Wie sieht dein Background aus, was machst du, und was genau ist SEED?

Ich bin vor sechs Jahren zu EA gekommen, nachdem ich zwanzig Jahre lang in verschiedenen Funktionen als Informatiker gearbeitet hatte. Mein erster Job bei EA war bei DICE, und später bin ich dann zu SEED, als es vor zwei Jahren gegründet wurde.

Bei SEED erforschen wir, wie interaktives Entertainment sich langfristig entwickeln könnte. Zum Teil ist das wissenschaftliche Forschung, wir sind aber keine reine Forschungsabteilung. Wenn man versucht, sich vorzustellen, was die fernere Zukunft bringen könnte, wird das Ganze schnell abstrakt. Also arbeiten wir so praxisorientiert wie möglich und beschränken unseren Horizont auf Technologien, von denen wir annehmen, dass sie das interaktive Entertainment in drei bis fünf Jahren beeinflussen werden.

Unser Ansatz dabei ist, funktionierende Prototypen zu bauen und reale kreative Erlebnisse zu schaffen, und das mit neuen Technologien wie künstlicher Intelligenz, Maschinenlernen, virtueller und augmentierter Realität sowie großen dynamischen, virtuellen Welten.

Eines eurer aktuellen Projekte bestand darin, einem selbstlernenden Agenten beizubringen, den Multiplayer von Battlefield 1 zu spielen. Wie kam es dazu?

Als ich erfuhr, dass eine KI von DeepMind sich selbst beigebracht hatte, alte Atari-Spiele zu spielen, hat mich das total umgehauen. Das war 2015, und ich fing an, darüber nachzudenken, wie viel Aufwand es wäre, einen selbstlernenden Agenten dazu zu bringen, dass er lernt, wie man ein moderneres und komplexeres First-Person-AAA-Spiel wie Battlefield spielt. Als ich dann zu SEED kam, habe ich mit diesem Gedanken im Hinterkopf ein eigenes Deep-Learning-Team eingerichtet und Mitarbeiter rekrutiert.

Zunächst haben wir uns mit den Grundlagen beschäftigt und einen einfachen, dreidimensionalen Ego-Shooter entwickelt, um unsere Algorithmen zu testen und das Netzwerk darauf auszurichten. Nachdem wir damit einige gute Ergebnisse erzielt hatten, haben wir den Agenten zusammen mit dem Team von DICE in eine Battlefield-Umgebung integriert.

Wie hält sich deiner Meinung nach euer selbstlernender Agent gegen einen menschlichen Battlefield-Spieler?

Wir haben Tests mit KI-Agenten gegen menschliche Spieler in einem vereinfachten Spielmodus durchgeführt, der auf Handfeuerwaffen beschränkt war. Die menschlichen Spieler haben die Agenten zwar geschlagen, aber es war bei Weitem kein komplettes Desaster.

Der Agent beherrscht die Grundlagen des Battlefield-Gameplays ziemlich gut und hat sich selbst beigebracht, sein Verhalten anhand bestimmter Auslöser wie wenig Munition oder Gesundheit zu ändern. Aber es geht bei Battlefield um viel mehr als die Ausschaltung von Gegnern. Da spielt Strategie eine große Rolle, Teamwork, die Kenntnis der Karte und die Vertrautheit mit den einzelnen Klassen und Ausrüstungsobjekten. Wir müssen die Fähigkeiten der Agenten erweitern, damit die KI diese Nüsse knacken kann.

Dennoch haben einige Teilnehmer uns nach den Tests gebeten, die Agenten klar zu markieren, um sie eindeutig unterscheiden zu können, was für mich ein deutliches Indiz dafür ist, dass die Agenten durchaus eine ansprechende Leistung zeigen und lebensecht sind.

Um ehrlich zu sein, das Gameplay weist immer wieder Momente auf, in denen die KI-Bots herumtrödeln und sich ständig im Kreis bewegen. Warum tun sie das?

Im Moment können die Agenten noch nicht besonders gut vorausplanen. Wenn ein Agent ein Ziel entdeckt, zum Beispiel einen gegnerischen Spieler, dann handelt er. Ist aber nichts in Sicht, fängt er irgendwann an, sich zu drehen und etwas zu suchen, das er tun könnte. Eine bessere Strategie wäre es, loszuziehen und auf der Karte nach Gegnern zu suchen oder ein Versteck zu finden, aber so weit sind die Agenten derzeit noch nicht. Ich bin sicher, dass sie in Zukunft weniger herumalbern und kompetenter werden.

Wie lange hat der selbstlernende Agent geübt?

Du kannst Battlefield nicht spielen, wenn du immer nur eine Taste nach der anderen drückst. Stattdessen musst du mehrere Aktionen gleichzeitig ausführen. Um dem selbstlernenden Agenten einen Einstieg in grundlegende Aktionskombinationen zu ermöglichen, lassen wir ihn 30 Minuten lang das Spiel von Menschen beobachten – man nennt das Imitationslernen –, bevor wir ihn sich selbst überlassen.

Die Agenten in unserer Demo haben anschließend sechs Tage lang gegen Versionen von sich selbst und einfache, altmodische Bots trainiert, und das parallel auf mehreren Geräten. Insgesamt entspricht das einer gesamten Gameplay-Erfahrung von ungefähr 300 Tagen. Sie verbessern sich kontinuierlich, lernen aber nicht sonderlich schnell.

Der Agent verfügt über das gleiche Sichtfeld wie ein menschlicher Spieler und wird durch eine Minikarte unterstützt. Wir haben allerdings rasch gemerkt, dass Battlefield visuell für den Agenten zu komplex ist, das heißt, wir mussten vereinfachen, was er sieht.

Es gibt nämlich durchaus bereits selbstlernende Agenten, die sich beigebracht haben, wie man alte Arcade-Spiele sowie das originale Doom und Go spielt. Was hebt eure Arbeit von diesen Beispielen ab?

Soweit ich weiß, haben wir als Erste Deep Learning und Verstärkungslernen in einem immersiven und komplexen AAA-Spiel mit Egoperspektive implementiert. Und Battlefield ist ja immerhin bekannt für seine anspruchsvollen Spielmechaniken.

Was ist zum jetzigen Zeitpunkt der praktische Nutzen dieser Technologie?

Unser kurzfristiges Ziel bei diesem Projekt war, dem DICE-Team beim Skalieren seiner Qualitätssicherung und Tests zu helfen, damit das Studio mehr Absturzursachen und Bugs finden kann.

Bei zukünftigen Titeln, wenn die Deep-Learning-Technologie den Kinderschuhen entwächst, gehe ich davon aus, dass selbstlernende Agenten Teil des Spiels selbst sein werden. Wirklich intelligente NPCs können dann zahlreiche Aufgaben erfüllen und sich mit der Zeit anpassen und weiterentwickeln, weil sie durch die Interaktion mit menschlichen Spielern Erfahrung sammeln.

Wann wird deiner Meinung nach die selbstlernende KI in Spielen eine Mainstream-Technologie sein?

Ich habe keinen Zweifel daran, dass neurale Netze in den kommenden Jahren Stück für Stück ihren Weg in die Spiele finden werden. Selbstlernende Agenten sind nicht nur ein guter Ersatz für altmodische Bots – du kannst Maschinenlernen auch in vielen anderen Bereichen anwenden, zum Beispiel bei prozedural erzeugten Inhalten, Animation, Stimmerzeugung, Spracherkennung und mehr.