AIエージェントに「バトルフィールド 1」のプレイを教えるには？

テクニカルディレクターMagnus Nordinが、EAの先進的インタラクティブエンターテインメント研究部門SEED（Search for Extraordinary Experiences Division）における自己学習型AIエージェントの開発と、そのAIが「バトルフィールド 1」のマルチプレイヤーを一から自己学習していく過程を語ります。

まず、自己紹介をお願いします。これまでの経歴とSEEDでどんな仕事をしているか教えてもらえますか？

EAに入社したのは6年前です。それ以前に20年にわたりコンピューターサイエンティストとして、様々なプロジェクトに従事してきました。EAではまずDICEと仕事をした後、2年前にSEEDが設立されると同時にそちらに移りました。

SEEDでは、長期的な視野でインタラクティブエンターテインメントの進む先を探っています。学術的な研究も行いますが、純粋な研究だけの部門ではありません。長期的な未来を探ることは、抽象的な議論に陥りがちです。そこで私たちは、できる限り現実的な視点に立ち、今から3から5年後のインタラクティブエンターテインメントに影響を与えるような技術を見据える方針で活動しています。

私たちの目標は、機能するプロトタイプを作り出し、最先端のテクノロジーによる本当の意味でクリエイティブな体験を確立することです。例えば、AI、機械学習、バーチャルリアリティや拡張現実、大規模なリアルタイムのバーチャルワールドなどです。

SEEDの最新プロジェクトの一つに、自己学習型AIに「バトルフィールド 1」のマルチプレイヤーを学ばせるというものがあります。なぜ、このようなプロジェクトが生み出されたのですか？

DeepMindが生み出したAIが、レトロなAtariゲームのプレイを自ら学習した過程を知った時、私は強い衝撃を受けました。これは2015年のことでしたが、それによって私は、自己学習型AIが「バトルフィールド」のような、最新のより複雑な大作FPSを学習するとしたら、どれほどの手間がかかるのだろうと考えるようになりました。そこでSEEDに移った後、独自のディープラーニング研究チームを作り、それに合った人材の確保を始めたのです。

まずはベースを確立するため、シンプルな3次元FPSを作り、自分たちのアルゴリズムをテストし、ネットワークに学習を行わせました。このテスト用ゲームで良い結果が得られたことから、DICEのチームと協力して「バトルフィールド」の環境にAIを適用させる作業に移りました。

人間のバトルフィールド・プレイヤーと比べた場合、SEEDの自己学習型AIの能力をどのように評価しますか？

装備をハンドガンのみに制限し、単純化されたゲームモードで、AIと人間のプレイヤーのチームを戦わせるテストをしました。このテストでは、人間のプレイヤーがAIを凌駕しましたが、その差は決して覆しがたいものではありませんでした。

AIは「バトルフィールド」のゲームプレイの基本を非常に良くマスターしており、弾薬数やライフがゼロに近づくなど特定の状況に基づいて、自ら行動パターンを変えることを学習していました。ですが、「バトルフィールド」は単純に敵を倒すだけのゲームではありません。チームワークやマップの知識、個々の兵科や装備の理解など多くの戦略的要素が絡んできます。それらの問題に取り組めるよう、私たちはAIの能力をさらに拡張していかなければなりません。

ですが、先のテストの後で、数名の参加者がAIプレイヤーを見分けられるように明確にマークして欲しいとの要望を伝えてきたことは、AIプレイヤーがいかに“人間らしく”、上手く行動しているかを示唆するものではないかと考えています。

公平を期すると、テストでは、AIボットがおかしな行動を取っていたり、ぐるぐると円を描き続けていたりする場面もありました。これはどういった現象なのですか？

現在のところ、AIは自ら予定立てて行動することがあまり上手くありません。もし敵プレイヤーなど、目標を見つけたなら、それに対して行動します。ですが視界に何もなければ、何らかの目標を探すためにぐるぐる回り始めることになります。マップ全体を移動して敵を探したり、どこか隠れる場所を見つける方が戦略的には有効ですが、まだAIにはそこまでの事ができません。AIがよりゲームに習熟することで、将来的に愚かな行動は減るものと確信しています。

AIの学習にはどのくらいの時間がかかりましたか？

「バトルフィールド」は、ボタンを順に押してプレイするようなゲームではありません。プレイヤーは同時に一連の行動を取る必要があります。そこでAIが基本の動きのコンビネーションを事前に習得できるよう、私たちはAIが直にゲームに触れ始める前に、人間のプレイを30分間観察させました。模倣学習と呼ばれるプロセスです。

デモでお見せしたAIは、そこから6日間、自身の別バージョンと、以前からあるシンプルなボットを相手に数機のマシンで並行してプレイし、学習を進めた物です。全体では、約300日分のプレイ経験と等しくなります。AIのプレイは時間とともに向上し続けましたが、特に習得が速いというわけではありませんでした。

AIには、人間プレイヤーと同じ視野角（FOV）とミニマップが与えられていました。ですが、すぐに「バトルフィールド」のもたらす視覚情報はAIが理解するには複雑すぎることが判明します。私たちはAIに与える視覚情報を単純化する必要に迫られました。

世界では自己学習型AIが、初代Doomや碁、昔のアーケードゲームのプレイを学習した例が報告されています。それらとSEEDのプロジェクトの違いを教えてください。

私が知る限り、このプロジェクトは、高い臨場感を持つ複雑な大作FPSに深層強化学習を適用した初の事例です。それに加えて、「バトルフィールド」上で実現されているということがポイントです。「バトルフィールド」は極めて高度なゲームシステムを持つシリーズとして良く知られています。

今現在の、この技術の具体的な活用法は何ですか？

プロジェクトの短期的な目標は、DICEチームの品質管理とテストの拡充を支援することです。より多くのクラッシュレポートの収集やバグの発見につながることが期待されています。

将来のタイトルでは、ディープラーニング技術の成熟に伴い、自己学習型AIがゲームそのものの一部となるものと考えています。各種タスクに習熟でき、人間プレイヤーとの関りを通じて、経験を積み、適応・進化していく、本当の意味でインテリジェントなNPCとしての活用です。

ゲームにおいて自己学習型AIがメインストリームになるのはいつだと考えますか？

今後数年で、ニューラルネットのゲームへの応用例が少しずつ増えていくことは間違いないと考えています。自己学習型AIは、以前からあるボットの優れた代替になるだけでなく、コンテンツやアニメーションの自動生成、音声合成、音声認識など多くの分野で機械学習の活用が考えられます。

自己学習型AIがFPSのプロプレイヤーを倒す日が来ると思いますか？そうなら、いつでしょうか？

まったく外れる可能性もありますが、数年の内に、限定された競技的ゲームモードで、AIプレイヤーが人間プレイヤーを打ち負かせるようになるというのは、あり得ない予想ではないと考えます。比較的小さなマップで、役割の明確なチームと明確な目標が与えられたゲームモードで、という意味です。ですが、SEEDでは、人間のプレイヤーを打倒できるAIの創出に取り組むことは、必ずしも必要ないと考えています。私たちの目標は、ゲームを進化させ、より楽しくするための新しい体験を生み出す手伝いをすることです。長期的に見て、優れたAIに打ち負かされることがプレイヤーにとって楽しいかどうかは不明と言わざるを得ません。

______________________

SEEDはEA Worldwide Studios内で複数の分野にまたがり活動するチームです。インタラクティブエンターテインメントの未来を模索、構築し、定義することがSEEDの目標です。SEEDについてさらに詳しくは、こちらをご覧ください：https://www.ea.com/seed

EAからの各ニュースやお知らせは、ウェブサイト、TwitterやInstagramのフォロー、Facebookの「いいね」でご確認ください。