Ensinando agentes de IA a jogar Battlefield 1

O diretor técnico Magnus Nordin discute como a Search for Extraordinary Experiences Division (SEED) — uma equipe da EA que explora o futuro do entretenimento interativo — criou uma inteligência artificial autodidata que aprendeu a jogar o multiplayer de Battlefield 1 do zero.

Primeiro, nos conte sobre você. Qual é a sua história, o que você faz e o que exatamente é a SEED?

Eu entrei para a EA há seis anos, depois de trabalhar duas décadas como cientista computacional em vários cargos. Meu primeiro trabalho na EA foi com DICE e, depois, fui movido para a SEED quando ela foi fundada há dois anos.

Na SEED, exploramos como será o entretenimento interativo a longo prazo. Embora nós façamos algumas pesquisas acadêmicas, não somos uma unidade de pesquisa pura. Tentar adivinhas o que nos aguarda no futuro distante tem uma tendência a se tornar abstrato, então tentamos o mais práticos possível e manter o nosso horizonte nas tecnologias que pensamos que irão fazer um impacto ao entretenimento interativo daqui três a cinco anos.

A nossa abordagem é construir protótipos que funcionam e montar experiências criativas reais com tecnologias emergentes, como inteligência artificial, aprendizado de máquina, mundos virtuais dinâmicos em grande escala, realidade virtual e aumentada.

Um dos seus últimos projetos foi treinar um agente autodidata para jogar Battlefield 1 no multiplayer. Como esse projeto surgiu?

Quando eu soube que uma inteligência artificial criada pela DeepMind havia aprendido sozinha a jogar antigos jogos de Atari, fiquei de boca aberta. Isso foi em 2005 e me fez pensar em quanto trabalho seria necessário para fazer um agente autodidata aprender a jogar um jogo AAA em primeira pessoa mais complexo e moderno como Battlefield. Então, quando eu entrei para a SEED, montei a nossa própria equipe de aprendizagem profunda e comecei a recrutar pessoas com isso em mente.

Primeiro compreendemos o básico e construímos um FPS tridimensional simples para testar nossos algoritmos e treinar a rede. Depois de vermos alguns bons resultados no nosso próprio jogo básico, trabalhamos com a equipe da DICE para integrar o agente em um ambiente de Battlefield.

Como você acha que o seu agente autodidata se sai contra um jogar humano de Battlefield?

Nós conduzimos testes, colocando agentes de inteligência artificial contra jogadores humanos em um modo de jogo simplificado, restrito a pistolas. Embora os jogadores humanos tenham se saído melhor do que os agentes, não foi uma lavada de jeito nenhum.

O agente é proficiente no jogo básico de Battlefield e aprendeu sozinho a alterar o seu comportamento dependendo de certos gatilhos, como estar com pouca munição ou saúde. Mas Battlefield é muito mais do que apenas derrotar os seus adversários. Há muita estratégia envolvida, coisas como trabalho em equipe, conhecer o mapa e se familiarizar com classes e equipamentos individuais. Teremos que ampliar ainda mais as capacidades dos agentes para que as IAs possam entender isso.

Ainda assim, depois dos testes, alguns participantes nos pediram para marcar claramente os agentes, para que eles fossem distinguidos corretamente, o que, para mim, é uma boa evidência de como os agentes se saíram bem e como pareciam realísticos.

Para ser justo, o jogo também mostra ocasiões em que os robôs de IA parecem estar brincando e correndo em círculos. O que está acontecendo aqui?

No momento, os agentes não são muito bons em planejar com antecedência. Se um agente vê um objetivo, como um jogador inimigo, ele agirá. Mas, se não houver nada à vista, ele eventualmente começará a dar voltar para procurar algo para fazer. Uma estratégia melhor seria ir procurar por adversários pelo mapa ou encontrar algum lugar para se esconder, mas os agentes ainda não estão nesse nível. Estou confiante de que eles farão menos tolices no futuro, conforme se tornam mais hábeis.

Por quanto tempo o agente autodidata treinou?

Você não pode jogar Battlefield apertando um único botão por vez. Os jogadores precisam realizar uma gama de ações simultâneas. Então, para ajudar o agente autodidata a ter uma vantagem com as combinações de ação básicas, o deixamos observar 30 minutos de jogo humano — um processo chamado de aprendizagem por imitação — antes de deixá-lo treinar por conta própria.

Os agentes que mostramos na nossa demo praticaram subsequentemente por seis dias contra versões deles mesmos e alguns simples robôs antiquados, jogando em várias máquinas em paralelo. No total, isso se iguala a aproximadamente 300 dias de experiência de jogo total. Eles estão melhorando constantemente, mas não aprendem muito rápido.

O agente possui o mesmo campo de visão que um jogador humano e é auxiliado por um minimapa. Nós rapidamente descobrimos, no entanto, que Battlefield é muito complexo visualmente para o agente entender, o que significou que tivemos que simplificar o que ele vê.

Vimos casos de agentes autodidatas que aprenderam a jogar antigos jogos arcade, bem como Doom original e Go. O que faz o trabalho de vocês se destacar desses exemplos?

Pelo o que eu sei, esse é a primeira implementação de uma aprendizagem por reforço profunda em um jogo AAA de primeira pessoa imersivo e complexo. Além disso, está acontecendo em Battlefield, um jogo com mecânicas de jogo famosas por serem elaboradas.

Qual é o uso prático dessa tecnologia no momento?

O nosso objetivo a curto prazo com esse projeto tem sido ajudar a equipe da DICE ampliar seu controle de qualidade e de testes, o que poderia ajudar o estúdio a coletar mais relatórios de erro e encontrar mais erros.

Em títulos futuros, conforme a tecnologia de aprendizagem profunda amadurece, espero que os próprios agentes autodidatas sejam parte dos jogos, como NPCs verdadeiramente inteligentes que podem dominar uma variedade de tarefas, que se adaptam e evoluem com o tempo, conforme acumulam experiência ao lutar contra jogadores humanos.

Quando você acha que veremos IA autodidata se tornar uma tecnologia convencional nos jogos?

Não tenho dúvida de que as redes neurais começarão gradualmente a entrar nos jogos nos próximos anos. Os agentes autodidatas não são apenas bons substitutos para os robôs antiquados, você também pode aplicar o aprendizado de máquina a diversos campos, como conteúdo gerado por procedimento, animação, geração de voz, reconhecimento de fala e mais.

Os agentes autodidatas vão conseguir vencer jogadores profissionais de FPS algum dia? Se sim, quando?

Correndo o risco de fazer uma predição maluca, acho que é razoável esperar que os agentes de inteligência artificial sejam capazes de derrotar jogadores humanos em um modo de jogo competitivo limitado — um que possua mapas menores, focado em equipes e objetivos claros — a daqui poucos anos. No entanto, na SEED, não queremos necessariamente construir uma IA que derrotará os jogadores humanos. Nosso objetivo é ajudar a criar novas experiências que aprimorem os jogos e os tornem mais divertidos. Levar um pau de uma IA superior não é necessariamente divertido para os jogadores no final das contas.

______________________

A SEED é uma equipe multidisciplinar da EA Worldwide Studios. Sua missão é explorar, construir e ajudar a definir o futuro do entretenimento interativo. Para saber mais sobre a SEED, visite https://www.ea.com/seed.

Participe das discussões sobre todos os produtos da EA: leia nosso blog, siga-nos no Twitter e no Instagram curta nossa página no Facebook.