AlphaStar en andere complexe problemen

Hoewel StarCraft slechts een game is, zij het een complexe, denken we dat de technieken achter AlphaStar nuttig kunnen zijn bij het oplossen van andere problemen. Zo is de neurale netwerkarchitectuur in staat om zeer lange reeksen van waarschijnlijke acties te modelleren - waarbij games vaak tot een uur duren met tienduizenden zetten - op basis van imperfecte informatie. Elk frame van StarCraft wordt gebruikt als een stap van invoer, waarbij het neurale netwerk na elk frame de verwachte reeks acties voor de rest van het spel voorspelt. Het fundamentele probleem van het maken van complexe voorspellingen over zeer lange reeksen gegevens komt voor in veel uitdagingen in de echte wereld, zoals weersvoorspelling, klimaatmodellering, taalbegrip en meer. We zijn erg enthousiast over het potentieel om aanzienlijke vooruitgang te boeken in deze domeinen met behulp van lessen en ontwikkelingen uit het AlphaStar-project.

We denken ook dat sommige van onze trainingsmethoden nuttig kunnen zijn bij de studie van veilige en robuuste AI. Een van de grote uitdagingen bij AI is het aantal manieren waarop systemen fout kunnen gaan, en StarCraft-professionals vonden het eerder gemakkelijk om AI-systemen te verslaan door inventieve manieren te vinden om deze fouten uit te lokken. AlphaStar's innovatieve, op competitie gebaseerde trainingsproces vindt de benaderingen die het meest betrouwbaar zijn en het minst fout gaan. We zijn enthousiast over het potentieel van dit soort benadering om de veiligheid en robuustheid van AI-systemen in het algemeen te helpen verbeteren, vooral in veiligheidskritieke domeinen zoals energie, waar het essentieel is om complexe randgevallen aan te pakken.

Het bereiken van de hoogste niveaus van StarCraft-spel betekent een grote doorbraak in een van de meest complexe videogames ooit gemaakt. Wij zijn van mening dat deze vooruitgang, naast andere recente vooruitgang in projecten zoals alfanul en AlphaFold, vertegenwoordigen een stap voorwaarts in onze missie om intelligente systemen te creëren die ons op een dag zullen helpen nieuwe oplossingen te vinden voor enkele van 's werelds belangrijkste en meest fundamentele wetenschappelijke problemen.

We zijn dankbaar voor de steun en enorme vaardigheid van Team Liquid's TLO en MaNa. We zijn ook dankbaar voor de voortdurende steun van Blizzard en de StarCraft-gemeenschap om dit werk mogelijk te maken.

AlphaStar-team:

Oriol Vinyals, Igor Babuschkin, Junyoung Chung, Michael Mathieu, Max Jaderberg, Wojtek Czarnecki, Andrew Dudzik, Aja Huang, Petko Georgiev, Richard Powell, Timo Ewalds, Dan Horgan, Manuel Kroiss, Ivo Danihelka, John Agapiou, Junhyuk Oh, Valentin Dalibard David Choi, Laurent Sifre, Yury Sulsky, Sasha Vezhnevets, James Molloy, Trevor Cai, David Budden, Tom Paine, Caglar Gulcehre, Ziyu Wang, Tobias Pfaff, Toby Pohlen, Yuhua Wu, Dani Yogatama, Julia Cohen, Katrina McKinney, Oliver Smith, Tom Schaul, Timothy Lillicrap, Chris Apps, Koray Kavukcuoglu, Demis Hassabis, David Silver

Met dank aan:

Ali Razavi, Daniel Toyama, David Balduzzi, Doug Fritz, Eser Aygün, Florian Strub, Guillaume Alain, Haoran Tang, Jaume Sanchez, Jonathan Fildes, Julian Schrittwieser, Justin Novosad, Karen Simonyan, Karol Kurach, Philippe Hamel, Remi Leblond, Ricardo Barreira , Scott Reed, Sergey Bartunov, Shibl Mourad, Steve Gaffney, Thomas Hubert, de team dat PySC2 heeft gemaakt en het hele DeepMind-team, met speciale dank aan het team van het onderzoeksplatform, comms en evenemententeams.

Bron: https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii