OpenAI Five - der Dota 2 Bot, der Profis schlägt

Das Dota 2 Team einer künstlichen Intelligenz, das aus fünf neuronalen Netzwerken, genannt OpenAI Five, besteht, hat begonnen, menschliche Teams bei Dota 2 zu besiegen. Während das Netzwerk heute mit Einschränkungen spielt, soll es im August bereits ein Team von Top-Profis bei dem Dota2 Turnier The International besiegen. Das Spiel soll dabei auf bestimmte Helden beschränkt werden. Dota 2 ist eines der komplexesten und beliebtesten eSport Spiele der Welt und die Profi-Teams trainieren das ganze Jahr über für die großen Turniere. Daher gelingt es der AI vielleicht noch nicht, Profis zu besiegen.

Der Vorteil, eine AI zu sein: OpenAI Five spielt jeden Tag Spiele, für die menschliche Spieler 180 Jahren benötigen würden, gegen sich selbst und lernt dadurch das Spiel immer besser. Es trainiert mit einer Software, die auf 256 Grafikkarten und 128.000 Prozessor-Kernen läuft - eine größere Version des Systems, das OpenAI gebaut hat, um die viel einfachere Solo-Variante des Spiels im letzten Jahr zu spielen. Mit einer eigenen künstlichen Intelligenz für jeden einzelnen Helden und komplett ohne menschlichen Input lernt die AI passende Strategien. Das Projekt übersteigt die anfänglichen Erwartungen, um den tatsächlichen Fortschritt zu messen wird am 28. Juli ein Match gegen Top-Spieler veranstaltet, welches auch auf Twitch live übertragen wird. Vermutlich wird es nicht möglich sein, eSport Wetten darauf abzuschließen – vielleicht in ein paar Jahren dann.

Das Hauptziel jeder künstlichen Intelligenz besteht darin, menschliche Fähigkeiten in einem komplexen Videospiel wie StarCraft oder Dota 2 zu erreichen oder sogar zu übertreffen. Im Vergleich zu früherer Software wie „Chessor Go“ – einer Schach- und Go-Software – fangen komplexe Videospiele an, eine enorme Vielzahl von Strategien zu ermöglichen. Künstliche Intelligenz soll jedoch nicht nur in Videospielen zum Einsatz kommen. Die Anwendungsmöglichkeiten sollen sich auf die reale Welt übertragen lassen. Videospiele sind daher nur der Anfang, wobei das größte Problem bei der Übertragung der Erkenntnisse in das tägliche Leben besteht.

Bei Dota2 handelt es sich um ein Echtzeit-Strategiespiel, bei dem zwei Teams mit je fünf Helden gegeneinander spielen – eine enorme Herausforderung für eine künstliche Intelligenz:

• Dota2 Spiele dauern durchschnittlich 45 Minuten und das mit 30 Bildern pro Sekunde. Das ergibt etwa 80.000 Ticks (45 Minuten * 60 Sekunden * 30 Bilder pro Sekunde). Eine künstliche Intelligenz muss das alles überwachen. OpenAI überwacht jedes vierte Bild, was 20.000 Aktionen pro Spiel ergibt. Eine künstliche Intelligenz für Schach muss pro Spiel nur 40-150 Aktionen überwachen.
• Die Karte bei Dota2 ist niemals komplett aufgedeckt. Gebäude, Türme und Einheiten sehen nur ihre unmittelbare Umgebung, während der Rest durch Nebel bedeckt ist. Die künstliche Intelligenz muss daher hochrechnen, was im Nebel passieren könnte, und dementsprechend Aktionen setzen.
• Doch nicht nur die gleichzeitigen Aktionen sind komplex, auch die Aktionen der Helden müssen geplant werden. Jeder Held kann eine Vielzahl von Aktionen ausführen. Einige dieser Aktionen zielen auf den Boden während andere auf eine feindliche Einheit abzielen. Rechnet man die möglichen Aktionen jedes Helden hoch, ergibt das etwa 170.000 mögliche Aktionen pro Held und pro Spiel, welche nicht alle jederzeit ausgeführt werden können, wenn zum Beispiel Abklingzeiten für Fähigkeiten laufen.
• Die künstliche Intelligenz muss laufend alle Aktionen der feindlichen Helden, Gebäude, Einheiten und zusätzlichen Spielelementen überwachen. Dazu kommen am Boden liegende Zauber, Bäume und Runen. Die künstliche Intelligenz greift dafür auf rund 20.000 Variablen zu, die auch ein Spieler sehen und nutzen könnte. Zum Vergleich: Ein Schachbrett hat ca. 70 dieser Variablen.
• Die Dota2 Regeln sind sehr komplex. Die Entwicklung findet seit nunmehr 10 Jahren statt und wurde laufend um Inhalte erweitert. Die Spiellogik besteht aus hunderttausenden von Codezeilen. Die künstliche Intelligenz benötigt ein paar Millisekunden Zeit, um sämtliche Aktionen zu überwachen. Eine Schachsoftware benötigt nur Nanosekunden, also um ein Vielfaches weniger.

Da die künstliche Intelligenz selbstlernend ist, muss sie in der Lage sein, die Spielumgebung und deren Geschehnisse selbständig zu erkunden. Dabei müssen alle Gegenstände, Einheiten und oftmals gegnerische Helden die am Weg liegen, analysiert werden. Für jede Kombination aus Spielelementen muss die KI richtig reagieren können. Dadurch, dass OpenAI tausende Runden gegen sich selbst spielt, kann sie alle möglichen Kombinationen lernen und wird ständig effizienter.

Man kann sich die Erkundungsstrategie wie folgt vorstellen: Die KI schickt Helden ziellos auf der Karte herum und lernt aus Fehlern. Wenn die Helden sterben, versucht die KI einen anderen Weg, um erfolgreich zu sein. Nach mehreren Stunden erkennt die KI, dass die Helden durch Farmen stärker werden und schickt sie auf die Lanes. Dadurch, dass auf den Lanes am meisten Gegner auf die KI warten, ergeben sich Kämpfe um die Mitte unter feindlichen Helden. Nach einigen Tagen schafft es die KI zum ersten Turm und lernt, diesen zu besiegen. Nach einigen Wochen ist die KI bereits zu 5 Helden Pushs und erweiterten Strategien fähig.

Die KI lernt – ähnlich wie ein Tier – durch ein Belohnungssystem, das die Entwickler programmiert haben. Wenig Deaths gepaart mit vielen Kills oder viele Last Hits sind etwa positiv. Das andere Team (ebenfalls von der KI gesteuert) erfährt die negativen Konsequenzen, da sie mehr Todesfälle zu beklagen hat. Auch die Builds werden je nach Erfolg gespeichert und weiterentwickelt. 

OpenAI musste sich bisher gegen fünf Teams beweisen. Sie trat im Laufe einiger Tage gegen ein Team aus OpanAI Mitarbeitern, ein Team aus Zuschauern, ein Valve Mitarbeiter Team, eine Amateurmannschaft und ein Semi-Profi-Team an. Leider konnten auch darauf keine eSport Wetten abgeschlossen werden, aber vielleicht ist es beim The International 2018 soweit? Sichert euch daher rechtzeitig euren eSport Wettbonus.

Die Version nach drei Wochen Selbstlern-Programm war etwa so stark wie das OpenAI-Mitarbeiter-Team, das etwas unter Durchschnitt spielt. Die KI gewann ein Spiel und verlor ein weiteres. Nach weiteren drei Wochen gewann die KI bereits gegen das Team aus Zuschauern und gegen das Valve-Team, die bereits weit über Durchschnitt spielten. Dann trat die KI gegen die Amateurmannschaft und das Semi-Pro-Team an. Die Erwartungshaltung war nicht hoch und man nahm an, dass die KI gegen beide verlieren würde. Dem war aber nicht so, denn die KI gewann zwei von drei Spielen – gegen beide. 

Wenn die KI einmal eine solide Strategie gefunden hat, wiederholt sie diese, bis sie nicht mehr zu erfolgt führt. Beispielsweise entwickelte die KI die Strategie, die obere Lane zu opfern, um die Kontrolle über die untere zu erlangen. Das ist eine Strategie, die von Profi-Teams weltweit angewendet wird. Die professionelle Szene benötigte dafür acht Jahre.

Die KI geht außerdem sehr schnell ins Mid-Game über, indem sie früh erfolgreiche Ganks durchführt und zwei gegen eins in den Lanes spielt. Die ersten Türme werden schneller vernichtet, als die menschlichen Spieler reagieren können. Damit erreicht OpenAI früh hohe Helden-Level und viel Gold und kann die Gegner so förmlich überrollen. 

OpenAI sieht exakt dieselben Informationen, die auch Menschen sehen können. Der Vorteil der KI liegt allerdings in der Rechengeschwindigkeit. Sie kann alle Objekte am Bildschirm nahezu gleichzeitig überprüfen, muss aber nicht „sehen“, da sie nur Informationen, also Daten, analysiert.

OpenAI führt pro Minute 150-170 Aktionen durch, und das ohne Fehler und Verklicken. Die KI reagiert innerhalb von 80 Millisekunden, weit schneller als ein Mensch. Diesen Vorteil merkt man vor allem in 1 gegen 1 Spielen, wo sich die Menschen an den schnelleren Bot anpassen müssen. 

Die künstliche Intelligenz soll beim The International 2018 Turnier im August gegen echte Profi-Mannschaften antreten – und wenn möglich gewinnen. Wir hoffen, dass wir in Zukunft eSport Wetten auf Profi-Spiele gegen die KI abschließen können, wobei das bei der schnellen Entwicklung natürlich unfair sein kann.

Hier sehr ihr die Analyse vom Dota 2 Caster „Blitz“ über OpenAI:

Quelle: OpenAI Blog