DeepMimic

Menschen bewegen sich intuitiv. Bewusst steckt man sich nur ein Ziel, beispielsweise eine Treppe hinaufzusteigen, und die Muskeln führen ganz automatisch die nötigen Bewegungen aus. Was mühelos erscheint, ist aber ein ziemlich komplexer Vorgang: Unser Gehirn produziert ständig Vorhersagen, ob die geplante Bewegung geeignet ist, das Ziel zu erreichen, und passt die Steuerbefehle an die Muskeln ständig an. Roboter dagegen führen üblicherweise nur einen festen Satz an Steuerbefehlen aus. Damit ein Roboter sein Ziel erreicht, muss ein Programmierer sehr genau wissen, wie die ideale Bewegung aussieht. Menschen können die Bewegung zwar intuitiv ausführen, aber nicht programmieren. Man weiß zwar, was herauskommen soll, aber nicht, wie der nötige Algorithmus aussieht. Es bietet sich daher an, das Problem mit maschinellem Lernen zu lösen. Bei Bewegungen weiß man aber meist erst, wenn man auf dem Boden aufschlägt, dass man etwas falsch gemacht hat. Da man nicht für jeden Zeitpunkt sagen kann, ob die begonnene Bewegung zum Ziel führt, funktioniert Supervised Learning hier nicht. Stattdessen eignet sich Reinforcement Learning, denn dort lobt und tadelt man die KI nur ab und zu. Experimente mit solchen Algorithmen für motorische Planung gibt es schon seit mehreren Jahren. Dabei kamen aber stets krude Bewegungsmuster heraus.

Kombiniert

DeepMimic, eine KI von Forschern aus Berkeley und British Columbia, gelingen nun aber zahlreiche Bewegungen, die den meisten erwachsenen Menschen schwerfallen würden. In einem Video (siehe ct.de/y2sm) illustrieren die Forscher die artistischen Fähigkeiten ihrer KI. Mit dem richtigen Training kann die nämlich laufen, rennen, springen, Saltos und Räder schlagen und sogar Bälle auf ein Ziel werfen. Sie verwendet dafür existierende Technik, kombiniert sie aber raffiniert. Ihr Herzstück ist ein neuronales Netz mit nur zwei Schichten und gerade mal 1536 Neuronen. Das gibt Steuerbefehle an Proportional-Differenzial-Regler, die die nötigen Beschleunigungen für die Gelenke berechnen. Um die Bewegungen zu planen, besitzt die KI ein zweites neuronales Netz (ebenfalls zwei Schichten mit 1536 Neuronen), das für die aktuell geplante Bewegung vorhersagt, ob sie letztendlich zu einem Lob oder Tadel führen wird.

Die Forscher trainierten beide Netze nicht nur mit Lob für das Erreichen von Zielen und mit Tadel für Stürze und das Verfehlen der Ziele. Sie verwendeten zusätzlich per Motion-Capturing von Menschen aufgezeichnete Bewegungen als Referenz. Bewegte sich die KI sehr ähnlich, wurde sie belohnt, wich sie vom Vorbild ab, bestraft. Für einen Salto reicht das aber noch nicht aus, da die KI zwar den Absprung vom Menschen abschauen kann, beim Überschlag aber zunächst Fehler macht und wegen der verpatzten Landung stets ein negatives Lernsignal bekommt. Eigentlich müsste sie nämlich zuerst lernen zu landen und danach erst den Absprung perfektionieren. Also initialisierten die Forscher die Trainingseinheiten mit zufälligen Positionen aus den Daten vom Vorbild, sodass die KI die Bewegung manchmal kurz vor der Landung begann und diese erlernen konnte.

Vielseitig

Diese Art von KI könnte unter anderem für realistische Animationen in Spielen sorgen, da sie innerhalb einer Physiksimulation arbeitet. Statt aufgezeichnete Animationen zu überblenden, könnten Spielfiguren mit DeepMimic auf unebenes Terrain oder Stöße physikalisch korrekt reagieren. DeepMimic kann sich auch an unterschiedliche Masseverteilungen anpassen. Die Forscher konnten mit den Referenzanimationen eines Menschen nämlich auch die Simulation des viermal so schweren Roboters Atlas trainieren. Eine menschenähnliche Anatomie ist keine Voraussetzung für das System, sodass DeepMimic auch für die Steuerung von Roboterarmen in der Industrie Verwendung finden könnte. Die könnten ihre Bewegungen mit der Technik an individuelle Gegebenheiten anpassen. (pmk@ct.de)

Paper, Beispielvideos:ct.de/y2sm