Ein Team von Robotikern an der University of California in Berkeley berichtet, dass es möglich ist, Roboter für relativ einfache Aufgaben zu trainieren, indem man sie mithilfe von Sim-to-Real Reinforcement Learning trainiert. In ihrer Studie, veröffentlicht in der Zeitschrift Wissenschaft RoboticsDie Gruppe brachte einem Roboter bei, in unbekannten Umgebungen zu laufen und dabei verschiedene Lasten zu tragen, ohne umzukippen.
In den letzten Jahren haben Robotiker verschiedene Techniken eingesetzt, um Robotern beizubringen, sich effizient und schnell in unterschiedlichen Umgebungen zu bewegen. Aber wie die Forscher dieser neuen Anstrengung feststellen, gibt es für solche Roboter nicht sehr viele nützliche Anwendungen. Sie schlagen vor, dass Roboter, die in der Lage sind, alltägliche Aufgaben langsam, aber effizient auszuführen, weitaus nützlicher wären. Zu diesem Zweck haben sie sich dem „Sim-to-Real Reinforcement Learning“ zugewandt.
Bei dieser Technik wird eine simulierte Version eines Roboters trainiert, um gewünschte Aufgaben auszuführen, indem man ihn Milliarden von Beispielen in simulierten Umgebungen aussetzt. Bei der Methode wird im Training des Roboters auch ein Belohnungs-/Strafsystem eingesetzt: Macht der Roboter beim Erreichen eines Ziels etwas richtig, wird er beispielsweise mit einer „1“ belohnt. Wenn es jedoch etwas falsch macht, erhält es eine „-1“. Mit der Zeit verbessert es seine Leistung, da es versucht, die Anzahl der Belohnungen zu erhöhen.
Das Forschungsteam nutzte diesen Ansatz, um einem Roboter namens Digit beizubringen, einen Pfad entlang eines Bürgersteigs in einem unbekannten Teil einer Stadt zu navigieren und sich nach wiederholten Angriffen durch einen großen Ball zu erholen, eine physische Einschränkung zu überwinden und über Materialien zu laufen, die dies verhindern könnten zum Stolpern bringen, einen Rucksack tragen, eine Tüte Müll in einen Mülleimer tragen und eine Tragetasche zum Mitnehmen persönlicher Gegenstände verwenden.
Die Forscher schlagen vor, dass Sim-to-Real Reinforcement Learning genutzt werden könnte, um Roboter in realen Umgebungen wie zu Hause, im Büro oder in der Fabrikhalle zu trainieren. Sie stellen fest, dass die Idee darin besteht, Roboter nützlicher zu machen.