Ein Roboter auf EBRAINS hat gelernt, Vision und Touch zu kombinieren

Update: 9. Dezember 2023

Wie das Gehirn uns die Welt wahrnehmen und navigieren lässt, ist einer der faszinierendsten Aspekte der Kognition. Bei der Orientierung kombinieren wir auf scheinbar mühelose Weise ständig Informationen aus allen sechs Sinnen – eine Eigenschaft, die selbst die fortschrittlichsten KI-Systeme nur schwer nachbilden können.

Auf der neuen Forschungsinfrastruktur EBRAINS arbeiten nun kognitive Neurowissenschaftler, Computermodellierer und Robotiker zusammen, um durch Schaffung neues Licht auf die dahinter liegenden neuronalen Mechanismen zu werfen Roboter deren innere Funktionsweise das Gehirn nachahmt.

„Wir glauben, dass Roboter durch die Nutzung von Wissen über das Gehirn verbessert werden können. Gleichzeitig kann uns dies aber auch helfen, das Gehirn besser zu verstehen“, sagt Cyriel Pennartz, Professor für Kognition und Systemische Neurowissenschaften an der Universität Amsterdam.

Im Human Brain Project hat Pennartz mit den Computermodellierern Shirin Dora, Sander Bohte und Jorge F. Mejias zusammengearbeitet, um komplexe neuronale Netzwerkarchitekturen für die Wahrnehmung basierend auf realen Daten von Ratten zu entwickeln. Ihr „MultiPrednet“ getauftes Modell besteht aus Modulen zur visuellen und taktilen Eingabe und einem dritten, das sie zusammenführt.

„Was wir zum ersten Mal replizieren konnten, ist, dass das Gehirn über verschiedene Sinne hinweg Vorhersagen macht“, erklärt Pennartz. „So kannst du vorhersagen, wie sich etwas anfühlt, wenn du es ansiehst und umgekehrt.“

Die Art und Weise, wie diese Netzwerke „trainieren“, ähnelt dem, was Wissenschaftler glauben, dass unser Gehirn lernt: Indem wir ständig Vorhersagen über die Welt generieren, sie mit tatsächlichen sensorischen Eingaben vergleichen und dann das Netzwerk anpassen, um zukünftige Fehlersignale zu vermeiden.

Um zu testen, wie sich das MultiPrednet in einem Körper verhält, haben sich die Forscher mit Martin Pearson vom Bristol Robotics Lab zusammengetan. Gemeinsam haben sie es in Whiskeye integriert, einen nagetierähnlichen Roboter, der seine Umgebung autonom erkundet, indem er am Kopf montierte Kameras für die Augen und 24 künstliche Schnurrhaare verwendet, um taktile Informationen zu sammeln.

Die Forscher beobachteten erste Hinweise darauf, dass das gehirnbasierte Modell gegenüber herkömmlichen Deep-Learning-Systemen einen Vorteil hat: Vor allem bei der Navigation und Erkennung vertrauter Szenen scheint das MultiPredNet besser abzuschneiden – eine Entdeckung, die das Team nun weiter untersuchen will.

Um diese Forschung zu beschleunigen, wurde der Roboter als Simulation auf der Neurorobotics Platform der Forschungsinfrastruktur EBRAINS nachgebaut. „Dadurch können wir unter kontrollierten Bedingungen lange oder sogar parallele Experimente durchführen“, sagt Pearson. „Wir planen, die High Performance and Neuromorphic Computing Platforms in Zukunft auch für viel detailliertere Modelle der Steuerung und Wahrnehmung zu nutzen.“

Alle Code- und Analysewerkzeuge der Arbeit sind auf EBRAINS offen, sodass Forscher ihre eigenen Experimente durchführen können. „Das ist eine einzigartige Situation“, sagt Pennartz: „Wir konnten sagen, hier ist ein interessantes Wahrnehmungsmodell auf Basis der Neurobiologie, und es wäre toll, es in größerem Maßstab mit Supercomputern und in einem Roboter zu testen. Das ist normalerweise sehr kompliziert, aber EBRAINS macht es möglich.“

Katrin Amunts, wissenschaftliche Forschungsdirektorin des HBP, sagt: „Um Kognition zu verstehen, müssen wir erforschen, wie das Gehirn als Teil des Körpers in einer Umgebung agiert. Kognitive Neurowissenschaften und Robotik können in dieser Hinsicht viel voneinander profitieren. Das Human Brain Project hat diese Gemeinschaften zusammengebracht, und jetzt mit unserer bestehenden Infrastruktur ist es einfacher denn je, zusammenzuarbeiten.“

Pawel Swieboda, CEO von EBRAINS und Generaldirektor des HBP, kommentiert: „Die Roboter der Zukunft werden von Innovationen profitieren, die Erkenntnisse aus der Hirnforschung mit KI und Robotik. Mit EBRAINS kann Europa im Mittelpunkt dieses Wandels hin zu einer stärker bioinspirierten KI stehen Technologie"