Een robot op EBRAINS heeft geleerd om visie en aanraking te combineren

Update: 9 december 2023

Hoe de hersenen ons de wereld laten waarnemen en navigeren, is een van de meest fascinerende aspecten van cognitie. Wanneer we ons oriënteren, combineren we voortdurend informatie van alle zes zintuigen op een schijnbaar moeiteloze manier - een functie die zelfs de meest geavanceerde AI-systemen moeite hebben om te repliceren.

Op de nieuwe EBRAINS-onderzoeksinfrastructuur werken cognitieve neurowetenschappers, computationele modelbouwers en robotici nu samen om nieuw licht te werpen op de neurale mechanismen hierachter, door het creëren van robots waarvan de interne werking de hersenen nabootst.

“Wij geloven dat robots verbeterd kunnen worden door kennis over het brein in te zetten. Maar tegelijkertijd kan dit ons ook helpen de hersenen beter te begrijpen”, zegt Cyriel Pennartz, hoogleraar Cognitie en systeemneurowetenschappen aan de Universiteit van Amsterdam.

In het Human Brain Project heeft Pennartz samengewerkt met computationele modelbouwers Shirin Dora, Sander Bohte en Jorge F. Mejias om complexe neurale netwerkarchitecturen voor perceptie te creëren op basis van real-life data van ratten. Hun model, genaamd "MultiPrednet", bestaat uit modules voor visuele en tactiele invoer, en een derde die ze samenvoegt.

"Wat we voor het eerst konden repliceren, is dat de hersenen voorspellingen doen over verschillende zintuigen", legt Pennartz uit. "Dus je kunt voorspellen hoe iets zal voelen door ernaar te kijken, en vice versa."

De manier waarop deze netwerken 'trainen' lijkt op hoe wetenschappers denken dat ons brein leert: door constant voorspellingen over de wereld te genereren, deze te vergelijken met daadwerkelijke sensorische input en het netwerk vervolgens aan te passen om toekomstige foutsignalen te voorkomen.

Om te testen hoe de MultiPrednet in een lichaam presteert, werkten de onderzoekers samen met Martin Pearson van Bristol Robotics Lab. Samen integreerden ze het in Whiskeye, een knaagdierachtige robot die autonoom zijn omgeving verkent, met camera's op het hoofd als ogen en 24 kunstmatige snorharen om tactiele informatie te verzamelen.

De onderzoekers zagen eerste aanwijzingen dat het op de hersenen gebaseerde model een voorsprong heeft op traditionele deep learning-systemen: vooral als het gaat om navigatie en herkenning van bekende scènes, lijkt het MultiPredNet beter te presteren - een ontdekking die het team nu verder hoopt te onderzoeken.

Om dit onderzoek te versnellen is de robot nagebouwd als simulatie op het Neurorobotics Platform van de EBRAINS onderzoeksinfrastructuur. "Hierdoor kunnen we langdurige of zelfs parallelle experimenten doen onder gecontroleerde omstandigheden", zegt Pearson. "We zijn ook van plan om de High Performance en Neuromorphic Computing Platforms in de toekomst te gebruiken voor veel gedetailleerdere modellen van controle en perceptie."

Alle code- en analysetools van het werk staan ​​open op EBRAINS, zodat onderzoekers hun eigen experimenten kunnen uitvoeren. "Het is een unieke situatie", zegt Pennartz: "We konden zeggen dat dit een interessant waarnemingsmodel is op basis van neurobiologie, en het zou geweldig zijn om het op grotere schaal te testen met supercomputers en belichaamd in een robot. Dat is normaal gesproken erg ingewikkeld, maar EBRAINS maakt het mogelijk.”

Katrin Amunts, Wetenschappelijk Onderzoeksdirecteur van het HBP zegt dat "om cognitie te begrijpen, we zullen moeten onderzoeken hoe de hersenen werken als onderdeel van het lichaam in een omgeving. Cognitieve neurowetenschap en robotica hebben in dit opzicht veel van elkaar te winnen. Het Human Brain Project bracht deze gemeenschappen samen, en nu met onze permanente infrastructuur is het makkelijker dan ooit om samen te werken.”

Pawel Swieboda, CEO van EBRAINS en directeur-generaal van het HBP, merkt op: "De robots van de toekomst zullen profiteren van innovaties die inzichten uit hersenwetenschap verbinden met AI en robotica. Met EBRAINS kan Europa centraal staan ​​in deze verschuiving naar meer bio-geïnspireerde AI technologie. '