Un robot sur EBRAINS a appris à combiner la vision et le toucher

Mise à jour : 9 décembre 2023

La façon dont le cerveau nous permet de percevoir et de naviguer dans le monde est l'un des aspects les plus fascinants de la cognition. Lorsque nous nous orientons, nous combinons constamment les informations des six sens d'une manière apparemment sans effort, une caractéristique que même les systèmes d'IA les plus avancés ont du mal à reproduire.

Sur la nouvelle infrastructure de recherche EBRAINS, des neuroscientifiques cognitifs, des modélisateurs informatiques et des roboticiens travaillent désormais ensemble pour apporter un nouvel éclairage sur les mécanismes neuronaux sous-jacents, en créant Collaboratif dont le fonctionnement interne imite celui du cerveau.

« Nous pensons que les robots peuvent être améliorés grâce à l'utilisation des connaissances sur le cerveau. Mais en même temps, cela peut aussi nous aider à mieux comprendre le cerveau », explique Cyriel Pennartz, professeur de neurosciences de la cognition et des systèmes à l'Université d'Amsterdam.

Dans le Human Brain Project, Pennartz a collaboré avec les modélisateurs informatiques Shirin Dora, Sander Bohte et Jorge F. Mejias pour créer des architectures de réseaux neuronaux complexes pour la perception basées sur des données réelles provenant de rats. Leur modèle, baptisé « MultiPrednet » se compose de modules de saisie visuelle et tactile, et d'un troisième qui les fusionne.

"Ce que nous avons pu reproduire pour la première fois, c'est que le cerveau fait des prédictions à travers différents sens", explique Pennartz. « Donc, vous pouvez prédire comment quelque chose se sentira en le regardant, et vice versa. »

La façon dont ces réseaux « s'entraînent » ressemble à la façon dont les scientifiques pensent que notre cerveau apprend : en générant constamment des prédictions sur le monde, en les comparant aux entrées sensorielles réelles, puis en adaptant le réseau pour éviter de futurs signaux d'erreur.

Pour tester les performances du MultiPrednet dans un corps, les chercheurs se sont associés à Martin Pearson du Bristol Robotics Lab. Ensemble, ils l'ont intégré à Whiskeye, un robot ressemblant à un rongeur qui explore de manière autonome son environnement, à l'aide de caméras montées sur la tête pour les yeux et de 24 moustaches artificielles pour recueillir des informations tactiles.

Les chercheurs ont observé les premières indications que le modèle basé sur le cerveau a un avantage sur les systèmes traditionnels d'apprentissage en profondeur : en particulier en ce qui concerne la navigation et la reconnaissance de scènes familières, le MultiPredNet semble mieux fonctionner, une découverte que l'équipe espère maintenant approfondir.

Pour accélérer cette recherche, le robot a été recréé sous forme de simulation sur la plateforme de neurorobotique de l'infrastructure de recherche EBRAINS. "Cela nous permet de faire des expériences de longue durée ou même parallèles dans des conditions contrôlées", explique Pearson. "Nous prévoyons également d'utiliser les plates-formes de calcul haute performance et neuromorphique pour des modèles de contrôle et de perception beaucoup plus détaillés à l'avenir."

Tout le code et les outils d'analyse du travail sont ouverts sur EBRAINS, afin que les chercheurs puissent mener leurs propres expériences. « C'est une situation unique », explique Pennartz : « Nous avons pu dire, voici un modèle de perception intéressant basé sur la neurobiologie, et ce serait formidable de le tester à plus grande échelle avec des superordinateurs et incarné dans un robot. Faire cela est normalement très compliqué, mais EBRAINS le rend possible.

Katrin Amunts, directrice de la recherche scientifique du HBP, déclare que « pour comprendre la cognition, nous devrons explorer comment le cerveau agit en tant que partie du corps dans un environnement. Les neurosciences cognitives et la robotique ont beaucoup à gagner l'une de l'autre à cet égard. Le Human Brain Project a réuni ces communautés, et maintenant avec notre infrastructure permanente, il est plus facile que jamais de collaborer.

Pawel Swieboda, PDG d'EBRAINS et directeur général du HBP, commente : « Les robots du futur bénéficieront d'innovations qui relient les connaissances de la science du cerveau à l'IA et robotique. Avec EBRAINS, l’Europe peut être au centre de cette transition vers une IA et une IA plus bio-inspirées. sans souci. »