Alors que nos expressions faciales jouent un rôle énorme dans l'établissement de la confiance, la plupart des robots arborent toujours le visage vide et statique d'un joueur de poker professionnel. Avec l'utilisation croissante de robots dans des endroits où les robots et les humains doivent travailler en étroite collaboration, des maisons de retraite aux entrepôts et usines, le besoin d'un robot plus réactif et plus réaliste est de plus en plus urgent.
Intéressés depuis longtemps par les interactions entre les robots et les humains, les chercheurs du Creative Machines Lab de Columbia Engineering travaillent depuis cinq ans pour créer EVA, un nouveau robot autonome au visage doux et expressif qui répond aux expressions des humains à proximité. La recherche sera présentée à la conférence de l'ICRA le 30 mai 2021, et les plans du robot sont open source sur Hardware-X (avril 2021).
«L'idée d'EVA a pris forme il y a quelques années lorsque mes étudiants et moi avons commencé à remarquer que les robots de notre laboratoire nous regardaient à travers des yeux en plastique et écarquillés», ont déclaré Hod Lipson, James et Sally Scapa, professeur d'innovation (mécanique Engineering) et directeur du Creative Machines Lab.
Lipson a observé une tendance similaire dans l'épicerie, où il a rencontré des robots de réapprovisionnement portant des badges nominatifs et, dans un cas, parés d'un bonnet confortable tricoté à la main. « Les gens semblaient humaniser leurs collègues robotiques en leur donnant des yeux, une identité ou un nom », a-t-il déclaré. « Cela nous a fait nous demander, si les yeux et les vêtements fonctionnent, pourquoi ne pas créer un robot doté d'un visage humain super expressif et réactif ? »
Bien que cela semble simple, créer un visage robotique convaincant a été un formidable défi pour les roboticiens. Pendant des décennies, les parties du corps robotique ont été faites de métal ou de plastique dur, des matériaux trop rigides pour s'écouler et se déplacer comme le font les tissus humains. Le matériel robotique a été tout aussi grossier et difficile à utiliser : les circuits, les capteurs et les moteurs sont lourds, énergivores et encombrants.
La première phase du projet a commencé dans le laboratoire de Lipson il y a plusieurs années lorsque l'étudiant de premier cycle Zanwar Faraj a dirigé une équipe d'étudiants dans la construction de la « machine » physique du robot. Ils ont construit EVA comme un buste désincarné qui ressemble beaucoup aux interprètes silencieux mais animés du visage du Blue Man Group. L'EVA peut exprimer les six émotions de base que sont la colère, le dégoût, la peur, la joie, la tristesse et la surprise, ainsi qu'un éventail d'émotions plus nuancées, en utilisant des « muscles » artificiels (c'est-à-dire des câbles et des moteurs) qui tirent sur des points spécifiques des EVA. visage, imitant les mouvements de plus de 42 petits muscles attachés à divers points de la peau et des os des visages humains.
"Le plus grand défi dans la création d'EVA a été de concevoir un système suffisamment compact pour tenir dans les limites d'un crâne humain tout en étant suffisamment fonctionnel pour produire un large éventail d'expressions faciales", a noté Faraj.
Pour surmonter ce défi, l'équipe s'est fortement appuyée sur l'impression 3D pour fabriquer des pièces aux formes complexes qui s'intègrent parfaitement et efficacement avec le crâne d'EVA. Après des semaines à tirer sur les câbles pour faire sourire EVA, froncer les sourcils ou avoir l'air contrarié, l'équipe a remarqué que le visage bleu et désincarné d'EVA pouvait susciter des réactions émotionnelles de la part de leurs collègues de laboratoire. "Je m'occupais de mes propres affaires un jour quand EVA m'a soudainement fait un grand sourire amical", se souvient Lipson. "Je savais que c'était purement mécanique, mais je me suis retrouvé à sourire par réflexe."
Une fois que l'équipe a été satisfaite de la « mécanique » d'EVA, elle a commencé à aborder la deuxième phase majeure du projet : la programmation de l'intelligence artificielle qui guiderait les mouvements du visage d'EVA. Alors que des robots animatroniques réalistes sont utilisés dans les parcs à thème et dans les studios de cinéma depuis des années, l'équipe de Lipson a réalisé deux avancées technologiques. EVA utilise l'intelligence artificielle d'apprentissage en profondeur pour «lire» puis refléter les expressions sur les visages humains à proximité. Et la capacité d'EVA à imiter un large éventail d'expressions faciales humaines s'apprend par essais et erreurs en regardant des vidéos d'elle-même.
Les activités humaines les plus difficiles à automatiser impliquent des mouvements physiques non répétitifs qui se déroulent dans des contextes sociaux compliqués. Boyuan Chen, doctorat de Lipson. L'étudiant qui a dirigé la phase logicielle du projet s'est rapidement rendu compte que les mouvements du visage d'EVA étaient un processus trop complexe pour être régi par des ensembles de règles prédéfinis. Pour relever ce défi, Chen et la deuxième équipe d'étudiants ont créé le cerveau d'EVA en utilisant plusieurs réseaux de neurones Deep Learning. Le cerveau du robot devait maîtriser deux capacités : premièrement, apprendre à utiliser son propre système complexe de muscles mécaniques pour générer une expression faciale particulière et, deuxièmement, savoir quels visages faire en « lisant » les visages des humains.
Pour enseigner à EVA à quoi ressemblait son propre visage, Chen et l'équipe ont filmé des heures d'images d'EVA faisant une série de visages aléatoires. Puis, comme un humain se regardant sur Zoom, les réseaux de neurones internes d'EVA ont appris à associer le mouvement musculaire avec la séquence vidéo de son propre visage. Maintenant qu'EVA avait une idée primitive du fonctionnement de son propre visage (connu sous le nom d'« image de soi »), elle a utilisé un deuxième réseau pour faire correspondre sa propre image de soi avec l'image d'un visage humain capturée sur sa caméra vidéo. Après plusieurs améliorations et itérations, EVA a acquis la capacité de lire les gestes du visage humain à partir d'une caméra et de répondre en reflétant l'expression faciale de cet humain.
Les chercheurs notent que l'EVA est une expérience de laboratoire et que le mimétisme à lui seul est encore loin des manières complexes dont les humains communiquent à l'aide d'expressions faciales. Mais de telles technologies habilitantes pourraient un jour avoir des applications bénéfiques dans le monde réel. Par exemple, des robots capables de répondre à une grande variété de langage corporel humain seraient utiles dans les lieux de travail, les hôpitaux, les écoles et les maisons.
« Il y a une limite à ce que nous, les humains, pouvons engager émotionnellement avec des chatbots basés sur le cloud ou des haut-parleurs de maison intelligente désincarnés », a déclaré Lipson. "Notre cerveau semble bien réagir aux robots qui ont une sorte de présence physique reconnaissable."
Chen a ajouté : « Les robots sont étroitement liés à nos vies de plusieurs manières, ce qui permet de renforcer la confiance entre les humains et les machines est de plus en plus important.