Hoewel onze gezichtsuitdrukkingen een grote rol spelen bij het opbouwen van vertrouwen, hebben de meeste robots nog steeds het blanco en statische gezicht van een professionele pokerspeler. Met het toenemende gebruik van robots op locaties waar robots en mensen nauw moeten samenwerken, van verpleeghuizen tot magazijnen en fabrieken, wordt de behoefte aan een meer responsieve, faciaal realistische robot steeds urgenter.
Al lang geïnteresseerd in de interacties tussen robots en mensen, hebben onderzoekers in het Creative Machines Lab van Columbia Engineering vijf jaar gewerkt aan het creëren van EVA, een nieuwe autonome robot met een zacht en expressief gezicht dat reageert op de gezichtsuitdrukkingen van mensen in de buurt. Het onderzoek wordt gepresenteerd op de ICRA-conferentie op 30 mei 2021 en de robotblauwdrukken zijn open source op Hardware-X (april 2021).
"Het idee voor EVA kreeg een paar jaar geleden vorm toen mijn studenten en ik begonnen op te merken dat de robots in ons lab ons door plastic, wiebelige ogen naar ons staarden", zegt Hod Lipson, James en Sally Scapa Professor of Innovation (Mechanical Engineering) en directeur van het Creative Machines Lab.
Lipson zag een soortgelijke trend in de supermarkt, waar hij robots tegenkwam die hun voorraad aanvulden met naambadges en in één geval uitgedost in een behaaglijke, met de hand gebreide muts. "Mensen leken hun robotcollega's menselijk te maken door ze ogen, een identiteit of een naam te geven", zei hij. "Hierdoor vroegen we ons af: als ogen en kleding werken, waarom zou je dan geen robot maken met een super expressief en responsief menselijk gezicht?"
Hoewel dit eenvoudig klinkt, is het creëren van een overtuigend robotgezicht een enorme uitdaging voor robotici. Al decennia lang zijn robotachtige lichaamsdelen gemaakt van metaal of hard plastic, materialen die te stijf waren om te stromen en te bewegen zoals menselijk weefsel. Robothardware was even grof en moeilijk om mee te werken - circuits, sensoren en motoren zijn zwaar, energie-intensief en omvangrijk.
De eerste fase van het project begon enkele jaren geleden in het laboratorium van Lipson, toen student Zanwar Faraj een team van studenten leidde bij het bouwen van de fysieke 'machinerie' van de robot. Ze construeerden EVA als een lichaamloze buste die sterk lijkt op de stille maar faciaal geanimeerde artiesten van de Blue Man Group. EVA kan de zes basisemoties van woede, walging, angst, vreugde, verdriet en verrassing uitdrukken, evenals een reeks meer genuanceerde emoties, door kunstmatige 'spieren' (dwz kabels en motoren) te gebruiken die aan specifieke punten van EVA's trekken gezicht, waarbij de bewegingen worden nagebootst van de meer dan 42 kleine spieren die op verschillende punten aan de huid en botten van menselijke gezichten zijn bevestigd.
"De grootste uitdaging bij het maken van EVA was het ontwerpen van een systeem dat compact genoeg was om binnen de grenzen van een menselijke schedel te passen en toch functioneel genoeg was om een breed scala aan gezichtsuitdrukkingen te produceren," merkte Faraj op.
Om deze uitdaging het hoofd te bieden, vertrouwde het team sterk op 3D-printen om onderdelen te vervaardigen met complexe vormen die naadloos en efficiënt geïntegreerd waren in de schedel van EVA. Na weken aan kabels te hebben getrokken om EVA te laten glimlachen, fronsen of boos te laten lijken, merkte het team dat het blauwe, lichaamloze gezicht van EVA emotionele reacties van hun laboratoriumgenoten kon oproepen. "Ik was op een dag met mijn eigen zaken bezig toen EVA me plotseling een grote, vriendelijke glimlach schonk", herinnert Lipson zich. "Ik wist dat het puur mechanisch was, maar ik merkte dat ik reflexmatig terug glimlachte."
Toen het team eenmaal tevreden was met de 'mechanica' van EVA, begonnen ze zich te buigen over de tweede grote fase van het project: het programmeren van de kunstmatige intelligentie die de gezichtsbewegingen van EVA zou sturen. Terwijl levensechte animatronische robots al jaren in pretparken en filmstudio's worden gebruikt, heeft het team van Lipson twee technologische vorderingen gemaakt. EVA gebruikt deep learning kunstmatige intelligentie om de uitdrukkingen op menselijke gezichten in de buurt te 'lezen' en vervolgens te spiegelen. En het vermogen van EVA om een breed scala aan verschillende menselijke gezichtsuitdrukkingen na te bootsen, wordt met vallen en opstaan geleerd door video's van zichzelf te bekijken.
De moeilijkste menselijke activiteiten om te automatiseren zijn niet-repetitieve fysieke bewegingen die plaatsvinden in gecompliceerde sociale omgevingen. Boyuan Chen, Ph.D. De student die de softwarefase van het project leidde, realiseerde zich al snel dat de gezichtsbewegingen van EVA een te complex proces waren om te worden beheerst door vooraf gedefinieerde regels. Om deze uitdaging aan te gaan, creëerden Chen en het tweede team van studenten het brein van EVA met behulp van verschillende neurale netwerken van Deep Learning. Het brein van de robot moest twee mogelijkheden beheersen: ten eerste om zijn eigen complexe systeem van mechanische spieren te leren gebruiken om een bepaalde gezichtsuitdrukking te genereren, en ten tweede om te weten welke gezichten hij moest maken door de gezichten van mensen te 'lezen'.
Om EVA te leren hoe zijn eigen gezicht eruit zag, filmden Chen en het team uren aan beeldmateriaal van EVA met een reeks willekeurige gezichten. Toen leerden de interne neurale netwerken van EVA, zoals een mens zichzelf op Zoom bekijkt, spierbewegingen te koppelen aan de videobeelden van zijn eigen gezicht. Nu EVA een primitief idee had van hoe zijn eigen gezicht werkte (bekend als een "zelfbeeld"), gebruikte het een tweede netwerk om zijn eigen zelfbeeld te matchen met het beeld van een menselijk gezicht dat was vastgelegd op zijn videocamera. Na verschillende verfijningen en iteraties, verwierf EVA het vermogen om menselijke gebaren van een camera te lezen en te reageren door de gezichtsuitdrukking van die mens te weerspiegelen.
De onderzoekers merken op dat EVA een laboratoriumexperiment is en dat mimiek alleen nog ver verwijderd is van de complexe manieren waarop mensen communiceren met gezichtsuitdrukkingen. Maar dergelijke activerende technologieën zouden ooit nuttige, praktische toepassingen kunnen hebben. Robots die in staat zijn om te reageren op een grote verscheidenheid aan menselijke lichaamstaal, zouden bijvoorbeeld nuttig zijn op werkplekken, ziekenhuizen, scholen en huizen.
"Er is een limiet aan de mate waarin wij mensen emotioneel kunnen omgaan met chatbots in de cloud of onstoffelijke smarthome-luidsprekers", aldus Lipson. "Onze hersenen lijken goed te reageren op robots die een soort herkenbare fysieke aanwezigheid hebben."
Chen voegde eraan toe: “Robots zijn op steeds meer manieren in ons leven met elkaar verweven, dus het bouwen van vertrouwen tussen mensen en machines wordt steeds belangrijker. "