Хотя наши выражения лица играют огромную роль в укреплении доверия, большинство роботов по-прежнему имеют пустой статичный вид профессионального игрока в покер. С ростом использования роботов в местах, где роботы и люди должны работать в тесном сотрудничестве, от домов престарелых до складов и фабрик, потребность в более отзывчивом, реалистичном роботе становится все более насущной.
Долгое время интересовавшиеся взаимодействием между роботами и людьми, исследователи из лаборатории Creative Machines Lab в Columbia Engineering в течение пяти лет работали над созданием EVA, нового автономного робота с мягким и выразительным лицом, которое реагирует так, чтобы соответствовать выражениям людей, находящихся поблизости. Исследование будет представлено на конференции ICRA 30 мая 2021 года, а исходный код чертежей роботов будет открыт на Hardware-X (апрель 2021 года).
«Идея EVA оформилась несколько лет назад, когда мы с моими студентами начали замечать, что роботы в нашей лаборатории смотрят на нас сквозь пластиковые глаза, - сказал Ход Липсон, Джеймс и Салли Скапа, профессор инноваций (механика). Engineering) и директор лаборатории Creative Machines Lab.
Липсон заметил аналогичную тенденцию в продуктовом магазине, где он встретил роботов-пополнителей с именными значками, а в одном случае - в уютной вязанной вручную кепке. «Люди, казалось, очеловечивали своих коллег-роботов, давая им глаза, личность или имя», - сказал он. «Это заставило нас задуматься, если глаза и одежда работают, почему бы не создать робота с супер-выразительным и отзывчивым человеческим лицом?»
Хотя это звучит просто, создание убедительного лица робота было сложной задачей для робототехников. На протяжении десятилетий части тела роботов изготавливались из металла или твердого пластика, материалов, которые были слишком жесткими, чтобы течь и двигаться так же, как человеческие ткани. Роботизированное оборудование было таким же грубым и трудным в работе - схемы, датчики и двигатели тяжелые, энергоемкие и громоздкие.
Первая фаза проекта началась в лаборатории Липсона несколько лет назад, когда студент бакалавриата Занвар Фарадж возглавил группу студентов по созданию физического «механизма» робота. Они сконструировали EVA как бестелесный бюст, очень похожий на безмолвных, но анимированных исполнителей группы Blue Man. EVA может выражать шесть основных эмоций гнева, отвращения, страха, радости, печали и удивления, а также множество более тонких эмоций, используя искусственные «мускулы» (т. Е. Кабели и двигатели), которые воздействуют на определенные точки на EVA. лицо, имитирующее движения более чем 42 крошечных мышц, прикрепленных в различных точках к коже и костям человеческих лиц.
«Самая большая проблема при создании EVA заключалась в разработке системы, которая была бы достаточно компактной, чтобы поместиться в пределах человеческого черепа, но при этом оставалась достаточно функциональной, чтобы воспроизводить широкий спектр мимики», - отметил Фарадж.
Чтобы преодолеть эту проблему, команда в значительной степени полагалась на 3D-печать для производства деталей сложной формы, которые легко и эффективно интегрировались с черепом EVA. После нескольких недель перетягивания кабелей, чтобы заставить EVA улыбнуться, нахмуриться или выглядеть расстроенным, команда заметила, что синее, лишенное тела лицо EVA может вызывать эмоциональные отклики у их коллег по лаборатории. «Однажды я занимался своими делами, когда ЕВА неожиданно широко улыбнулась мне дружелюбной улыбкой, - вспоминает Липсон. «Я знал, что это чисто механически, но обнаружил, что рефлекторно улыбаюсь в ответ».
Как только команда была удовлетворена «механикой» EVA, они приступили ко второму важному этапу проекта: программированию искусственного интеллекта, который будет управлять движениями лица EVA. В то время как реалистичные роботы-аниматроники уже много лет используются в тематических парках и киностудиях, команда Липсона сделала два технологических достижения. EVA использует искусственный интеллект с глубоким обучением, чтобы «читать», а затем отображать выражения на близлежащих людях. А способность EVA имитировать широкий спектр различных человеческих выражений лица усваивается методом проб и ошибок, просматривая видео о себе.
Самая трудная для автоматизации человеческая деятельность связана с повторяющимися физическими движениями, которые происходят в сложных социальных условиях. Боюан Чен, доктор философии Липсона. Студент, который руководил программной фазой проекта, быстро понял, что движения лица EVA были слишком сложным процессом, чтобы им можно было управлять заранее определенными наборами правил. Чтобы решить эту проблему, Чен и вторая команда студентов создали мозг EVA, используя несколько нейронных сетей глубокого обучения. Мозгу робота требовалось овладеть двумя способностями: во-первых, научиться использовать свою собственную сложную систему механических мышц для создания любого конкретного выражения лица, а во-вторых, знать, какие лица сделать, «читая» лица людей.
Чтобы научить EVA, как выглядит ее собственное лицо, Чен и команда сняли многочасовые кадры, на которых EVA создает серию случайных лиц. Затем, как человек, наблюдающий за собой в Zoom, внутренние нейронные сети EVA научились сочетать движение мышц с видеозаписью собственного лица. Теперь, когда у EVA было примитивное представление о том, как работает ее собственное лицо (известное как «самооценка»), она использовала вторую сеть для сопоставления своего собственного образа с изображением человеческого лица, снятого на его видеокамеру. После нескольких доработок и итераций EVA приобрела способность считывать жесты человеческого лица с камеры и реагировать, отражая выражение лица этого человека.
Исследователи отмечают, что EVA - это лабораторный эксперимент, и сама по себе мимикрия все еще далека от сложных способов, которыми люди общаются с помощью мимики. Но когда-нибудь такие эффективные технологии могут найти полезные приложения в реальном мире. Например, роботы, способные реагировать на самые разные языки человеческого тела, могут быть полезны на рабочих местах, в больницах, школах и домах.
«Есть предел тому, насколько мы, люди, можем эмоционально взаимодействовать с облачными чат-ботами или бесплотными динамиками для умного дома», - сказал Липсон. «Наш мозг, кажется, хорошо реагирует на роботов, которые имеют какое-то узнаваемое физическое присутствие».
Чен добавил: «Роботы переплетаются в нашей жизни все большим числом способов, поэтому укрепление доверия между людьми и и машины всегда новые для производства лучших продуктов. становится все более важным ».