人間の顔の動きは感情を伝え、非言語的コミュニケーションや飲食などの身体活動を行うのに役立ちます。 顔の動きとおそらくその原因を追跡することは、最初のスマートネックレスタイプのウェアラブルセンシング技術のXNUMXつであるNeckFaceの提案されたアプリケーションのXNUMXつです。 Cornell Ann S. Bowers College of Computing and InformationScienceの情報科学助教授であるChengZhangが率いるチームは、赤外線カメラを使用して顎と顔の画像をキャプチャすることにより、完全な顔の表情を継続的に追跡できるNeckFaceを開発しました。首の下。 彼らの仕事の詳細は、「NeckFace：首に取り付けられたウェアラブルの完全な表情を継続的に追跡する」にあります。
NeckFaceは、Zhangの前作の次世代であり、C-Faceと同様のデバイスですが、ヘッドセット形式になっています。 チャン氏によると、NeckFaceはパフォーマンスとプライバシーを大幅に改善し、着用者に目立たないネックマウントデバイスのオプションを提供します。
感情追跡の可能性に加えて、Zhang 氏はこれに多くの用途があると考えています。 テクノロジー: 前面カメラがオプションでない場合の仮想会議。 仮想現実シナリオにおける表情検出。 そして無音音声認識。
「最終的な目標は、顔の動きを継続的に追跡することで、ユーザーが自分の行動を追跡できるようにすることです」と、SciFiラボの主任研究員であるZhang氏は述べています。 「そして、これがあなたの身体活動と精神活動についての多くの情報を私たちに教えてくれることを願っています。」
Guimbretière氏は、NeckFaceにはビデオ会議を変える可能性もあると語った。
「ユーザーはカメラの視野にとどまるように注意する必要はありません」と彼は言いました。 「代わりに、NeckFaceは、教室内を動き回ったり、外に出て遠くの友人と散歩を共有したりするときに、完璧なヘッドショットを再現できます。」
NeckFaceの有効性をテストするために、Zhangと彼の共同研究者は、13人の参加者を対象にユーザー調査を実施しました。各参加者は、座っているときにXNUMXつの表情を、歩いているときにさらにXNUMXつの表情を実行するように求められました。 座っているシナリオでは、参加者はまた、顔の表情を実行しながら頭を回転させ、XNUMX回のセッションでデバイスを取り外して再度取り付けるように求められました。
NeckFaceは、XNUMXつのデザインでテストされました。XNUMXつは、鎖骨レベルのすぐ下にあるツインカメラで首の後ろに掛けられたネックバンドです。 首の下にペンダントのような赤外線（IR）カメラデバイスがぶら下がっているスマートネックレス。
このグループは、iPhoneXのTrueDepth3Dカメラを使用してベースラインの顔の動きのデータを収集し、それをNeckFaceで収集したデータと比較しました。 座ったり、歩いたり、再マウントしたりする表現の間に、研究参加者は合計52の顔の形を表現しました。
ディープラーニングを含む計算を使用して、グループは、NeckFaceが電話カメラを使用した直接測定とほぼ同じ精度で顔の動きを検出したことを確認しました。 研究者によると、ネックレスバンドはスマートネックレスよりも正確であることがわかった。おそらく、ネックバンド上のXNUMX台のカメラが、中央に取り付けられたネックレスカメラよりも多くの情報を両側からキャプチャできるためだろう。
Zhang氏は、このデバイスを最適化すると、メンタルヘルスの分野で、XNUMX日を通して人々の感情を追跡するのに特に役立つ可能性があると述べました。 人々は常に自分の感情を顔につけるとは限らないが、時間の経過に伴う表情の変化の量は、感情のむらを示している可能性があると彼は述べた。
「私たちはあなたの感情が一日を通してどのように変化するかを実際に見ることができますか？」 彼は言った。 "これとともに テクノロジー、私たちはあなたが一日を通して肉体的および精神的にどのようにやっているかについてのデータベースを持つことができました、そしてそれはあなたがあなた自身の行動を追跡することができることを意味します。 また、医師はその情報を使用して意思決定をサポートすることもできます。」
