コンピューターの読唇術は補聴器を改善する可能性があります

更新:30年2021月XNUMX日
コンピューターの読唇術は補聴器を改善する可能性があります

補聴器に埋め込まれたセンサーは、音声明瞭度を向上させるためにさまざまなセンサーから情報を収集するだけでなく、聞く努力とそれが人に与える影響を推定し、これを使用して音声強調プロセスが実際に効果があるかどうかを判断できるという。ウルヴァーハンプトンへ。

「認知にインスピレーションを得た 5G-IoT 対応マルチモーダル補聴器」 (COG-MHEAR) と名付けられたこの 3.2 年間のプロジェクトには、EPSRC (工学および物理科学研究評議会) から「革新的な医療技術」の下で 2050 万ポンドが与えられました。 XNUMX年計画。

クラウド処理は、最初は消費電力を削減するために使用され、音響データと処理された画像データの間の遅延を回避するために、クラウド インフラストラクチャ リンク用に作成された低遅延 (<10ms) インターフェイスが使用されます。

柔軟な e-skin エレクトロニクスとカスタム アンテナは、着用デバイスを小さく保つために計画されています。

電力、サイズ、遅延の問題に対処するために、長期的な目標は、すべての処理をローカルで実行し、アクセラレータを含む専用ハードウェアでアルゴリズムを実行することです。

「私たちの2050年のビジョンは、5G-IoTとインターネットを超えて、インターネットに依存しない脳のようなオンチップ処理を実現して、補聴器のサイズ、消費電力、通信、サイバーセキュリティの問題に対処することです」とプロジェクト副ディレクターのアーサン・アディール氏は述べた。ウルヴァーハンプトン (描写).

視覚情報(唇の動きのビデオなど)を収集すると、プライバシーの問題が発生する可能性があります。 EPSRC の助成金申請書によると、「データを収集したらすぐに暗号化することで、これらの問題のいくつかは克服できます。また、ビデオ データを暗号化したまま処理して理解するためのアプローチを開拓していきます」と述べています。 「私たちは生のビデオデータには決してアクセスしないことを目指していますが、それでもそれを有用な情報源として使用することを目指しています。 これを補完するために、ビデオフィードを使用せずに遠隔読唇の方法も調査し、代わりに遠隔監視のための無線信号の使用を検討します。」

エディンバラ・ネーピア大学とウルヴァーハンプトン大学に加え、プロジェクトパートナーにはエディンバラ大学、グラスゴー大学、ヘリオットワット大学、マンチェスター大学、ノッティンガム大学ソノバ校、ノキア・ベル研究所が含まれる。 アルファデータ。 デジタル ヘルス & ケア研究所、データ ラボ、聴覚障害者スコットランドおよび難聴に関する活動。