La lecture labiale par ordinateur pourrait améliorer les aides auditives

Mise à jour : 30 mars 2021
La lecture labiale par ordinateur pourrait améliorer les aides auditives

En plus de collecter des informations à partir d'une gamme de capteurs pour améliorer l'intelligibilité de la parole, les capteurs intégrés à l'aide auditive pourraient estimer l'effort d'écoute et son impact sur la personne, et l'utiliser pour dire si le processus d'amélioration de la parole aide réellement ou non, selon à Wolverhampton.

Nommé `` Aides auditives multimodales 5G-IoT inspirées cognitivement '' (COG-MHEAR), le projet de quatre ans avait reçu 3.2 millions de livres sterling de l'EPSRC (Conseil de recherche en ingénierie et sciences physiques) dans le cadre du `` Transformative Régime 2050 '.

Le traitement cloud sera utilisé dans un premier temps pour réduire la consommation d'énergie, avec des interfaces à faible latence (<10 ms) créées pour la liaison d'infrastructure cloud afin d'éviter les retards entre les données acoustiques et les données d'image traitées.

Une électronique e-skin flexible et des antennes personnalisées sont prévues pour garder les appareils usés petits.

Pour résoudre les problèmes de puissance, de taille et de latence, l'intention à long terme est de faire tout le traitement localement, en exécutant des algorithmes sur du matériel dédié comprenant des accélérateurs.

«Notre vision 2050 est d'aller au-delà de la 5G-IoT et d'Internet, pour un traitement sur puce de type cerveau indépendant d'Internet afin de résoudre les problèmes de taille de l'aide auditive, de budget de puissance, de communication et de cybersécurité», a déclaré le directeur adjoint du projet Ahsan Adeel de l'Université de Wolverhampton (photo).

La collecte d'informations visuelles - des vidéos de mouvements des lèvres, par exemple - pourrait introduire des problèmes de confidentialité. «Nous pouvons surmonter certaines de ces questions en chiffrant les données dès qu'elles sont collectées, et nous allons être des pionniers pour le traitement et la compréhension des données vidéo pendant qu'elles restent chiffrées», selon le dossier de subvention de l'EPSRC. «Nous visons à ne jamais accéder aux données vidéo brutes, mais tout de même à les utiliser comme source d'informations utile. Pour compléter cela, nous étudierons également des méthodes de lecture labiale à distance sans utiliser de flux vidéo, en explorant plutôt l'utilisation de signaux radio pour la surveillance à distance. »

Avec l'Université Napier d'Édimbourg et l'Université de Wolverhampton, les partenaires du projet comprennent: l'Université d'Édimbourg, l'Université de Glasgow, l'Université Heriot-Watt, l'Université de Manchester, l'Université de Nottingham, Sonova, Nokia Bell-Labs. Données alpha. Digital Health & Care Institute, The Data Lab et Deaf Scotland et Action on Hearing Loss.