La lectura de labios por computadora podría mejorar los audífonos

Actualización: 30 de marzo de 2021
La lectura de labios por computadora podría mejorar los audífonos

Además de recopilar información de una variedad de sensores para mejorar la inteligibilidad del habla, los sensores integrados en el audífono podrían estimar el esfuerzo de escucha y su impacto en la persona, y usar esto para saber si el proceso de mejora del habla realmente está ayudando o no, según a Wolverhampton.

Denominado 'Audífonos multimodales habilitados para 5G-IoT de inspiración cognitiva' (COG-MHEAR), el proyecto de cuatro años había recibido £ 3.2 millones del EPSRC (consejo de investigación de ingeniería y ciencias físicas) en el marco de las Esquema 2050 '.

El procesamiento en la nube se utilizará inicialmente para reducir el consumo de energía, con interfaces de latencia baja (<10 ms) creadas para el enlace de la infraestructura en la nube para evitar retrasos entre los datos acústicos y los datos de imagen procesados.

La electrónica flexible e-skin y las antenas personalizadas se planean para mantener pequeños los dispositivos usados.

Para abordar los problemas de potencia, tamaño y latencia, la intención a largo plazo es hacer todo el procesamiento localmente, ejecutando algoritmos en hardware dedicado que incluye aceleradores.

"Nuestra visión para 2050 es ir más allá de 5G-IoT e Internet, para un procesamiento en chip similar al cerebro independiente de Internet para abordar el tamaño de los audífonos, el presupuesto de energía, la comunicación y los problemas de ciberseguridad", dijo el subdirector del proyecto Ahsan Adeel de la Universidad de Wolverhamptonfoto).

La recopilación de información visual (videos de movimientos de labios, por ejemplo) podría presentar problemas de privacidad. “Podemos superar algunas de estas preguntas encriptando los datos tan pronto como se recopilen, y seremos pioneros en enfoques para procesar y comprender los datos de video mientras permanecen encriptados”, según la presentación de la subvención EPSRC. “Nuestro objetivo es no acceder nunca a los datos de video sin procesar, pero aún así usarlos como una fuente útil de información. Para complementar esto, también investigaremos métodos para la lectura de labios remota sin usar una transmisión de video, en lugar de explorar el uso de señales de radio para monitoreo remoto ".

Junto con la Universidad Napier de Edimburgo y la Universidad de Wolverhampton, los socios del proyecto incluyen: Universidad de Edimburgo, Universidad de Glasgow, Universidad Heriot-Watt, Universidad de Manchester, Universidad de Nottingham, Sonova, Nokia Bell-Labs. Datos alfa. Digital Health & Care Institute, The Data Lab y Deaf Scotland y Action on Hearing Loss.