Renesas Electronics Corp. e Syntiant Corp. hanno sviluppato congiuntamente una soluzione di intelligenza artificiale (AI) multimodale a comando vocale che consente il funzionamento senza contatto a bassa potenza per l'elaborazione delle immagini in sistemi IoT e edge di visione basati su AI. Le applicazioni per la soluzione di intelligenza artificiale multimodale includono macchine per il self-checkout, telecamere di sicurezza, sistemi di videoconferenza e dispositivi intelligenti come i dispositivi di pulizia robotica.
Fornendo capacità di elaborazione di voce e immagini, la soluzione combina l'unità a microprocessore (MPU) di visione AI Renesas serie RZ/V e il processore di decisione neurale multimodale Syntiant NDP120 a bassa potenza. La soluzione congiunta offre funzionalità sempre attive con attivazione rapida tramite comando vocale dalla modalità standby per eseguire il riconoscimento di oggetti, il riconoscimento facciale e altre attività basate sulla visione.
(Fonte: Renesas Electronics)
Un esempio di applicazione citato sono i segnali vocali definiti dall'utente che guidano l'attivazione e il funzionamento del sistema, mentre il riconoscimento AI di visione tiene traccia del comportamento dell'operatore e controlla il funzionamento o emette un avviso quando vengono rilevate azioni sospette.
(Immagine: Renesas Electronics)
"L'architettura multimodale semplifica la creazione di esperienze utente contactless per i sistemi di visione basati sull'intelligenza artificiale", ha affermato Renesas. "L'utilizzo di un chip dedicato ed efficiente dal punto di vista energetico per il riconoscimento vocale riduce il consumo energetico in standby mentre accelera lo sviluppo del sistema perché è possibile sviluppare software indipendentemente dalla funzionalità AI di visione".
La MPU Renesas serie RZ/V per la visione AI incorpora l'acceleratore di processore-AI (DRP-AI) riconfigurabile dinamicamente dell'azienda e combina l'inferenza AI ad alta precisione con un'elevata efficienza energetica. Queste prestazioni energetiche eliminano la necessità di dispositivi di gestione termica come dissipatori di calore o ventole di raffreddamento, riducendo il costo della distinta base (BOM) e rendendo possibile l'integrazione dell'AI di visione in un'ampia gamma di applicazioni embedded, ha affermato Renesas.
(Immagine: Renesas Electronics)
Il chip Syntiant NDP120 incorpora funzionalità AI avanzate che possono essere utilizzate per implementare funzioni vocali ad alta precisione e a mani libere, incluso il riconoscimento dell'altoparlante, il rilevamento delle parole chiave, più parole di attivazione e il riconoscimento dei comandi locali. L'NDP120, confezionato con il motore di inferenza della rete neurale Syntiant Core 2, può anche eseguire più applicazioni contemporaneamente riducendo al minimo il consumo energetico a 1 mW di potenza della batteria.
La soluzione di intelligenza artificiale multimodale a comando vocale utilizza più dispositivi reciprocamente compatibili del portafoglio di Renesas e fa parte dei progetti di riferimento Winning Combinations dell'azienda che presentano combinazioni di prodotti di elaborazione analogici, di potenza e integrati. Il progetto di riferimento per la soluzione AI multimodale è ora disponibile, inclusi schemi circuitali ed elenchi BOM.
su Renesas Electronics America