A Renesas Electronics Corp. e a Syntiant Corp. desenvolveram em conjunto uma solução de inteligência artificial multimodal (IA) controlada por voz que permite a operação sem contato de baixa potência para processamento de imagem em IoT e sistemas de borda baseados em IA de visão. As aplicações para a solução de AI multimodal incluem máquinas de autoverificação, câmeras de segurança, sistemas de videoconferência e aparelhos inteligentes, como dispositivos de limpeza robótica.
Oferecendo recursos de processamento de voz e imagem, a solução combina a unidade de microprocessador (MPU) de visão AI Série RZ / V da Renesas e o processador de decisão neural Syntiant NDP120 multimodal de baixa potência. A solução conjunta apresenta funcionalidade sempre ativa com rápida ativação acionada por voz a partir do modo de espera para realizar o reconhecimento de objetos, reconhecimento facial e outras tarefas baseadas na visão.
(Fonte: Renesas Electronics)
Um exemplo de aplicação citado são as dicas de voz definidas pelo usuário que orientam a ativação e a operação do sistema, enquanto o reconhecimento de visão AI rastreia o comportamento do operador e controla a operação ou emite um aviso quando ações suspeitas são detectadas.
(Imagem: Renesas Electronics)
“A arquitetura multimodal torna mais fácil criar experiências de usuário sem contato para sistemas baseados em visão AI”, disse Renesas. “O uso de um chip dedicado e com baixo consumo de energia para reconhecimento de voz reduz o consumo de energia no modo de espera e, ao mesmo tempo, acelera o desenvolvimento do sistema, pois é possível desenvolver software independentemente da funcionalidade do Vision AI.”
O Renesas RZ / V Series MPU para visão AI incorpora o acelerador de AI (DRP-AI) dinamicamente reconfigurável da empresa e combina inferência de AI de alta precisão com alta eficiência de energia. Este desempenho de energia elimina a necessidade de dispositivos de gerenciamento térmico, como dissipadores de calor ou ventiladores, reduzindo o custo da lista de materiais (BOM) e tornando possível integrar a visão AI em uma ampla gama de aplicações embarcadas, disse Renesas.
(Imagem: Renesas Electronics)
O chip Syntiant NDP120 incorpora recursos avançados de IA que podem ser usados para implementar funções de voz de alta precisão e mãos livres, incluindo reconhecimento de alto-falante, detecção de palavra-chave, várias palavras de ativação e reconhecimento de comando local. O NDP120, fornecido com o mecanismo de inferência de rede neural Syntiant Core 2, também pode executar vários aplicativos simultaneamente, minimizando o consumo de energia para 1 mW de bateria.
A solução de AI multimodal controlada por voz usa vários dispositivos mutuamente compatíveis do portfólio da Renesas e faz parte dos designs de referência Winning Combinations da empresa que apresentam combinações de produtos de processamento analógico, avançado e integrado. O projeto de referência para a solução de AI multimodal já está disponível, incluindo diagramas de circuitos e listas de BOM.
sobre Renesas Electronics America