Renesas Electronics Corp. et Syntiant Corp. ont développé conjointement une solution d'intelligence artificielle (IA) multimodale à commande vocale qui permet un fonctionnement sans contact à faible consommation pour le traitement d'images dans les systèmes IoT et de périphérie basés sur l'IA de vision. Les applications de la solution d'IA multimodale incluent les caisses automatiques, les caméras de sécurité, les systèmes de vidéoconférence et les appareils intelligents tels que les appareils de nettoyage robotisés.
Offrant des capacités de traitement de la voix et de l'image, la solution combine l'unité de microprocesseur (MPU) Renesas RZ/V Series Vision AI et le processeur de décision neuronale Syntiant NDP120 multimodal à faible consommation. La solution commune comprend une fonctionnalité toujours active avec une activation rapide à déclenchement vocal à partir du mode veille pour effectuer la reconnaissance d'objets, la reconnaissance faciale et d'autres tâches basées sur la vision.
(Source : Renesas Electronics)
Un exemple d'application cité est celui des signaux vocaux définis par l'utilisateur qui pilotent l'activation et le fonctionnement du système, tandis que la reconnaissance de vision AI suit le comportement de l'opérateur et contrôle le fonctionnement ou émet un avertissement lorsque des actions suspectes sont détectées.
(Image : Renesas Electronics)
« L'architecture multimodale facilite la création d'expériences utilisateur sans contact pour les systèmes basés sur l'IA de vision », a déclaré Renesas. « L'utilisation d'une puce dédiée et économe en énergie pour la reconnaissance vocale réduit la consommation d'énergie en veille tout en accélérant le développement du système, car il est possible de développer des logiciels indépendamment de la fonctionnalité Vision AI. »
Le MPU Renesas RZ/V Series pour l'IA de vision intègre l'accélérateur de processeur-IA reconfigurable dynamiquement (DRP-AI) de la société et combine une inférence d'IA de haute précision avec une efficacité énergétique élevée. Cette performance énergétique élimine le besoin de dispositifs de gestion thermique tels que des dissipateurs thermiques ou des ventilateurs de refroidissement, réduisant ainsi le coût de la nomenclature et permettant d'intégrer l'IA de vision dans une large gamme d'applications embarquées, a déclaré Renesas.
(Image : Renesas Electronics)
La puce Syntiant NDP120 intègre des capacités d'IA avancées qui peuvent être utilisées pour mettre en œuvre des fonctions vocales mains libres de haute précision, notamment la reconnaissance du locuteur, la détection de mots clés, plusieurs mots de réveil et la reconnaissance de commandes locales. Le NDP120, fourni avec le moteur d'inférence de réseau neuronal Syntiant Core 2, peut également exécuter plusieurs applications simultanément tout en minimisant la consommation d'énergie à 1 mW de puissance de batterie.
La solution d'IA multimodale à commande vocale utilise plusieurs appareils compatibles entre eux du portefeuille de Renesas et fait partie des conceptions de référence Winning Combinations de l'entreprise qui comportent des combinaisons de produits de traitement analogique, d'alimentation et intégré. La conception de référence pour la solution d'IA multimodale est maintenant disponible, y compris les schémas de circuit et les listes de nomenclatures.
à propos de Renesas Electronics America