Renesas Electronics Corp. und Syntiant Corp. haben gemeinsam eine sprachgesteuerte multimodale künstliche Intelligenz (KI)-Lösung entwickelt, die einen stromsparenden kontaktlosen Betrieb für die Bildverarbeitung in Vision-KI-basierten IoT- und Edge-Systemen ermöglicht. Zu den Anwendungen für die multimodale KI-Lösung gehören Self-Checkout-Automaten, Sicherheitskameras, Videokonferenzsysteme und intelligente Geräte wie Reinigungsroboter.
Die Lösung bietet Sprach- und Bildverarbeitungsfunktionen und kombiniert die Vision-AI-Mikroprozessoreinheit (MPU) der RZ/V-Serie von Renesas mit dem multimodalen neuronalen Entscheidungsprozessor Syntiant NDP120 mit geringem Stromverbrauch. Die gemeinsame Lösung bietet eine Always-on-Funktionalität mit schneller sprachgesteuerter Aktivierung aus dem Standby-Modus, um Objekterkennung, Gesichtserkennung und andere visuelle Aufgaben durchzuführen.
(Quelle: Renesas Electronics)
Ein angeführtes Anwendungsbeispiel sind benutzerdefinierte Sprachhinweise, die die Aktivierung und den Systembetrieb steuern, während die KI-Erkennung das Bedienerverhalten verfolgt und den Betrieb steuert oder eine Warnung ausgibt, wenn verdächtige Aktionen erkannt werden.
(Bild: Renesas Electronics)
„Die multimodale Architektur macht es einfacher, kontaktlose Benutzererlebnisse für Vision-KI-basierte Systeme zu schaffen“, sagte Renesas. „Die Verwendung eines dedizierten, energieeffizienten Chips für die Spracherkennung reduziert den Standby-Stromverbrauch und beschleunigt gleichzeitig die Systementwicklung, da es möglich ist, Software unabhängig von der Vision-KI-Funktionalität zu entwickeln.“
Die MPU der RZ/V-Serie von Renesas für Vision AI enthält den dynamisch rekonfigurierbaren Prozessor-AI (DRP-AI)-Beschleuniger des Unternehmens und kombiniert hochpräzise AI-Inferenz mit hoher Energieeffizienz. Diese Leistungsfähigkeit macht Wärmemanagementgeräte wie Kühlkörper oder Kühllüfter überflüssig, senkt die Stücklistenkosten (BOM) und ermöglicht die Integration von Vision AI in eine Vielzahl von Embedded-Anwendungen, sagte Renesas.
(Bild: Renesas Electronics)
Der Syntiant NDP120-Chip enthält fortschrittliche KI-Funktionen, mit denen hochpräzise, freihändige Sprachfunktionen implementiert werden können, einschließlich Sprechererkennung, Schlüsselworterkennung, mehrere Aktivierungswörter und lokale Befehlserkennung. Der NDP120, der mit der Syntiant Core 2-Inferenz-Engine für neuronale Netzwerke ausgestattet ist, kann auch mehrere Anwendungen gleichzeitig ausführen und gleichzeitig den Stromverbrauch auf 1 mW Batterieleistung minimieren.
Die sprachgesteuerte multimodale KI-Lösung verwendet mehrere miteinander kompatible Geräte aus dem Portfolio von Renesas und ist Teil der Winning Combinations-Referenzdesigns des Unternehmens, die Analog-, Leistungs- und Embedded-Processing-Produktkombinationen umfassen. Das Referenzdesign für die multimodale KI-Lösung ist ab sofort verfügbar, inklusive Schaltpläne und Stücklisten.
über Renesas Electronics America