Die Renesas Electronics Corporation hat die gemeinsame Entwicklung einer sprachgesteuerten multimodalen KI-Lösung angekündigt, die einen kontaktlosen Betrieb mit geringem Stromverbrauch für die Bildverarbeitung in KI-basierten IoT- und Edge-Systemen ermöglicht, einschließlich Self-Checkout-Automaten, Sicherheitskameras und Videokonferenzsystemen, und Smart Appliances wie Reinigungsroboter.
Die neue Lösung kombiniert die Vision AI MPU der RZ/V-Serie des Unternehmens und den multimodalen, multifunktionalen Syntiant NDP120 Neural Decision Processor mit geringem Stromverbrauch, um fortschrittliche Sprach- und Bildverarbeitungsfunktionen bereitzustellen. Die gemeinsame Lösung bietet Always-On-Funktionalität mit schneller sprachgesteuerter Aktivierung aus dem Standby-Modus, um Objekterkennung, Gesichtserkennung und andere visionsbasierte Aufgaben zu implementieren, die entscheidende Funktionen in Sicherheitskameras und anderen Systemen sind. Während beispielsweise benutzerdefinierte Sprachbefehle die Aktivierung und den Systembetrieb steuern, verfolgt die KI-Seherkennung das Verhalten des Bedieners und steuert den Betrieb oder gibt eine Warnung aus, wenn verdächtige Aktionen erkannt werden.
Die multimodale Architektur macht es einfacher, kontaktlose Benutzererlebnisse für Vision-KI-basierte Systeme zu erzeugen. Die Verwendung eines dedizierten, energieeffizienten Chips für die Spracherkennung verringert den Standby-Stromverbrauch und beschleunigt gleichzeitig die Systementwicklung, da es möglich ist, Software unabhängig von der Vision-KI-Funktionalität zu entwickeln.
„Wir gehen davon aus, dass die Nachfrage nach multimodalen Systemen, die mehrere Eingangsinformationsströme – sowohl Bild als auch Sprache – nutzen, in Zukunft zunehmen wird, um sowohl die Benutzerfreundlichkeit als auch die Sicherheit zu verbessern“, sagte Hiroto Nitta, Senior Vice President und Leiter von SoC Business im Geschäftsbereich IoT und Infrastruktur bei Renesas. „Durch die Zusammenarbeit mit Renesas, einem führenden Anbieter von Bild-KI mit geringem Stromverbrauch Technologieund Syntiant, einem führenden Anbieter von Sprach-KI-Technologie, werden wir die Einführung von stromsparender, ultrakleiner intelligenter Sprach-KI-Technologie in eingebetteten Systemen beschleunigen und Kunden weltweit neue kombinierte Lösungen liefern.“
„Sprachbasierte Benutzeroberflächen werden es Kunden ermöglichen, neue Benutzererlebnisse zu bieten, die die nächste Generation innovativer Ideen vom Konzept in die Realität bringen“, sagte Syntiant CEO Kurt Busch. „Wir haben bereits mehr als 15 Millionen unserer Deep-Learning-NDPs weltweit ausgeliefert, um eine ständig verfügbare Sprache in einer Vielzahl von Verbraucher- und industriellen IoT-Anwendungen zu ermöglichen. Unsere Zusammenarbeit mit Renesas liefert eine leistungsstarke Sprach- und Bildlösung mit geringem Stromverbrauch, die die Anziehungskraft bei einem globalen Kundenstamm in einer Vielzahl von Geräten und Anwendungsfällen mit Sicherheit beschleunigen wird.“
Die neue sprachgesteuerte multimodale KI-Lösung verwendet mehrere miteinander kompatible Geräte aus dem breiteren Renesas-Portfolio, um Kunden eine erweiterte Prototyping-Plattform für eine schnellere Markteinführung und ein geringeres Risiko bereitzustellen. Die neue Lösung ist Teil der Winning Combinations des Unternehmens, die überzeugende Kombinationen von Analog-, Leistungs- und Embedded-Processing-Produkten bieten, die Kunden helfen, ihre Designs zu beschleunigen und schneller auf den Markt zu kommen.