Renesas Electronics Corporation heeft de gezamenlijke ontwikkeling aangekondigd van een spraakgestuurde multimodale AI-oplossing die contactloze bediening met laag vermogen mogelijk maakt voor beeldverwerking in vision AI-gebaseerde IoT- en edge-systemen, waaronder self-checkout-machines, beveiligingscamera's en videoconferentiesystemen, en slimme apparaten zoals robotreinigingsapparaten.
De nieuwe oplossing combineert de RZ/V-serie vision AI MPU van het bedrijf en de energiezuinige multimodale, multi-feature Syntiant NDP120 Neural Decision Processor om geavanceerde spraak- en beeldverwerkingsmogelijkheden te bieden. De gezamenlijke oplossing biedt altijd-aan-functionaliteit met snelle spraakgestuurde activering vanuit de standby-modus om objectherkenning, gezichtsherkenning en andere op visie gebaseerde taken te implementeren die cruciale functies zijn in beveiligingscamera's en andere systemen. Terwijl door de gebruiker gedefinieerde spraaksignalen bijvoorbeeld de activering en systeemwerking aansturen, volgt vision AI-herkenning het gedrag van de operator en regelt de bediening of geeft een waarschuwing wanneer verdachte acties worden geïdentificeerd.
De multimodale architectuur maakt het eenvoudiger om contactloze gebruikerservaringen te produceren voor op vision AI gebaseerde systemen. Het gebruik van een speciale, energiezuinige chip voor spraakherkenning vermindert het energieverbruik in stand-by en versnelt de systeemontwikkeling, omdat het mogelijk is om software onafhankelijk van de vision AI-functionaliteit te ontwikkelen.
“We verwachten dat de vraag naar multimodale systemen die gebruik maken van meerdere stromen invoerinformatie – zowel beeld als stem – in de toekomst zal toenemen als een manier om zowel het gebruiksgemak als de veiligheid te verbeteren”, zegt Hiroto Nitta, senior vice president en hoofd van SoC Business in de IoT en Infrastructuur Business Unit bij Renesas. “Door de samenwerking tussen Renesas, een leider op het gebied van beeld-AI met laag vermogen technologie, en Syntiant, een leider op het gebied van spraak-AI-technologie, zullen we de adoptie van energiezuinige, ultrakleine slimme spraak-AI-technologie in embedded systemen versnellen en nieuwe gecombineerde oplossingen aan klanten wereldwijd leveren.”
"Op spraak gebaseerde gebruikersinterfaces zullen het voor klanten mogelijk maken om nieuwe gebruikerservaringen te leveren die de volgende generatie innovatieve ideeën van concept tot realiteit brengen", aldus Syntiant CEO, Kurt Busch. “We hebben al meer dan 15 miljoen van onze deep learning NDP's wereldwijd verzonden om always-on voice mogelijk te maken in een breed scala aan consumenten- en industriële IoT-toepassingen. Onze samenwerking met Renesas levert een krachtige, energiezuinige spraak- en beeldoplossing op die zeker de tractie bij een wereldwijd klantenbestand zal versnellen in een verscheidenheid aan apparaten en gebruikssituaties.”
De nieuwe spraakgestuurde multimodale AI-oplossing maakt gebruik van meerdere onderling compatibele apparaten uit het bredere Renesas-portfolio om klanten een verbeterd prototypeplatform te bieden voor een snellere time-to-market en minder risico. De nieuwe oplossing maakt deel uit van de Winning Combinations van het bedrijf, die overtuigende combinaties van analoge, krachtige en embedded verwerkingsproducten bieden die klanten helpen hun ontwerpen te versnellen en sneller op de markt te komen.