Renesas Electronics Corp. en Syntiant Corp. hebben samen een spraakgestuurde multimodale kunstmatige intelligentie (AI)-oplossing ontwikkeld die contactloze bediening met laag vermogen mogelijk maakt voor beeldverwerking in vision AI-gebaseerde IoT- en edge-systemen. Toepassingen voor de multimodale AI-oplossing zijn onder meer self-checkout-machines, beveiligingscamera's, videoconferentiesystemen en slimme apparaten zoals robotreinigingsapparaten.
De oplossing biedt spraak- en beeldverwerkingsmogelijkheden en combineert de Renesas RZ/V-serie vision AI-microprocessoreenheid (MPU) en de energiezuinige multimodale Syntiant NDP120 Neural Decision Processor. De gezamenlijke oplossing biedt altijd-aan-functionaliteit met snelle spraakgestuurde activering vanuit de stand-bymodus om objectherkenning, gezichtsherkenning en andere op visie gebaseerde taken uit te voeren.
(Bron: Renesas Electronics)
Een aangehaald toepassingsvoorbeeld zijn door de gebruiker gedefinieerde spraaksignalen die activering en systeemwerking aansturen, terwijl vision AI-herkenning het gedrag van de operator volgt en de bediening controleert of een waarschuwing geeft wanneer verdachte acties worden gedetecteerd.
(Afbeelding: Renesas Electronics)
"De multimodale architectuur maakt het gemakkelijker om contactloze gebruikerservaringen te creëren voor op vision AI gebaseerde systemen", zegt Renesas. "Het gebruik van een speciale, energiezuinige chip voor spraakherkenning vermindert het energieverbruik in stand-by en versnelt de systeemontwikkeling omdat het mogelijk is om software onafhankelijk van de vision AI-functionaliteit te ontwikkelen."
De Renesas RZ/V-serie MPU voor vision AI bevat de dynamisch herconfigureerbare processor-AI (DRP-AI)-versneller van het bedrijf en combineert zeer nauwkeurige AI-inferentie met hoge energie-efficiëntie. Deze vermogensprestatie elimineert de noodzaak voor apparaten voor thermisch beheer, zoals koellichamen of koelventilatoren, waardoor de kosten van de stuklijst (BOM) worden verlaagd en het mogelijk wordt om vision AI te integreren in een breed scala aan embedded applicaties, zei Renesas.
(Afbeelding: Renesas Electronics)
De Syntiant NDP120-chip bevat geavanceerde AI-mogelijkheden die kunnen worden gebruikt om zeer nauwkeurige, handsfree spraakfuncties te implementeren, waaronder luidsprekerherkenning, trefwoorddetectie, meerdere wake-woorden en lokale commandoherkenning. De NDP120, geleverd met de Syntiant Core 2 neurale netwerkinferentie-engine, kan ook meerdere applicaties tegelijkertijd uitvoeren terwijl het stroomverbruik wordt geminimaliseerd tot 1 mW batterijvermogen.
De spraakgestuurde multimodale AI-oplossing maakt gebruik van meerdere onderling compatibele apparaten uit het portfolio van Renesas en maakt deel uit van de Winning Combinations-referentieontwerpen van het bedrijf met analoge, stroom- en embedded verwerkingsproductcombinaties. Het referentieontwerp voor de multimodale AI-oplossing is nu beschikbaar, inclusief schakelschema's en stuklijsten.
over Renesas Electronics America