Renesas Electronics Corp. dan Syntiant Corp. bersama-sama mengembangkan penyelesaian kecerdasan buatan multimodal (AI) yang dikendalikan oleh suara yang membolehkan operasi tanpa sentuh berkuasa rendah untuk pemprosesan imej dalam sistem IoT dan tepi berasaskan AI yang berwawasan. Aplikasi untuk penyelesaian AI multimodal termasuk mesin self-checkout, kamera keselamatan, sistem persidangan video, dan perkakas pintar seperti alat pembersih robot.
Menyampaikan kemampuan pemprosesan suara dan imej, penyelesaiannya menggabungkan unit mikropemproses AI Renesas RZ / V Series (MPU) dan Pemproses Keputusan Neural NDP120 multimodal berkuasa rendah. Penyelesaian bersama ini mempunyai fungsi yang selalu aktif dengan pengaktifan pencetus suara yang cepat dari mod siap sedia untuk melakukan pengecaman objek, pengecaman wajah, dan tugas lain berdasarkan penglihatan.
(Sumber: Renesas Electronics)
Salah satu contoh aplikasi yang dikutip adalah isyarat suara yang ditentukan pengguna yang mendorong pengaktifan dan operasi sistem, sementara pengenalan AI penglihatan mengesan tingkah laku pengendali dan mengendalikan operasi atau mengeluarkan peringatan apabila tindakan mencurigakan dikesan.
(Imej: Renesas Electronics)
"Senibina multimodal menjadikannya lebih mudah untuk membuat pengalaman pengguna tanpa kontak untuk sistem berasaskan AI penglihatan," kata Renesas. "Menggunakan cip yang berdedikasi dan efisien untuk pengecaman suara mengurangkan penggunaan kuasa siap sedia sambil mempercepat pengembangan sistem kerana dapat mengembangkan perisian secara bebas dari fungsi AI penglihatan."
Renesas RZ / V Series MPU untuk vision AI menggabungkan pemacu prosesor-AI (DRP-AI) syarikat yang dapat dikonfigurasi semula secara dinamik dan menggabungkan inferensi AI berketepatan tinggi dengan kecekapan kuasa tinggi. Prestasi kuasa ini menghilangkan keperluan untuk peranti pengurusan termal seperti pendingin haba atau kipas penyejuk, mengurangkan kos bahan (BOM) dan memungkinkan untuk mengintegrasikan AI penglihatan ke dalam berbagai aplikasi tertanam, kata Renesas.
(Imej: Renesas Electronics)
Cip Syntiant NDP120 menggabungkan keupayaan AI canggih yang dapat digunakan untuk melaksanakan fungsi suara bebas tangan dengan ketepatan tinggi, termasuk pengecaman pembesar suara, pengesanan kata kunci, beberapa kata bangun, dan pengenalan perintah tempatan. NDP120, yang dikemas dengan mesin inferensi rangkaian saraf Syntiant Core 2, juga dapat menjalankan beberapa aplikasi secara serentak sambil meminimumkan penggunaan tenaga hingga 1 mW kuasa bateri.
Penyelesaian AI multimodal yang dikendalikan oleh suara menggunakan pelbagai peranti yang saling serasi dari portfolio Renesas dan merupakan sebahagian daripada reka bentuk rujukan Winning Combinations syarikat yang menampilkan gabungan produk pemprosesan analog, kuasa, dan terbenam. Reka bentuk rujukan untuk penyelesaian AI multimodal kini tersedia, termasuk diagram litar dan senarai BOM.
mengenai Renesas Electronics America