Renesas Electronics Corp. dan Syntiant Corp. telah bersama-sama mengembangkan solusi kecerdasan buatan (AI) multimodal yang dikendalikan suara yang memungkinkan operasi nirkontak berdaya rendah untuk pemrosesan gambar dalam IoT berbasis AI visi dan sistem edge. Aplikasi untuk solusi AI multimodal termasuk mesin self-checkout, kamera keamanan, sistem konferensi video, dan peralatan pintar seperti perangkat pembersih robot.
Memberikan kemampuan pemrosesan suara dan gambar, solusi ini menggabungkan unit mikroprosesor AI visi Renesas RZ/V Series (MPU) dan Prosesor Keputusan Neural Syntiant NDP120 multimodal berdaya rendah. Solusi bersama ini menampilkan fungsionalitas yang selalu aktif dengan aktivasi cepat yang dipicu oleh suara dari mode siaga untuk melakukan pengenalan objek, pengenalan wajah, dan tugas berbasis penglihatan lainnya.
(Sumber: Renesas Electronics)
Salah satu contoh aplikasi yang dikutip adalah isyarat suara yang ditentukan pengguna yang mendorong aktivasi dan operasi sistem, sementara pengenalan visi AI melacak perilaku operator dan mengontrol operasi atau mengeluarkan peringatan ketika tindakan mencurigakan terdeteksi.
(Gambar: Renesas Electronics)
“Arsitektur multimodal memudahkan untuk menciptakan pengalaman pengguna tanpa kontak untuk sistem berbasis AI vision,” kata Renesas. “Menggunakan chip khusus yang hemat daya untuk pengenalan suara mengurangi konsumsi daya siaga sekaligus mempercepat pengembangan sistem karena memungkinkan untuk mengembangkan perangkat lunak secara independen dari fungsi penglihatan AI.”
Renesas RZ/V Series MPU for vision AI menggabungkan akselerator prosesor-AI (DRP-AI) perusahaan yang dapat dikonfigurasi ulang secara dinamis dan menggabungkan inferensi AI presisi tinggi dengan efisiensi daya tinggi. Performa daya ini menghilangkan kebutuhan akan perangkat manajemen termal seperti heat sink atau kipas pendingin, mengurangi biaya bill of material (BOM) dan memungkinkan untuk mengintegrasikan vision AI ke dalam berbagai aplikasi tertanam, kata Renesas.
(Gambar: Renesas Electronics)
Chip Syntiant NDP120 menggabungkan kemampuan AI canggih yang dapat digunakan untuk mengimplementasikan fungsi suara hands-free presisi tinggi, termasuk pengenalan speaker, deteksi kata kunci, beberapa kata bangun, dan pengenalan perintah lokal. NDP120, yang dikemas dengan mesin inferensi jaringan saraf Syntiant Core 2, juga dapat menjalankan beberapa aplikasi secara bersamaan sambil meminimalkan konsumsi daya hingga daya baterai 1 mW.
Solusi AI multimodal yang dikendalikan suara menggunakan beberapa perangkat yang saling kompatibel dari portofolio Renesas dan merupakan bagian dari desain referensi Kombinasi yang Memenangkan perusahaan yang menampilkan kombinasi produk pemrosesan analog, daya, dan tertanam. Desain referensi untuk solusi AI multimodal tersedia sekarang, termasuk diagram sirkuit dan daftar BOM.
tentang Renesas Electronics America