Renesas Electronics Corporation telah mengumumkan pengembangan bersama dari solusi AI multimodal yang dikendalikan suara yang memfasilitasi operasi tanpa kontak berdaya rendah untuk pemrosesan gambar dalam IoT berbasis AI visi dan sistem edge, termasuk mesin checkout mandiri, kamera keamanan, dan sistem konferensi video, dan peralatan pintar seperti perangkat pembersih robot.
Solusi baru ini menggabungkan visi AI MPU Seri RZ/V perusahaan dan Prosesor Keputusan Neural Syntiant NDP120 multimodal multi-fitur berdaya rendah untuk memberikan kemampuan pemrosesan suara dan gambar yang canggih. Solusi bersama ini menawarkan fungsionalitas yang selalu aktif dengan aktivasi cepat yang dipicu oleh suara dari mode siaga untuk menerapkan pengenalan objek, pengenalan wajah, dan tugas berbasis penglihatan lainnya yang merupakan fungsi penting dalam kamera keamanan dan sistem lainnya. Misalnya, sementara isyarat suara yang ditentukan pengguna mendorong aktivasi dan operasi sistem, pengenalan visi AI melacak perilaku operator dan mengontrol operasi atau mengeluarkan peringatan saat tindakan mencurigakan teridentifikasi.
Arsitektur multimodal membuatnya lebih mudah untuk menghasilkan pengalaman pengguna tanpa kontak untuk sistem berbasis AI vision. Memanfaatkan chip khusus yang hemat daya untuk pengenalan suara mengurangi konsumsi daya siaga sekaligus mempercepat pengembangan sistem karena memungkinkan untuk mengembangkan perangkat lunak secara independen dari fungsi penglihatan AI.
“Kami mengantisipasi bahwa permintaan akan sistem multimoda yang menggunakan berbagai aliran informasi masukan – baik gambar maupun suara – akan meningkat ke depannya sebagai cara untuk meningkatkan kemudahan penggunaan dan keselamatan,” kata Hiroto Nitta, wakil presiden senior dan kepala SoC Business. di Unit Bisnis IoT dan Infrastruktur di Renesas. “Melalui kolaborasi antara Renesas, pemimpin dalam AI gambar berdaya rendah teknologi, dan Syntiant, pemimpin dalam teknologi AI suara, kami akan mempercepat penerapan teknologi AI suara cerdas ultra-kecil yang berdaya rendah dalam sistem tertanam dan memberikan solusi gabungan baru kepada pelanggan secara global.”
“Antarmuka pengguna berbasis suara akan memungkinkan pelanggan untuk memberikan pengalaman pengguna baru yang membawa generasi berikutnya dari ide-ide inovatif dari konsep menjadi kenyataan, kata CEO Syntiant, Kurt Busch. “Kami telah mengirimkan lebih dari 15 juta NDP pembelajaran mendalam kami secara global untuk mengaktifkan suara yang selalu aktif di berbagai aplikasi IoT konsumen dan industri. Kolaborasi kami dengan Renesas menghadirkan solusi suara dan gambar berdaya rendah yang kuat yang pasti akan mempercepat daya tarik di antara basis pelanggan global dalam berbagai perangkat dan kasus penggunaan.”
Solusi AI multimodal baru yang dikendalikan suara menggunakan beberapa perangkat yang saling kompatibel dari portofolio Renesas yang lebih luas untuk memberi pelanggan platform prototyping yang lebih tinggi untuk waktu yang lebih cepat ke pasar dan mengurangi risiko. Solusi baru ini merupakan bagian dari Winning Combinations perusahaan, yang menawarkan kombinasi produk analog, daya, dan pemrosesan tertanam yang menarik yang membantu pelanggan mempercepat desain mereka dan mencapai pasar lebih cepat.