Renesas Electronics Corporation telah mengumumkan pengembangan bersama penyelesaian AI multimodal yang dikendalikan oleh suara yang memudahkan operasi tanpa sentuh kuasa rendah untuk pemprosesan imej dalam sistem IoT dan tepi berasaskan AI penglihatan, termasuk mesin self-checkout, kamera keselamatan, dan sistem persidangan video, dan perkakas pintar seperti alat pembersih robot.
Penyelesaian baru ini menggabungkan RZ / V Series AI MPU visi syarikat dan multimodal, multi-fitur Syntiant NDP120 Neural Decision Processor berkuasa rendah untuk memberikan kemampuan pemprosesan suara dan imej yang maju. Penyelesaian bersama menawarkan fungsi yang sentiasa aktif dengan pengaktifan pencetus suara yang cepat dari mod siap sedia untuk melaksanakan pengecaman objek, pengecaman wajah, dan tugas berasaskan penglihatan lain yang merupakan fungsi penting dalam kamera keselamatan dan sistem lain. Sebagai contoh, sementara isyarat suara yang ditentukan pengguna mendorong pengaktifan dan operasi sistem, pengenalan AI penglihatan mengesan tingkah laku pengendali dan mengawal operasi atau mengeluarkan amaran apabila tindakan mencurigakan dikenal pasti.
Senibina multimodal menjadikannya lebih mudah untuk menghasilkan pengalaman pengguna tanpa sentuhan untuk sistem berasaskan AI penglihatan. Menggunakan cip yang berdedikasi dan efisien untuk pengecaman suara mengurangkan penggunaan kuasa siap sedia sambil mempercepat pembangunan sistem kerana dapat mengembangkan perisian secara bebas daripada fungsi AI penglihatan.
"Kami menjangkakan bahawa permintaan untuk sistem multimodal yang menggunakan berbilang aliran maklumat input - kedua-dua imej dan suara - akan meningkat ke hadapan sebagai satu cara untuk meningkatkan kedua-dua kemudahan penggunaan dan keselamatan," kata Hiroto Nitta, naib presiden kanan dan ketua SoC Business dalam Unit Perniagaan IoT dan Infrastruktur di Renesas. “Melalui kerjasama antara Renesas, peneraju dalam AI imej berkuasa rendah teknologi, dan Syntiant, peneraju dalam teknologi AI suara, kami akan mempercepatkan penggunaan teknologi AI suara pintar ultra-kecil kuasa rendah dalam sistem terbenam dan menyampaikan penyelesaian gabungan baharu kepada pelanggan di seluruh dunia.”
"Antaramuka pengguna berasaskan suara akan memungkinkan pelanggan menyampaikan pengalaman pengguna baru yang membawa generasi baru idea inovatif dari konsep ke realiti," kata CEO Syntiant, Kurt Busch. "Kami telah menghantar lebih dari 15 juta NDP pembelajaran mendalam kami ke seluruh dunia untuk membolehkan suara sentiasa aktif dalam pelbagai aplikasi IoT pengguna dan industri. Kerjasama kami dengan Renesas memberikan penyelesaian suara dan imej berkekuatan rendah yang pasti dapat mempercepat daya tarikan di antara pangkalan pelanggan global dalam pelbagai peranti dan kes penggunaan. "
Penyelesaian AI multimodal yang dikawal suara menggunakan pelbagai peranti yang saling serasi dari portfolio Renesas yang lebih luas untuk menyediakan pelanggan dengan platform prototaip yang lebih tinggi untuk masa yang lebih cepat ke pasaran dan mengurangkan risiko. Penyelesaian baru adalah sebahagian daripada Kombinasi Menang syarikat, yang menawarkan kombinasi produk pemprosesan analog, daya, dan tertanam yang menarik yang membantu pelanggan mempercepat reka bentuk mereka dan masuk ke pasar dengan lebih cepat.