Penyelesaian AI multimodal yang dikendalikan oleh suara

Renesas Electronics dan Syntiant, cip pembelajaran yang mendalam teknologi syarikat, telah mengumumkan pembangunan bersama penyelesaian AI multimodal terkawal suara.

Penyelesaian AI membolehkan operasi tanpa sentuh berkuasa rendah untuk pemprosesan gambar dalam sistem penglihatan dan sistem IoT berasaskan AI, seperti mesin self-checkout, kamera keselamatan, sistem persidangan video dan perkakas pintar seperti alat pembersih robot.

Peranti ini menggabungkan unit mikroprosesor AI Renesas RZ / V Series (MPU) dan pemproses Keputusan Neural Syntiant NDP120 multimodal, multi-fungsi rendah untuk memberikan keupayaan pemprosesan suara dan imej yang maju.

Penyelesaian bersama ini mempunyai fungsi yang sentiasa aktif dengan pengaktifan pencetus suara cepat dari mod siap sedia untuk melakukan pengecaman objek, pengecaman wajah, dan tugas berasaskan penglihatan lain yang merupakan fungsi penting dalam kamera keselamatan dan sistem lain. Sebagai contoh, sementara isyarat suara yang ditentukan pengguna mendorong pengaktifan dan operasi sistem, pengenalan AI penglihatan mengesan tingkah laku pengendali dan mengendalikan operasi atau mengeluarkan amaran apabila tindakan mencurigakan dikesan.

Senibina multimodal menjadikannya lebih mudah untuk membuat pengalaman pengguna tanpa sentuhan untuk sistem berasaskan AI penglihatan. Menggunakan cip yang berdedikasi dan cekap kuasa untuk pengecaman suara mengurangkan penggunaan kuasa siap sedia sambil mempercepat pengembangan sistem kerana mungkin mengembangkan perisian secara bebas dari fungsi AI penglihatan.

"Kami menjangkakan bahawa permintaan untuk sistem multimodal yang menggunakan banyak aliran maklumat input akan meningkat maju sebagai cara untuk meningkatkan kemudahan penggunaan dan keselamatan," kata Hiroto Nitta, Naib Presiden Kanan dan Ketua Bisnis SoC dalam Perniagaan IoT dan Infrastruktur Unit di Renesas.

"Antaramuka pengguna berasaskan suara akan memungkinkan pelanggan menyampaikan pengalaman pengguna baru yang membawa generasi baru idea inovatif dari konsep ke realiti, tambah CEO Syntiant Kurt Busch. "Kami telah menghantar lebih dari 15 juta NDP pembelajaran mendalam kami ke seluruh dunia untuk membolehkan suara sentiasa aktif dalam pelbagai aplikasi IoT pengguna dan industri."

Renesas RZ / V Series MPU untuk penglihatan AI menggabungkan pemacu DRP-AI (Dynamically Reconfigurable Processor-AI) Renesas dan menggabungkan inferensi AI berketepatan tinggi dengan kecekapan kuasa yang menghilangkan keperluan untuk tindakan penyebaran haba seperti pendingin haba atau kipas penyejuk, yang mengurangkan kos penggunaan bahan (BOM) dan memungkinkan untuk mengintegrasikan AI vision ke dalam pelbagai aplikasi terbenam.

Cip Syntiant NDP120 menggabungkan keupayaan AI yang dapat digunakan untuk melaksanakan banyak fungsi suara bebas tangan dengan ketepatan tinggi, termasuk pengecaman pembesar suara, pengesanan kata kunci, beberapa kata bangun, dan pengenalan perintah tempatan. Dikemas dengan mesin inferensi rangkaian saraf Syntiant Core 2, NDP120 juga dapat menjalankan beberapa aplikasi secara serentak sambil meminimumkan penggunaan kuasa hingga kuasa bateri 1mW.