AI: berapa rendah anda boleh pergi?

Pasaran tertakluk pada mode dan sektor kawalan tertanam jauh dari kebal terhadapnya. Pada tahun 1990-an, logika kabur tampaknya menjadi jalan maju dan vendor mikrokontroler (MCU) bergegas untuk memberi sokongan kepada penawaran mereka hanya untuk melihatnya menyala.

Pembelajaran mesin tertanam (ML) menyaksikan kegilaan makan yang jauh lebih besar kerana pemain MCU yang sudah mapan dan syarikat permulaan percepatan AI cuba menunjukkan komitmen mereka terhadap idea itu, yang kebanyakannya berada di bawah panji TinyML.

Daniel Situnayake, pengasas jurutera TinyML di syarikat alat perisian Edge Impulse dan pengarang bersama sebuah buku terkenal di teknologi, mengatakan keadaan hari ini sangat berbeza dengan situasi tahun 1990-an.

"Perkara yang menarik tentang ML tertanam adalah bahawa pembelajaran mesin dan pembelajaran mendalam bukanlah teknologi baru, yang belum terbukti - sebenarnya mereka berjaya digunakan pada komputer kelas pelayan untuk jangka masa yang agak lama, dan berada di tengah-tengah banyak kejayaan produk. Embedded ML adalah mengenai menerapkan sekumpulan teknologi yang terbukti pada konteks baru yang akan membolehkan banyak aplikasi baru yang sebelumnya tidak mungkin dilakukan. "

ABI Research meramalkan pasaran untuk MCU berkemampuan AI berkuasa rendah dan pemecut untuk pasaran TinyML akan naik dari pendapatan tahunan kurang dari $ 30 juta tahun ini kepada lebih dari $ 2bn menjelang awal dekad berikutnya.

Walaupun pertumbuhannya pesat, penganalisis ABI, Lian Jye Su menjangkakan persaingan menjadi lebih sengit apabila syarikat besar seperti Bosch memasuki pasaran. Sudah, beberapa syarikat permulaan seperti Eta Compute telah beralih dari silikon ke alat perisian.

"Kami melihat beberapa penyatuan. Pada masa yang sama, pemecahan besar di pasaran IoT bermaksud sebilangan besar penyedia akan bertahan, seperti pasaran chipset MCU atau IoT pada umumnya, ”katanya, sambil menunjuk kepada sebilangan besar pembekal yang menumpukan pada pasaran menegak tertentu.

TinyML menghadapi kekangan yang teruk. Pete Warden, ketua teknikal rangka kerja TensorFlow Micro di gergasi enjin carian dan pengarang bersama Situnayake pada "TinyML: Pembelajaran Mesin dengan TensorFlow Lite pada Arduino dan Mikropengawal Kuasa Ultra-Rendah", berkata pada Persidangan Pemproses Kejatuhan Kumpulan Linley bahawa matlamatnya adalah untuk mengambil model pembelajaran mendalam dan "membuatnya berjalan pada peranti yang mempunyai sekurang-kurangnya 20KB RAM. Kami mahu mengambil model yang dibina menggunakan canggih ini teknologi dan hancurkannya untuk dijalankan pada pemproses kuasa yang sangat rendah.

"Oleh kerana ia adalah perisian sumber terbuka, kami tidak hanya berinteraksi dengan pasukan produk di dalam Google tetapi juga mendapat banyak permintaan dari pasukan produk di seluruh dunia yang berusaha membina produk yang menarik. Dan kita sering mengatakan: tidak, itu belum dapat dilakukan. Kita dapat melihat, secara agregat, banyak syarat yang tidak terpenuhi, ”kata Warden.

Isu utamanya ialah model pembelajaran mendalam yang dibawa dari persekitaran pelayan memerlukan berjuta-juta atau bahkan berbilion fungsi multiply-add (MAC) untuk dilakukan dalam jangka masa yang singkat walaupun untuk model yang agak sederhana. Linley Gwennap, presiden Linley Group, mengatakan aplikasi audio yang agak sederhana, seperti mengambil perkataan dalam ucapan yang dapat mengaktifkan pengecaman suara, memerlukan sekitar 2 juta MAC sesaat. Video memerlukan lebih banyak.

Penjual silikon telah berjaya meningkatkan jumlah MAC dengan memanfaatkan keperluan yang agak rendah untuk ketepatan dalam pengiraan individu ketika melakukan inferensi. Walaupun latihan pada pelayan pada umumnya menuntut aritmetik titik terapung presisi tunggal atau dua, pengiraan bilangan bulat lebar intt (int8) nampaknya cukup untuk kebanyakan aplikasi.

Terdapat petunjuk bahawa untuk lapisan terpilih dalam model, bahkan int8 MAC tidak diperlukan. Pengiraan binari atau ternary yang dapat dilakukan dengan menggunakan sedikit lebih daripada beberapa pintu masing-masing tidak merosakkan ketepatan keseluruhan dalam banyak kes. Berpotensi peningkatan prestasi sangat besar tetapi tidak mempunyai kombinasi sokongan perkakasan dan perisian yang diperlukan untuk memanfaatkannya sepenuhnya, kata Situnayake.

Walaupun perkakas untuk kerangka TensorFlow Lite biasanya menyokong bobot int8, sokongan untuk resolusi yang lebih rendah jauh dari meluas. "Ini berubah dengan cepat," catatan Situnayake, menunjuk pada pemecut seperti Syntiant yang menyokong berat biner, 2bit dan 4bit serta kerja oleh Plumerai untuk melatih rangkaian saraf binarised secara langsung.

"Walaupun teknologi ini masih maju dan belum menjadikannya arus perdana untuk pembangun ML tertanam, tidak akan lama sebelum mereka menjadi sebahagian dari toolkit standard," tambahnya.

Mengurangkan beban aritmetik

Terdapat pilihan lain untuk kerja TinyML yang mengurangkan beban aritmetik. Bercakap pada persidangan TinyML Asia akhir tahun lalu, Jan Jongboom, pengasas bersama dan CTO Edge Impulse mengatakan daya tarikan utama ML adalah kemampuannya mencari korelasi dalam data yang tidak dipilih oleh algoritma konvensional. Masalahnya terletak pada banyaknya parameter yang harus diproses oleh kebanyakan model konvensional untuk mencari korelasi tersebut jika inputnya adalah sampel mentah.

"Anda ingin memberikan algoritma pembelajaran mesin anda untuk menjadikan hidupnya lebih mudah," kata Jongboom. Teknik yang paling berguna untuk isyarat masa nyata yang biasa adalah penggunaan pengekstrakan ciri: mengubah data menjadi representasi yang memungkinkan untuk membina rangkaian saraf dengan parameter parameter yang lebih kecil.

Mengambil ucapan sebagai contoh, transformasi ke ruang mel-cepstrum secara besar-besaran mengurangkan bilangan parameter yang dapat mengekod perubahan suara dengan cekap.

Dalam data sensor lain, seperti umpan dari akselerometer yang digunakan untuk pengesanan getaran pada mesin berputar, bentuk perwakilan frekuensi masa bersama yang lain sering kali berfungsi.

Pendekatan ini digunakan oleh John Edwards, perunding dan jurutera DSP di Sigma Numerix dan pensyarah pelawat di University of Oxford, dalam sebuah projek untuk analisis getaran.

Dalam kes ini, transformasi Fourier pendek mempunyai pertukaran terbaik ditambah dengan transformasi yang mengimbangi motor laju berubah. Pengekstrakan fitur mengurangkan ukuran model menjadi hanya dua lapisan yang dapat diproses dengan mudah pada NXP LPC55C69, yang menggabungkan core Arm Cortex-M33 dengan akselerator DSP.

Jongboom mengatakan walaupun mungkin menggoda untuk mengikuti jalan pembelajaran mendalam, algoritma pembelajaran mesin lain dapat memberikan hasil. "Model pengesanan anomali terbaik kami bukanlah rangkaian saraf: pengelompokan k-berarti asasnya."

Di mana pembelajaran mendalam adalah keperluan, kelangkaan memberikan pengurangan selanjutnya pada overhead model. Ini dapat berbentuk pemangkasan, di mana bobot yang tidak banyak mempengaruhi output model hanya dikeluarkan dari saluran paip. Pilihan lain adalah memfokuskan usaha pada bahagian aliran data yang menunjukkan perubahan dari masa ke masa. Sebagai contoh, dalam video pengawasan ini mungkin berarti penggunaan pemrosesan gambar untuk mengesan objek bergerak dan memisahkannya dari latar belakang sebelum memasukkan piksel yang diproses ke model.

Sudah menjadi pengalaman belajar untuk Jongboom dan lain-lain. Dalam menggambarkan kemajuannya melalui peringkat TinyML, pada musim panas 2017 dia berpendapat bahawa keseluruhan konsep itu mustahil. Menjelang musim panas 2020, setelah melihat cara-cara untuk mengoptimalkan reka bentuk aplikasi dan model bersama, sikapnya telah berubah menjadi percaya bahawa klasifikasi gambar masa nyata pada perkakasan berkuasa rendah dapat dilaksanakan. Sebagai pemecut daya rendah yang menyokong ketepatan rendah dan jarak yang lebih cekap muncul, rangkaian model yang dapat berjalan pada kuasa mikro harus berkembang.

Hasilnya, Situnayake mendakwa, kemungkinan “ML akhirnya akan mewakili pecahan yang lebih besar daripada jenis beban kerja yang lain. Kelebihan ML pada peranti akan mendorong industri ke arah mencipta dan menggunakan cip berkuasa rendah yang lebih pantas dan lebih berkemampuan yang akan mewakili sebahagian besar semua komputasi tertanam di dunia ”. Walaupun akan ada banyak peranti yang tidak menjalankan beban kerja ini, kebutuhan akan kecepatan kerana ukuran model yang pasti akan bertambah akan memusatkan perhatian pada keperluannya dan mulai menguasai pengembangan arsitektur perisian dan perkakasan, selama aplikasi menyusul.