Pembelajaran Transfer vs Pembelajaran Inkremental untuk melatih jaringan saraf

Pembaruan: 6 Agustus 2023
Pembelajaran Transfer vs Pembelajaran Inkremental untuk melatih jaringan saraf

Dalam pembelajaran transfer, pengetahuan yang dapat diterapkan yang ditetapkan dalam model AI yang sebelumnya dilatih "diimpor" dan digunakan sebagai dasar model baru. Setelah mengambil jalan pintas ini menggunakan model yang telah dilatih sebelumnya, seperti gambar sumber terbuka atau kumpulan data NLP, objek baru dapat ditambahkan untuk menyesuaikan hasil untuk skenario tertentu.

Kelemahan utama dari sistem ini adalah akurasi. Penyesuaian model yang telah dilatih memerlukan sejumlah besar data khusus tugas untuk menambahkan bobot atau titik data baru. Karena memerlukan bekerja dengan lapisan dalam model yang telah dilatih sebelumnya untuk sampai ke tempat yang memiliki nilai untuk membuat model baru, itu mungkin juga memerlukan keterampilan, alat, dan vendor layanan yang lebih terspesialisasi, memahami pembelajaran mesin.

Saat digunakan untuk aplikasi edge AI, pembelajaran transfer melibatkan pengiriman data ke cloud untuk pelatihan ulang, menimbulkan risiko privasi dan keamanan. Setelah model baru dilatih, setiap kali ada informasi baru untuk dipelajari, seluruh proses pelatihan perlu diulang. Ini adalah tantangan yang sering terjadi di edge AI, di mana perangkat harus terus beradaptasi dengan perubahan di lapangan.

“Pertama dan terpenting adalah masalah adanya model yang tersedia yang dapat Anda buat berfungsi untuk aplikasi Anda, yang tidak mungkin untuk apa pun kecuali AI yang sangat mendasar, dan kemudian Anda memerlukan sampel yang cukup untuk melatihnya dengan benar,” kata co-founder Brianchip Anil Mankar, “karena ini memerlukan pergi ke cloud untuk pelatihan ulang dan kemudian kembali ke perangkat, pembelajaran transfer masih merupakan proses yang sangat kompleks dan mahal, meskipun ini adalah pilihan yang bagus kapan dan di mana mungkin untuk menggunakannya.”

Pembelajaran tambahan adalah bentuk lain yang sering digunakan untuk mengurangi sumber daya yang digunakan untuk melatih model karena efisiensi dan kemampuannya untuk mengakomodasi input data baru dan yang diubah. Perangkat edge yang dapat melakukan pembelajaran tambahan di dalam perangkat itu sendiri, daripada mengirim data ke cloud, dapat belajar terus menerus.

Pembelajaran inkremental atau "sekali tembak" dapat dimulai dengan kumpulan sampel yang sangat kecil, dan mengembangkan pengetahuannya saat lebih banyak data diserap. Kemampuan untuk berkembang berdasarkan lebih banyak data juga menghasilkan akurasi yang lebih tinggi. Saat pelatihan ulang dilakukan pada perangkat keras perangkat, alih-alih pelatihan ulang cloud, data dan aplikasi tetap pribadi dan aman.

“Sebagian besar waktu, proyek AI tidak memiliki kumpulan data yang cukup besar pada awalnya, dan tidak memiliki akses ke komputasi awan untuk pelatihan ulang, sehingga mereka tetap membayar vendor mereka setiap kali ada perubahan,” kata Mankar. “Kami umumnya merekomendasikan pembelajaran tambahan karena mengatasi sebagian besar kekurangan pembelajaran transfer dan membutuhkan biaya komputasi yang jauh lebih rendah.”