Transfer Learning vs Incremental Learning untuk melatih jaring saraf

Kemas kini: 6 Ogos 2023
Transfer Learning vs Incremental Learning untuk melatih jaring saraf

Dalam pembelajaran transfer, pengetahuan yang berlaku yang dibuat dalam model AI yang dilatih sebelumnya "diimport" dan digunakan sebagai dasar model baru. Setelah mengambil jalan pintas ini menggunakan model pra-latihan, seperti gambar sumber terbuka atau set data NLP, objek baru dapat ditambahkan untuk menyesuaikan hasil untuk senario tertentu.

Kejatuhan utama sistem ini adalah ketepatan. Memperbaiki model pra-latihan memerlukan sejumlah besar data khusus tugas untuk menambah bobot atau titik data baru. Oleh kerana ia memerlukan bekerja dengan lapisan dalam model pra-latihan untuk sampai ke tempat yang memiliki nilai untuk membuat model baru, ia juga memerlukan kemahiran, alat, dan vendor perkhidmatan yang lebih mahir, pembelajaran mesin.

Ketika digunakan untuk aplikasi AI yang canggih, pembelajaran transfer melibatkan pengiriman data ke cloud untuk pelatihan ulang, yang menimbulkan risiko privasi dan keselamatan. Setelah model baru dilatih, setiap kali ada maklumat baru untuk dipelajari, keseluruhan proses latihan perlu diulang. Ini adalah cabaran yang sering berlaku di AI tepi, di mana peranti mesti sentiasa menyesuaikan diri dengan perubahan di lapangan.

"Pertama dan terpenting adalah masalah ada model yang tersedia yang boleh anda buat untuk aplikasi anda, yang tidak mungkin untuk apa-apa kecuali AI yang sangat asas, dan kemudian anda memerlukan sampel yang cukup untuk melatihnya dengan betul," kata pengasas bersama Brianchip Anil Mankar, "kerana ini memerlukan pergi ke cloud untuk melatih kembali dan kemudian kembali ke peranti, pemindahan pembelajaran masih merupakan proses yang sangat kompleks dan mahal, walaupun ini adalah pilihan yang baik bila dan di mana mungkin untuk menggunakannya."

Pembelajaran tambahan adalah bentuk lain yang sering digunakan untuk mengurangkan sumber daya yang digunakan untuk melatih model kerana kecekapan dan kemampuannya untuk menampung input data yang baru dan berubah. Peranti canggih yang dapat melakukan pembelajaran tambahan di dalam perangkat itu sendiri, dan bukannya mengirim data ke awan, dapat belajar secara berterusan.

Pembelajaran secara bertahap atau "satu-satu" dapat dimulai dengan sekumpulan sampel yang sangat kecil, dan mengembangkan pengetahuannya ketika lebih banyak data diserap. Keupayaan untuk berkembang berdasarkan lebih banyak data juga menghasilkan ketepatan yang lebih tinggi. Apabila latihan semula dilakukan pada perkakasan peranti, bukannya latihan semula awan, data dan aplikasi tetap peribadi dan selamat.

"Sebagian besar waktu, proyek AI tidak memiliki set data yang cukup besar pada awalnya, dan tidak memiliki akses ke pengkomputeran awan untuk dilatih ulang, jadi mereka terus membayar vendor mereka setiap kali ada perubahan," kata Mankar. "Kami secara amnya mengesyorkan pembelajaran tambahan kerana ia menangani sebahagian besar kekurangan pembelajaran pemindahan dan memerlukan kos pengkomputeran yang jauh lebih rendah."