Transfer Learning vs Incremental Learning per l'addestramento delle reti neurali

Aggiornamento: 6 agosto 2023
Transfer Learning vs Incremental Learning per l'addestramento delle reti neurali

Nell'apprendimento trasferito, la conoscenza applicabile stabilita in un modello di intelligenza artificiale precedentemente addestrato viene "importata" e utilizzata come base di un nuovo modello. Dopo aver preso questa scorciatoia per utilizzare un modello preaddestrato, come un'immagine open source o un set di dati NLP, è possibile aggiungere nuovi oggetti per personalizzare il risultato per il particolare scenario.

La principale rovina di questo sistema è la precisione. L'ottimizzazione del modello preaddestrato richiede grandi quantità di dati specifici dell'attività per aggiungere nuovi pesi o punti dati. Poiché è necessario lavorare con i livelli nel modello preaddestrato per arrivare al punto in cui ha valore per la creazione del nuovo modello, potrebbe anche richiedere competenze, strumenti e fornitori di servizi più specializzati e di apprendimento automatico.

Quando viene utilizzato per applicazioni di intelligenza artificiale perimetrale, il trasferimento dell'apprendimento comporta l'invio di dati al cloud per la riqualificazione, incorrendo in rischi per la privacy e la sicurezza. Una volta addestrato un nuovo modello, ogni volta che ci sono nuove informazioni da apprendere, l'intero processo di formazione deve essere ripetuto. Questa è una sfida frequente nell'IA edge, in cui i dispositivi devono adattarsi costantemente ai cambiamenti sul campo.

"Prima di tutto c'è il problema dell'esistenza di un modello disponibile che puoi far funzionare per la tua applicazione, il che non è probabile per nient'altro che per l'intelligenza artificiale di base, e quindi hai bisogno di campioni sufficienti per riqualificarlo correttamente", afferma il co-fondatore di Brianchip Anil Mankar, "poiché ciò richiede di passare al cloud per la riqualificazione e quindi di nuovo al dispositivo, il trasferimento dell'apprendimento è ancora un processo molto complesso e costoso, sebbene sia una buona opzione quando e dove è possibile utilizzarlo".

L'apprendimento incrementale è un'altra forma che viene spesso utilizzata per ridurre le risorse utilizzate per addestrare i modelli a causa della sua efficienza e capacità di accogliere input di dati nuovi e modificati. Un dispositivo periferico in grado di eseguire un apprendimento incrementale all'interno del dispositivo stesso, anziché inviare dati al cloud, può apprendere continuamente.

L'apprendimento incrementale o "one-shot" può iniziare con una serie molto piccola di campioni e aumentare la sua conoscenza man mano che vengono assorbiti più dati. La capacità di evolvere in base a più dati si traduce anche in una maggiore precisione. Quando la riqualificazione viene eseguita sull'hardware del dispositivo, invece della riqualificazione cloud, i dati e l'applicazione rimangono privati ​​e protetti.

"La maggior parte delle volte, i progetti di intelligenza artificiale non hanno set di dati sufficientemente grandi all'inizio e non hanno accesso al cloud computing per la riqualificazione, quindi continuano a pagare il loro fornitore ogni volta che qualcosa cambia", afferma Mankar. "In genere consigliamo l'apprendimento incrementale perché risolve la maggior parte delle carenze dell'apprendimento per trasferimento e richiede costi di elaborazione notevolmente inferiori".