Overdracht van leren versus incrementeel leren voor het trainen van neurale netwerken

Update: 6 augustus 2023
Overdracht van leren versus incrementeel leren voor het trainen van neurale netwerken

Bij transfer learning wordt toepasbare kennis die is vastgelegd in een eerder getraind AI-model, 'geïmporteerd' en gebruikt als basis voor een nieuw model. Na het nemen van deze kortere weg van het gebruik van een vooraf getraind model, zoals een open-source afbeelding of NLP-dataset, kunnen nieuwe objecten worden toegevoegd om het resultaat voor het specifieke scenario aan te passen.

De primaire ondergang van dit systeem is nauwkeurigheid. Voor het nauwkeurig afstellen van het vooraf getrainde model zijn grote hoeveelheden taakspecifieke gegevens nodig om nieuwe gewichten of gegevenspunten toe te voegen. Omdat het werken met lagen in het vooraf getrainde model vereist om te komen waar het waardevol is voor het maken van het nieuwe model, kan het ook meer gespecialiseerde, machine-learning-savvy vaardigheden, tools en serviceleveranciers vereisen.

Bij gebruik voor edge-AI-toepassingen houdt overdrachtsleren in dat gegevens naar de cloud worden verzonden voor omscholing, wat privacy- en beveiligingsrisico's met zich meebrengt. Zodra een nieuw model is getraind en er nieuwe informatie is om te leren, moet het hele trainingsproces worden herhaald. Dit is een veelvoorkomende uitdaging in edge-AI, waar apparaten zich voortdurend moeten aanpassen aan veranderingen in het veld.

"Allereerst is het de kwestie of er een model beschikbaar is dat je kunt laten werken voor je applicatie, wat niet waarschijnlijk is voor iets anders dan zeer eenvoudige AI, en dan heb je genoeg voorbeelden nodig om het goed te hertrainen", zegt Brianchip mede-oprichter Anil Mankar, "aangezien hiervoor naar de cloud moet worden gegaan voor omscholing en vervolgens weer terug naar het apparaat, is overdracht van leren nog steeds een zeer complex en kostbaar proces, hoewel het een goede optie is wanneer en waar het mogelijk is om het te gebruiken."

Incrementeel leren is een andere vorm die vaak wordt gebruikt om de middelen die worden gebruikt om modellen te trainen te verminderen vanwege de efficiëntie en het vermogen om nieuwe en gewijzigde gegevensinvoer op te vangen. Een edge-apparaat dat incrementeel leren binnen het apparaat zelf kan uitvoeren, in plaats van gegevens naar de cloud te sturen, kan continu leren.

Incrementeel of "eenmalig" leren kan beginnen met een zeer kleine set voorbeelden en de kennis ervan uitbreiden naarmate er meer gegevens worden geabsorbeerd. De mogelijkheid om te evolueren op basis van meer gegevens resulteert ook in een hogere nauwkeurigheid. Wanneer omscholing wordt uitgevoerd op de hardware van het apparaat, in plaats van omscholing in de cloud, blijven de gegevens en applicaties privé en veilig.

"Meestal hebben AI-projecten in het begin niet voldoende grote datasets en hebben ze geen toegang tot cloud computing voor omscholing, dus blijven ze hun leverancier betalen als er iets verandert", zegt Mankar. "Over het algemeen raden we incrementeel leren aan omdat het de meeste tekortkomingen van overdrachtsleren aanpakt en aanzienlijk lagere computerkosten vereist."