Transfer-Lernen vs. inkrementelles Lernen zum Trainieren neuronaler Netze

Update: 6. August 2023
Transfer-Lernen vs. inkrementelles Lernen zum Trainieren neuronaler Netze

Beim Transferlernen wird anwendbares Wissen, das in einem zuvor trainierten KI-Modell etabliert wurde, „importiert“ und als Grundlage für ein neues Modell verwendet. Nachdem Sie diese Abkürzung genommen haben, um ein vortrainiertes Modell zu verwenden, z. B. ein Open-Source-Bild oder ein NLP-Dataset, können neue Objekte hinzugefügt werden, um das Ergebnis für das jeweilige Szenario anzupassen.

Der Hauptnachteil dieses Systems ist die Genauigkeit. Die Feinabstimmung des vortrainierten Modells erfordert große Mengen aufgabenspezifischer Daten, um neue Gewichtungen oder Datenpunkte hinzuzufügen. Da es erforderlich ist, mit Ebenen im vortrainierten Modell zu arbeiten, um dorthin zu gelangen, wo es für die Erstellung des neuen Modells von Nutzen ist, sind möglicherweise auch spezialisiertere, maschinenlernende Fähigkeiten, Tools und Serviceanbieter erforderlich.

Bei der Verwendung für Edge-KI-Anwendungen beinhaltet Transfer Learning das Senden von Daten zur Umschulung in die Cloud, wodurch Datenschutz- und Sicherheitsrisiken entstehen. Sobald ein neues Modell trainiert ist, muss jedes Mal, wenn neue Informationen zu lernen sind, der gesamte Trainingsprozess wiederholt werden. Dies ist eine häufige Herausforderung in der Edge-KI, bei der sich Geräte ständig an Veränderungen im Feld anpassen müssen.

„In erster Linie geht es darum, dass es ein verfügbares Modell gibt, das Sie für Ihre Anwendung zum Laufen bringen können, was wahrscheinlich nur für sehr einfache KI geeignet ist, und dann benötigen Sie genügend Beispiele, um es richtig umzutrainieren“, sagt Brianchip-Mitbegründer Anil Mankar, „da dies erfordert, zur Umschulung in die Cloud und dann zurück zum Gerät zu gehen, ist das Transferlernen immer noch ein sehr komplexer und kostspieliger Prozess, obwohl es eine gute Option ist, wann und wo es möglich ist, es zu verwenden.“

Inkrementelles Lernen ist eine weitere Form, die häufig verwendet wird, um die zum Trainieren von Modellen verwendeten Ressourcen aufgrund ihrer Effizienz und Fähigkeit, neue und geänderte Dateneingaben aufzunehmen, zu reduzieren. Ein Edge-Gerät, das inkrementelles Lernen innerhalb des Geräts selbst durchführen kann, anstatt Daten an die Cloud zu senden, kann kontinuierlich lernen.

Inkrementelles oder „One-Shot“-Lernen kann mit einer sehr kleinen Anzahl von Stichproben beginnen und sein Wissen erweitern, wenn mehr Daten aufgenommen werden. Die Fähigkeit, sich auf der Grundlage von mehr Daten weiterzuentwickeln, führt auch zu einer höheren Genauigkeit. Wenn die Umschulung auf der Hardware des Geräts statt der Cloud-Umschulung durchgeführt wird, bleiben die Daten und die Anwendung privat und sicher.

„In den meisten Fällen verfügen KI-Projekte am Anfang nicht über ausreichend große Datensätze und keinen Zugang zum Cloud-Computing für Umschulungen, sodass sie ihren Anbieter bezahlen, wenn sich etwas ändert“, sagt Mankar. „Wir empfehlen im Allgemeinen inkrementelles Lernen, da es die meisten Mängel des Transferlernens behebt und drastisch niedrigere Rechenkosten erfordert.“