Transferir aprendizaje vs aprendizaje incremental para entrenar redes neuronales

Actualización: 6 de agosto de 2023
Transferir aprendizaje vs aprendizaje incremental para entrenar redes neuronales

En el aprendizaje por transferencia, el conocimiento aplicable establecido en un modelo de IA previamente entrenado se “importa” y se utiliza como base de un nuevo modelo. Después de tomar este atajo de usar un modelo previamente entrenado, como una imagen de código abierto o un conjunto de datos de PNL, se pueden agregar nuevos objetos para personalizar el resultado para el escenario en particular.

La principal desventaja de este sistema es la precisión. El ajuste fino del modelo preentrenado requiere grandes cantidades de datos específicos de la tarea para agregar nuevos pesos o puntos de datos. Dado que requiere trabajar con capas en el modelo previamente capacitado para llegar a donde tiene valor para crear el nuevo modelo, también puede requerir habilidades, herramientas y proveedores de servicios más especializados y con conocimientos de aprendizaje automático.

Cuando se utiliza para aplicaciones de inteligencia artificial en el borde, el aprendizaje por transferencia implica el envío de datos a la nube para su reentrenamiento, incurriendo en riesgos de privacidad y seguridad. Una vez que se entrena un nuevo modelo, cada vez que hay nueva información para aprender, es necesario repetir todo el proceso de capacitación. Este es un desafío frecuente en la inteligencia artificial de borde, donde los dispositivos deben adaptarse constantemente a los cambios en el campo.

"En primer lugar, está la cuestión de que haya un modelo disponible que pueda hacer que funcione para su aplicación, que probablemente no sea para nada más que una IA muy básica, y luego necesita suficientes muestras para volver a entrenarlo correctamente", dice el cofundador de Brianchip. Anil Mankar, "dado que esto requiere ir a la nube para volver a capacitarse y luego volver al dispositivo, el aprendizaje de transferencia sigue siendo un proceso muy complejo y costoso, aunque es una buena opción cuándo y dónde es posible usarlo".

El aprendizaje incremental es otra forma que se utiliza a menudo para reducir los recursos utilizados para entrenar modelos debido a su eficiencia y capacidad para adaptarse a entradas de datos nuevos y modificados. Un dispositivo de borde que puede realizar un aprendizaje incremental dentro del propio dispositivo, en lugar de enviar datos a la nube, puede aprender de forma continua.

El aprendizaje incremental o "de una sola vez" puede comenzar con un conjunto muy pequeño de muestras y aumentar su conocimiento a medida que se absorben más datos. La capacidad de evolucionar en función de más datos también da como resultado una mayor precisión. Cuando el reentrenamiento se realiza en el hardware del dispositivo, en lugar de reentrenamiento en la nube, los datos y la aplicación permanecen privados y seguros.

“La mayoría de las veces, los proyectos de inteligencia artificial no tienen conjuntos de datos lo suficientemente grandes al principio y no tienen acceso a la computación en la nube para volver a capacitarse, por lo que siguen pagando a sus proveedores cada vez que algo cambia”, dice Mankar. "Por lo general, recomendamos el aprendizaje incremental porque aborda la mayoría de las deficiencias del aprendizaje por transferencia y requiere costos informáticos drásticamente más bajos".