Transferência de aprendizagem versus aprendizagem incremental para treinamento de redes neurais

Atualização: 6 de agosto de 2023
Transferência de aprendizagem versus aprendizagem incremental para treinamento de redes neurais

Na aprendizagem por transferência, o conhecimento aplicável estabelecido em um modelo de IA previamente treinado é “importado” e usado como base de um novo modelo. Depois de usar este atalho de usar um modelo pré-treinado, como uma imagem de código aberto ou conjunto de dados PNL, novos objetos podem ser adicionados para personalizar o resultado para o cenário específico.

A principal desvantagem deste sistema é a precisão. O ajuste fino do modelo pré-treinado requer grandes quantidades de dados específicos da tarefa para adicionar novos pesos ou pontos de dados. Como isso requer o trabalho com camadas no modelo pré-treinado para chegar aonde tem valor para a criação do novo modelo, também pode exigir habilidades, ferramentas e fornecedores de serviços mais especializados e de aprendizado de máquina.

Quando usado para aplicativos de IA de ponta, a aprendizagem de transferência envolve o envio de dados para a nuvem para retreinamento, incorrendo em riscos de privacidade e segurança. Depois que um novo modelo é treinado, sempre que houver novas informações para aprender, todo o processo de treinamento precisa ser repetido. Este é um desafio frequente na IA de borda, onde os dispositivos devem se adaptar constantemente às mudanças no campo.

“Em primeiro lugar, é a questão de haver um modelo disponível que você possa fazer funcionar para seu aplicativo, o que provavelmente não é para nada além de IA muito básica, e então você precisa de amostras suficientes para retreiná-lo adequadamente”, diz Brianchip, co-fundador Anil Mankar, “uma vez que isso requer ir para a nuvem para retreinamento e depois voltar para o dispositivo, a aprendizagem por transferência ainda é um processo muito complexo e caro, embora seja uma boa opção quando e onde for possível usá-lo.”

O aprendizado incremental é outra forma frequentemente usada para reduzir os recursos usados ​​para treinar modelos devido à sua eficiência e capacidade de acomodar entradas de dados novas e alteradas. Um dispositivo de ponta que pode realizar aprendizado incremental dentro do próprio dispositivo, em vez de enviar dados para a nuvem, pode aprender continuamente.

O aprendizado incremental ou “único” pode começar com um conjunto muito pequeno de amostras e aumentar seu conhecimento à medida que mais dados são absorvidos. A capacidade de evoluir com base em mais dados também resulta em maior precisão. Quando o retreinamento é feito no hardware do dispositivo, em vez do retreinamento na nuvem, os dados e o aplicativo permanecem privados e seguros.

“Na maioria das vezes, os projetos de IA não têm conjuntos de dados grandes o suficiente no início e não têm acesso à computação em nuvem para reciclagem, então eles continuam pagando seu fornecedor sempre que alguma coisa muda”, diz Mankar. “Geralmente recomendamos o aprendizado incremental porque ele aborda a maioria das deficiências do aprendizado por transferência e requer custos de computação dramaticamente mais baixos.”