신경망 훈련을 위한 전이 학습과 증분 학습

업데이트: 6년 2023월 XNUMX일
신경망 훈련을 위한 전이 학습과 증분 학습

전이 학습에서 이전에 훈련된 AI 모델에서 확립된 적용 가능한 지식은 "가져오기"되어 새 모델의 기초로 사용됩니다. 오픈 소스 이미지 또는 NLP 데이터 세트와 같은 사전 훈련된 모델을 사용하는 이 바로 가기를 사용한 후 새 개체를 추가하여 특정 시나리오에 대한 결과를 사용자 지정할 수 있습니다.

이 시스템의 주요 단점은 정확성입니다. 사전 훈련된 모델을 미세 조정하려면 새로운 가중치 또는 데이터 포인트를 추가하기 위해 많은 양의 작업별 데이터가 필요합니다. 새 모델을 생성하는 데 가치가 있는 위치에 도달하기 위해 사전 훈련된 모델의 계층으로 작업해야 하므로 더 전문화되고 기계 학습에 정통한 기술, 도구 및 서비스 공급업체가 필요할 수도 있습니다.

에지 AI 애플리케이션에 사용되는 경우 전이 학습에는 재교육을 위해 데이터를 클라우드로 전송하여 개인 정보 보호 및 보안 위험이 발생합니다. 새로운 모델이 학습되면 학습할 새로운 정보가 있을 때마다 전체 학습 프로세스를 반복해야 합니다. 이는 기기가 현장의 변화에 ​​지속적으로 적응해야 하는 엣지 AI에서 자주 발생하는 문제입니다.

Brianchip 공동 설립자는 "가장 중요한 것은 응용 프로그램에 사용할 수 있는 사용 가능한 모델이 있다는 것입니다. 이는 매우 기본적인 AI 외에는 가능성이 없으며 적절하게 재교육하려면 충분한 샘플이 필요합니다."라고 말합니다. Anil Mankar는 "재교육을 위해 클라우드로 이동한 다음 다시 기기로 돌아가야 하기 때문에 전이 학습은 여전히 ​​매우 복잡하고 비용이 많이 드는 프로세스이지만 언제 어디서나 사용할 수 있는 좋은 옵션입니다."

증분 학습은 효율성과 새롭고 변경된 데이터 입력을 수용할 수 있는 능력 때문에 모델을 훈련하는 데 사용되는 리소스를 줄이는 데 자주 사용되는 또 다른 형태입니다. 데이터를 클라우드로 보내는 것이 아니라 기기 자체 내에서 점진적 학습을 수행할 수 있는 에지 기기는 지속적으로 학습할 수 있습니다.

증분식 또는 "일회성" 학습은 매우 작은 샘플 세트로 시작할 수 있으며 더 많은 데이터가 흡수됨에 따라 지식을 확장할 수 있습니다. 더 많은 데이터를 기반으로 진화할 수 있는 능력은 또한 더 높은 정확도로 이어집니다. 기기의 하드웨어에서 재교육이 수행되면 클라우드 재교육 대신 데이터와 애플리케이션이 비공개로 안전하게 유지됩니다.

Mankar는 "대부분의 경우 AI 프로젝트는 초기에 충분한 데이터 세트를 갖고 있지 않고 재교육을 위한 클라우드 컴퓨팅에 액세스할 수 없기 때문에 변경 사항이 있을 때마다 공급업체에 계속 비용을 지불합니다."라고 말합니다. "전이 학습의 대부분의 단점을 해결하고 컴퓨팅 비용을 크게 줄여야 하기 때문에 일반적으로 증분 학습을 권장합니다."