Học tập chuyển giao và học tập gia tăng để đào tạo mạng lưới thần kinh

Cập nhật: ngày 6 tháng 2023 năm XNUMX
Học tập chuyển giao và học tập gia tăng để đào tạo mạng lưới thần kinh

Trong học tập chuyển giao, kiến ​​thức áp dụng được thiết lập trong một mô hình AI đã được đào tạo trước đó được “nhập khẩu” và được sử dụng làm nền tảng của một mô hình mới. Sau khi thực hiện lối tắt này bằng cách sử dụng mô hình được đào tạo trước, chẳng hạn như hình ảnh nguồn mở hoặc tập dữ liệu NLP, các đối tượng mới có thể được thêm vào để tùy chỉnh kết quả cho tình huống cụ thể.

Điểm yếu chính của hệ thống này là độ chính xác. Việc tinh chỉnh mô hình được đào tạo trước yêu cầu một lượng lớn dữ liệu cụ thể cho từng tác vụ để thêm các trọng số hoặc điểm dữ liệu mới. Vì nó yêu cầu làm việc với các lớp trong mô hình được đào tạo trước để đến được nơi nó có giá trị để tạo ra mô hình mới, nó cũng có thể yêu cầu các kỹ năng, công cụ và nhà cung cấp dịch vụ chuyên biệt hơn, hiểu biết về máy học hơn.

Khi được sử dụng cho các ứng dụng AI tiên tiến, việc học chuyển giao liên quan đến việc gửi dữ liệu lên đám mây để đào tạo lại, gây ra rủi ro về quyền riêng tư và bảo mật. Một khi một mô hình mới được đào tạo, bất kỳ lúc nào có thông tin mới để học, toàn bộ quá trình đào tạo cần được lặp lại. Đây là một thách thức thường xuyên đối với AI tiên tiến, nơi các thiết bị phải liên tục thích ứng với những thay đổi trong lĩnh vực này.

“Đầu tiên và quan trọng nhất là vấn đề có một mô hình có sẵn mà bạn có thể thực hiện cho ứng dụng của mình, mô hình này không có khả năng dành cho bất cứ thứ gì ngoại trừ AI rất cơ bản, và sau đó bạn cần đủ mẫu để đào tạo lại nó một cách chính xác,” đồng sáng lập Brianchip cho biết Anil Mankar, “vì điều này đòi hỏi phải đi đến đám mây để đào tạo lại và sau đó quay lại thiết bị, việc học chuyển giao vẫn là một quá trình rất phức tạp và tốn kém, mặc dù đó là một lựa chọn tốt khi và ở đâu có thể sử dụng nó.”

Học tập gia tăng là một hình thức khác thường được sử dụng để giảm tài nguyên được sử dụng để đào tạo mô hình vì tính hiệu quả và khả năng thích ứng với các đầu vào dữ liệu mới và thay đổi. Một thiết bị cạnh có thể thực hiện học tập gia tăng trong chính thiết bị, thay vì gửi dữ liệu lên đám mây, có thể học liên tục.

Việc học tăng dần hoặc “học một lần” có thể bắt đầu với một nhóm mẫu rất nhỏ và nâng cao kiến ​​thức khi có nhiều dữ liệu hơn được hấp thụ. Khả năng phát triển dựa trên nhiều dữ liệu hơn cũng dẫn đến độ chính xác cao hơn. Khi việc đào tạo lại được thực hiện trên phần cứng của thiết bị, thay vì đào tạo lại trên đám mây, dữ liệu và ứng dụng vẫn riêng tư và an toàn.

Mankar nói: “Hầu hết thời gian, các dự án AI không có bộ dữ liệu đủ lớn và không có quyền truy cập vào điện toán đám mây để đào tạo lại, vì vậy họ tiếp tục trả tiền cho nhà cung cấp của mình bất cứ khi nào có bất kỳ điều gì thay đổi. “Chúng tôi thường khuyến nghị học tăng dần vì nó giải quyết hầu hết các thiếu sót của việc học chuyển tiếp và đòi hỏi chi phí tính toán thấp hơn đáng kể”.