2.2. Phương pháp học chuyển giao trên CNN
2.2.3. Vai trị của học chuyển giao
2.1.3.1. Chuyển giao tri thức
Trong quá trình bùng nổ của mạng học sâu, các tài nguyên về trí tuệ nhân tạo ngày càng dồi dào. Song song với quá trình phát triển đĩ, ngày càng cĩ nhiều các mơ hình pretrain cĩ chất lượng tốt và độ chính xác cao. [8]
55
Lý thuyết về học chuyển giao được Lorien Pratt thực nghiệm lần đầu năm 1993 và sau đĩ viết lại nĩ dưới dạng một lý thuyết tốn học vào năm 1998 đã hiện thực hĩa ý tưởng về chuyển giao tri thức giữa các mơ hình như giữa con người với nhau.
Một mơ hình đã cĩ khả năng tận dụng lại các tri thức đã huấn luyện trước đĩ và cải thiện lại trên tác vụ phân loại của nĩ.
2.1.3.2. Cải thiện accuracy và tiết kiệm chi phí huấn luyện
Ví dụ trong bài tốn phân loại chĩ và mèo. Nếu huấn luyện từ đầu, bạn sẽ tốn nhiều epochs huấn luyện hơn để đạt được độ chính xác cao. Tuy nhiên nếu bạn biết tận dụng lại các mơ hình đào tạo trước thì sẽ cần ít epochs huấn luyện hơn để đạt được một độ chính xác mong đợi. Thậm chí độ chính xác cĩ thể lớn hơn so với khi khơng áp dụng học chuyển giao. [8]
Hình 2.9. So sánh hiệu suất mơ hình trước và sau khi áp dụng học chuyển giao. (Nguồn: Handbook Of Research On Machine Learning Applications and Trends: (Nguồn: Handbook Of Research On Machine Learning Applications and Trends: Algorithms, Methods and Techniques).
Từ đồ thị ta cĩ thể thấy sử dụng học chuyển giao sẽ mang lại 3 lợi thế chính:
• Cĩ điểm khởi đầu của accuracy tốt hơn (higher start). • Accuracy cĩ tốc độ tăng nhanh hơn (higher slope).
• Đường tiệm cận của độ chính xác tối ưu cao hơn (higher asymptote). 2.1.3.3. Hiệu quả với dữ liệu nhỏ
56
Trong trường hợp bộ dữ liệu cĩ kích thước q nhỏ và khĩ cĩ thể tìm kiếm và mở rộng thêm thì các mơ hình được huấn luyện từ chúng sẽ khĩ cĩ thể dự báo tốt. Tận dụng lại tri thức từ các mơ hình đào tạo trước với cùng tác vụ phân loại sẽ giúp các mơ hình được huấn luyện dự báo tốt hơn với dữ liệu mới vì mơ hình được học trên cả 2 nguồn tri thức đĩ là dữ liệu huấn luyện và dữ liệu mà nĩ đã được học trước đĩ.