CHƯƠNG 2 TỔNG QUAN VỀ HỌC MÁY, HỌC SÂU
3.4. Phương pháp học tập chuyển giao (Tranfer learning)
Phương pháp học tập chuyển giao là việc sử dụng lại các mơ hình đã được đào tạo về một vấn đề trước đó. Nó đang được phổ biến rộng rãi trong Deep Learning vì có thể đào tạo các mạng thần kinh sâu hơn với sự hạn chế dữ liệu. Điều này rất hữu ích trong lĩnh vực khoa học dữ liệu vì hầu hết các dữ liệu trên thực tế rất ít và cũng khơng chính xác.
Trong học tập chuyển giao, kiến thức mà mơ hình đã học được sẽ áp dụng cho những bài toán khác nhưng phải liên quan đến kiến thức đã học. Về cơ bản, việc học này cố gắng khai thác những gì đã học được trong các nhiệm vụ trước để cải thiện tính khái quát ở một nhiệm vụ khác. Thay vì bắt đầu huấn luyện lại mơ hình từ đầu, học tập sử dụng lại các pretrained model để giải quyết một nhiệm vụ có liên quan đến cái mà nó đã học.
Các mạng nơ-ron thơng thường sẽ phát hiện ra những đặc trưng góc cạnh ở những lớp phía trước, các hình dạng ở lớp giữa và các tính năng cụ thể ở các lớp sau cùng. Trong quá trình tranfer learning, các lớp đầu và giữa được giữ lại và chỉ đào tạo lại các lớp sau. Điều này tận dụng được những kiến thức mà mơ hình đã học ở lớp đầu và lớp giữa.
Trang | 58 Ưu điểm của học tập chuyển giao :
• Việc sử dụng pretrained model giúp giảm thời gian vào việc tạo ra một model mới để thực hiện một nhiệm vụ mới mà dựa trên những nhiệm vụ đã được học sẵn.
• Việc đào tạo mơ hình trên tập dữ liệu lớn rất tốn nhiều tài nguyên của máy tính, tranfer learning góp phần giảm đi thời lượng đạo tạo mơ hình.
• Rất nhiều trường hợp sử dụng phương pháp học tập chuyển giao cải thiện chất lượng dự đốn so với việc đào tạo một mơ hình từ đầu. Các mơ hình đào tạo sẵn có thể được đào tạo với dữ liệu lớn và được học tính khái qt hóa tốt hơn.
Hình 3.13: So sánh việc sử dụng tranfer learning và không sử dụng.
Nhược điểm của tranfer learning:
• Trong q trình thay đổi kiến trúc của các mơ hình đã được đào tạo sẵn, thêm bớt các lớp khơng đúng thì khi đào tạo, độ chính xác mơ hình có thể rất thấp, khi đó phải kiểm tra lại q trình chỉnh sửa các layer. Chỉ có thể sử dụng các mơ hình được đào tạo sẵn thực hiện nhiệm vụ cũ có liên quan đến nhiệm vụ mới.
Trang | 59