Tìm hiểu về few shot learning và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP CƠNG NGHỆ THƠNG TIN TÌM HIỂU VỀ FEW – SHOT LEARNING VÀ ỨNG DỤNG GVHD: ThS QUÁCH ĐÌNH HOÀNG SVTH : NGUYỄN ANH ĐẮC NGUYỄN THANH TÂN KỶ S K L0 Tp Hồ Chí Minh, năm 2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA CÔNG NGHỆ THÔNG TIN NGUYỄN ANH ĐẮC – 19133020 NGUYỄN THANH TÂN KỶ – 19133031 Đề Tài: TÌM HIỂU VỀ FEW – SHOT LEARNING VÀ ỨNG DỤNG KHÓA LUẬN TỐT NGHIỆP KỸ SƯ KỸ THUẬT DỮ LIỆU GIÁO VIÊN HƯỚNG DẪN ThS QCH ĐÌNH HỒNG KHĨA 2019 – 2023 ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên 1: Nguyễn Anh Đắc MSSV: 19133020 Họ tên Sinh viên 2: Nguyễn Thanh Tân Kỷ MSSV: 19133031 Ngành: Kỹ thuật liệu Tên đề tài: Tìm hiểu few – shot learning ứng dụng Họ tên giáo viên hướng dẫn: Qch Đình Hồng NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm Đề nghị cho bảo vệ hay khơng? Đánh giá loại: Điểm: Tp Hồ Chí Minh, ngày tháng năm 2023 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên 1: Nguyễn Anh Đắc MSSV: 19133020 Họ tên Sinh viên 2: Nguyễn Thanh Tân Kỷ MSSV: 19133031 Ngành: Kỹ thuật liệu Tên đề tài: Tìm hiểu few – shot learning ứng dụng Họ tên giáo viên phản biện: Huỳnh Xuân Phụng NHẬN XÉT Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: Tp Hồ Chí Minh, ngày tháng năm 2023 Giáo viên phản biện (Ký & ghi rõ họ tên) Trường ĐH Sư Phạm Kỹ Thuật TP.HCM Khoa: Công nghệ thông tin ĐỀ CƯƠNG LUẬN VĂN TỐT NGHIỆP Họ Tên SV thực 1: Nguyễn Anh Đắc Mã Số SV: 19133020 Họ Tên SV thực 2: Nguyễn Thanh Tân Kỷ Mã Số SV: 19133031 Thời gian làm luận văn: từ: 1/3/2023 Đến: 19/7/2023 Chuyên ngành: Kỹ thuật Dữ liệu Tên luận văn: Tìm hiểu few – shot learning ứng dụng GV hướng dẫn: ThS Qch Đình Hồng Nhiệm Vụ Của Luận Văn: Tìm hiểu sở lý thuyết few – shot learning Tìm hiểu tốn liên quan đến sở lý thuyết tìm hiểu Thực ứng dụng sở lý thuyết tìm hiểu để trực quan hóa liệu Đề cương viết luận văn: Phần MỞ ĐẦU CHƯƠNG 1: MỞ ĐẦU 1.1 Tính cấp thiết đề tài 1.2 Mục tiêu đề tài 1.3 Cách tiếp cận phương pháp nghiên cứu 1.4 Kết dự kiến đạt 1.5 Bố cục báo cáo Phần NỘI DUNG CHƯƠNG NỘI DUNG 2.1 Tổng quan few – shot learning 2.1.1 Định nghĩa 2.1.2 So sánh FSL với phương pháp học máy khác 2.1.3 Tầm quan trọng FSL 2.1.4 Phân loại FSL 2.2 Tổng quan deep learning 2.2.1 Deep learning 2.2.2 Thuật toán deep learning 2.3 Các phương pháp học máy FSL 2.3.1 Đặt vấn đề 2.3.2 Meta learning CHƯƠNG ỨNG DỤNG 3.1 Lĩnh vực ứng dụng 3.1.1 Thị giác máy tính 3.1.2 Xử lý ngơn ngữ tự nhiên 3.1.3 Phân loại âm 3.1.4 Robotics 3.1.5 Chăm sóc sức khỏe 3.2 Tình hình phát triển CHƯƠNG TRIỂN KHAI ỨNG DỤNG 4.1 Mục tiêu hướng tới 4.2 Dữ liệu 4.3 Mơ hình thuật tốn 4.4 Triển khai ứng dụng Phần KẾT LUẬN CHƯƠNG 5: KẾT LUẬN 5.1 Kết đạt 5.1.1 Ý nghĩa khoa học 5.1.2 Ý nghĩa thực tiễn 5.2 Hạn chế 5.3 Hướng phát triển Phần TÀI LIỆU THAM KHẢO LỜI CẢM ƠN Trong trình nghiên cứu đề tài, giáo viên hỗ trợ, hướng dẫn sinh viên cách nhiệt tình chu đáo Với tất kính trọng, chúng tơi xin bày tỏ lịng biết ơn sâu sắc đến thầy, theo dõi hướng dẫn suốt thời gian thực đề tài Đầu tiên, xin gửi lời cảm ơn sâu sắc đến Ban giám hiệu trường Đại học Sư phạm Kỹ Thuật Thành phố Hồ Chí Minh tạo điều kiện, mơi trường học tập, sở vật chất chất lượng hiệu để chúng tơi phát huy cách tốt việc nghiên cứu đề tài Đồng thời, xin gửi lời cảm ơn đến Ban chủ nhiệm khoa Công nghệ Thông tin Thầy, Cô khoa Công nghệ Thông tin - Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh tạo mơi trường học tập làm việc chuyên nghiệp, nhiệt tình phương pháp giảng dạy để chúng tơi thực tốt đề tài nói riêng sinh viên khoa Cơng nghệ Thơng tin nói chung q trình học tập làm việc trường Đặc biệt, xin gửi lời cảm ơn chân thành đến Thầy Qch Đình Hồng – Giáo viên hướng dẫn khóa luận tốt nghiệp – Khoa Cơng nghệ Thơng tin – Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh hướng dẫn, quan tâm, góp ý đồng hành giai đoạn khó khăn việc nghiên cứu thực đề tài Cũng khó lịng tránh khỏi sai sót hạn chế định việc thực đề tài Kính mong nhận phản hồi, đóng góp ý kiến bảo thêm từ Quý Thầy Cơ, để chúng tơi tiếp thu điều từ đạt kiến thức hữu ích, nâng cao trình độ để phục vụ cho nghiệp sau Xin chân thành cảm ơn! KẾ HOẠCH THỰC HIỆN Tuần Thời gian Nội dung công việc Tuần – 30/1 – 12/2 Lựa chọn xác định đề tài khóa luận tốt nghiệp Tuần – 13/2 – 26/2 Nghiên cứu sơ lược đề tài xây dựng khung sườn cho việc tìm hiểu Tuần – 27/2 – 12/3 Tìm hiểu khái niệm, cách tiếp cận cho toán few – shot learning Tuần 13/3 – 19/3 Tìm hiểu lý thuyết, loại few – shot learning Tuần 20/3 – 26/3 Tìm hiểu thuật tốn few – shot learning Tuần – 11 27/3 – 16/4 Tìm hiểu thuật tốn prototypical networks Tuần 12 17/4 – 23/4 Tìm hiểu deep learning – CNN, Resnet – 18 Tuần 13 24/4 – 30/4 Tìm hiểu ứng dụng few – shot learning lĩnh vực Tuần 14 1/5 – 7/5 Nghỉ lễ Tuần 15 8/5 – 14/5 Tìm hiểu nghiên số triển khai ứng dụng few – shot learning Tuần 16 15/5 – 21/5 Thực xây dựng mơ hình demo, hồn thiện báo cáo Ghi Tuần 17 – 18 22/5 – 4/6 Thực xây dựng mơ hình demo, hồn thiện báo cáo Tuần 19 5/6 – 11/6 Chỉnh sửa báo cáo, demo theo góp ý giáo viên hướng dẫn CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 23: Một số ký tự thuộc ký tự Japanese_(katakana) Hình 24: Một số ký tự thuộc ký tự Latin 56 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING 4.3 MƠ HÌNH VÀ THUẬT TOÁN Đầu tiên tiến hành xử lý liệu: Chuyển đổi hình ảnh ký tự sang định dạng phù hợp (tensor) để mơ hình xử lý Sau chuẩn hóa kích thước hình ảnh để đảm bảo tính qn q trình huấn luyện Xây dựng mơ hình prototypical networks:    Sử dụng mạng nơ-ron tích chập (CNN) để học đặc trưng từ hình ảnh ký tự Sau sử dụng lớp pooling để trích xuất đặc trưng quan trọng từ ảnh Xây dựng mơ hình prototypical networks cách tính tốn vector trung tâm cho lớp ký tự dựa mẫu huấn luyện Sử dụng hàm khoảng cách euclidean để đo độ tương đồng mẫu cần dự đoán vector trung tâm lớp (hình 26) Phân loại mẫu dựa khoảng cách tối thiểu từ mẫu đến vector trung tâm lớp ký tự Đào tạo mô hình đánh giá:    Chia tập liệu Omniglot thành tập huấn luyện tập kiểm tra Huấn luyện mơ hình prototypical networks tập huấn luyện, chu kỳ đào tạo chọn n lớp k hình ảnh từ lớp (k thường bé 10) để tính tốn cập nhật tham số mơ hình Đánh giá hiệu suất mơ hình tập kiểm tra cách tính tốn độ xác (accuracy) tập kiểm tra 4.4 TRIỂN KHAI ỨNG DỤNG Đầu tiên xử lý đầu vào liệu, liệu trải qua nhiều chuyển đổi (hình 25), đầu hình ảnh tensor kiểu liệu phù hợp cho việc đào tạo mơ hình chúng tơi Hình 25: Xử lý liệu đầu vào [28] 57 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 26: Mơ hình prototypical networks [28] Mơ hình có backbone mơ hình khác (cụ thể ứng dụng ResNet – 18 thư viện torch) dùng để trích xuất đặc trưng liệu Từ đặc trưng kết hợp với việc tính tốn vectơ đặc trưng trung bình lớp cần phân loại chúng tơi tính tốn khoảng cách euclidean để đưa dự đoán lớp mà hình ảnh cần dự đốn có khoảng cách nhỏ so với vectơ đặc trưng trung tâm Thực đào tạo mơ hình tập Omniglot để điều chỉnh tham số cho phù hợp với liệu hình 27 58 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 27: Thực đào tạo mơ hình [28] Lưu model để tái sử dụng cho việc phân loại ký tự (hình 28) Hình 28: Lưu mơ hình 4.5 KẾT QUẢ 4.5.1 Thử nghiệm mơ hình với giá trị khác Thử nghiệm số thay đổi N – way K – shot cho độ xác sau: 25 – way – shot (hình 29): Hình 29: 25 – way – shot 25 – way – shot (hình 30): 59 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 30: 25 – way – shot 25 – way 10 – shot (hình 31): Hình 31: 25 – way 10 – shot 10 – way – shot (hình 32): Hình 32: 10 – way – shot 60 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 33: Biểu đồ độ xác theo số lần training Hình 33: (biểu đồ) mơ tả thay đổi độ xác qua số lần training (episode), qua quan sát mơ hình cải thiện độ xác với số episode khoảng 5000 Như quan sát cung cấp nhiều hình ảnh cho lớp độ xác cải thiện Ở kết bên độ xác cung cấp 10 hình ảnh với hình ảnh khơng cải thiện nhiều, nên chọn với 25 lớp cần hình để mơ hình đạt kết tốt, với độ xác khoảng 99% 4.5.2 Ứng dụng web Chúng tơi sử dụng mơ hình lưu trước để nhận dạng cho kí tự giao diện web sử dụng flask – python module để phát triển ứng dụng web Hình 32 giao diện trang web sau triển khai: 61 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 34: Giao diện web Nhấp vào nút “SELECT IMAGE” để chọn ảnh cho việc nhận dạng, ảnh phải có tập hỗ trợ nên có tỷ lệ 1:1 để tránh ảnh bị biến dạng sau chuyển đổi ảnh Hình 35: Chọn ký tự để nhận diện Sau chọn ảnh đầu vào (hình 33) trang web trả kết nhận dạng hình 34: 62 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 36: Nhận diện thành cơng Hình 37: Giao diện web cho phép người dùng vẽ ký tự Hình 35 trang web nhóm phát triển thêm chức cho phép người dùng vẽ kỹ tự cần phân loại lên trang web Ngoài trang web cho phép người dùng thêm ký tự để phân loại ảnh 63 CHƯƠNG TRIỂN KHAI FEW – SHOT LEARNING Hình 38: Kết phân loại ảnh từ ký tự người dùng vẽ Hình 36 kết phân loại ảnh mơ hình sau nhận ký tự người dùng vừa vẽ 64 CHƯƠNG KẾT LUẬN FEW – SHOT LEARNING CHƯƠNG 5: KẾT LUẬN 5.1 KẾT QUẢ ĐẠT ĐƯỢC 5.1.1 Ý nghĩa khoa học Báo cáo đưa chủ đề quan trọng lĩnh vực học máy trí tuệ nhân tạo việc mà liệu trở nên ngày quan trọng việc thu thập liệu ngày khó khăn Vì lẽ FSL đời để khắc phục việc thiếu hụt liệu khơng có Nội dung báo cáo đưa sở lý thuyết giải pháp việc muốn giải toán học máy khơng có q nhiều liệu kèm mà không làm ảnh hưởng đến kết đào tạo mơ hình Thơng qua đề tài này, chúng tơi nằm bắt khái niệm FSL, cách hoạt động triển khai mơ hình nhận dạng chữ viết thơng qua thuật tốn prototypical networks Thơng qua việc triển khai mơ hình, chúng tơi tăng thêm hiểu biết, kỹ sử dụng python thư viện hỗ trợ cho việc triển khai mơ hình Bên cạnh đó, chúng tơi cịn nâng cao thêm khả đọc hiểu tài liệu, khả làm việc nhóm khả trình bày báo cáo khoa học 5.1.2 Ý nghĩa thực tiễn Chúng hiểu tầm quan trọng FSL trí tuệ nhân tạo ngày sống Chúng tơi biết nhiều phương pháp, mơ hình để diễn giải thuật toán học máy ứng dụng vào tốn cụ thể Thơng qua việc thực đề tài, biết việc diễn giải học máy trở thành hướng nghiên cứu phát triển đặc biệt doanh nghiệp Khả diễn giải mơ hình có nhiều ý nghĩa lĩnh vực thị giác máy tinh, xử lý ngôn ngữ tự nhiên, xử lý âm thanh, chăm sóc y tế, Trong lĩnh vưc này, việc giải thích mơ hình đưa định mà người dùng phải vài năm nghiên cứu, bác sĩ đưa phương pháp điều trị bệnh kịp thời cho người bệnh qua việc dự đốn bệnh tình FSL mà không cần nhiều liệu bệnh Bên cạnh đó, sau thực xây dựng mơ hình phân loại chữ viết kết hợp FSL giúp biết nhiều thư viện pytorch, biết rõ cách thức hoạt động mơ hình CNN phân loại hình ảnh 5.2 HẠN CHẾ Do hạn chế nguồn lực thời gian, tập trung vào nghiên cứu lý thuyết FSL Về phần triển khai mơ hình thực tế tập liệu Omniglot, gặp nhiều vấn đề triển khai mơ hình chưa có nhiều tài liệu cho việc triển khai cụ thể xung đột phiên cài đặt module python Do giới hạn sở vật chất, khơng có cấu hình máy đủ tốt nên nhóm chúng tơi thử nghiệm vài siêu tham số Chưa có kinh nghiệm giao diện app python nên giao diện chưa tối ưu Giới hạn kiến thức toán học khả đọc hiểu tiếng anh yếu tố cản trở việc nghiên cứu 65 CHƯƠNG KẾT LUẬN 5.3 FEW – SHOT LEARNING HƯỚNG PHÁT TRIỂN Lý thuyết trình bày báo cáo áp dụng cho số lĩnh vực định việc giải toán phân loại nhận dạng khuôn mặt, xử lý ngôn ngữ tự nhiên, xử lý âm thanh, chăm sóc y tế, Báo cáo nhiều hướng nghiên cứu tương lai như:   Nghiên cứu sâu thuật toán khác sử dụng FSL Nghiên cứu thuật toán DL khác sử dụng cho việc xử lý phân tích hình ảnh Về phần thực nghiệm, cải thiện giao diện ứng dụng nhận dạng nâng cấp lên trở thành ứng dụng game tập viết, nhận chữ cho trẻ em nhỏ Có thể thử nghiệm nhiều thuật tốn khác hơn, dùng thêm siêu tham số để cải thiện độ xác mơ hình Ngồi nghiên cứu áp dụng FSL cho ứng dụng hữu ích, gần gũi lĩnh vực y tế, đời sống, v.v 66 TÀI LIỆU THAM KHẢO [1] Yaqing Wang et al., "Generalizing from a Few Examples: A Survey on FewShot," 2019, pp - [2] V Lyashenko, "Understanding Few-Shot Learning in Computer Vision: What You Need to Know," neptune.ai, 21 / / 2023 [Online] Available: https://neptune.ai/blog/understanding-few-shot-learning-in-computer-vision [Accessed 12 / / 2023] [3] Yisheng Song et al., "A Comprehensive Survey of Few-shot Learning: Evolution, Applications, Challenges, and Opportunities," 2022, pp - [4] D Pham, "Giới thiệu Few-shot Learning Computer Vision," FPT Telecom, 20 / 12 / 2022 [Online] Available: https://blog.cads.live/gioi-thieufew-shot-learning-trong-computer-vision/ [Accessed 12 / / 2023] [5] "Deep Learning Tutorial," javatpoint, [Online] Available: https://www.javatpoint.com/deep-learning [Accessed 11 / / 2023] [6] "What is Deep Learning?," NetApp, [Online] Available: https://www.netapp.com/artificial-intelligence/what-is-deep-learning/ [Accessed 11 / / 2023] [7] "Introduction to Convolution Neural Network," geeksforgeeks, [Online] Available: https://www.geeksforgeeks.org/introduction-convolution-neuralnetwork/ [Accessed 12 / / 2023] [8] T M Cường, "Convolution - Tích chập giải thích code thực tế," TechMaster, / / 2019 [Online] Available: https://techmaster.vn/posts/35474/convolution-tich-chap-giai-thich-bang-codethuc-te [Accessed 12 / / 2023] [9] "What are convolutional neural networks?," IBM, [Online] Available: https://www.ibm.com/topics/convolutional-neural-networks [Accessed 12 / / 2023] [10] M Mandal, "Introduction to Convolutional Neural Networks (CNN)," / / 2021 [Online] Available: 67 https://www.analyticsvidhya.com/blog/2021/05/convolutional-neural-networkscnn/ [Accessed 14 / / 2023] [11] S A Afshine Amidi, "Convolutional Neural Networks cheatsheet," Stanford, [Online] Available: https://stanford.edu/~shervine/teaching/cs-230/cheatsheetconvolutional-neural-networks [Accessed 12 / / 2023] [12] T D Thang, "Giới thiệu mạng ResNet," VIBLO, 14 / / 2020 [Online] Available: https://viblo.asia/p/gioi-thieu-mang-resnet-vyDZOa7R5wj [Accessed / / 2023] [13] "Đắm Mình Vào Học Sâu," [Online] Available: https://d2l.aivivn.com/chapter_convolutional-modern/resnet_vn.html [Accessed / / 2023] [14] W Zi, L S Ghoraie, S Prince, "Few-Shot Learning & Meta-Learning | Tutorial," BOREALIS AI, 30 / / 2023 [Online] Available: https://www.borealisai.com/research-blogs/tutorial-2-few-shot-learning-andmeta-learning-i/ [Accessed 12 / / 2023] [15] G Koch et al., "Siamese Neural Networks for One-shot Image Recognition," in ICML deep learning workshop, vol 2, 2015, pp - [16] E Hoffer, N Ailon, "Deep Metric Learning Using Triplet Networks," 2014, pp - [17] Oriol Vinyals et al., "Matching Networks for One Shot Learning," in NeurIPS 2016, 2016, pp - [18] "K Means Clustering," Wikipedia, [Online] Available: https://en.wikipedia.org/wiki/K-means_clustering [Accessed 20 / / 2023] [19] Jake Smell et al., "Prototypical Networks for Few-shot Learning," in NeurIPS 2017, 2017, pp - [20] TonyKhanh, "Cross-Entropy Loss gì?," Tony Deep's Blogs, 17 / 07 / 2017 [Online] Available: https://tonydeep.github.io/tensorflow/2017/07/07/CrossEntropy-Loss.html? [Accessed 11 / 06 / 2023] [21] [22] X Chen, "Enhancing Prototypical Networks for Few-Shot," pp - Flood Sung et al., "Learning to Compare: Relation Network for Few-Shot Learning," in CVPR 2018, 2018, pp - 68 [23] Yisheng Song et al., "A Comprehensive Survey of Few-shot Learning: Evolution, Applications, Challenges, and Opportunities," 2022, p 15 [24] Mo Yu et al., "Diverse Few-Shot Text Classification with Multiple Metrics," New York, 2018, pp - [25] Yu Wang et al., "Few - Shot Continual Learning For Audio Classificaion," New York, 2021, p [26] Yan Wu et al., "Towards One Shot Learning by Imitation for Humanoid Robots," 2010, p [27] Jannatul Nayem et al., "Few Shot Learning For Medical Imaging: A Comparative Analysis Of Methodologies And Formal Mathematical Framework," 2023, pp - [28] E Bennequin, "Your Own Few-Shot Classification Model Ready in 15mn with PyTorch," SICARA [Online] [Accessed 14 / / 2023] 69