Tìm hiểu knowledge distillation và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP CƠNG NGHỆ THƠNG TIN TÌM HIỂU KNOWLEDGE DISTILLATION VÀ ỨNG DỤNG GVHD: ThS QCH ĐÌNH HỒNG SVTH : NGUYỄN MINH KHOA S K L0 1 6 Tp Hồ Chí Minh, năm 2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN KỸ THUẬT DỮ LIỆU NGUYỄN MINH KHOA – 19133029 Đề tài: TÌM HIỂU KNOWLEDGE DISTILLATION VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP KỸ SƯ NGÀNH KỸ THUẬT DỮ LIỆU GIÁO VIÊN HƯỚNG DẪN ThS QCH ĐÌNH HỒNG KHỐ 2019-2023 ĐH SƯ PHẠM KỸ THUẬT TP.HCM KHOA CNTT ******** XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên 1: Nguyễn Minh Khoa MSSV: 19133029 Ngành: Kỹ thuật liệu Tên đề tài: Tìm hiểu Knowledge Distillation ứng dụng Họ tên Giáo viên hướng dẫn: NHẬN XÉT: Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không: Đánh giá loại: Điểm: Tp Hồ Chí Minh, ngày tháng năm 2023 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) ĐH SƯ PHẠM KỸ THUẬT TP.HCM KHOA CNTT ******** XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên 1: Nguyễn Minh Khoa MSSV: 19133029 Ngành: Kỹ thuật liệu Tên đề tài: Tìm hiểu Knowledge Distillation ứng dụng Họ tên Giáo viên phản biện: NHẬN XÉT: Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không: Đánh giá loại: Điểm: Tp Hồ Chí Minh, ngày tháng năm 2023 Giáo viên phản biện (Ký & ghi rõ họ tên) LỜI CẢM ƠN Lời với chân thành tình cảm sâu sắc nhất, tơi bày tỏ lịng biết ơn đến tất thầy cô trường đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh tạo điều kiện, hỗ trợ, giúp đỡ suốt q trình học tập vừa qua Đồng thời, tơi xin gửi lời cảm ơn đến Ban Chủ nhiệm khoa Công nghệ Thông tin thầy cô khoa Công nghệ Thông tin - trường Đại học Sư phạm Kỹ Thuật Thành Phố Hồ Chí Minh tạo mơi trường học tập làm việc chuyên nghiệp, nhiệt tình giảng dạy chúng tơi thực đề tài nói riêng sinh viên khoa Cơng nghệ Thơng tin nói chung trình học tập làm việc trường Đặc biệt, xin chân thành gửi lời cảm ơn tới thầy ThS Qch Đình Hồng - giáo viên hướng dẫn, người trực tiếp giúp đỡ, dẫn tận tình, hướng dẫn tơi hồn thành tốt khố luận tốt nghiệp thời gian qua Trong trình nghiên cứu đề tài, tơi có cố gắng định song kinh nghiệm thực tiễn cịn thiếu sót kinh nghiệm chun mơn cịn non yếu, báo cáo có thiếu sót hạn chế định Kính mong nhận phản hồi, đóng góp ý kiến bảo thêm q thầy để nhóm đạt kiến thức hữu ích nhất, nâng cao ý thức để phục vụ cho kỹ sau Tôi xin chân thành cảm ơn! PHỤ LỤC MỞ ĐẦU 1.1 Lý chọn đề tài .1 1.2 Mục tiêu đề tài 1.3 Đối tượng phạm vi nghiên cứu 1.3.1 Đối tượng nghiên cứu 1.3.2 Phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Kết dự kiến 2 NỘI DUNG .3 2.1 Tổng quan Deep Learning 2.1.1 Khái niệm Deep Learning 2.1.2 Các mơ hình Deep Learning 2.1.3 Khái niệm ANN 2.1.4 Cấu tạo q trình xử lý thơng tin ANN 2.1.5 Activation Function 2.1.5.1 Hàm Sigmoid .7 2.1.5.2 Hàm Tanh 2.1.5.3 Hàm Relu .9 2.1.5.4 Hàm Leakly ReLU 10 2.1.5.5 Hàm Softmax .11 2.2 Tổng quan Knowledge Distillation 12 2.2.1 Các dạng Knowledge Distillation 13 2.2.1.1 Response-based knowledge .14 2.2.1.2 Feature-based knowledge 15 2.2.1.3 Relation-based knowledge 16 2.2.2 Huấn luyện Knowledge Distillation 16 2.2.2.1 Offline distillation 17 2.2.2.2 Online distillation 17 2.2.2.3 Self distillation 18 2.2.3 Thuật toán Distillation .18 2.2.3.1 Adversarial distillation .18 2.2.3.2 Multi-Teacher distillation 19 2.2.3.3 Cross-modal distillation 20 2.3 Phương pháp Response-Based Knowledge 22 2.3.1 Mơ hình Teacher - Student 22 2.3.2 Temperature scale 22 2.3.3 Distillation loss 23 2.4 Data augmentation 26 2.4.1 Thách thức vấn đề data collection 26 2.4.2 Các phương pháp phổ biến Data Augmentation 27 2.5 Ứng dụng 29 2.5.1 Phân loại ảnh có áp dụng Knowledge Distillation 29 2.5.1.1 Giới thiệu toán .29 2.5.1.2 Vấn đề toán phân loại ảnh .29 2.5.2 Giới thiệu tập liệu .29 2.5.3 Các thư viện cần thiết 30 2.5.3.1 Môi trường 31 2.5.3.2 Thư viện .31 2.5.4 Thực nghiệm .32 2.5.4.1 Chuẩn hoá liệu .32 2.5.4.2 Huấn luyện mơ hình 32 2.5.4.2.1 Mơ hình teacher 33 2.5.4.2.2 Mơ hình student khơng sử dụng distillation loss .35 2.5.4.2.3 Mơ hình student sử dụng distillation loss 38 2.5.3.3 Đánh giá mơ hình 38 Kết luận 39 3.1 Kết đạt .39 3.2 Hướng phát triển .39 DANH MỤC HÌNH ẢNH Hình Kiến trúc mạng ANN Hình Quá trình xử lý ANN Hình Đồ thị hàm Sigmoid đạo hàm Sgimoid Hình Đồ thị hàm Tanh đạo hàm Tanh Hình Đồ thị hàm ReLU đạo hàm ReLU .10 Hình Đồ thị hàm Leaky ReLU 11 Hình Mơ hình Teacher - Student cho Knowledge Distillation 12 Hình Các dạng Knowledge Distillation 13 Hình Response-based knowledge distillation 14 Hình 10 Feature-based knowledge distillation 15 Hình 11 Relation-based knowledge distillation 16 Hình 12 Types of knowledge distillation training schemes 17 Hình 13 Kiến trúc Adversarial Distillation 19 Hình 14 Kiến trúc Multi-Teacher Distillation .20 Hình 15 Kiến trúc Cross-Model Distillation .21 Hình 16 Phân phối xác suất softmax softmax temperature 23 Hình 17 Sơ đồ Response base distillation 25 Hình 18 Các loại khớp liệu có mơ hình .26 Hình 19 Các phương pháp Data Augmentation 28 Hình 20 Các vật thể tập CIFAR-10 30 Hình 21 ví dụ tensor khởi tạo ngẫu nhiên tạo torch.rand(5,3) .32 Hình 22 Kiến trúc mạng mơ hình Teacher 33 Hình 23 Kiến trúc Densenet tập CIFAR-10 33 Hình 24 Conv1 34 Hình 25 Cái nhìn sâu Dense-100-1 Dense Block Transition Block 34 Hình 26 Kiến trúc mạng mơ hình Student 35 Hình 27 Conv1 36 Hình 28 Layer 36 Hình 29 Layer 2, Block 1, Conv 37 Hình 30 Layer 37 MỞ ĐẦU 1.1 Lý chọn đề tài Hiện với phát triển phần cứng mạng Deep Neural Network trở nên phổ biến Các vấn đề Computer Vision, Natural Language Processing đạt thành công định Nhưng bên cạnh mơ hình Deep Neural Network thường sâu có số lượng tham số lớn Sẽ khó việc triển khai thiết bị cấu hình yếu giới hạn phần cứng Chính mà Knowledge Distillation đời nhằm mục đích tạo mơ hình nhỏ gọn học từ mơ hình phức tạp đảm bảo độ xác cao, mơ hình phù hợp để triển khai thiết bị cạnh, đặc biệt thiết bị cấu hình yếu 1.2 Mục tiêu đề tài Trong đề tài này, tơi tập trung tìm hiểu mạng Convolutional Neural Network, đồng thời áp dụng phương pháp Knowledge Distillation cho mơ hình CNN Từ cho mơ hình nhỏ gọn đảm bảo độ xác cao 1.3 Đối tượng phạm vi nghiên cứu 1.3.1 Đối tượng nghiên cứu Phân loại ảnh tập liệu CIFAR-10 thơng qua mơ hình CNN phương pháp Knowledge Distillation để nhận dạng phân loại 1.3.2 Phạm vi nghiên cứu Phạm vi: liệu CIFAR-10, mơ hình tạo huấn luyện Colab Phạm vi thời gian: khoảng 16 tuần từ 15/02/2023 đến 15/06/2023 - Ứng dụng yêu cầu nhiều liệu: Các ứng dụng thị giác máy tính giới thực liên quan đến nhiệm vụ thị giác máy tính phức tạp địi hỏi mơ hình, liệu nhãn ngày phức tạp - Nguồn liệu hạn chế: Khi nhiệm vụ trở nên phức tạp yêu cầu thu thập liệu trở nên khó khăn Một số tình xảy giới thực, việc xử lý xác tình quan trọng - Khó thu thập liệu: Quá trình tạo liệu đào tạo chất lượng cao khó khăn tốn - Tăng chí phí: Chi phí tăng theo độ phức tạp tác vụ chuyển từ labeling frames sang labeling objects, keypoints chí pixel hình ảnh - Bảo mật liệu: Quyền riêng tư thị giác máy tính trở thành vấn đề làm phức tạp thêm việc thu thập liệu Điều giới hạn mức độ liệu giới thực thu thập thúc đẩy nhu cầu đào tạo mơ hình học sâu tập liệu nhỏ - 2.4.2 Các phương pháp phổ biến Data Augmentation Geometric transformations: Tăng cường liệu dạng ảnh cách lật ngang dọc, cắt ngẫu nhiên, xoay, dịch chuyển hình ảnh sang trái/phải/lên/xuống chèn nhiễu - Color distortion: Bao gồm thay đổi độ sáng, màu sắc độ bão hòa hình ảnh Việc thay đổi phân bố màu thao tác với biểu đồ kênh màu RGB sử dụng để tăng khả chống lại sai lệch ánh sáng mơ hình - Kernel filters: Sử dụng kỹ thuật xử lý hình ảnh để làm sắc nét làm mờ hình ảnh Những phương pháp nhằm mục đích tăng chi tiết đối tượng quan tâm để cải thiện khả chống nhòe chuyển động - Mixing images: Áp dụng kỹ thuật để trộn hình ảnh khác lại với cách lấy trung bình giá trị pixel chúng cho kênh RGB cắt 27 xén vá hình ảnh ngẫu nhiên Phương pháp cho thấy hiệu việc tăng hiệu suất mơ hình - Information deletion: Phương pháp xóa ngẫu nhiên, cắt bỏ để che giấu phần hình ảnh ngẫu nhiên, sử dụng vá chứa đầy giá trị pixel ngẫu nhiên cách tối ưu Xóa mức thơng tin sử dụng để tăng khả chống tắc nghẽn nhận dạng hình ảnh Hình 19 Các phương pháp Data Augmentation 28 2.5 Ứng dụng 2.5.1 Phân loại ảnh có áp dụng Knowledge Distillation 2.5.1.1 Giới thiệu tốn Hiện với phát triển cơng nghệ tốn phân loại ảnh nhiệm vụ phổ biến Computer Vision Mục tiêu tốn phân loại hình ảnh đầu vào thành nhãn đầu 2.5.1.2 Vấn đề toán phân loại ảnh Vấn đề liệu - Thu thập thêm liệu: cần thiết số trường hợp tốn phân loại ảnh Tuy nhiên, điều khó thực vài trường hợp - Dữ liệu bị hạn chế: Khi yêu cầu trở nên phức tạp yêu cầu thu thập liệu trở nên khó khăn Một số yêu cầu xảy ra, việc xử lý xác yêu cầu quan trọng - Khó thu thập liệu: Q trình thu thập liệu có chất lượng cao khó khăn tốn - Tăng chí phí: Chi phí tăng theo độ phức tạp việc thu thâp liệu 2.5.2 Giới thiệu tập liệu Tập liệu CIFAR-10 (Canadian Institute for Advanced Research, 10 classes) tập liệu dạng ảnh, sử dụng rộng rãi computer vision Kể từ phát hành, tập liệu CIFAR-10 thường sử dụng toán phân loại Khi kỹ thuật tiên tiến đời CIFAR-10 liệu đáng tin cậy cho nhà nghiên cứu người học Tập liệu CIFAR-10 gồm 60000 ảnh, 45000 ảnh dùng cho tập train, 5000 ảnh cho tập val 10000 ảnh dùng cho tập test Các hình ảnh đánh nhãn như: airplane, automobile (but not truck or pickup truck), bird, cat, deer, dog, frog, horse, ship, and truck (but not pickup truck) Hình ảnh tập liệu CIFAR-10 dạng 32x32 (theo hình 14) 29 airplane automobile bird cat deer dog frog horse ship truck Hình 20 Các vật thể tập CIFAR-10 2.5.3 Các thư viện cần thiết Bài toán Knowledge Distillation thực Google Colab với thư viện pytorch, ngồi cịn sử dụng thêm thư viện khác matplotlib, numpy scikit – learn 30 2.5.3.1 Môi trường Google Colab sản phẩm Google Research cho thực thi chương trình Python qua trình duyệt, dùng để phân tích liệu, thực mơ hình machine learning, deep learning giảng dạy Google Colab khơng u cầu cài đặt cấu hình, tất chạy trình duyệt sử dụng tài nguyên máy tính từ CPU, GPU TPU tốc độ cao Google Google Colab cung cấp nhiều loại GPU, người dùng chọn loại GPU Colab, cấu hình GPU thay đổi theo thời gian Vì là dịch vụ miễn phí mà Google cung cấp nên Colab ưu tiên việc sử dụng tài nguyên, bên cạnh có giới hạn thời gian, thời gian sử dụng Colab lên đến 12h 2.5.3.2 Thư viện Thư viện Pytorch Pytorch framework phát triển Facebook, framework ưa chuộng lĩnh vực Deep Learning Ưu điểm Pytorch nhờ số lượng người dùng đông đảo, cộng đồng phát triển lớn mạnh Cho đến năm 2019 framework vươn lên vị trí thứ hai giới số lượng người dùng lĩnh vực Deep Learning Đây package sử dụng thư viện CUDA C++ giúp hỗ trợ tính tốn GPU nhằm gia tăng tốc độ xử lý mơ hình Package hướng tới hai mục tiêu chính: - Thay kiến trúc Numpy để tính tốn GPU - Cung cấp tốc độ xử lý cao linh hoạt Dạng liệu pytorch tensor Tensor liệu nhiều chiều tương tự ma trận numpy thêm tính chất để hoạt động GPU nhằm gia tăng tốc độ tính tốn 31 Hình 21 ví dụ tensor khởi tạo ngẫu nhiên tạo torch.rand(5,3) Thư viện Scikit – learn Scikit-learn thư viện mã nguồn mở cấp phép BSD, khuyến khích sử dụng học thuật thương mại Ngoài thư viện sử dụng phổ biến toán machine learning Cung cấp tập cơng cụ để giải tốn machine learning statistical modeling gồm: classification, regression, clustering, dimensionality reduction 2.5.4 Thực nghiệm 2.5.4.1 Chuẩn hoá liệu Trước vào xây dựng mơ hình ảnh tập liệu cần xử lý với bước sau: - Resize ảnh: Để đưa ảnh dạng 32x32 - Transformation ảnh: Áp dụng cách transformation khác ảnh xoay, lật, lọc màu, thay đổi độ sắc nét ảnh, - Normalization ảnh: Để giảm thiểu khác biệt illumination - Add noise ảnh: Thêm ngẫu nhiên nhiễu vào ảnh để mơ hình khái qt tốt 2.5.4.2 Huấn luyện mơ hình Tập huấn luyện gồm 60000 ảnh chia làm phần, 45000 ảnh dùng cho tập train, 5000 ảnh dùng cho tập val 10000 ảnh cho tập test 32 2.5.4.2.1 Mô hình teacher Theo hình 22: Mơ hình teacher mơ hình pretrained DenseNet-BC (k = 12, depth = 100) Mơ hình sử dụng phương pháp optimizer = ’SGD’, learning rate = 0.1 train 182 epoch Hình 22 Kiến trúc mạng mơ hình Teacher Kiến trúc mơ hình DenseNet-BC Hình 23 Kiến trúc Densenet tập CIFAR-10 33 Theo hình 23, Kiến trúc DenseNet-BC gồm lớp convolution, theo sau cặp dense-block với transition-block, dense-block thứ theo sau global average pooling để giảm 1x1x342 Vector cung cấp cho lớp dense Hình 24 Conv1 Theo hình 24, Sử dụng lớp 3x3 convolution với batch normalization, với padding stride = Hình 25 Cái nhìn sâu Dense-100-1 Dense Block Transition Block 34 Các Dense Block cấu tạo 16 lớp Dense Số Feature Maps tăng theo tốc độ 24, 36, 48, lớp Dense Block cuối 216 Transition Block nằm dense-block để giảm feature map xuống nửa với theta = 0.5 Giảm size feature map xuống nửa với stride = 2, kernel size = padding = Mơ hình teacher với số lượng tham số khoảng: 0.769 triệu tham số Mơ hình DenseNet-BC (k = 12, depth = 100) pretrained model Kết mơ hình teacher đánh giá tập val với Accuracy = 0.967 2.5.4.2.2 Mơ hình student khơng sử dụng distillation loss Theo hình 26: Mơ hình student mơ hình Resnet-20 Mơ hình sử dụng phương pháp optimizer = SGD, learning_rate = 0.1 train 10 epoch Hình 26 Kiến trúc mạng mơ hình Student Kiến trúc mơ hình Resnet-20 35 Hình 27 Conv1 Đưa qua lớp conv 3x3 Với Stride = 1, Padding = Hình 28 Layer - Sử dụng lớp Conv 3x3 - Feature Maps có kích thước 32, 16, với lớp Conv cho Feature maps Ngoài số Filter 16, 32, 64 - Down Sampling đạt tăng Stride lên 36 Hình 29 Layer 2, Block 1, Conv Layer tương tự Layer 1, ngoại trừ Stride = 2, Padding = Hình 30 Layer Mơ hình student với số lượng tham số khoảng: 0.27 triệu tham số Mơ hình student (không sử dụng distillation loss) train google colab với thời gian khoảng 0.98 Kết mơ hình student (khơng sử dụng distillation loss) đánh giá tập val với accuracy = 0.91 37 2.5.4.2.3 Mô hình student sử dụng distillation loss Mơ hình student sử dụng distillation sử dụng phương pháp optimizer = ’SGD’ với temperature = train 182 epoch Mơ hình student (sử dụng distillation loss) train google colab với thời gian khoảng 2.4 Kết mơ hình student (khi sử dụng distillation loss) tâp val với accuracy = 0.925 2.5.3.3 Đánh giá mơ hình Đối với tốn độ đo sử dụng accuracy Bảng so sánh mơ hình student (khi khơng sử dụng distillation loss) với mơ hình teacher mơ hình student (khi sử dụng distillation loss) Số lượng Thời gian Val tham số huấn luyện Accuracy 0.769 triệu Pretrained 0.967 tham số model Student (không sử 0.27 triệu 0.98 0.91 dụng distillation loss) tham số Student (sử dụng 0.27 triệu 2.4 0.925 distillation loss) tham số Model Teacher Sau áp dụng distillation loss lên mơ hình student accuracy đạt tập test xấp xỉ 0.93 Đây kết tốt, accuracy tốt mơ hình student khơng áp dụng distillation loss xấp xỉ với mơ hình teacher dù tham số mơ hình student nhỏ nhiều so với mơ hình teacher Từ thấy knowledge distillation hiểu việc nén mô hình đảm bảo độ xác cao 38 Kết luận 3.1 Kết đạt Sau trình tìm hiểu Knowledge Distillation ứng dụng CIFAR-10 Kết đạt mô hinh Student áp dụng Distillation Loss cho độ chinh xác cao so với không sử dụng, cao xấp xỉ mơ hình Teacher Từ thấy phuong pháp Knowledge Distillation hoạt động hiệu việc thu gọn mơ hình đảm bảo độ xác cao Về mặt lý thuyết: - Hiểu rõ Deep Learning, Neural Network, toán phân loại ảnh - Hiểu rõ tính chất, đặc trưng Knowledge Distillation Về mặt ứng dụng: - Áp dụng Knowledge Distillation vào toán phân loại ảnh giúp tăng độ xác mơ hình có kích thước nhỏ 3.2 Hướng phát triển Dựa sở kiến thức có sẵn, tương lai tơi áp dụng Knowledge Distillation vào toán phức tạp hơn, đặc biệt mảng Computer Vision 39 TÀI LIỆU THAM KHẢO [1] Geoffrey Hinton el al., “Distilling the Knowledge in a Neural Network”, arXiv preprint arXiv:1503.02531, 2015 [2] Lin Wang and Kuk-Jin Yoon, “Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021 [3] Jianping Gou et al., “Knowledge Distillation: A Survey, International Journal of Computer Vision”, 2021 [4] Geoffrey Hinton, Oriol Vinyals and Jeff Dean “Distilling the Knowledge in a Neural Network” (Deep Learning and Representation Learning Workshop, 2014 [5] Pengguang Chen, Shu Liu, Hengshuang Zhao, Jiaya Jia “Distilling Knowledge via Knowledge Review”, 2021 [6] H Li, “Exploring knowledge distillation of Deep neural nets for efficient hardware solutions,” CS230 Report, 2018 [7] Romero, A., Ballas, N., Kahou, S E., Chassang, A., Gatta, C., & Bengio, Y Fitnets: “Hints for thin deep nets” arXiv preprint arXiv:1412.6550, 2014 [8] DenseNet on CIFAR10 [Online] Available: https://towardsdatascience.com/densenet-on-cifar10d5651294a1a8 [9] ResNets for CIFAR-10 [Online] Available: https://towardsdatascience.com/resnets-for-cifar-10e63e900524e0 [10] Image Data Augmentation for Computer Vision (2023 Guide) [Online] Available: https://viso.ai/computer-vision/image-data-augmentation-for-computer-vision/ [11] Knowledge distillation recipes [Online] Available: https://keras.io/examples/keras_recipes/better_knowledge_distillation/ 40