LÊ MỸ HÀ GIÁO TRÌNH MẠNG NƠ RON HỌC SÂU VÀ ỨNG DỤNG NHÀ XUẤT BẢN ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ******************* TS LÊ MỸ HÀ GIÁO TRÌNH NHÀ XUẤT BẢN ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH - 2019 Giáo trình NHÀ XUẤT BẢN MẠNG NƠRON HỌC SÂU ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH VÀ ỨNG DỤNG Khu phố 6, Phường Linh Trung, Quận Thủ Đức, TP Hồ Chí Minh TS LÊ MỸ HÀ Nhà xuất ĐHQG-HCM tác giả/đối tác liên kết giữ quyền© Copyright © by VNU-HCM Press and author/ co-partnership All rights reserved Dãy C, số 10-12 Đinh Tiên Hồng, Phường Bến Nghé, Quận 1,TP Hồ Chí Minh ĐT: 028 6272 6361 – 028 6272 6390 E-mail: vnuhp@vnuhcm.edu.vn TRUNG TÂM SÁCH ĐẠI HỌC Dãy C, số 10-12 Đinh Tiên Hồng, Phường Bến Nghé, Quận 1, TP Hồ Chí Minh ĐT: 028 6681 7058 - 028 6272 6390 - 028 6272 6351 Website: https://nxbvnuhcm.edu.vn Chịu trách nhiệm xuất ĐỖ VĂN BIÊN Xuất năm 2019 Chịu trách nhiệm nội dung ĐỖ VĂN BIÊN Tổ chức thảo chịu trách nhiệm tác quyền TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM Website: http://hcmute.edu.vn Biên tập LÊ THỊ MINH HUỆ Sửa in THANH HÀ Số lượng 300 cuốn, Khổ 16 x 24 cm, ĐKKHXB số: 1989-2019/CXBIPH/ 04-103/ĐHQGTPHCM, Quyết định XB số 105/QĐ-ĐHQGTPHCM NXB ĐHQG-HCM cấp ngày 02/7/2019 In tại: Công ty TNHH In & bao bì Hưng Phú Đ/c: 162A/1 – KP1A – P An Phú – TX Thuận An – Bình Dương Nộp lưu chiểu: Quý III/2019 Trình bày bìa TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM Website: http://hcmute.edu.vn ISBN: 978 – 604 – 73 – 7082 – Giáo trình MẠNG NƠRON HỌC SÂU VÀ ỨNG DỤNG TS LÊ MỸ HÀ Bản tiếng Việt ©, TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM, NXB ĐHQGHCM CÁC TÁC GIẢ Bản quyền tác phẩm bảo hộ Luật Xuất Luật Sở hữu trí tuệ Việt Nam Nghiêm cấm hình thức xuất bản, chụp, phát tán nội dung chưa có đồng ý Trường Đại Học Sư Phạm Kỹ Thuật TP HCM Tác Giả ĐỂ CÓ SÁCH HAY, CẦN CHUNG TAY BẢO VỆ TÁC QUYỀN! MỤC LỤC LỜI NÓI ĐẦU Chương 1: GIỚI THIỆU VỀ MẠNG NƠ-RON VÀ HỌC SÂU 11 1.1 NGUYÊN TẮC CƠ BẢN CỦA MẠNG NƠ-RON 11 1.1.1 KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠ-RON 11 1.1.2 GIỚI THIỆU VỀ MẠNG NƠ-RON 12 1.1.3 THUẬT TOÁN PERCEPTRON 21 1.1.4 LAN TRUYỀN NGƯỢC VÀ MẠNG NHIỀU LỚP 32 1.1.5 MẠNG NHIỀU LỚP VỚI KERAS .50 1.1.6 BỐN THÀNH PHẦN TRONG CÔNG THỨC MẠNG NƠ-RON 63 1.1.7 KHỞI TẠO TRỌNG SỐ .65 1.1.8 KHỞI TẠO LIÊN TỤC 66 1.1.9 PHÂN PHỐI ĐỒNG NHẤT VÀ PHÂN PHỐI CHUẨN HÓA .66 1.1.10 ĐỒNG BỘ VÀ CHUẨN HÓA 67 1.1.11 SỰ KHÁC BIỆT TRONG TRIỂN KHAI KHỞI TẠO .67 1.1.12 TÓM TẮT 67 1.2 HỌC SÂU (DEEP LEARNING) LÀ GÌ? .68 1.2.1 LỊCH SỬ NGẮN GỌN VỀ MẠNG NƠ-RON VÀ HỌC SÂU .69 1.2.2 HỌC ĐẶC TRƯNG PHÂN CẤP 73 1.2.3 TÓM TẮT .76 Chương 2: GIỚI THIỆU MẠNG NƠ-RON TÍCH CHẬP .77 2.1 MẠNG NƠ-RON TÍCH CHẬP 78 2.1.1 HIỂU VỀ PHÉP TÍCH CHẬP .78 2.1.2 CÁC KHỐI XÂY DỰNG MẠNG CNN .89 2.1.3 KIẾN TRÚC VÀ MƠ HÌNH HUẤN LUYỆN CHUNG 104 2.1.4 CÁC CNN CĨ BẤT BIẾN ĐỐI VỚI PHÉP DỊCH, XOAY VÀ THU NHỎ KHÔNG? 108 2.1.5 TÓM TẮT 109 2.2 HUẤN LUYỆN MẠNG CNN ĐẦU TIÊN 110 2.2.1 CẤU HÌNH THƯ VIỆN KERAS VÀ CHUYỂN ĐỔI ẢNH SANG DẠNG MẢNG 110 2.2.2 SHALLOWNET 114 2.2.3 TÓM TẮT 125 2.3 LƯU VÀ TẢI MƠ HÌNH 124 2.3.1 MƠ HÌNH NỐI TIẾP VÀO Ổ CỨNG 124 2.3.2 TẢI MƠ HÌNH ĐƯỢC HUẤN LUYỆN TRƯỚC TỪ Ổ CỨNG .127 2.3.3 TÓM TẮT 130 2.4 LENET: NHẬN DẠNG CHỮ SỐ VIẾT TAY 130 2.4.1 KIẾN TRÚC LENET 131 2.4.2 TRIỂN KHAI LENET 132 2.4.3 LENET TRÊN TẬP DỮ LIỆU MNIST 134 2.4.4 TÓM TẮT 139 2.5 MINIVGGNET: ĐI SÂU HƠN VỚI CNNS 140 2.5.1 HỌ MẠNG VGG 141 2.5.2 TRIỂN KHAI MINIVGGNET 142 2.5.3 MINIVGGNET TRÊN CIFAR-10 146 2.5.4 TÓM TẮT 150 Chương 3: CƠ SỞ TOÁN HỌC CỦA MẠNG NƠ-RON .152 3.1 HỌC THEO THÔNG SỐ 152 3.1.1 GIỚI THIỆU VỀ PHÂN LOẠI TUYẾN TÍNH 153 3.1.2 VAI TRÒ CỦA CÁC HÀM TỔN THẤT 160 3.1.3 TÓM TẮT 167 3.2 PHƯƠNG PHÁP TỐI ƯU HÓA VÀ CHÍNH QUY HĨA .167 3.2.1 THUẬT TỐN SUY GIẢM ĐỘ DỐC (GRADIENT DESCENT) 168 3.2.2 GIẢM DẦN ĐỘ DỐC NGẪU NHIÊN (SGD) 180 3.2.3 MỞ RỘNG THÊM VỀ SGD .186 3.2.4 CHÍNH QUY HÓA .189 3.2.5 TÓM TẮT 196 3.3 LẬP LỊCH BIỂU TỶ LỆ HỌC 197 3.3.1 GIẢM TỶ LỆ HỌC .197 3.3.2 TÓM TẮT 206 3.4 HIỆN TƯỢNG CHƯA KHỚP VÀ QUÁ KHỚP 207 3.4.1 THẾ NÀO LÀ CHƯA KHỚP VÀ QUÁ KHỚP 207 3.4.2 GIÁM SÁT QUÁ TRÌNH HUẤN LUYỆN 212 3.4.3 TĨM TẮT 215 3.5 MƠ HÌNH KIỂM TRA 216 3.5.1 KIỂM TRA CÁC CẢI TIẾN MÔ HÌNH MẠNG NƠ-RON 216 3.5.2 KIỂM TRA MẠNG NƠ RON TỐT NHẤT 220 3.5.3 TÓM TẮT 223 3.6 TRỰC QUAN KIẾN TRÚC MẠNG 223 3.6.1 TẦM QUAN TRỌNG TRỰC QUAN KIẾN TRÚC MẠNG NƠ-RON .223 3.6.2 TÓM TẮT 228 3.7 MẠNG NƠ-RON TÍCH CHẬP VƯỢT TRỘI ĐỂ PHÂN LOẠI 228 3.7.1 CNN TIÊN TIẾN NHẤT VỚI KERAS 229 3.7.2 PHÂN LOẠI ẢNH VỚI BỘ DỮ LIỆU IMAGENET ĐƯỢC HUẤN LUYỆN TRƯỚC BẰNG CNN 233 3.7.3 TÓM TẮT 238 Chương 4: ỨNG DỤNG HỌC SÂU VÀO LĨNH VỰC THỊ GIÁC MÁY TÍNH 240 4.1 CẤU HÌNH MÔI TRƯỜNG CHO NHÀ PHÁT TRIỂN (DEVELOPTER) .240 4.1.1 THƯ VIỆN VÀ GÓI HỖ TRỢ 241 4.1.2 TRƯỜNG HỢP DỰA TRÊN ĐÁM MÂY (CLOUD) 242 4.1.3 TÓM TẮT 242 4.2 NGUYÊN TẮC CƠ BẢN VỀ ẢNH 242 4.2.1 PIXELS: KHỐI XÂY DỰNG ẢNH 243 4.2.2 HỆ THỐNG TỌA ĐỘ ẢNH .247 4.2.3 TỶ LỆ MỞ RỘNG VÀ TỶ LỆ KHUNG HÌNH 249 4.2.4 TÓM TẮT 251 4.3 KHÁI NIỆM CƠ BẢN VỀ PHÂN LOẠI ẢNH 252 4.3.1 PHÂN LOẠI ẢNH LÀ GÌ ? 253 4.3.2 CÁC KIỂU HỌC 257 4.3.3 PHÂN LOẠI HỌC SÂU .261 4.3.4 TÓM TẮT 266 4.4 CÁC BỘ DỮ LIỆU ĐỂ PHÂN LOẠI ẢNH .267 4.4.1 MNIST 267 4.4.2 ĐỘNG VẬT: CHÓ, MÈO VÀ GẤU TRÚC .268 4.4.3 CIFAR-10 269 4.4.4 SMILES .270 4.4.5 KAGGLE: DOGS & CATS 271 4.4.6 FLOWERS-17 .272 4.4.7 CALTECH-101 273 4.4.8 TINY IMAGENET 200 .273 4.4.9 ADIENCE 273 4.4.10 IMAGENET 274 4.4.11 INDOOR CVPR (NHẬN DẠNG CẢNH TRONG NHÀ) 276 4.4.12 STANFORD CARS 276 4.4.13 TÓM TẮT 276 4.5 TRÌNH PHÂN LOẠI ẢNH ĐẦU TIÊN 277 4.5.1 LÀM VIỆC VỚI BỘ DỮ LIỆU ẢNH 277 4.5.2 K-NN: TRÌNH PHÂN LOẠI ĐƠN GIẢN 286 4.5.3 TÓM TẮT 283 4.6 NHẬN DẠNG MẶT CƯỜI TRÊN KHUÔN MẶT 292 4.6.1 BỘ DỮ LIỆU SMILES .293 4.6.2 HUẤN LUYỆN MẶT CƯỜI BẰNG CNN 293 4.6.3 THỰC HIỆN NHẬN DẠNG MẶT CƯỜI THEO THỜI GIAN THỰC BẰNG CNN 298 4.6.4 TÓM TẮT 302 Chương 5: ỨNG DỤNG MẠNG NƠ-RON HỒI QUY VÀO LĨNH VỰC XỬ LÝ NGÔN NGỮ 304 5.1 MẠNG NƠ-RON HỒI QUY VÀ MẠNG LSTM 304 5.1.1 KHÁI NIỆM VỀ MẠNG NƠ-RON HỒI QUY 304 5.1.2 KHÁI NIỆM MẠNG LSTM .305 5.1.3 MƠ HÌNH CỦA MẠNG LSTM 306 5.1.4 DỰ ĐỐN TRÌNH TỰ .307 5.1.5 DỰ ĐỐN CHUỖI THỜI GIAN VỚI MƠ HÌNH LSTM .309 5.2 CHUYỂN ĐỔI LỜI NĨI THÀNH VĂN BẢN VÀ NGƯỢC LẠI .312 5.2.1 CHUYỂN ĐỔI LỜI NÓI THÀNH VĂN BẢN 312 5.2.2 LỜI NÓI DƯỚI DẠNG DỮ LIỆU .313 5.2.3 TÍNH NĂNG LỜI NĨI ÁNH XẠ LỜI NÓI THÀNH MA TRẬN 313 5.2.4 QUANG PHỔ: ÁNH XẠ LỜI NĨI THÀNH HÌNH ẢNH 315 5.2.5 XÂY DỰNG BỘ PHÂN LOẠI ĐỂ NHẬN DẠNG GIỌNG NÓI THƠNG QUA CÁC TÍNH NĂNG MEL-FREQUENCY CEPSTRAL COEFFICIENT (MFCC) 315 5.2.6 XÂY DỰNG BỘ PHÂN LOẠI ĐỂ NHẬN DẠNG GIỌNG NĨI THƠNG QUA QUANG PHỔ .316 5.2.7 CÁCH TIẾP CẬN NGUỒN MỞ ĐỂ NHẬN DẠNG GIỌNG NÓI 317 5.2.8 TƯƠNG LAI CỦA CHUYỂN ĐỔI LỜI NÓI THÀNH VĂN BẢN 318 5.3 PHÁT TRIỂN ỨNG DỤNG CHATBOT 318 5.3.1 TẠI SAO CÓ CHATBOT? 319 5.3.2 THIẾT KẾ VÀ CHỨC NĂNG CỦA CHATBOT .319 5.3.3 CÁC BƯỚC XÂY DỰNG CHATBOT .319 5.3.4 THỰC TIỄN TỐT NHẤT VỀ PHÁT TRIỂN CHATBOT 332 TÀI LIỆU THAM KHẢO 334 ... trọng, Lê Mỹ Hà 10 Chương 1: GIỚI THIỆU VỀ MẠNG NƠ -RON VÀ HỌC SÂU Trong chương trình bày nguyên tắc mạng n? ?ron bắt đầu với nghiên cứu mạng n? ?- ron nhân tạo cách mà chúng mô lại mạng n? ?- ron sinh học. .. mạng n? ?- ron thư viện Keras Khi hoàn thành chương này, người học có hiểu biết sâu sắc mạng n? ?- ron có sở để tìm hiểu sâu mạng n? ?- ron tích chập Hình 1.1: Một kiến trúc mạng n? ?- ron đơn giản Đầu vào... Mỗi có mạng n? ?- ron sinh học đời thực kết nối với hệ thống n? ?- ron thần kinh, mạng tạo thành từ số lượng lớn tế bào n? ?- ron liên kết với (tế bào n? ?- ron) Từ ? ?n? ?- ron? ? tế bào n? ?- ron, mạng có nghĩa