Mô hình học sâu cho bài toán phân loại tài liệu ảnh

fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf dsds 55 6676 fgfgfgsd dd d fgf gfgf565 an khoa luan rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân tôi, hướng dẫn khoa học Thầy TS Ngô Quốc Việt (Khoa Công Nghệ Thông Tin, trường ĐH Sư Phạm Tp Hồ Chí Minh) Các thơng tin số liệu luận văn có nguồn gốc rõ ràng, cụ thể, trích dẫn theo quy định hành Kết nghiên cứu luận văn hồn tồn trung thực, khách quan Tính tới thời điểm công bố kết chưa sử dụng hay cơng bố cơng trình nghiên cứu khác TP Hồ Chí Minh, tháng năm 2018 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf Học viên thực Lương Trần Ngọc Khiết fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf LỜI CÁM ƠN Lời đầu tiên, xin gửi lời cám ơn sâu sắc đến thầy TS Ngô Quốc Việt (Chủ nhiệm đề tài - GV Khoa CNTT Trường ĐH Sư Phạm TpHCM) – hướng dẫn Luận văn phát triển định hướng Tôi xin cám ơn thầy ThS Trần Sơn Hải (GV Khoa CNTT trường ĐH Sư Phạm TpHCM) góp cơng sức hướng dẫn, hỗ trợ thầy ThS Nguyễn Võ Thuận Thành (Phịng Khảo Khí Đảm bảo chất lượng, trường ĐH Sư Phạm TpHCM) bỏ nhiều thời gian hướng dẫn hỗ trợ việc thu thập, kiểm tra liệu để thực Luận văn Tôi gửi lời cám ơn chân thành đến quý Thầy/ Cô giảng dạy môn ngành Khoa Học Máy Tính khóa K27 trường ĐH Sư Phạm TpHCM cung cấp kiến thức quý báu làm tảng trình học tập nghiên cứu Đồng thời, xin gửi lời cám ơn đến quý Thầy/Cô Ban chủ nhiệm khoa Cơng Nghệ Thơng Tin phịng Sau Đại học hỗ trợ, tạo điều kiện cho tơi suốt thời gian qua Trong q trình thực tìm hiểu nghiên cứu đề tài, tơi gặp nhiều gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf khó khăn quý Thầy/ Cô hỗ trợ, động viên để hồn thành tốt Luận văn Cuối cùng, tơi xin bày tỏ lịng biết ơn đến gia đình, bạn bè động viên, hỗ trợ vật chất lẫn tinh thần suốt trình học tập nghiên cứu thực Luận văn Chân thành cám ơn quý vị TP Hồ Chí Minh, tháng năm 2018 Học viên thực Lương Trần Ngọc Khiết fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC HÌNH VẼ viii CHƯƠNG 1.1 GIỚI THIỆU TỔNG QUAN Tổng quan phân lớp ảnh 1.1.1 Quy trình phân lớp ảnh 1.1.2 Khảo sát hướng tiếp cận cho toán phân lớp ảnh 1.1.3 Mơ hình học sâu tốn phân lớp ảnh gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf 1.2 Động nghiên cứu 1.3 Mục tiêu phương pháp nghiên cứu 1.3.1 Mục tiêu 1.3.2 Đối tượng: 1.3.3 Phạm vi nghiên cứu: 1.3.4 Phương pháp nghiên cứu: 1.4 Đóng góp Luận Văn 1.5 Cấu trúc luận văn CHƯƠNG CÁC MƠ HÌNH HỌC SÂU CHO PHÂN LỚP 10 2.1 Lược sử mơ hình học sâu 10 2.2 Một số mơ hình học sâu 11 2.2.1 LeNet [34] 11 fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 2.2.2 AlexNet [36] 13 2.2.3 VGGNet [37] 16 2.2.4 GoogLeNet [38] 18 2.2.5 BKNet [39] 19 2.3 Mơ hình CNN [36] [41] 21 2.3.1 Tầng Convolutions 21 2.3.2 Tầng Pooling 25 2.3.3 Tầng Fully Connected (FC) 26 CHƯƠNG PHÁT TRIỂN MÔ HÌNH CNN 29 3.1 Bài toán phân lớp tài liệu giảng dạy 29 3.2 Mơ hình phân lớp ảnh 32 3.2.1 Chuẩn hóa kích thước 32 3.2.2 Sử dụng Feauture local binary patterns (LBP) 33 3.2.3 Cấu trúc mạng CNN 36 3.2.4 Đánh giá kết 39 3.3 Phân tích đánh giá 39 CHƯƠNG 4.1 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf KẾT QUẢ THỰC NGHIỆM 40 Cở sở liệu 40 4.1.1 Thu thập ảnh ban đầu tổ chức liệu 40 4.1.2 Dữ liệu đầu vào cho hệ thống máy học chuyên sâu 42 4.2 Môi trường thực nghiệm: 45 4.3 Phương pháp độ đo đánh giá mơ hình phân lớp 46 4.4 Kết thực nghiệm 48 4.4.1 Huấn luyện mạng 48 fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 4.4.2 Kiểm tra sau huấn luyện 56 4.4.3 Đánh giá liệu 61 CHƯƠNG KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 PHỤ LỤC gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf DANH MỤC THUẬT NGỮ VÀ VIẾT TẮT STT Ký hiệu viết tắt Tên đầy đủ AI Artificial Intelligence AP Average precision CNN Convolution neuron network Conv Convolution CUDA Compute Unified Device Architecture FC Fully connected layer FN False Negatives FP False Positives GPU 10 mAP Mean average precision 11 ML Machine Learning 12 PLA Perceptron Learning Algorithm 13 ReLU Rectified Linear Unit 14 TP True Positives 15 TN True Negatives 16 VGG Visual Geometry Group Graphics Processing Unit gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf DANH MỤC CÁC BẢNG Bảng 3-1 Minh họa thực tính LBP cho ma trận 34 Bảng 4-1 Bảng thống kê liệu số lượng dung lượng 45 Bảng 4-2 Định nghĩa giá trị cho việc đánh giá thực thi mô hình 47 Bảng 4-3 Thống kê liệu huấn luyện 49 Bảng 4-4 Thống kê liệu huấn luyện với số lần lặp 50 Bảng 4-5 Thống kê liệu huấn luyện với số lần lặp 52 Bảng 4-6 Thống kê liệu huấn luyện với mơ hình 32-64-fc 54 Bảng 4-7 Thống kê liệu huấn luyện với mô hình 16-32-fc 55 Bảng 4-8 Thống kê liệu kiểm tra 58 Bảng 4-9 Thống kê độ xác trung bình mơ hình TOP2 59 Bảng 4-10 Thống kê liệu chi tiết độ xác mơ hình TOP2 (p1) 59 Bảng 4-11 Thống kê liệu chi tiết độ xác mơ hình TOP2 (p2) 59 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf DANH MỤC HÌNH VẼ Hình 1-1 Các dạng ảnh: ảnh màu, ảnh xám, ảnh trắng đen Hình 1-2 Minh họa dạng học máy tự động từ AI đến DeepLearning [6] Hình 1-3 Ảnh chụp hình kết tìm kiếm cơng trình nghiên cứu khoa học từ năm 2017 với từ khóa “Image classification” SVM DeepLearining (ngày thực 20/10/2017) Hình 1-4 Mơ hình đề xuất giải tốn Hình 2-1 Lịch sử phát triển mơ hình mạng CNN [26] [27] 10 Hình 2-2 Cấu trúc mạng LeNet LeCun 1998 [34] 12 Hình 2-3 Minh họa cách tạo đặc trưng tạo tầng Convolution [34] 13 Hình 2-4 Kiến trúc mạng AlexNet – [36] 14 Hình 2-5 Biến đổi ảnh đầu vào qua lớp mạng AlexNet [36] 15 Hình 2-6 Kiến trúc mạng VGGNet [37] 17 Hình 2-7 Thơng số chi tiết mạng VGG [37] 17 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf Hình 2-8 Module Inception [38] 18 Hình 2-9 Kiến trúc mạng GoogLeNet [38] 19 Hình 2-10 Thơng số tầng mạng GoogLeNet[38] 19 Hình 2-11 Thông số tầng mạng BKNet [39] 20 Hình 2-12 Minh họa nhân chập chiều 32x32x3 [42] 22 Hình 2-13 Minh họa tăng số lượng nhân chập ảnh đầu vào 32x32x3 [42] 23 Hình 2-14 Minh họa zero-padding cho ảnh đầu vào 32x32x3 [42] 23 Hình 2-15 Minh họa phép tích chập ảnh stride = [42] 24 Hình 2-16 Minh họa phép tích chập ảnh stride = [42] 24 Hình 2-17 Minh họa sử dụng ReLU [42] 25 Hình 2-18 Minh họa phép tổ hợp max-pooling average-pooling [43] 26 Hình 2-19 Vị trí lớp Pooling minh họa mơ hình mạng [43] 26 Hình 2-20 Lớp kết nối đầy đủ phân loại hình ảnh đầu vào [43] 27 Hình 2-21 Minh họa kết nối đầy đủ dạng ma trận [43] 28 Hình 3-1 Minh họa toán phân loại tài liệu ảnh theo môn học 30 fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf Hình 3-2 Minh họa tốn phân loại tài liệu ảnh giảng dạy môn giáo dục thể chất 30 Hình 3-3 Thư viện mở OpenCV 31 Hình 3-4 Thư viện mở TensorFlow 31 Hình 3-5 Thư viện mở Keras 32 Hình 3-6 Bước - Chuẩn hóa kích thước hình ảnh 32 Hình 3-7 Minh họa giai đoạn chuẩn hóa kích thước ảnh đầu vào 33 Hình 3-8 Bước - Trích chọn đặc trưng phương pháp LBP 34 Hình 3-9 Minh họa giai đoạn trích chọn đặc trưng LBP 35 Hình 3-10 Bước – Hệ thống phân lớp ảnh CNN 36 Hình 3-11 Kiến trúc mạng đề xuất 37 Hình 3-12 Bước - Đánh giá kết 39 Hình 4-1 Cây thư mục lưu trữ liệu ảnh thu thập 41 Hình 4-2 Thơng số thư mục inputphoto 41 Hình 4-3 Tăng cường ảnh đầu vào 42 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf Hình 4-4 Trích chọn đặc trưng ảnh 43 Hình 4-5 Dữ liệu CNNData cho hệ thống phân loại 43 Hình 4-6 Minh họa trình huấn luyện kiểm tra hệ thống đề xuất 44 Hình 4-7 Ảnh chụp từ tập tin log lưu trữ liệu q trình huấn luyện mạng có cấu trúc khác 48 Hình 4-8 Biểu đồ huấn luyện với số lần lặp 51 Hình 4-9 Biểu đồ huấn luyện với epoche =5 53 Hình 4-10 Biểu đồ huấn luyện với mơ hình 32-64-fc 54 Hình 4-11 Biểu đồ huấn luyện với mơ hình 16-32-fc 55 Hình 4-12 Ảnh chụp từ file log lưu trữ liệu trình kiểm tra mạng có cấu trúc khác 57 Hình 4-13 Biểu đồ độ xác kiểm tra mơ hình thuộc TOP2 60 Hình 4-14 Mơ hình học sâu cho tốn phân loại tài liệu ảnh giáo dục thể chất 61 Hình 4-15 Minh họa sơ đồ xử lý mơ hình học sâu cho toán phân loại tài liệu ảnh giáo dục thể chất 62 fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 62 - Kết thúc phần huấn luyện mơ hình, chương trình lưu trữ mơ hình mạng kèm với thông số thiết kết (số tầng, trọng số liên kết, ) có cấu trúc dạng JSON H5 dùng cho việc kiểm tra phân loại sau - Phần kiểm tra phân loại, tái sử dụng mơ hình dựa tập tin lưu trữ (JSON H5), ảnh đầu vào thực bước tiền xử lý (chuẩn hóa hình ảnh trích chọn đặc trưng LBP) qua mơ hình CNN thiết lập sẵn gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf Hình 4-15 Minh họa sơ đồ xử lý mơ hình học sâu cho tốn phân loại tài liệu ảnh giáo dục thể chất fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 63 CHƯƠNG KẾT LUẬN Đánh giá kết quả: Luận văn nghiên cứu toán phân lớp ảnh, kĩ thuật phân lớp ảnh, tiêu chuẩn đánh giá hệ thống phân lớp ảnh độ xác, thời gian huấn luyện sở, thời gian huấn luyện Bên cạnh nghiên cứu mơ hình CNN cho tốn phân lớp ảnh Luận văn tìm hiểu mơ hình hố tốn mơ hình học sâu cho toán phân loại tài liệu ảnh giảng dạy từ yêu cầu thực tế cơng việc, tốn phân lớp ảnh với ảnh đầu vào ảnh phục vụ cho việc giảng dạy lấy từ nguồn khác có kích thước tồn khác chuẩn hố tỉ lệ ảnh để làm đầu vào cho mơ hình CNN Luận văn đề xuất mơ hình kiến trúc nển tảng mạng CNN cho việc phân loại ảnh thuộc môn học nào, với nhiều ưu điểm thoả mãn tính cấp thiết đề tài điều kiện thực tế Luận văn thực nghiệm mơ hình gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf có cấu trúc mạng tối ưu {conv32-conv32-pooling, conv64-conv64-pooling, fc} hai liệu: liệu điều chỉnh từ huấn tập nguồn ban đầu liệu kiểm tra không xuất tập huấn luyện Khuyến nghị: Về mặt lý thuyết, tiến hành nhiều thực nghiệm để từ tìm quy luật cơng thức xác định số lượng tối thiểu đơn vị mạng cho mơ hình giải tốn thay phải trải qua nhiều thực nghiệm Về mặt ứng dụng, xây dựng chương trình đóng gói tự học (tự huấn luyện) cập nhật ảnh theo phân loại môn học Chuyển đổi lưu trữ liệu thành dạng API (hướng dịch vụ người dùng) để chạy nhiều ứng dụng Tích hợp với hệ thống giảng dạy trực tuyến phân tích, kiếm tra, đánh giá kỹ thuật thực sinh viên Mở rộng mơ hình xử lý cho video, đoạn clip, dựa vào việc phân tách khung hình để xử lý fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 64 TÀI LIỆU THAM KHẢO [1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton “Deep learning.” nature 521.7553 (2015): 436 [2] K He, X Zhang, S Ren, and J Sun, “Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition,” pp 1–14, 2014 [3] P Sermanet, D Eigen, X Zhang, M Mathieu, R Fergus, and Y LeCun, “OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks,” arXiv Prepr arXiv, p 1312.6229, 2013 [4] C Szegedy, “Deep Neural Networks for Object Detection,” Nips 2013, pp 1–9, 2013 [5] D Triantafyllidou, P Nousi, and A Tefas, “Advances in Big Data,” vol 529, no March, 2017 [6] Haykin, Simon S., et al Neural networks and learning machines Vol Upper Saddle River: Pearson, 2009 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf [7] Miller, W Thomas, Paul J Werbos, and Richard S Sutton, eds Neural networks for control MIT press, 1995 [8] Yang, He, Hengyong Yu, and Ge Wang Deep Learning for the Classification of Lung Nodules arXiv preprint arXiv:1611.06651 (2016) [9] Junho Yim, Jeongwoo Ju, Heechul Jung, and Junmo Kim – “Image Classification Using Convolutional Neural Networks With Multi-stage Feature”, Department of Electrical Engineering KAIST 291 Daehak-ro, Yuseong-gu, Daejeon, AISC, volume 345 - Republic of Korea [10] Jayant Kumar Jaishanker Pillai David Doermann, “Document Image Classification and Labeling using Multiple Instance Learning”, Institute of Advanced Computer Studies University of Maryland College Park, USA, ICDAR_2011 [11] Kimitaka Tsutsumia , Kazutaka Shimada a and Tsutomu Endoa, “Movie Review Classification Based on a Multiple Classifier”, Department of fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 65 Artificial Intelligence, Kyushu Institute of Technology, Iizuka, Fukuoka 8208502 Japan [12] Đỗ Thanh Nghị - Phạm Nguyên Khang, “Nhận dạng ký tự số viết tay giải thuật máy học”, Tạp chí khoa học ĐH Cần Thơ tháng 8.2013 [13] Lê Thị Thu, Hằng Nghiên cứu mạng neural tích chập ứng dụng cho toán nhận dạng biển số xe Master Thesis, Trường Đại học công nghệ - Đại học quốc gia Hà Nội, 2016 [14] Vũ Mạnh Hùng, Nghiên cứu mô hình học sâu (deep-learning) ứng dụng nhận dạng chữ viết tay Master Thesis, Trường đại học Thông tin Truyền thông – Đại học Thái Nguyên [15] Trần Cao Đệ Phạm Nguyên Khang: “Phân loại văn với máy học vector hỗ trợ định” trường ĐH Cần Thơ, năm 2012; [16] Nguyễn Linh Giang, Nguyễn Mạnh Hiển - “Phân loại văn tiếng Việt với phân loại vectơ hỗ trợ SVM”, ĐH Bách Khoa Hà Nội [17] Nath, Siddhartha Sankar, et al "A survey of image classification gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf methods and techniques." Control, Instrumentation, Communication and Computational Technologies (ICCICCT), 2014 International Conference on IEEE, 2014 [18] Ranjan, Rajeev, Vishal M Patel, and Rama Chellappa "Hyperface: A deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition." IEEE Transactions on Pattern Analysis and Machine Intelligence (2017) [19] Grm, Klemen, et al "Strengths and weaknesses of deep learning models for face recognition against image degradations." IET Biometrics 7.1 (2017): 81-89 [20] using Sun, Xudong, Pengcheng Wu, and Steven CH Hoi "Face detection deep learning: An improved approach Neurocomputing 299 (2018): 42-50 faster RCNN fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 66 [21] Martinez, Mark, et al "Beyond Grand Theft Auto V for Training, Testing and Enhancing Deep Learning in Self Driving Cars." arXiv preprint arXiv:1712.01397 (2017) [22] Bojarski, Mariusz, et al "End to end learning for self-driving cars." arXiv preprint arXiv:1604.07316 (2016) [23] Chen, Chenyi, et al "Deepdriving: Learning affordance for direct perception in autonomous driving." Proceedings of the IEEE International Conference on Computer Vision 2015 [24] Milletari, Fausto, et al "Hough-CNN: deep learning for segmentation of deep brain regions in MRI and ultrasound." Computer Vision and Image Understanding 164 (2017): 92-102 [25] Litjens, G., Kooi, T., Bejnordi, B E., Setio, A A A., Ciompi, F., Ghafoorian, M., & Sánchez, C I (2017) A survey on deep learning in medical image analysis Medical image analysis, 42, 60-88 [26] Schmidhuber, Jürgen "Deep learning in neural networks: An gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf overview." Neural networks 61 (2015): 85-117 [27] Deng, Li, Geoffrey Hinton, and Brian Kingsbury "New types of deep neural network learning for speech recognition and related applications: An overview." Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on IEEE, 2013 [28] F Rosenblatt “The perceptron, a perceiving and recognizing automaton”, Project Para Cornell Aeronautical Laboratory, 1957 [29] Rumelhart, David E., Geoffrey E Hinton, and Ronald J Williams "Learning representations by back-propagating errors." nature 323.6088 (1986): 533 [30] Balázs Csanád Csáji (2001) Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary [31] Cybenko, George "Approximation by superpositions of a sigmoidal function." Mathematics of control, signals and systems 2.4 (1989): 303-314 fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 67 [32] Lemley, Joe, Shabab Bazrafkan, and Peter Corcoran "Deep Learning for Consumer Devices and Services: Pushing the limits for machine learning, artificial intelligence, and computer vision." IEEE Consumer Electronics Magazine 6.2 (2017): 48-56 [33] Bahrampour, Soheil, et al "Comparative study of caffe, neon, theano, and torch for deep learning." (2016) [34] LeCun, Yann "LeNet-5, convolutional neural networks" Retrieved 16 November 2013, "Convolutional Neural Networks (LeNet) – DeepLearning 0.1 documentation" DeepLearning 0.1 LISA Lab Retrieved 31 August 2013 [35] LeCun, Yann, et al "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324 [36] Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E Hinton "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems 2012 [37] Simonyan, Karen, and Andrew Zisserman "Very deep convolutional gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014) [38] Szegedy, Christian, et al "Going deeper with convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition 2015 [39] Sang, Dinh Viet "Facial smile detection using convolutional neural networks." Knowledge and Systems Engineering (KSE), 2017 9th International Conference on IEEE, 2017 [40] Sang, Dinh Viet, Le Tran Bao Cuong, and Vu Van Thieu "Multi-task learning for smile detection, emotion recognition and gender classification." Proceedings of the Eighth International Symposium on Information and Communication Technology ACM, 2017 [41] Yosinski, Jason, et al "Understanding neural networks through deep visualization." arXiv preprint arXiv:1506.06579(2015) fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 68 [42] Website Analytics Community | Analytics Discussions | Big Data Discussion at https://www.analyticsvidhya.com/blog/2016/04/deep-learningcomputer-vision-introduction-convolution-neural-networks/ [43] Website CS231n Convolutional Neural Networks for Visual Recognition at http://cs231n.github.io/convolutional-networks/ [44] Graham, Benjamin "Spatially-sparse convolutional neural networks." arXiv preprint arXiv:1409.6070 (2014) [45] Simonyan, Karen, and Andrew Zisserman "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014) [46] Cao, Xudong "A practical theory for designing very deep convolutional neural networks." Technical Report (2015) [47] Rohit, Satish, and Srinivasa Chakravarthy "A convolutional neural network model of the neural responses of inferotemporal cortex to complex visual objects." BMC neuroscience 12.1 (2011): P35 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf [48] Kadir, Kushsairy, et al "A comparative study between LBP and Haar- like features for Face Detection using OpenCV." Engineering Technology and Technopreneuship (ICE2T), 2014 4th International Conference on IEEE, 2014 [49] Juefei-Xu, Felix, Vishnu Naresh Boddeti, and Marios Savvides "Local binary convolutional neural networks." Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on Vol IEEE, 2017 [50] Pan, Shao-Yun, Jie Guo, and Zheng Huang "An Improved Convolutional Neural Network on Crowd Density Estimation." ITM Web of Conferences Vol EDP Sciences, 2016 [51] Zhang, Xin, et al "Rotation invariant local binary convolution neural networks." Proc IEEE Int Conf Comput Vis.(ICCV) Workshops 2017 [52] Website Machine Learning Cơ https://machinelearningcoban.com [53] Website Wikipedia: https://en.wikipedia.org/wiki/Confusion_matrix fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf 69 gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf PL PHỤ LỤC Phụ lục 1: Hình ảnh xác nhận liệu gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf Phụ lục 2: Hình ảnh sử dụng luận văn - Môn bơi lội fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf PL - Mơn bóng bàn - Mơn bóng chuyền gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf PL - Mơn bóng đá gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf - Môn bóng rổ fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf PL - Môn cầu lông - Môn điền kinh gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf PL - Môn nhảy cao: - Môn tennis gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf PL - Mơn thể hình gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf - Môn võ fgf fgxx fgfg45 fg fsdf gr fgf gfg fgf rt d gdf gdfg dh dff gdf dfddfg 54545 f df ddf d dfdf df dfd fd dfd ddgdgdd dd d d fdfd 454 dhfg fgfgf PL - Môn Yoga gfsdsd sd sdsd dsd sd454 4545 4545xfdf def dtrrtrrtrt 454 454 545gd luan van an khoa luan tot nghiep fdfd 454 dhfg fgfgf