(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu(Luận văn thạc sĩ) Nhận dạng các đối tượng tham gia giao thông dùng mạng nơron học sâu
LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tp Hồ Chí Minh, ngày 06 tháng năm 2018 Trần Quốc Toản iv CẢM TẠ Em xin chân thành cảm ơn quý Thầy, Cô khoa Điện – Điện Tử trang bị cho em kiến thức có liên quan giúp em hồn thành tốt luận văn Cảm ơn bạn lớp chia kinh nghiệm hỗ trợ lúc làm đề tài Đặc biệt em xin chân thành cảm ơn Thầy hướng dẫn, T.S Lê Mỹ Hà hướng dẫn hỗ trợ em lúc thực đề tài Học viên Trần Quốc Toản v TÓM TẮT Luận văn tác giả đề xuất phương pháp nhận dạng đối tượng tham gia giao thông sử dụng mạng nơron tích chập – Convolution Neural Network – CNN Kiến trúc CNN tác giả xây dựng có 15 lớp: lớp “Convolutional”, lớp “Pooling”, lớp “Rectified Linear Unit”, lớp “Fully Connected”, lớp “Softmax”, lớp “Input” lớp “Output” Giải thuật đề xuất thực nghiệm để nhận dạng nhiều loại đối tượng Thời gian huấn luyện tùy thuộc vào tập liệu nhiều khác nhau, độ xác mạng lên tới 90% Hướng phát triển tương lai cho đề tài ứng dụng cho robot hoạt động trời xe tự lái This thesis proposes a method for identifying traffic participants using Convolution Neural Network (CNN) The model has 15 layers: “Convolutional” layer, “Pooling” layer, “Rectified Linear Unit” layer, “Fully Connected” layer, “Softmax” layer, “Input” layer and "Output" layer The proposed algorithm is experimented to identify many types of objects The training time depends on how many data sets are different and less, and the accuracy of the network can be as high as 90% Future development for the subject is robot outdoor activities or selfdriving car vi MỤC LỤC LÝ LỊCH KHOA HỌC ii LỜI CAM ĐOAN iv CẢM TẠ .v TÓM TẮT vi MỤC LỤC vii DANH SÁCH CÁC CHỮ VIẾT TẮT x DANH SÁCH CÁC HÌNH xi DANH SÁCH CÁC BẢNG xiii Chương :TỔNG QUAN 1.1 Tổng quan lĩnh vực nghiên cứu 1.2 Mục đích đề tài 1.3 Nhiệm vụ giới hạn đề tài .4 1.4 Phương pháp nghiên cứu 1.5 Tóm tắc nội dung đề tài Chương 2: CƠ SỞ LÝ THUYẾT .6 2.1 Tế bào thần kinh mạng thần kinh nhân tạo 2.1.1 Tế bào thần kinh .6 2.1.2 Mạng thần kinh nhân tạo 2.2 Một số kiểu mạng nơron 2.2.1 Tự kết hợp .10 2.2.2 Kết hợp khác kiểu 10 2.2.3 Kiến trúc hồi tiếp 11 2.3 Các phương pháp huấn luyện mạng thần kinh nhân tạo 11 2.3.1 Học có giám sát .12 2.3.2 Học không giám sát 12 2.3.3 Học củng cố 13 2.4 Thuật toán lan truyền ngược 14 2.4.1 Mơ hình mạng 14 vii 2.4.2 Hoạt động .15 2.5 Sự khác biệt AI, Machine Learning Deep Learning 16 2.5.1 Trí tuệ nhân tạo (Artificial Intelligence – AI) 16 2.5.2 Machine Learning – Cách tiếp cận để chinh phục trí tuệ nhân tạo 18 2.5.3 Deep Learning – Kỹ thuật để thực hóa Machine Learning 20 2.5.4 Nhờ Deeplearning, AI có tương lai tươi sáng .22 2.6 Mạng nơ ron tích chập (Convolutional Neural Networks – CNNs) 26 2.6.1 Convolution (tích chập) .26 2.6.2 Mạng nơron tích chập (Convolutional Neural Networks – CNNs) 28 2.7 Chi tiết lớp mơ hình CNNs 29 2.7.1 Lớp Convolutional .29 2.7.2 Lớp ReLU (Rectified Linear Unit) 33 2.7.3 Lớp Pooling .34 2.7.4 Lớp FC (Fully Connected) .35 Chương 3: ÁP DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG VIỆC NHẬN DẠNG CÁC ĐỐI TƯỢNG THAM GIA GIAO THÔNG 37 3.1 Sơ đồ khối .37 3.1.1 Dữ liệu huấn luyện 37 3.1.2 Chia liệu huấn luyện 41 3.1.3 Xây dựng mơ hình CNN 41 3.1.4 Bộ phân loại .42 3.1.5 Dự đoán đối tượng 42 3.2 Lưu đồ trình huấn luyện .43 3.3 Cách hoạt động mơ hình 44 3.4 Thực nghiệm 47 3.4.1 Trên tập liệu tự tạo tên T_01 47 3.4.2 Trên tập liệu Caltech-101 47 3.4.3 Trên tập liệu Cifar-10 .47 3.4.4 Trên tập liệu Matlab tên DigitDataset Merch .47 3.5 Kết 49 viii 3.5.1 Nhận dạng hình ảnh .49 3.5.2 Nhận dạng video .51 3.6 So sánh phương pháp CNN với HOG – Histogram of Oriented Gradient .52 3.6.1 Giới thiệu HOG 52 3.6.2 Dữ liệu so sánh 55 3.6.3 Kết so sánh 55 Chương KẾT LUẬN 58 4.1 Kết đạt 58 4.2 Ưu, nhược điểm .58 4.3 Hướng phát triển đề tài .58 TÀI LIỆU THAM KHẢO 60 ix DANH SÁCH CÁC CHỮ VIẾT TẮT CNN: Convolution Neural Network (mạng nơ ron tích chập) AI: Artificial Intelligence (Trí tuệ nhân tạo) ANN: Artificial Neural Network (mạng nơ ron nhân tạo) BP: Back propagation (giải thuật lan truyền ngược) FC: Fully connected Layer ReLU: Rectified Linear Unit (Hiệu chỉnh đơn vị tuyến tính) HOG: Histogram of oriented gradients RNN: Recurrent Neural Networks DNN: Deep Neural Network (DNN) DBN: Deep Belief Network (DBN) DBM: Deep Boltzmann Machine (DBM) Multi – Modal/Multi – Tasking DSN: Deep Stacking Network (DSN) SVM: Support Vector Machine x DANH SÁCH CÁC HÌNH Hình 2.1: Tế bào thần kinh nhân tạo Hình 2.2 : Hàm nấc .7 Hình 2.3 : Hàm dấu .7 Hình 2.4 : Hàm tuyến tính Hình 2.5 : Hàm dốc bão hòa Hình 2.6 : Hàm tuyến tính bão hịa .8 Hình 2.7 : Hàm dạng s đơn cực Hình 2.8 : Hàm dạng s lưỡng cực .8 Hình 2.9 : Mạng tự kết hợp .10 Hình 2.10 : Mạng kết hợp khác kiểu 10 Hình 2.11 : Mạng truyền thẳng 11 Hình 2.12 : Mạng hồi tiếp 11 Hình 2.13 : Học có giám sát 12 Hình 14 : Học khơng giám sát .13 Hình 2.15 : Học củng cố 13 Hình 2.16 : Mơ hình mạng nơron lan truyền ngược 14 Hình 2.17 : Mối quan hệ AI, Machine Learning Deep Learning 17 Hình 2.18 : King me: chương trình máy tính biết chơi cờ vua, khấy động sóng thập niên 1950 (Nguồn : What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?) .18 Hình 2.19 : Cơng nghệ máy học (Machine Learning) Google áp dụng cho việc lọc spam dịch vụ Gmail (Nguồn : What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?) 18 Hình 2.20 : Lấy hình ảnh mèo khỏi video Youtube đột phá deep learning (Nguồn : What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?) 20 Hình 2.21 Mơ hình DNN Nguồn: https://datawarrior.wordpress.com/2017/10/31/interpretability-of-neural-networks/ 23 Hình 2.22 Mơ hình DBN Nguồn: https://www.ibm.com/developerworks/library/ccmachine-learning-deep-learning-architectures/index.html .23 xi Hình 2.23 Mơ hình DBM với lớp Nguồn: https://www.researchgate.net/figure/Deep-Boltzmann-Machine-with-three-hidelayers_fig2_315303699 .24 Hình 2.24 Mơ hình RNN Nguồn: https://www.ibm.com/developerworks/library/ccmachine-learning-deep-learning-architectures/index.html .24 Hình 25 Mơ hình CNN Nguồn: https://www.mathworks.com/discovery/convolutional-neural-network.html 25 Hình 2.26 Mơ hình DSN Nguồn: https://www.ibm.com/developerworks/library/ccmachine-learning-deep-learning-architectures/index.html .25 Hình 2.27: Cơ chế tích chập Nguồn : http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convoluti on .26 Hình 2.28 : Hình ảnh bị mờ sau chập 27 Hình 2.29 : Phát biên sau dùng tích chập Nguồn : http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-fornlp/ .27 Hình 2.30 : Các trọng số kết nối vào neural .32 Hình 31 : Kích thước ngõ lớp Convolution 33 Hình 32: Hàm kích hoạt ReLU .34 Hình 33 : Cách hoạt động hàm Maxpooling 34 Hình 34: Kích thước ngõ lớp Pooling 35 Hình : Sơ đồ khối .37 Hình : Dữ liệu đối tượng tham gia giao thông .38 Hình 3 : Một số hình ảnh Caltech-101 39 Hình : Một số hình ảnh Cifar-10 Nguồn https://www.cs.toronto.edu/~kriz/cifar.html .39 Hình : Một số hình ảnh tập liệu Merch .40 Hình : Một số hình ảnh tập liệu DigitDataset 40 Hình : Mơ hình CNN việc nhận dạng đối tượng tham gia giao thông .41 Hình : Lưu đồ trình huấn luyện 43 Hình : Mơ hình CNN chi tiết 44 Hình 10 : Minh họa bước tính lớp CNN 46 Hình 11 : Kết nhận dạng xe đạp .49 Hình 12 : Kết nhận dạng xe .50 xii Hình 13 : Nhận dạng đối tượng Dog 51 Hình 14 : Nhận dạng đối tượng Car 51 Hình 15 : Biểu đồ cường độ gradient 54 Hình 16 : Vector đặc trưng cuối 55 Hình 17 : Kết nhận dạng phát đối tượng phương pháp CNN 56 Hình 18 : Kết nhận dạng phát đối tượng phương pháp HOG 57 DANH SÁCH CÁC BẢNG Bảng : Các loại mạng thần kinh nhân tạo thường gặp Bảng 2 : Sự tương quan mạng thần kinh nhân tạo não người 14 xiii Một số hình ảnh trình huấn luyện 48 3.5 Kết 3.5.1 Nhận dạng hình ảnh Hình 11 : Kết nhận dạng xe đạp Ảnh ngõ vào xe đạp Ảnh thứ ảnh lớp pooling lần thứ Ảnh thứ ảnh lớp pooling lần thứ Ảnh thứ ảnh lớp pooling lần thứ Ảnh thứ cuối ảnh sau nhận dạng xe đạp (Bicycle) 49 Hình 12 : Kết nhận dạng xe Ảnh ngõ vào xe Ảnh thứ ảnh lớp pooling lần thứ Ảnh thứ ảnh lớp pooling lần thứ Ảnh thứ ảnh lớp pooling lần thứ Ảnh thứ cuối ảnh sau nhận dạng xe (Car) 50 3.5.2 Nhận dạng video Hình 13 : Nhận dạng đối tượng Dog Hình 14 : Nhận dạng đối tượng Car 51 3.6 So sánh phương pháp CNN với HOG – Histogram of Oriented Gradient 3.6.1 Giới thiệu HOG HOG (Histogram of Oriented Gradients) [17] feature descriptor sử dụng computer vision xử lý hình ảnh, dùng để detec đối tượng Các khái niệm HOG nêu từ năm 1986 nhiên năm 2005 HOG sử dụng rộng rãi sau Navneet Dalal Bill Triggs công bố bổ sung HOG Hog tương tự biểu đồ Edge Orientation, Scale-invariant feature transform descriptors (như sift, surf ), shape contexts hog tính tốn lưới dày đặc cell chuẩn hóa tương phản block để nâng cao độ xác Hog sử dụng chủ yếu để mơ tả hình dạng xuất đối tượng ảnh Bài tốn tính tốn Hog thường gồm bước: Chuẩn hóa hình ảnh trước xử lý Tính tốn gradient theo hướng x y Lấy phiếu bầu trọng số cell Chuẩn hóa block Thu thập tấc biểu đồ cường độ gradient định hướng để tạo vector đặc trưng cuối Chuẩn hóa hình ảnh trước xử lý Bước chuẩn hóa hồn tồn khơng bắt buộc, số trường hợp bước cải thiện hiệu suất mơ tả HOG Có phương pháp chuẩn hóa sau: Quy định chuẩn Gamma/power: trường hợp ta lấy log(p) pixel p hình ảnh đầu vào Chuẩn hóa góc vng: lấy bậc hai p pixel p hình ảnh đầu vào Sự bình thường bậc hai nén cường độ điểm ảnh đầu vào thấp nhiều so với chuẩn bình thường gamma 52 Chuẩn hóa phương sai (Variance Normalization): cần tính giá trị cường độ điểm ảnh trung bình µ độ lệch tiêu chuẩn σ hình ảnh đầu vào Với điểm ảnh ta trừ giá trị trung bình cường độ điểm ảnh sau đươc chuẩn hóa cách chia cho độ lệch chuẩn: p’ = (p - µ)/σ Tính tốn Gradient Để lấy hình ảnh Gradient sử dụng tích chập (convolution): Gx = I x Dx Gy = I x Dy Với: I hình ảnh đầu vào Dx lọc cho chiều x Dy lọc cho chiều y Sau có ảnh gradient, tính tốn cường độ hình ảnh: |G| = √𝐺𝑥2 + 𝐺𝑦2 Cuối định hướng gradient cho pixel hình ảnh ban đầu tính cách: θ = arctan2 (Gy, Gx) Dựa vào |G| θ ta tính biểu đồ cường độ gradient, cột biểu đồ dựa θ trọng số cột biểu đồ dựa |G| 53 Hình 15 : Biểu đồ cường độ gradient Lấy phiếu bầu cell Bây cần chia hình ảnh thành cell block Một cell vùng hình chữ nhật đươc xác định số điểm ảnh thuộc cell Ví dụ ta có ảnh 128x128 với cell 4x4 pixel có 32x32 = 1024 cell, cịn cell 32x32 pixel có 4x4 =16 cell Với cell ảnh, ta cần xây dựng biểu đồ cường độ gradient Mỗi pixel phiếu bầu vào biểu đồ, trọng số phiếu bầu cường độ gradient pixel Cuối pixel đóng góp phiếu bầu có trọng số vào biểu đồ - trọng lượng phiếu đơn giản cường độ gradient |G| pixel Lúc thu thập ghép biểu đồ để tạo vector đặc trưng cuối Tuy nhiên ta chuẩn hóa block để có kết tốt 54 Hình 16 : Vector đặc trưng cuối Chuẩn hóa block Một lần ta cần chia block giống chia cell phía Đơn vị khơng cịn điểm ảnh mà cell Ta thường sử dụng 2x2 3x3 block để có độ xác hợp lý hầu hết trường hợp Các block chồng lên Ví dụ ta có block 3x3 cell block 2x2 ta có block Tiếp đến ta tiến hành thu thập ghép biểu đồ cell block Thu thập tấc biểu đồ cường độ gradient định hướng để tạo vector đặc trưng cuối 3.6.2 Dữ liệu so sánh Dữ liệu so sánh hai phương pháp có tên MyData chứa đựng 1500 ảnh chia cho loại đối tượng Bicycle, Car, Dog, Motorbike, People loại 300 ảnh 3.6.3 Kết so sánh Sau thực so sánh hai phương pháp CNN HOG mô phần mềm matlab với tập liệu kích thước 64x64x3 ta thu kết bảng sau: 55 Hình 3.17: kết nhận dạng phát đối tượng phương pháp CNN Hình 18: Kết nhận dạng phát đối tượng phương pháp CNN + SVM 56 Hình 19: Kết nhận dạng phát đối tượng phương pháp HOG + SVM Kết hiển thị hình Command Window Matlab ma trận Confusion Từ kết cho thấy phương pháp nhận dạng phát đối tượng CNN có độ xác cao nhất, sau tới CNN + SVM cuối HOG + SVM cho kết thấp 57 Chương KẾT LUẬN 4.1 Kết đạt Trong khóa luạn này, với mục tiêu xây dựng mơ hình kiến trúc CNN Demo mơ hình có khả phát nhận dạng đối tượng tham gia giao thơng hình ảnh video Khóa luận đạt kết sau: Nắm vấn đề ảnh số xử lý ảnh số Nắm đặc điểm tốn phân loại nói chung nhận dạng đối tượng tham gia giao thơng nói riêng Tìm hiểu, nắm số kiến trúc mạng CNN, thuật toán deep learning cho kết tốt hầu hết toán thị giác máy phân lớp, nhận dạng, … Huấn luyện thành cơng mơ hình mạng dùng CNN Demo test thành công nhiều tập liệu khác Phát nhận dạng đối tượng xác 4.2 Ưu, nhược điểm Ưu điểm: Độ xác cao phương pháp khác Nhược điểm: Mơ hình chưa tối ưu, độ xác chưa cao so với kỳ vọng Độ xác phụ thuộc nhiều vào tập liệu ảnh huấn luyện 4.3 Hướng phát triển đề tài 58 Nâng cao hiệu chương trình mơ hình, phát lúc nhiều đối tượng phức tạp với độ xác cao Hiện có nhiều phương pháp tiếp cận mục tiêu tiêu với hỗ trợ đắc lực từ thuật toán học sâu như: Recurrent neural networks (RNN) Two-Stream Convolutional Networks 3D Convolutional Neural Networks Actions ∼ Transformations Training với lượng data lớn Phát triển chương trình thành module phần cứng Có khả tương thích với thiết bị quan sát camera Ứng dụng vào thực tế cách gắn camera phương tiện giao thông tham gia giao thông để tránh tai nạn ngăn chặn cố ý muốn 59 TÀI LIỆU THAM KHẢO [1] Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner GradientBased Learning Applied to Document Recognition PROC OF THE IEEE, NOVEMBER 1998 [2] Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton ImageNet Classification with Deep Convolutional Neural Networks Advances in neural information processing systems 2012 [3] Matthew D Zeiler, Rob Fergus Visualizing and Understanding Convolutional Networks arXiv:1311.2901, nov 2013 [4] Christian Szegedy, Wie Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincnet Vanhoucke, Andrew Rabinovich Going deeper with convolutions arXiv:1409.4842v1, 17 Sep 2014 [5] Karen Simonyan, Andrew Zisserman Very Deep Convolutional Networks For Large-Scale Image Recognition arXiv:1409.1556v6, 10 Apr 2015 [6] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun Deep Residual Learning for Image Recognition arXiv:1512.03385, 10 Dec 2015 [7] Huỳnh Thái Hoàng Hệ thống điều khiển thông minh NXB Đại học Quốc gia, 2014, tr 88 [8] Lê Thị Thu Hằng Nghiên cứu mạng nơ ron tích chập ứng dụng cho toán nhận dạng biển số xe Đại học Quốc gia Hà Nội, 2016 [9] Michael Copeland What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Laearning? Internet: https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligencemachine-learning-deep-learning-ai/, 26/11/2017 60 [10] Feature extraction using convolution Internet: http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convoluti on, 21/07/2017 [11] Denny Britz Understanding Convolutional Neural Networks for NLP Internet: http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-fornlp/, 24/07/2017 [12] Convolutional Neural Network Internet: https://www.youtube.com/watch?v=FrKWiRv254g, 06/08/2017 [13] Convolutional Neural Networks (CNNs/ConvNets) Internet: http://cs231n.github.io/convolutional-networks/, 04/08/2017 [14] Caltech 101 Internet: http://www.vision.caltech.edu/Image_Datasets/Caltech101/, 29/10/2017 [15] The Cifar-10 dataset Internet: https://www.cs.toronto.edu/~kriz/cifar.html, 04/11/2017 [16] MerchData and DigitDataset Internet: https://www.mathworks.com/, 12/12/2017 [17] Nguyễn Phương Lan Tìm hiểu HOG (Histogram of Oriented Gradient) Internet : https://viblo.asia/p/tim-hieu-ve-hoghistogram-of-oriented-gradientsm68Z0wL6KkG, 20/12/2017 [18] Nguyễn Thành Tâm Nhận dạng hành động người dùng mạng nơ ron tích chập Đại học Sư Phạm Kỹ Thuật TpHCM, 2017 61 S K L 0 ... mạng, filter sử dụng nhận dạng đối tượng khác Phương pháp nhận dạng sử dụng kỹ thuật CNN đề tài tác giả nhận dạng đối tượng ảnh video, ảnh video đối tượng tham gia giao thông: Bicycle, Dog, Car,... dung đề tài Chương 3: Áp dụng mạng nơ ron tích chập việc nhận dạng đối tượng tham gia giao thông: Chương nêu cách giải toán cụ thể việc nhận dạng dùng mạng nơron tích chập Chương 4: Kết luận:... mạng cho việc nhận dạng đối tượng tham gia giao thông sau: Bicycle, Car, Dog, Motobike, People Mỗi đối tượng có 300 hình ảnh 37 Bicycle Car Dog Motorbike People Hình 3.2 : Dữ liệu đối tượng tham