Ứng dụng mạng nơ ron tích chập nhận dạng các đối tượng di động

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - NGUYỄN VĂN NAM ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Đà Nẵng – Năm 2020 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - NGUYỄN VĂN NAM ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG Chuyên ngành : KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Mã số: 852 02.16 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGƠ ĐÌNH THANH Đà Nẵng – Năm 2020 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tác giả luận văn MỤC LỤC LỜI CAM ĐOAN MỤC LỤC TÓM TẮT LUẬN VĂN DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu đề tài 3 Đối tượng, phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu Cách tiếp cận, phương pháp nghiên cứu 4.1 Cách tiếp cận 4.2 Phương pháp nghiên cứu Nội dung nghiên cứu CHƯƠNG - TỔNG QUAN VỀ THUẬT TOÁN NHẬN DẠNG Tổng quan nhận dạng đối tượng 1.1.1 Khái niệm nhận dạng 1.1.2 Các khó khăn việc nhận dạng đối tượng 1.1.3 Các ứng dụng nhận dạng đối tượng 1.1.4 Tổng quan kiến trúc hệ thống nhận dạng đối tượng 1.1.5 Tổng quan nhận dạng hoa 10 Tổng quan mạng Nơ ron 11 Tổng quan mạng Nơ ron tích chập (CNN) 14 1.3.1 Kiến trúc mạng Nơ ron tích chập 14 1.3.2 Rút trích đặc trưng 15 1.3.3 Phân loại 17 Tổng quan Faster R-CNN 18 1.4.1 Bài toán nhận dạng vật thể (Object Detection) 18 1.4.2 Mạng Nơ ron tích chập khu vực (R-CNN) 20 1.4.3 Mạng Nơ ron tích chập khu vực nhanh (Fast R-CNN) 22 1.4.4 Mạng Nơ ron tích chập khu vực nhanh (Faster R-CNN) 25 CHƯƠNG - XÂY DỰNG VÀ HUẤN LUYỆN MƠ HÌNH FASTER R_CNN 29 Xây dựng mơi trường thực nghiệm mơ hình Faster R_CNN 29 2.1.1 Cấu hình phần cứng cho mơi trường thực nghiệm mơ hình 29 2.1.2 Các phần mềm hỗ trợ phần mềm lập trình 29 2.1.3 Cài đặt file môi trường 31 2.1.4 Cài đặt thư viện hỗ trợ 32 Huấn luyện cho mơ hình nhận dạng mười loài hoa 33 2.2.1 Thu thập liệu 33 2.2.2 Gán nhãn cho loài hoa 34 2.2.3 Xây dựng chương trình huấn luyện 35 2.2.4 Huấn luyện cho mơ hình 36 2.2.5 Dừng huấn luyện mơ hình 36 2.2.6 Kết sau huấn luyện 36 Xây dựng chương trình nhận dạng cho đối tượng 37 Thực nghiệm mơ hình 37 Phương pháp đánh giá độ xác nhận dạng mơ hình Faster R_CNN 37 CHƯƠNG - THỰC NGHIỆM VÀ ĐÁNH GIÁ ĐỘ CHÍNH XÁC MƠ HÌNH FASTER R_CNN 39 Thực nghiệm mơ hình Faster R-CNN 39 3.1.1 Thực nghiệm mơ hình Faster R-CNN với đối tượng tĩnh 39 3.1.2 Thực nghiệm mơ hình với đối tượng di động 49 KẾT LUẬN 53 Thuận lợi đề tài 53 Hạn chế đề tài 53 Kết đạt 53 Hướng phát triển đề tài 53 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA TÁC GIẢ 55 TÀI LIỆU THAM KHẢO PHỤ LỤC TÓM TẮT LUẬN VĂN ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG Học viên: Nguyễn Văn Nam Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số: 62.52.02.16 Khóa: K36 Trường Đại học Bách khoa - ĐHĐN Tóm tắt - Việc ứng dụng mơ hình nhận dạng đối tượng vào phục vụ nông nghiệp, lâm nghiệp thật cần thiết Các nghiên cứu ứng dụng lĩnh vực vào thực tế chưa nhiều Mục tiêu nghiên cứu thực nghiệm mơ hình nhận dạng đối tượng chế độ tĩnh di động Để thực việc tác giả huấn luyện cho mơ hình học nhận biết 10 lồi hoa 30 đối tượng khác Sau cho nhận dạng với trạng thái khác nhau: Ảnh có ánh sáng tốt; ảnh bị che khuất 1/3; 1/2; ảnh thiếu ánh sáng Kết cho thấy, độ xác nhận dạng đạt 99,28%, 78,46%, 40,36% 62,38% tương ứng với trạng thái môi trường Như vậy, với kết việc ứng dụng mơ hình vào chế tạo thiết bị phân loại loài hoa phục vụ thu hoạch hoa cửa hàng bán hoa hướng nghiên cứu ứng dụng Ngoài ra, khả ứng dụng mơ hình vào nhận dạng hệ động thực vật rừng phục vụ cho công tác điều tra, nghiên cứu mang lại nhiều hiệu cơng tác quản lý rừng Từ khóa - Trí tuệ nhân tạo; thị giác máy tính; deep learning; nhận dạng đối tượng; xử lý ảnh APPLICATION OF THE CONVOLUTIONAL NEURAL NETWORKS ALGORITHM TO IDENTIFY MOBILE OBJECTS Abstract - Although the application of object identification models in service of agriculture and forestry is now really necessary There have not been many studies on the application of this field in practice In this study, the object identification model was experimented to experiment with object static and mobile object To this end, the algorithm is trained to classify ten flower species and 30 different objects Experiments are then implemented on images in four cases; images with non being in shadow, with ratio of 1/3, 1/2 of partially being in shadow and with totally being in shadow Experimental results show that the algorithm accuracy achieves 99,28%, 78,46%, 40,36%, and 62,38% in cases of non being in shadow, 1/3, 1/2 of partially being in shadow, and totally being in shadow, respectively This result offers a new application of this model to manufacturing equipment used in flower harvesting or flower classifying in flower shops In addition, the ability to apply this model to the identification of forest flora and fauna will bring many benefits in current forest management Key words - Artificial intelligence; computer vision; deep learning; identify the object; image processing DANH MỤC CÁC TỪ VIẾT TẮT CNN R-CNN ROI RPN SVM Convolutional Neural Network Regional Convolutional Neural Network Region of Interest Region Proposal Network Support Vector Machine DANH MỤC CÁC BẢNG Bảng 2.1: Bảng thu thập liệu loài hoa 34 Bảng 2.2: Bảng tổng hợp sau gán nhãn 35 Bảng 2.3: Bảng ma trận đánh giá độ xác mơ hình nhận dạng 38 Bảng 3.1: Bảng số liệu thực nghiệm đánh giá độ xác kết nhận dạng đối tượng mơi trường bình thường 41 Bảng 3.2: Bảng số liệu thực nghiệm đánh giá độ xác kết nhận dạng đối tượng bị che khuất 1/3 43 Bảng 3.3: Bảng số liệu thực nghiệm đánh giá độ xác kết nhận dạng ảnh bị che khuất 1/2 45 Bảng 3.4: Bảng số liệu thực nghiệm đánh giá độ xác kết nhận dạng môi trường thiếu ánh sáng 47 Bảng 3.5: Bảng tổng hợp đánh giá độ xác kết nhận dạng mơ hình 48 DANH MỤC CÁC HÌNH Hình 1.1: Minh họa thay đổi góc chụp Hình 1.2: Minh họa thiếu thành phần Hình 1.3: Minh họa biến dạng Hình 1.4: Minh họa che khuất Hình 1.5: Minh họa hình phức tạp Hình 1.6: Minh họa độ sáng khác Hình 1.7: Các bước hệ thống nhận dạng 10 Hình 1.8: Nhận dạng hoa mai 11 Hình 1.9: Cách thức perceptron hoạt động [11] 11 Hình 1.10: Đồ thị hàm sigmoid [11] 13 Hình 1.11: Cấu trúc mạng Nơ ron đề xuất dựa [11] 13 Hình 1.12: Mạng Nơ ron thơng thường (trái) CNN (phải) 14 Hình 1.13: Kiến trúc mạng CNN 14 Hình 1.14: Lớp rút trích đặc trưng ảnh (Conv, Relu Pool) Lớp phân loại (FC softmax) 15 Hình 1.15: Phép tích chập 16 Hình 1.16: Ảnh RBG ảnh xám 16 Hình 1.17: Max pooling kích thước 2×2 17 Hình 1.18: Ví dụ cho tích chập với filter, cột, bước nhảy, lề = 18 Hình 1.19: Nhận dạng hoa đồng tiền 20 Hình 1.20: Hình ảnh trước (a) sau thực thuật tốn tìm kiếm chọn lọc (b) 21 Hình 1.21: R-CNN 21 Hình 1.22: ROI 23 Hình 1.23: ROI pooling 24 Hình 1.24: So sánh thời gian huấn luyện kiểm tra R-CNN Fast R-CNN 24 Hình 1.25: Mơ hình ROI pooling 25 Hình 1.26: Lấy vị trí 25 Hình 1.27: Vị trí sliding window 26 Hình 1.28: Các khu vực RPN 27 Hình 1.29: Hệ số IoU 27 Hình 1.30: Mô tả hệ số IoU 27 Hình 1.31: Thử thời gian R-CNN [10] 28 Hình 2.1: Bắt đầu cài đặt file môi trường 31 Hình 2.2: Cài đặt file mơi trường thành công 31 Hình 2.3: Kích hoạt file mơi trường thực nghiệm 32 Hình 2.4: Cài đặt thư viện Tensorflow-gpu từ công cụ pip 32 Hình 2.5: Quá trình cài đặt thư viện Tensorflow-gpu kết thúc 33 Hình 2.6: Thu thập liệu hoa hồng hoa hướng dương 34 Hình 2.7: Gán nhãn cho hoa hồng hoa cẩm tú cầu 35 Hình 2.8: File chương trình huấn luyện 35 Hình 2.9: a) Q trình bắt đầu huấn luyện liệu mơ hình; b) Quá trình kết thúc huấn luyện liệu mơ hình 36 Hình 2.10: Biểu đồ mát theo thời gian mơ hình Faster R-CNN 36 Hình 2.11: Cơ sở liệu sau huấn luyện mơ hình học 37 Hình 2.12: Các file chương trình nhận dạng đối tượng 37 Hình 3.1: Hình ảnh đối tượng nhận dạng mơi trường bình thường 40 Hình 3.2: Kết nhận dạng đối tượng mơi trường bình thường 41 Hình 3.3: Hình ảnh đối tượng nhận dạng bị che khuất 1/3 42 Hình 3.4: Kết nhận dạng đối tượng bị che khuất 1/3 43 Hình 3.5: Hình ảnh đối tượng nhận dạng bị che khuất 1/2 44 Hình 3.6: Kết nhận dạng đối tượng bị che khuất 1/2 45 Hình 3.7: Hình ảnh đối tượng nhận dạng môi trường thiếu ánh sáng 46 Hình 3.8: Kết nhận dạng đối tượng môi trường thiếu ánh sáng 47 Hình 3.9: Nguồn video hoa cẩm tú cầu di động 50 Hình 3.10: Kết nhận dạng hoa cẩm tú cầu mơ hình 50 Hình 3.11: Nguồn video người, xe di động 51 Hình 3.12: Kết nhận dạng người, xe di động mơ hình 52 53 KẾT LUẬN Thuận lợi đề tài Đây hướng nghiên cứu bước đầu tác giả thực nghiệm thành cơng cho mơ hình Faster R-CNN nhận dạng mười lồi hoa chế độ bình thường nhiễu Qua đưa đánh giá độ xác mơ hình với bốn trạng thái đầu vào khác đối tượng nhận dạng Ngoài ra, việc thực nghiệm tác giả thực nghiệm nhận dạng thành công đối tượng di động bước tiến thuận lợi để thực nghiên cứu Hạn chế đề tài Mơi trường thực nghiệm mơ hình có cấu hình chưa đủ mạnh nên chưa thể thực liệu đầu vào có dung lượng lớn Chưa đưa đánh giá độ xác nhận dạng mơ hình với đối tượng di động Chưa đánh giá ảnh hưởng khoản cách chụp ảnh đến độ xác nhận dạng mơ hình Kết đạt Xây dựng hồn thiện mơ hình nhận dạng đối tượng tĩnh di động Thực nghiệm mơ hình Faster R-CNN nhận dạng đối tượng tĩnh trạng thái bình thường nhiễu Đánh giá độ xác nhận dạng mơ hình Faster R-CNN với trạng thái khác hình ảnh đưa vào nhận dạng: Ảnh mơi trường có ánh sáng tốt; ảnh bị che khuất 1/3; ảnh bị che khuất 1/2; ảnh môi trường thiếu ánh sáng Kết cho, độ xác đạt 99,28%, 78,46%, 40,36% 62,38% tương ứng với trạng thái Thực nghiệm nhận dạng đối tượng di động với đầu vào nhận dạng nguồn video đối tượng di động Một báo đăng Hội thảo Khoa học Quốc gia “Ứng dụng cơng nghệ Cơng trình xanh” - lần thứ 5, năm 2019, Trường Đại học Sư phạm Kỹ thuật – Đại học Đà Nẵng tổ chức vào ngày 15 tháng 11 năm 2019 Một báo đăng Tạp chí Khoa học Công nghệ - Đại học Đà Nẵng Mã số tạp chí phát hành: VOL 17, NO 11, 2019 (24/12/2019), mã số báo: JSTUD2019-146 Hướng phát triển đề tài Nghiên cứu chưa đánh giá ảnh hưởng khoảng cách chụp ảnh đến độ 54 xác nhận dạng mơ hình, nghiên cứu sau cần đánh giá thêm trường hợp Nghiên cứu chưa thực nghiệm đánh giá độ xác với đối tượng di động chế độ bình thường nhiễu, tác giả triển khai thực nghiên cứu Hiện nay, vấn đề cải tiến để nâng cao độ xác ảnh đầu vào bị nhiễu chưa có giải pháp hiệu chưa thấy có nghiên cứu xử lý vấn đề công bố Do vậy, nghiên nghiên cứu đưa giải pháp khắc phục độ xác nhận dạng mơi trường nhiễu 55 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA TÁC GIẢ Một báo đăng Hội thảo Khoa học Quốc gia “Ứng dụng cơng nghệ Cơng trình xanh” - lần thứ 5, năm 2019, Trường Đại học Sư phạm Kỹ thuật – Đại học Đà Nẵng tổ chức vào ngày 15 tháng 11 năm 2019 Một báo đăng Tạp chí Khoa học Cơng nghệ - Đại học Đà Nẵng Mã số tạp chí phát hành: VOL 17, NO 11, 2019 (24/12/2019), mã số báo: JSTUD2019-146 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] J Bouvrie, “Notes on Convolutional Neural Networks,” Massachusetts Inst Technol Cambridge, MA 02139, 2006 S Tang, “Object Detection based on Convolutional Neural Network,” p 8, 2015 T Liu, S Fang, Y Zhao, P Wang, and J Zhang, “Implementation of Training Convolutional Neural Networks,” arXiv:1506.01195v2, 2015 R Girshick, J Donahue, T Darrell, and J Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit., pp 580–587, 2014 K Lenc and A Vedaldi, “R-CNN minus R,” pp 5.1-5.12, 2015 J Liu, D Wang, Z Wei, L Lu, L Kim, and R Summers, “Colitis detection on computed tomography using regional convolutional neural networks,” 2016 IEEE 13th Int Symp Biomed Imaging, pp 863–866, 2016 R Girshick, “Fast R-CNN,” Proc IEEE Int Conf Comput Vis., vol 2015 Inter, pp 1440–1448, 2015 S Ren, K He, R Girshick, and J Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” IEEE Trans Pattern Anal Mach Intell., vol 39, no 6, pp 1137–1149, 2017 R Gavrilescu, C Fo, C Zet, and D Cotovanu, “Faster R-CNN : an Approach to Real-Time Object Detection,” 2018 Int Conf Expo Electr Power Eng., pp 165–168, 2018 F R.-C R-CNN, Fast R-CNN, “R-CNN Test-Time Speed,” [Online].Available: https://towardsdatascience.com/r-cnn-fast-r-cnn-faster-r-cnn-yolo-objectdetection-algorithms-36d53571365e Internet, “‘Neural Networks and Deep learning,’” [Online].Available: http://neuralnetworksanddeeplearning.com/index.html, 2015 [Online] Available: http://neuralnetworksanddeeplearning.com/chap4.html L OpenCV, “Selective Search for Object Detection (C++ / Python),” 2017 [Online] Available: https://www.learnopencv.com/selective-search-for-objectdetection-cpp-python/ W Pages, “Phần mềm CUDA,” [Online].Available: https://developer.nvidia.com/cuda-gpus W Pages, “Phần mềm Anaconda,” [Online].Available: https://nttuan8.com/huong-dan-cai-dat-anaconda/ W Pages, “Phần mềm Python,” [Online].Available: https://quantrimang.com/cach-cai-dat-python-tren-windows-macos-linux140625 [16] W Pages, “Phần mềm Tensorflow,” [Online].Available: https://vn.appsgcp.com/huong-da%CC%83n-cai-da%CC%A3t-tensorflow-tren-window/ [17] G Drive, “Hinh anh huan luyen mo hinh.rar,” [Online].Available: https://drive.google.com/open?id=1I5Fs9A9KmlcsjVrH2IH_0odIIZLABlBd [18] G Drive, “Tap du lieu gan nhan hoan thien.rar,” [Online].Available: https://drive.google.com/open?id=1ZragyFEifpJb6I61MDzoiHe5aJpqQdFu ... xuất dựa [11] 14 Tổng quan mạng Nơ ron tích chập (CNN) 1.3.1 Kiến trúc mạng Nơ ron tích chập Mạng Nơ ron tích chập có kiến trúc khác với mạng Nơ ron thông thường Mạng Nơ ron bình thường chuyển đổi... THUẬT TOÁN NHẬN DẠNG Tổng quan nhận dạng đối tượng 1.1.1 Khái niệm nhận dạng 1.1.2 Các khó khăn việc nhận dạng đối tượng 1.1.3 Các ứng dụng nhận dạng đối tượng ... định chọn nghiên cứu đề tài: ? ?Ứng dụng mạng Nơ ron tích chập nhận dạng đối tượng di động? ?? Mục tiêu đề tài thực nghiệm mơ hình Faster R-CNN nhận dạng đối tượng tĩnh di động, đưa đánh giá độ xác mơ