Xây dựng hệ thống tra cứu thực vật rừng tại thành phố đà nẵng ứng dụng mô hình học sâu

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI QUANG THUẬN XÂY DỰNG HỆ THỐNG TRA CỨU THỰC VẬT RỪNG TẠI THÀNH PHỐ ĐÀ NẴNG ỨNG DỤNG MƠ HÌNH HỌC SÂU LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2022 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI QUANG THUẬN ĐỀ TÀI XÂY DỰNG HỆ THỐNG TRA CỨU THỰC VẬT RỪNG TẠI THÀNH PHỐ ĐÀ NẴNG ỨNG DỤNG MƠ HÌNH HỌC SÂU Chun ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC TS Nguyễn Văn Hiệu Đà Nẵng - Năm 2022 i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tơi hướng dẫn TS Nguyễn Văn Hiệu Các nội dung nghiên cứu, kết luận văn trung thực chưa cơng bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ nguồn khác có ghi rõ phần tài liệu tham khảo Ngồi ra, luận văn sử dụng số nhận xét, đánh số liệu tác giả khác, quan tổ chức khác có trích dẫn thích nguồn gốc Nếu phát có gian lận tơi xin hồn tồn chịu trách nhiệm nội dung luận văn Tác giả Bùi Quang Thuận THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC……………………………………………………………………………… ii DANH MỤC CÁC BẢNG v DANH MỤC CÁC HÌNH vi TÓM TẮT LUẬN VĂN .xi MỞ ĐẦU 1 Lý chọn đề tài Mục đích ý nghĩa đề tài Mục tiêu nhiệm vụ Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Dàn ý nội dung CHƯƠNG 1: TỔNG QUAN HỆ THỐNG TRA CỨU THỰC VẬT VÀ CƠ SỞ LÝ THUYẾT 1.1 Tổng quan hệ thống tra cứu thực vật 1.1.1 Giới thiệu 1.1.2 Bài toán tra cứu thực vật 1.1.3 Tra cứu thực vật hình ảnh 1.2 Hệ thống thơng tin địa lí 11 1.3 Mạng học sâu 13 1.3.1 Mạng nơ-ron tích chập 13 1.3.2 Kiến trúc mạng VGG16 17 1.3.3 Kiến trúc mạng MobilenetV2 18 1.3.4 Kiến trúc mạng MobileFacenet 20 CHƯƠNG 2: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG TRA CỨU THỰC VẬT 25 2.1 Yêu cầu hệ thống 25 2.2 Ứng dụng mơ hình học sâu vào tra cứu hình ảnh 27 2.2.1 Thu thập liệu 27 2.2.1.1 Quy trình thu thập liệu địa bàn Đà Nẵng 28 2.2.1.2 Quy trình thu thập liệu từ nguồn Internet 30 2.2.2 Tiền xử lí liệu 31 2.2.3 Các mơ hình huấn luyện 34 2.2.3.1 Module phân biệt phận loài thực vật với mơ hình VGG16 34 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội iii 2.2.3.1.1 Chuẩn bị liệu 35 2.2.3.1.2 Mơ hình huấn luyện VGG16 thực điều chỉnh layers 36 2.2.3.1.3 Tăng cường liệu huấn luyện 39 2.2.3.2 Module nhận diện định danh loài thực vật với MobilenetV2 39 2.2.3.2.1 Chuẩn bị liệu 40 2.2.3.2.2 Mơ hình trích xuất đặc trưng với MobileNetV2 41 2.2.3.2.3 Phân loại vector đặc trưng 43 2.2.3.3 Module nhận diện thực thể định danh thực vật với MobileFacenet 44 2.2.3.3.1 Cơ sở áp dụng mơ hình MobileFacenet vào tốn phân loại thực vật 45 2.2.3.3.2 Chuẩn bị liệu 46 2.2.3.3.3 Xây dựng mơ hình MobileFacnet kết hợp ArcFace 48 2.2.4 Đánh giá kết 49 2.2.4.1 Kết module phân biệt phận loài thực vật với mơ hình VGG16 49 2.2.4.2 Kết module nhận diện định danh loài thực vật với MobilenetV2 50 2.2.4.3 Kết nhận diện thực thể định danh thực vật với MobileFacenet 50 2.3 Cơ sở liệu quan hệ thực vật 50 2.3.1 Thiết kế mơ hình ER 50 2.3.2 Thiết kế mơ hình liệu quan hệ 52 2.4 Thiết kế kiến trúc hệ thống với Microservices 55 CHƯƠNG 3: TRIỂN KHAI HỆ THỐNG VÀ ĐÁNH GIÁ KẾT QUẢ 58 3.1 Cài đặt môi trường 58 3.1.1 Triển khai dịch vụ hệ thống với Docker Compose 58 3.1.2 Triển khai API Gateway với Nginx 59 3.2 Triển khai chức tra cứu thông tin hệ thống 61 3.2.1 Triển khai chức ứng dụng Web với Vuejs 61 3.2.2 Triển khai chức đồ 62 3.3 Kết đạt 63 3.3.1Chức 63 3.3.2 Chức tra cứu hình ảnh (chụp hình) 64 3.3.3 Chức bổ trợ (thống kê, đồ) 66 3.3.3.1 Phân hệ chức đồ 66 3.3.3.2 Phân hệ chức thống kê báo cáo 67 3.4 Đánh giá kết 69 3.4.1 Khả ứng dụng module nhận diện hình ảnh 69 3.4.2 Khả hệ thống thông tin vào tra cứu thực vật 70 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội iv KẾT LUẬN VÀ KIẾN NGHỊ 72 DANH MỤC TÀI LIỆU THAM KHẢO 74 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội v DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang Bảng thích phân hệ chức cho hệ thống thông tin 27 2.2.1-1 Thống kế số lượng liệu thu thập Đà Nẵng 28 2.2.2-1 Danh mục tình trạng lồi thực vật 32 2.2.2-2 Danh mục giá trị hữu dụng loài thực vật 32 2.2.2-3 Danh mục dạng sống hữu dụng lồi thực vật 33 2.2.4-1 Đánh giá độ xác sau huấn luyện mơ hình VGG16 50 2.2.4-2 Đánh giá độ xác sau huấn luyện mơ hình MobilnetV2 50 2.2.4-3 Đánh giá độ xác sau huấn luyện mơ hình MobileFacenet 50 2.3.1-1 Bảng thích thiết kế lược đồ quan hệ sở liệu thực vật 52 2.3.2-1 Cơ sở liệu quan hệ - Bảng Ngành 52 2.3.2-2 Cơ sở liệu quan hệ - Bảng Họ 53 2.3.2-3 Cơ sở liệu quan hệ - Bảng Loài 53 2.3.2-4 Cơ sở liệu quan hệ - Bảng Cây 54 2.3.2-5 Cơ sở liệu quan hệ - Bảng Hình ảnh 55 2.3.2-6 Cơ sở liệu quan hệ - Bảng Khu vực nghiên cứu 55 Bảng thích kiến trúc Microservices cho hệ thống thông tin 56 3.4.1-1 Đánh giá độ xác ba giải pháp nhận diện 69 3.4.1-2 Đánh giá tốc độ xử lí ba giải pháp nhận diện 70 2.1-1 2.4-1 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội vi DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang Hiện trạng rừng Việt Nam năm 2019 Ví dụ phân tích đặc trưng thực vật hình ảnh 1.2-1 Ví dụ giới thiệu cơng dụng GIS 12 1.2-2 Ví dụ lớp liệu cho hệ thống thơng tin địa lí 13 Cấu trúc minh họa mạng nơ ron tích chập 14 1.1.1 1.1.3-1 1.3.1-1 Ví dụ lọc tích chập sử dụng ma trận điểm 1.3.1-2 ảnh 15 1.3.1-3 Trường hợp thêm/không thêm viền trắng vào ảnh tích chập 16 1.3.1-4 Phương thức Avarage Pooling Max Pooling 17 1.3.2-1 Mơ hình kiến trúc tổng thể VGG16 18 1.3.3-1 Khối chuyển đổi mơ hình MobileNetV2 19 1.3.3-2 Ba lớp MobileNetV2 19 1.3.3-3 Mơ hình kiến trúc tổng thể MobileNetV2 20 1.3.4-1 Mơ hình kiến trúc tổng thể MobileFacenet 22 1.3.4-2 Mơ hình huấn luyện mạng CNN với ArcFace 23 1.3.4-3 So sánh Softmax ArcFace 24 2.0 Quy trình tiến hành để triển khai hệ thống thơng tin 25 2.2.1-1 Quy trình tiến hành thu thập liệu trường 28 2.2.1-2 Thu thập liệu thông tin chi tiết cá thể loài thực vật 29 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội vii 2.2.1-3 Thu thập liệu mẫu chi tiết tọa độ (theo chuẩn WGS84 VN2000) phân bố cá thể loài thực vật 29 2.2.1-4 Thu thập liệu ảnh cá thể lồi thực vật 29 2.2.1-5 Dữ liệu hình ảnh trang eol.org 30 2.2.1-6 Kết tìm kiếm hình ảnh Google nhập tên khoa học loài 31 2.2.2-1 Dữ liệu biên tập cho loài Quyết thơng 31 2.2.3-1 Quy trình tiến hành để triển khai module định danh thực vật hình ảnh 34 2.2.3.1-1 Các phận loài thực vật 35 2.2.3.1-2 Dữ liệu hoa, lá, quả, thân cây, toàn thực thể sử dụng cho mơ hình huấn luyện VGG16 35 2.2.3.1-3 Thống kê số lượng liệu ảnh huấn luyện với mơ hình VGG16 36 2.2.3.1-4 Mơ kiến trúc VGG16 theo layers 36 2.2.3.1-5 Thay lớp Fully Connected tùy chỉnh vào mơ hình VGG16 37 2.2.3.1-6 Thay Fully Connected tùy chỉnh vào mơ hình VGG16 38 2.2.3.1-7 Trích xuất đặc trưng Hoa, Lá, Quả với mơ hình VGG16 38 2.2.3.1-8 Mơ trích xuất đặc trưng Thân, Thực thể với mơ hình VGG16 39 2.2.3.1-9 Accuracy Training Loss sau huấn luyện mơ hình VGG16 39 2.2.3.2-1 Dữ liệu Lá chuẩn bị cho mơ hình huấn luyện MobilenetV2 40 2.2.3.2-2 Thống kê số lượng liệu ảnh huấn luyện với mơ hình MobilenetV2 41 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội viii 2.2.3.2-3 2.2.3.2-4 Mơ phần trích chọn đặc trưng 42 Mơ trích xuất đặc trưng Lá với mơ hình MobilenetV2 42 2.2.3.2-5 Minh họa việc phân loại với Support Vector Machine 43 2.2.3.3-1 Hình ảnh thực thể lồi thực vật 44 2.2.3.3-2 Cơ sở so sánh MobileFacenet với mơ hình khác 45 2.2.3.3-3 Dữ liệu Lá chuẩn bị cho mơ hình huấn luyện MobilenetFacenet 46 2.2.3.3-4 Thống kê số lượng liệu ảnh huấn luyện với mơ hình MobilenetFacenet 46 2.2.3.3-5 So sánh giải pháp phân loại Softmax, Sphere, CosFace, ArcFace 47 2.2.4-1 Đánh giá Confusion Matrix sau huấn luyện mơ hình VGG16 48 2.3.1-1 Quy trình thiết kế sở liệu 51 2.3.1-2 Lược đồ quan hệ sở liệu thực vật 51 2.3.2-1 Thiết kế sở liệu hệ thống thông tin tra cứu thực vật 52 2.4-1 Thiết kế hệ thống thông tin theo kiến trúc MicroServices 53 3.1.1-1 Docker Containers Virtual Machines 58 3.1.1-2 Các dịch vụ triển khai với Docker-compose 59 3.1.2-1 Mô tả Nginx Webserver 60 3.1.2-2 API Gateway với Nginx 60 3.2.1-1 Triển khai mơ hình chức với ứng dụng Web 62 3.2.2-1 Triển khai công nghệ đồ vào hệ thống thông tin tra cứu thực vật 62 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 74 DANH MỤC TÀI LIỆU THAM KHẢO [1] Burhan Rashid Hussein, Owais Ahmed Malik, Wee-Hong Ong and Johan Willem Frederik Slik, “Automated Extraction of Phenotypic Leaf Traits of Individual Intact Herbarium Leaves from Herbarium Specimen Images Using Deep Learning Based Semantic Segmentation”, MDPI, Basel, Switzerland, May 2021 [2] Du, M., Zhang, S and Wang, H., “Supervised Isomap for Plant Leaf Image Classification”, 5th International Conference on Emerging Intelligent Computing Technology and Applications, pp 627- 634, 2009 [3] Hossain, J and Amin, M.A., “Leaf Shape Identification Based Plant Biometrics, 13th International Conference on Computer and Information Technology”, Dhaka, Bangladesh, pp 458-463, 2010 [4] Du, J.X., Wang, X.F and Zhang, G.J., “Leaf shape-based plant species recognition”, Applied Mathematics and Computation, 2007 [5] Y Nam and E Hwang, “A representation and matching method for shapebased leaf image retrieval, Journal of KIISE: Software and Applications”, vol 32, no 11, pp 1013-1021, 2005 [6] Y Nam, J Park, E Hwang, and D Kim, “Shape-based leaf image retrieval using venation feature, Proceedings of 2006 Korea Computer Congress”, vol 33, no 1D, pp 346-348, 2006 [7] A Aakif and M F Khan, “Automatic classification of plants based on their leaves, Biosystems Engineering”, vol 139, pp 66–75, 2015 [8] Wang-Su Jeon and Sang-Yong Rhee, “Plant Leaf Recognition Using a Convolution Neural Network, International Journal of Fuzzy Logic and Intelligent Systems”, Vol 17, No 1, pp 26-34, March 2017 [9] Carranza-Rojas, J and Mata-Montero, E., “Combining Leaf Shape and Texture for Costa Rican Plant Species Identification”, CLEI Electronic Journal, 19(1), pp 7, 2016 [10] G L Grinblat, L C Uzal, M G Larese, and P M Granitto, “Deep learning for plant identification using vein morphological patterns”, Computers and Electronics in Agriculture, pp 418–424, 2016 [11] Y Sun, Y Liu, G Wang, and H Zhang, “Deep learning for plant identification in natural environment”, Computer Intel Neurosis, 2017 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 75 [12] Du, J.X., Wang, X.F and Zhang, G.J., “Leaf shape-based plant species recognition, Applied Mathematics and Computation”, 2007 [13] Du, M., Zhang, S and Wang, H., “Supervised Isomap for Plant Leaf Image Classification”, 5th International Conference on Emerging Intelligent Computing Technology and Applications, Ulsan, South Korea, pp 627-634, 2009 [14] Du, J.X., Zhai, C.M and Wang, Q.P., “Recognition of plant leaf image based on fractal dimension features”, Neurocomputing, 2013 [15] Yu Sun, Yuan Liu, Guan Wang, Haiyan Zhang, “Deep Learning for Plant Identification in Natural Environment”, Computational Intelligence and Neuroscience, May 2017 [16] C Sudhakar Reddy , "APPLICATIONS OF GIS IN PLANT TAXONOMY, SPECIES DISTRIBUTION AND ECOLOGY", Forestry and Ecology Group, National Remote Sensing Centre, Indian Space Research Organisation, Balanaga [17] Dumoulin, V., & Visin, F., A guide to convolution arithmetic for deep learning, 2016 [18] Samer, C H., Rishi, K., & Rowen., Image Recognition Using Convolutional Neural Networks Cadence Whitepaper, 1–12, 2015 [19] Mark S., and Andrew H., “MobileNetV2: The Next Generation of OnDevice Computer Vision Networks”, Google Research, April 2018 [20] Karen Simonyan, Andrew Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition”, ICLR, Apr 2015 [21] Muneeb ul H., “VGG16 – Convolutional Network for Classification and Detection”, Neurohive, Nov 2018 [22] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, Liang-Chieh Chen, “MobileNetV2: Inverted Residuals and Linear Bottlenecks”, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp 4510-4520 [23] Mark S., and Andrew H., “MobileNetV2: The Next Generation of OnDevice Computer Vision Networks”, Google Research, April 2018 [24] Sheng Chen, Yang Liu, Xiang Gao, and Zhen Han, "MobileFaceNets: Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices", School of Computer and Information Technology, Beijing Jiaotong University, Beijing, China, April 2018 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 76 [25] Jiankang Deng, Jia Guo, Xiang Gao, and Niannan Xue, "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", Imperial College London, Feb 2019 [26] An Esri India White Paper, "GIS for Smart Cities", Esri Enterprise, September 2014 [27] Hieu, N V and Hien, N L H., “Recognition of Plant Species using Deep Convolutional Feature Extraction”, International Journal on Emerging Technologies, 11(3): 904–910, 2020 [28] Nguyen Van Hieu, and Ngo Le Huy Hien, “Automatic Plant Image Identification of Vietnamese species using Deep Learning Models”, International Journal of Engineering Trends and Technology (IJETT), vol 68, no 4, pp 25-31, April 2020 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội ...ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI QUANG THUẬN ĐỀ TÀI XÂY DỰNG HỆ THỐNG TRA CỨU THỰC VẬT RỪNG TẠI THÀNH PHỐ ĐÀ NẴNG ỨNG DỤNG MƠ HÌNH HỌC SÂU Chuyên ngành: Khoa học. .. lồi thực vật hình ảnh Chính lý trên, đề xuất triển khai đề tài ? ?Xây dựng hệ thống tra cứu thực vật rừng Thành Phố Đà Nẵng ứng dụng mơ hình học sâu? ?? THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ... thực vật hình ảnh Chính lý trên, đề xuất triển khai đề tài ? ?Xây dựng hệ thống tra cứu thực vật Thành phố Đà Nẵng ứng dụng mơ hình học sâu? ?? Trong phạm vi đề tài này, cho triển khai thành phố Đà