Nghiên cứu xây dựng ứng dụng di động nhận biết một số loại sâu bệnh hại lúa từ ảnh sử dụng trí tuệ nhân tạo

BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC LÊ THUỲ GIANG NGHIÊN CỨU XÂY DỰNG ỨNG DỤNG DI ĐỘNG NHẬN BIẾT MỘT SỐ LOẠI SÂU BỆNH HẠI LÚA TỪ ẢNH SỬ DỤNG TRÍ TUỆ NHÂN TẠO LUẬN VĂN THẠC SĨ MÁY TÍNH THANH HÓA, NĂM 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC LÊ THUỲ GIANG NGHIÊN CỨU XÂY DỰNG ỨNG DỤNG DI ĐỘNG NHẬN BIẾT MỘT SỐ LOẠI SÂU BỆNH HẠI LÚA TỪ ẢNH SỬ DỤNG TRÍ TUỆ NHÂN TẠO LUẬN VĂN THẠC SĨ MÁY TÍNH Chun ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn khoa học: TS Nguyễn Đình Cơng THANH HÓA, NĂM 2022 Danh sách Hội đồng đánh giá luận văn Thạc sỹ khoa học (Theo Quyết định số:30 /QĐ- ĐHHĐ ngày tháng năm 2022 Hiệu trưởng Trường Đại học Hồng Đức) Học hàm, học vị Cơ quan Chức danh Họ tên Công tác Hội đồng Chủ tịch HĐ UV, Phản biện UV, Phản biện Uỷ viên Uỷ viên, Thư ký Xác nhận Người hướng dẫn Học viên chỉnh sửa theo ý kiến Hội đồng Ngày tháng năm 2022 LỜI CAM ĐOAN Tôi xin cam đoan luận văn tự thân tơi tìm hiểu, nghiên cứu hướng dẫn TS Nguyễn Đình Cơng Trong tồn nội dung luận văn, vấn đề trình bày cá nhân, tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có nguồn gốc rõ ràng trích dẫn hợp pháp Những số liệu, kết nghiên cứu khoa học độc lập trình bày luận văn hồn tồn trung thực, khơng vi phạm điều luật sở hữu trí tuệ pháp luật Việt Nam Nếu sai, tơi hồn tồn chịu trách nhiệm trước pháp luật./ Thanh Hóa, ngày 12 tháng năm 2022 Tác giả luận văn Lê Thuỳ Giang i LỜI CẢM ƠN Tác giả xin trân trọng gửi lời cảm ơn chân thành tới Ban giám hiệu, Phịng Đào tạo Sau đại học, thầy giáo, giáo Khoa CNTT&TT - Trường Đại học Hồng Đức tạo điều kiện thuận lợi trình học tập, nghiên cứu thực luận văn Tác giả bày tỏ lịng kính trọng biết ơn sâu sắc đến TS Nguyễn Đình Cơng - Trường Đại học Hồng Đức thầy giáo trực tiếp hướng dẫn, tận tình định hướng, dẫn khoa học, giúp đỡ tạo điều kiện cho tác giả suốt trình hoàn thành luận văn Tác giả xin chân thành cảm ơn bạn bè, đồng nghiệp gia đình động viên, giúp đỡ, đóng góp ý kiến tạo điều kiện thuận lợi để tơi hồn thành luận văn Do điều kiện thời gian khả thân có hạn, cố gắng song chắn luận văn không tránh khỏi thiếu sót định Tác giả kính mong đóng góp ý kiến quý thầy, cô bạn để luận văn hoàn thiện Xin chân thành cảm ơn! Thanh Hóa, ngày 12 tháng năm 2022 Tác giả luận văn Lê Thuỳ Giang ii MỤC LỤC LỜI CAM ĐOAN - LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC HÌNH VẼ v MỞ ĐẦU 1 Tính cấp thiết đề tài Mục đích nhiệm vụ nghiên cứu Phương pháp nghiên cứu Dự kiến kết đạt Nội dung nghiên cứu Chương CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON TÍCH CHẬP 1.1 Giới Thiệu chung 1.1.1 Lớp tích chập (Convolutional layer) 1.1.2 Lớp kích hoạt (Activation layer) 1.1.3 Lớp gộp (Pooling layer) 1.1.4 Lớp kết nối đầy đủ (Fully-connected layer) 1.2 Tổng quan nghiên cứu để nhận dạng sâu bệnh 1.2.1 Giới thiệu toán nhận dạng/phân loại đối tượng 1.2.2 Tổng quan tình hình nghiên cứu 10 1.3 Các cơng cụ thư viện lập trình 13 1.3.1 React Native 13 1.3.2 Expo 14 1.3.3 Keras 14 1.3.4 Cơ sở liệu NoSQL MongoDB 15 Chương ĐỀ XUẤT XÂY DỰNG HỆ THỐNG PHÂN LOẠI 17 2.1 Giới thiệu chung 17 2.2 Mơ hình Simple CNN 17 iii 2.3 Mơ hình CNN đề xuất……………………………………………… 19 2.4 Đặc tả hệ thống 23 2.4.1 Phân tích quy trình nghiệp vụ 23 2.3.2 Các tác nhân hệ thống 25 2.3.3 Đặc tả chi tiết ca sử dụng 28 2.3.4 Các yêu cầu phi chức 39 2.3.4 Thiết kế sở liệu 39 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 42 3.1 Giới thiệu chung 42 3.2 Đánh giá mơ hình CNN 42 3.2.1 Bộ liệu đánh giá 42 3.2.2 Thang đo giao thức 43 3.2.3 Đánh giá hiệu 44 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU 48 TÀI LIỆU THAM KHẢO……………………………………………… 49 iv DANH MỤC HÌNH VẼ Hình 1 Mơ hình mạng nơ ron tích chập [22] Hình Minh hoạ phép nhân tích chập tương ứng với vị trí di chuyển lọc [22] Hình Đồ thị hàm sigmoid [23] Hình Đồ thị hàm ReLU [24] Hình Đồ thị hàm số hàm LeakyReLu [25] Hình Ví dụ cách gộp cực đại trung bình [26] Hình Ví dụ mơ hình lớp kết nối đầy đủ [12] Hình 1.8 Kiến trúc mạng DenseNet với cấu trúc: DenseNet121, DenseNet169, DenseNet201, DenseNet264 [16] 11 Hình Kiến trúc Block DenseNet201 [17] 12 Hình Kiến trúc mạng Simple CNN, trích chọn từ [18] 19 Hình 2 Mơ hình tổng qt mạng CNN đề xuất 20 Hình Biểu diễn trình sử dụng kỹ thuật Dropout 22 Hình Quy trình tạo tài khoản 23 Hình Quy trình đăng nhập 23 Hình Quy trình dự đốn bệnh 24 Hình Quy trình xem thơng tin………………………………………… 24 Hình Quy trình xem lịch sử 25 Hình Biểu đồ use-case tổng quan hệ thống 26 Hình 10 Biểu đồ use-case dự đoán bệnh 26 Hình 11 Biểu đồ use-case quản lý tài khoản 27 Hình 12 Biểu đồ use-case xem thơng tin bệnh 27 Hình 13 Biểu đồ use-case xem lịch sử 27 Hình 14 Kiến trúc hoạt động hệ thống 39 Hình (a) Bệnh bạc lá, (b) bệnh đạo ôn, (c) bệnh đốm nâu, (d) bệnh tungro [19] 42 v Hình Quy trình chuyển đổi từ mơ hình huấn luyện tới ứng dụng di động 44 Hình 3 Biểu đồ so sánh độ xác tỉ lệ mát trình huấn luyện 44 Hình Confusion matrix tập liệu kiểm tra……………………… 45 Hình Màn hình đăng nhập ứng dụng 46 Hình Các chức khác ứng dụng 46 Hình Màn hình dự đốn ảnh ứng dụng 47 vi Sự kiện kích hoạt Tác nhân chọn chức xem lịch sử Điều kiện tiên Tác nhân đăng nhập quyền người dùng Trạng thái sau thực Luồng xử lý Các luồng xử lý thay Ngoại lệ Hệ thống hiển thị lịch sử dự đoán Tác nhân chọn chức xem lịch sử Hệ thống hiển thị lịch sử dự đốn Khơng có Khơng có Đặc tả use-case “Xem chi tiết lịch sử” mô tả Bảng 2.15 Bảng 2.15 Đặc tả use-case xem chi tiết lịch sử Mã Use case UC13 Tên Use case Xem chi tiết lịch sử Tác nhân Người dùng Mô tả Usecase cho phép tác nhân xem chi tiết lịch sử Sự kiện kích hoạt Điều kiện tiên Trạng thái sau thực Luồng xử lý Các luồng xử lý thay Ngoại lệ Tác nhân chọn chức xem thông tin chi tiết lịch sử Tác nhân đăng nhập quyền người dùng Hệ thống hiển thị chi tiết lịch sử Tác nhân chọn chức xem thông tin lịch sử Hệ thống hiển thị chi tiết lịch sử Khơng có Khơng có 37 Đặc tả use-case “Tìm kiếm lịch sử” mơ tả Bảng 2.16 Bảng 2.16 Đặc tả use-case tìm kiếm lịch sử Mã Use case UC14 Tên Use case Tìm kiếm lịch sử Tác nhân Người dùng Mô tả Usecase cho phép tác nhân tìm kiếm lịch sử dự đốn Sự kiện kích hoạt Tác nhân chọn chức tìm kiếm lịch sử dự đoán Điều kiện tiên Tác nhân đăng nhập quyền người dùng Trạng thái sau thực Hệ thống hiển thị danh sách lịch sử tìm thấy Luồng xử lý Tác nhân chọn chức tìm kiếm lịch sử Hệ thống hiển thị form tìm kiếm Tác nhân nhập thơng tin cần tìm kiếm Hệ thống hiển thị danh sách lịch sử tìm thấy Các luồng xử lý thay Khơng Ngoại lệ Khơng có 38 2.3.4 Các u cầu phi chức Hệ thống đưa cảnh báo kết nối Internet, cho phép người dùng sử dụng chức truy cập đến liệu tương ứng với vai trò tài khoản sử dụng Hình 2.14 trình bày kiến trúc hoạt động hệ thống Hình 2.14 Kiến trúc hoạt động hệ thống 2.3.4 Thiết kế sở liệu Danh sách Collections biểu diễn Bảng 2.17 Bảng 17 Danh sách Collections Tên Collection Mô tả admin Thông tin người quản trị hệ thống user Thông tin tài khoản người dùng pest Thông tin bệnh history Thơng tin lịch sử lần dự đốn 39 Dưới đây, tìm hiểu chi tiết collection Bảng 2.18 biểu diễn collection admin Bảng 18 Mô tả collection admin STT Tên trường Kiểu liệu Nullable Mô tả id ObjectId no Mã người quản trị username String no Tên tài khoản password String no Mật full_name String no Họ tên phone_number String no Số điện thoại email String no Địa email address String no Địa Create_at Date no Ngày tạo tài khoản Bảng 2.19 mô tả collection user Bảng 19 Mô tả collection user Tên trường STT Kiểu liệu Nullable Mô tả id ObjectId no Mã người dùng username String no Tên tài khoản password String no Mật full_name String no Họ tên phone_number String no Số điện thoại status Boolean no Trạng thái tài khoản create_at Date no Ngày tạo tài khoản 40 Bảng 2.20 mô tả collection bệnh Bảng 20 Mô tả collection bệnh STT Tên trường Kiểu liệu Nullable Mô tả id ObjectId no Mã bệnh pest_name String no Tên bệnh pest_description String no Mô tả pest_solution String no Phương pháp image_path String no Hình ảnh minh hoạ create_at Date no Ngày tạo ghi Bảng 2.21 mô tả collection history Bảng 21 Mô tả collection history STT Tên trường Kiểu liệu Nullable Mô tả id ObjectId no Mã lần dự đoán pest_id ObjectId no Mã bệnh image_path String no Hình ảnh tải lên create_at varchar no Thời gian dự đoán 41 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ 3.1 Giới thiệu chung Trong chương đánh giá hiệu mơ hình CNN đề xuất sử dụng để nhận dạng số loại bệnh lúa Hiệu sử dụng mơ hình so sánh với số mơ hình tốt thiết kế dành riêng cho toán nhận dạng sâu bệnh lúa Tiếp theo đó, mơ hình triển khai cài đặt ứng dụng di động với kịch kiểm tra hai môi trường di động iOS Android 3.2 Đánh giá mơ hình CNN 3.2.1 Bộ liệu đánh giá Hình (a) Bệnh bạc lá, (b) bệnh đạo ô (c) bệnh đốm nâu, (d) bệnh tungro [19] Trong luận văn này, sử dụng liệu Đại học Sambalpur [19] Bộ liệu bao gồm 5932 ảnh thu thập điều kiện nhiệt độ, độ ẩm, lượng mưa khác nhằm tạo phong phú cho liệu huấn luyện mơ hình Bộ liệu bao gồm lớp sâu bệnh lúa gồm: - Bệnh bạc (Bacterialblight): với 1584 ảnh; 42 - Bệnh đạo ôn (Blast): với 1440 ảnh; - Bệnh đốm nâu (Brownspot): với 1600 ảnh; - Bệnh tungro (Tungro): với 1308 ảnh; Hình 3.1 biểu diễn số hình ảnh liên quan tới bệnh liệu 3.2.2 Thang đo giao thức Trong phạm vi nghiên cứu luận văn, mơ hình đề xuất (Proposed model) so sánh đánh giá với mơ hình MobileNet [16], DenseNet201 [17], SimpleCNN [18] Trên thang đo sau - Độ xác (Accuracy %): tham số đánh giá khả nhận dạng các mẫu liệu Độ xác tính theo cơng thức (4) 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 (%) = 𝑇𝑃+𝑇𝑁 𝑇ổ𝑛𝑔 𝑠ố 𝑚ẫ𝑢 (4) TP tổng số dự báo nhãn khớp; TN tổng số dự báo nhãn nhãn sai - Số lượng tham số mơ hình - Thời gian huấn luyện mơ hình (giây) - Confusion matrix: Ma trận so sánh kết dự đốn nhãn thực tế Q trình huấn luyện thực Google Colab Cấu hình chi tiết: - CPU: Intel(R) Xeon(R) CPU @ 2.20GHz - GPU: Tesla K80 - RAM: 12GB Các tham số huấn luyện bao gồm: Batch size = 32; Learning rate = 0.001; Epochs = 320 43 Khi triển khai lên ứng dụng di động, mơ hình chuyển sang dạng TensorFlow Lite để đưa trực tiếp lên ứng dụng Quy trình từ mơ hình huấn luyện xong để triển khai lên ứng dụng mơ tả Hình 3.2 Hình Quy trình chuyển đổi từ mơ hình huấn luyện tới ứng dụng di động 3.2.3 Đánh giá hiệu Quá trình huấn luyện liệu thể Hình 3.3 Hình 3.3 Biểu đồ so sánh độ xác tỉ lệ mát q trình huấn luyện Hình 3.3 cho thấy, có hai nhóm mơ hình, với nhóm nhóm hội tụ có giá trị cao (100%) sau 100 epoches bao gồm mơ hình đề xuất (Proposed 44 model), mơ hình MobileNet, mơ hình DenseNet201 Trong mơ hình SimpleCNN hội tụ với giá trị thấp gần 75% Trong trình triển khai, kết thu biểu diễn Bảng 3.1 Bảng So sánh mơ hình đề xuất mơ hình khác Mơ hình Độ xác (%) Số lượng tham số (triệu) Thời gian huấn luyện (giây) DenseNet201 99.65 20 45002 MobileNetv3 91.3 19819 SimpleCNN 75.1 0.276 15267 Proposed model 99.21 0.8 12797 Mơ hình đề xuất đạt vị trí thứ hai độ xác với độ lệch so với mơ hình tốt DenseNet201 0.4% Trong số lượng tham số mơ hình đề xuất nhỏ khoảng 25 lần so với mô hình tốt Mơ hình SimpleCNN đạt hiệu tập liệu kiểm tra Để chi tiết việc đánh giá mơ hình đề xuất, Hình 3.4 trình bày confusion matrix, có nhãn bị dự đoán sai tập liệu kiểm tra mơ hình Hình Confusion matrix tập liệu kiểm tra 45 3.3 Triển khai cài đặt ứng dụng Màn hình đăng nhập đăng ký tài khoản ứng dụng thể Hình Hình Confusion matrix tập liệu kiểm tra Hình 3.5 Màn hình đăng nhập ứng dụng Màn hình thể ứng dụng triển khai dự đoán hình ảnh để phân loại bệnh tập liệu Sau nhận biết bệnh cụ thể, có thơng tin kèm theo bệnh Từ đề xuất hướng xử lý cần thiết Các thông tin đưa tương ứng với bệnh trao đổi với chuyên gia trồng Hình 3.6 biểu diễn giao diện ứng dụng Hình 3.6 Các chức khác ứng dụng 46 Một số hình ảnh khác chức ứng dụng trình bày trực quan Hình 3.7 Hình 3.7 Màn hình dự đốn ảnh ứng dụng 47 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU Nông nghiệp thông minh thuật ngữ tương đối phổ biến giới nói chung Việt Nam nói riêng mang lại nhiều kết ưu việt so với nông nghiệp truyền thống từ hiệu suất tới chi phí nhân cơng Một phần khơng thể thiếu xây dựng ứng dụng phát loại sâu bệnh sản phẩm nông nghiệp Đối với lúa, loại trồng chủ lực Việt Nam, đóng vai trị quan trọng an ninh lương thực xuất khẩu, quy trình chăm sóc - phòng trừ sâu bệnh tuân thủ cách nghiêm ngặt, khơng thể kiểm sốt hồn tồn mầm mống sâu bệnh Trong hầu hết trường hợp, sâu bệnh phát qua thân lúa (thể rõ giai đoạn trổ bơng) Với mơ hình canh tác diện tích lớn, sử dụng mắt người khó để phát dấu hiệu bệnh giai đoạn phát triển ban đầu Do phạm vi nghiên cứu luận văn đề tài đạt kết sau: - Trình bày kiến thức mạng nơ ron tích chập (CNN) bao gồm kiến trúc mạng, nguyên tắc hoạt động tầng - Giới thiệu nghiên cứu liên quan sử dụng mạng CNN để phát bệnh trồng nói chung lúa nói riêng - Giới thiệu tổng quan cơng nghệ lập trình di động - Đề xuất mơ hình mạng CNN sử dụng để nhận dạng bốn bệnh lúa, mơ hình đảm bảo hai tiêu chí kích thước mơ hình nhỏ gọn để tích hợp tảng di động đảm bảo độ xác cạnh tranh với mơ hình khác - Xây dựng thành cơng ứng dụng di động cài đặt hệ điều hành iOS Android Hướng nghiên cứu Trong tương lại gần, luận văn tiếp tục khai thác cập nhật để cải thiện chất lượng mơ hình mạng CNN cho đạt hiệu tốt mặt mơ hình độ xác, nâng cao tốc độ nhận dạng mơ hình Ngồi ra, tối ưu hố kĩ thuật lập trình để đưa ứng dụng vào thực tế sử dụng 48 TÀI LIỆU THAM KHẢO Tiếng Anh [1] A W Achim, et al (2017), "Opinion: Smart farming is key to developing sustainable agriculture", Proceedings of the National Academy of Sciences 114.24 6148-6150 [2] B WEF ADB, (2017), ASEAN 4.0: What does the industrial revolution means for regional economic intergration [3] C A.Patrick, S Pelham, , (2017) “High throughput phenotyping of tomato spot wilt disease in peanuts using unmanned aerial systems and multispectral imaging”, IEEE Instrumentation & Measurement Magazine, 20(3), 4-12 [4] D Sabatier, C Moon, T Mhora, R Rutherford, and M Laing, (2014) “Near-infrared reflectance (nir) spectroscopy as a highthroughput screening tool for pest and disease resistance in a sugarcane breeding programme,” SASTA, pp 101-106, [5] E S Phadikar (2016) “Vegetation indices based segmentation for automatic classification of brown spot and blast diseases of rice,” (RAIT), 284-289 [6] F K.Alex, I.Sutskever, E Hinton (2012) "Imagenet classification with deep convolutional neural networks" , Advances in neural information processing systems, 25: 1097-1105 [7] G B Alexey, C.Wang, and H Yuan (2020) "Yolov4: Optimal speed and accuracy of object detection", arXiv preprint arXiv:2004.10934 [8] H W.Liu, D.Anguelov, D.Erhan, C.Szegedy, S Reed, C.Yang Fu, C Berg, (2015) "SSD: Single Shot MultiBox Detector", Springer, Cham [9] I R Girshick, J Donahue, T Darrell, (2014) “Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation.” CVPR [10] J R Girshick, (2015 ) “Fast R-CNN”, in IEEE International Conference on Computer Vision (ICCV) 49 [11] K S Ren, K.He, R Girshick, J.Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Advances in neural information processing systems 28 [12] L N Michael, (2015), “Neural networks and deep learning”, Vol 25 San Francisco, CA, USA: Determination press, [13] M Ka.Bikash Chandra, M.Samawat Ullah, M.Siddiquee, and K.Rokibul Alam, (2015), "Tea leaf diseases recognition using neural network ensemble",International Journal of Computer Applications 114, no 17 [14] N S.Vimal, and K Pradhan (2021), "Rice plant disease classification using color features: a machine learning paradigm", Journal of Plant Pathology,103, no 17-26 [15] O H.Md Jahid, S Mahbub, M Alom, and M Nasim (2019), "Rice disease identification and classification by integrating support vector machine with deep convolutional neural network", (ICASERT), pp 1-6 IEEE [16] P H Andrew, M.Sandler, G.Chu, (2019) , "Searching for mobilenetv3." CVF international conference on computer vision, pp 1314-1324 [17] P H.Gao, Z Liu, L Van Der Maaten, Q Weinberger (2017), "Densely connected convolutional networks", In Proceedings of the IEEE conference on computer vision and pattern recognition, pp 4700-4708 [18] R Chowdhury R., Preetom S Arko, Mohammed E Ali, (2020) "Identification and recognition of rice diseases and pests using convolutional neural networks", Biosystems Engineering 194 112-120 [19] S.Kumar, N.Barpanda, A.Rath, and S Behera (2020), "Deep feature based rice leaf disease identification using support vector machine." Computers and Electronics in Agriculture ,175 *Trang Web [20] https://plantix.net/en/ [21] https://nongnghiep.vn/som-xay-dung-apps-giam-dinh-sau-benh-hai-lua d294898.html [22] shorturl.at/DHKQ2 50 [23] https://www.sciencedirect.com/topics/engineering/sigmoid-function [24] https://stanford.edu/~shervine/teaching/cs-230 [25] shorturl.at/fBRUV [26] https://analyticsindiamag.com/ [27] shorturl.at/hlqZ3 [28] https://reactnative.dev/ [29] https://expo.dev/ [30] https://keras.io/ [31] https://www.mongodb.com/nosql-explained [32] https://www.mongodb.com 51