(Luận văn thạc sĩ hcmute) ứng dụng kỹ thuật học sâu đánh giá chất lượng xoài thu hoạch

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ VÕ THỊ PHƯƠNG ỨNG DỤNG KỸ THUẬT HỌC SÂU ĐÁNH GIÁ CHẤT LƯỢNG XOÀI THU HOẠCH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 8520203 S K C0 Tp Hồ Chí Minh, tháng 04/2020 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ VÕ THỊ PHƯƠNG ỨNG DỤNG KỸ THUẬT HỌC SÂU ĐÁNH GIÁ CHẤT LƯỢNG XOÀI THU HOẠCH NGÀNH: KỸ THUẬT ĐIỆN ĐIỆN TỬ - 8520203 Tp Hồ Chí Minh, tháng 4/2020 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ VÕ THỊ PHƯƠNG ỨNG DỤNG KỸ THUẬT HỌC SÂU ĐÁNH GIÁ CHẤT LƯỢNG XOÀI THU HOẠCH NGÀNH: KỸ THUẬT ĐIỆN ĐIỆN TỬ - 8520203 Hướng dẫn khoa học: TS PHAN HỌC Tp Hồ Chí Minh, tháng 4/2020 Luan van LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: Võ Thị Phương Giới tính: Nữ Ngày, tháng, năm sinh: 14/10/1994 Nơi sinh: Đăk Lăk Quê quán: TP Buôn Ma Thuột, T Đăk Lăk Dân tộc: Kinh Chỗ riêng địa liên lạc: Quang Trung, Phường 11, Quận Gò Vấp, TP.HCM Điện thoại quan: Điện thoại nhà riêng: Fax: E-mail: II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ …/… đến …/ … Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 10/2012 đến 3/2017 Nơi học (trường, thành phố): Đại học Sư Phạm Kỹ Thuật TP Hồ Chí Minh Ngành học: Sư phạm kỹ thuật công nghệ điện tử - viễn thông Tên đồ án, luận án môn thi tốt nghiệp: Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Người hướng dẫn: III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: iv Luan van Thời gian Nơi công tác Công việc đảm nhiệm 5/2019-nay Công ty TNHH Giải Pháp Phần Mềm Tường Minh Engineering 4/2018-5/2019 Công ty DFM Engineering 10/2018-nay Đại học SPKT TP HCM Học viên cao học v Luan van LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tp Hồ Chí Minh, ngày tháng năm 2020 Võ Thị Phương vi Luan van LỜI CẢM ƠN Qua thời gian học tập rèn luyện trường Đại học Sư phạm Kỹ Thuật Tp.HCM, bảo giảng dạy nhiệt tình quý Thầy cô truyền đạt cho kiến thức lý thuyết thực hành suốt thời gian học trường Từ kết đạt này, xin chân thành cảm ơn Thầy Phan Học tận tình hướng dẫn tạo điều kiện hỗ trợ trang thiết bị để tơi hồn thành tốt luận văn Do kiến thức hạn hẹp nên khơng tránh khỏi thiếu sót cách hiểu lỗi trình bày, tơi mong nhận đóng góp ý kiến q Thầy để đạt kết tốt Tôi gửi lời cảm ơn đến gia đình tạo điều kiện thuận lợi mặt vật chất tinh thần để hồn thành tốt cơng việc học tập TP.HCM, Ngày Tháng Người Thực Hiện Võ Thị Phương vii Luan van Năm 2020 TÓM TẮT LUẬN VĂN Trong nghiên cứu này, tơi đề xuất mơ hình sử dụng phương pháp học sâu để đánh giá phân loại nhiều loại chất lượng trái xoài Các đầu vào sử dụng ảnh trái xoài bị bệnh (phân thành loại bệnh đặt xoài bị thúi, đốm, nứt thẹo nám) ảnh trái xoài đạt chất lượng Bộ liệu liệu tác giả thu thập vào thời điểm sau thu hoạch qua mơ hình xử lí, sau phân loại thành lớp qua việc sử dụng mơ hình MobileNet tảng TensorFlow Trong nghiên cứu này, đạt tỷ lệ xác khoảng 70-80% Phương pháp thích hợp để phát triển quy trình phân loại nhiều loại bệnh trái xoài để đảm bảo chất lượng sản phẩm băng chuyền nhà máy trước xuất Sau nghiên cứu, luận án hoàn thành tương đối mục tiêu đề viii Luan van MỤC LỤC LÝ LỊCH KHOA HỌC IV LỜI CAM ĐOAN VI CHƯƠNG GIỚI THIỆU 1.1 GIỚI THIỆU 1.2 MỤC TIÊU CỦA ĐỀ TÀI 1.3 PHƯƠNG PHÁP NGHIÊN CỨU .2 1.4 BỐ CỤC .2 CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU 2.2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU .4 2.2.1 Tình hình nước 2.2.2 Tình hình nghiên cứu nước ngồi 2.3 CÁC CÁCH PHÂN LOẠI 2.3.1 Sử dụng cảm biến màu 2.3.2 Phương pháp quét laser .6 2.3.3 Phương pháp phân loại đánh giá thủ công 2.4 TỔNG QUAN VỀ MACHINE VÀ DEEP LEARNING .8 2.5 ANN (ARTIFICIAL NEURAL NETWORKS) .11 2.5.1 Nhận diện hình ảnh 12 2.5.2 Phát loại bệnh gặp 12 2.5.3 Cấu trúc CNN (Convolutional Neural Networks) .13 2.6 CÁC MƠ HÌNH PRE-TRAINING 15 2.6.1 VGG-16 .15 2.6.2 InceptionNet: .15 2.6.3 Resnet (Residual Network) 16 2.6.4 Mơ hình mobilenets 17 2.7 BÀI TỐN CƠNG NGHỆ ĐẶT RA VÀ LỰA CHỌN GIẢI PHÁP 21 2.7.1 Bài tốn cơng nghệ đặt 21 ix Luan van 2.7.2 Xây dựng mơ hình thiết bị đánh giá phân loại xoài 21 2.7.3 Lựa chọn thiết bị phần cứng 21 2.7.4 Tổng quan hệ thống phần mềm 24 2.8 KẾT LUẬN CHƯƠNG 27 CHƯƠNG XÂY DỰNG HỆ THỐNG 28 3.1 THIẾT KẾ, TÍNH TỐN PHẦN CỨNG THIẾT BỊ 28 3.2 SƠ ĐỒ TỔNG QUAN THUẬT TOÁN HỆ THỐNG 29 3.3 PHÂN LOẠI BỆNH CỦA XOÀI 31 3.4 DATASET 31 3.5 CHỌN MODEL VÀ IMPORT THƯ VIỆN 36 3.6 BIÊN DỊCH MƠ HÌNH .45 3.7 THIẾT KẾ GIAO DIỆN 46 3.8 KẾT LUẬN CHƯƠNG 47 CHƯƠNG 48 KẾT QUẢ VÀ ĐÁNH GIÁ 48 4.1 KẾT QUẢ THỰC NGHIỆM TRÊN ẢNH VỚI GIAO DIỆN 48 4.2 ĐÁNH GIÁ HỆ THỐNG 55 CHƯƠNG 57 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 57 5.1 KẾT LUẬN .57 5.2 HƯỚNG PHÁT TRIỂN 57 TÀI LIỆU THAM KHẢO 58 x Luan van 3.7 THIẾT KẾ GIAO DIỆN Hệ thống xây dựng tảng Tkinter Keras dùng ngôn ngữ Python để lập trình thiết kế giao diện (GUI) Bao gồm: Label hiển thị ảnh cập nhật kết quả, nút Button điều khiển, mơ hình huấn luyện trước Lưu đồ hoạt động hệ thống: Hình 3.19 Lưu đồ thiết kế giao diện Ứng dụng có khả cho người dùng tải ảnh máy tính Sau qua mơ hình huấn luyện để chuẩn đoán loại bệnh xuất kết khung giao diện 46 Luan van 3.8 KẾT LUẬN CHƯƠNG Thiết bị đánh giá phân loại xồi máy tính nhúng sử dụng phương pháp xử lý hình ảnh qua hàm thư viện xử lý hình ảnh lớn tensorflow, kết hợp cảm biến để xây dựng nên phần mềm cho hai hệ thiết bị thiết bị băng tải tự động thiết bị cầm tay Thiết bị có phần cứng thiết kế trực quan, đơn giản cho người sử dụng dễ cầm nắm, vận hành thiết bị, dễ dàng thay đổi hai thiết bị tự động cầm tay cách nhanh chóng cần thiết 47 Luan van Chương KẾT QUẢ VÀ ĐÁNH GIÁ 4.1 KẾT QUẢ THỰC NGHIỆM TRÊN ẢNH VỚI GIAO DIỆN Trong hình 4.1, giao diện thực phân loại bệnh đối tượng thông qua ảnh offline, chức thành phần giao diện: • Nút Open_Image: cho phép chọn ảnh từ thư mục máy tính, hiển thị nhận diện cảm xúc đối tượng ảnh • Nút Close: cho phép chương trình Ảnh sau tải lên hiển thị khung label (ảnh trung tâm) Phần trăm độ xác theo nhãn trái xoài nhận dạng hiển thị bên trái khung Label theo xếp giảm dần Trong phần tác giả trình bày kết thực nghiệm - Trường hợp 1: Thực với ảnh trái xoài đạt chất lượng 48 Luan van Hình 4.1 Kết trái xồi đạt chất lượng qua giao diện Hình 4.2 Kết trái xoài đạt chất lượng qua giao diện 49 Luan van Độ xác nhận diện hình ảnh 74% 88% Tuy tỉ lệ phần trăm nhận dạng xồi đạt chất lượng khơng cao có chênh lệch rõ ràng với nhãn khác - Trường hợp 2: Thực kiểm tra với ảnh xoài bị đốm Hình 4.3 Xồi bị đốm Mơ hình nhận dạng loại bệnh trái xoài mắc phải bị đốm với tỉ lệ 85% Và có độ chênh lệch nhiều so với loại khác 50 Luan van - Trường hơp 3: Thực nghiệm với ảnh trái xồi bị nám Hình 4.4: Xồi bị nám Ảnh test với trái xồi bị nám có độ xác lên tới 56,9 % So với hình 4.3, Hình 4.4 có thêm ảnh hưởng khơng gian màu, nhiên tỷ lệ phần trăm nhận dạng xoài bị nám 55,8 đạt hiệu cho tỉ lệ chênh lệch so với nhận dạng với loại khác bị thúi đốm 22% 18% Ngun nhân hình ảnh test bị ảnh hưởng độ lóa hình - Trường hợp 4: Thực kiểm tra với ảnh trái xồi bị nứt 51 Luan van Hình 4.5 Trái xồi bị nứt bị sâu Tỷ lệ nhận dạng trái xoài bị nứt 78,7 % tỉ lệ chuẩn đốn xồi bị thúi 18% - Trường hợp 5: Thực nhận dạng trái xoài bị thúi 52 Luan van Hình 4.6 Trái xồi bị thúi Qua mơ hình tỉ lệ nhận trái xồi bị thúi 88% xoài bị đốm 8,8% - Trường hợp 6: Thực với trái xoài bị nhiều loại bệnh 53 Luan van Hình 4.7 trái xồi bị đốm thúi Sau qua model tỉ lệ trái xoài bị thúi 68% nhiên tỉ lệ xoài bị dốm 26% 54 Luan van Hình 4.8 Xồi bị nhiều loại bệnh Trên hình 4.6 trái xồi bị nhiều loại bệnh thẹo, nám thúi Thì mơ hình nhận diện khơng xác phần trăm xoài bị đốm đến 85%, bị thúi 12% bị nám 1,5% 4.2 ĐÁNH GIÁ HỆ THỐNG Nhận dạng xoài đạt chất lượng chưa đạt chất lượng Tuy nhiên bị nhận dạng sai trường hợp sau: • Trong ảnh có nhiều loại bệnh xồi khác • Màu sắc môi trường xung quanh Nguyên nhân lượng dataset chưa đủ lớn khâu trích xuất đặc trưng từ ảnh chưa đủ tốt Ở đề tài số [2] có độ xác trung bình nhận dạng sai mơ hình 92.79% độ nhận dạng 7s cho ảnh xồi Độ xác cao 55 Luan van nhiên để đạt độ xác nhanh phải dùng pc sử dụng windown với RAM 2Gb Dual core 1,6GHZ, Ram 2GB, chạy hệ điều hành Windows Chi phí để lắp đặt sử dụng chi phí tốn cồng kềnh so với mơ hình Mỗi mạng gồm 193 nơron đầu vào, 98 nơron tầng ẩn nơ-ron đầu để huấn luyện riêng cho mạng Làm thời gian huấn luyện tăng lên lớn nên khi tập huấn với lượng data lớn thời gian trainning lâu khơng thích hợp để chạy module nhúng 56 Luan van Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Luận văn thực huấn luyện phân loại xồi đạt chất lượng khơng đạt chất lượng sử dụng mơ hình mobilenet mơ raspi giao diện Tkinter với ngơn ngữ lập trình python Luận văn sử dụng với 230 ảnh đầu vào tác giả tự thu thập với loại bệnh xoài (nám, thâm, sẹo nứt, thúi) loại xoài đạt chất lượng Ảnh đầu vào qua tiền xử lý (thực định dạng kích thước chuẩn hóa) để nâng cao độ xác đáp ứng nhu cầu thời gian thực Trong q trình huấn luyện, mơ hình luận văn đạt độ xác khoảng trung bình từ 70-80% Tuy nhiên, cịn có số hạn chế mà hệ thống chưa khắc phục Do lượng dataset tác giả thu thập hạn chế trường hợp đối tượng ảnh rõ bệnh xồi, ảnh điều kiện thiếu ánh sáng, ảnh có độ phân giải thấp có chi tiết khơng phải đặc trưng bệnh sai dẫn đến phân loại sai bệnh cho trái xồi Ngồi ra, khơng nhận dạng bệnh xồi, mơ hình cịn thêm loại trái khác để chuẩn đoán bệnh nhận dạng thêm nhiều loại bệnh trái xoài cung cấp liệu để trainning bệnh 5.2 HƯỚNG PHÁT TRIỂN Từ hạn chế hệ thống, tác giả tập trung vào việc nâng cao chất lượng mơ hình, cách bổ sung thêm lượng dataset loại bệnh để tăng độ xác cho mơ hình 57 Luan van TÀI LIỆU THAM KHẢO [1] “Bảo vệ trường” môi 24/06.2018 [Online] Available: https://baovemoitruong.org.vn/ung-dung-cong-nghe-sau-thu-hoach-doivoi-trai-xoai-o-dbscl/ [2] Trương Quốc Bảo, Nguyễn Văn Vững, Trương Quốc Định “Nghiên cứu ứng dụng Công nghệ thông tin (FAIR'9)” Hội nghị Khoa học Quốc gia lần thứ IX,Cần Thơ, ngày 4-5/8/2016 [3] Anand Koirala * , Kerry Walsh , Zhenglin Wang , Nicholas Anderson Deep Learning for Mango (Mangifera indica) Panicle Stage Classification Journal reference: Agronomy 2020, 10, 143 [4] "Bitcoin Vietnam News" [Online] Available: https://bitcoinvietnamnews.com/deep-learning-la-gi [Accessed 2019] [5] Rashmi Pandey, Prof Nikunj Gamit, Prof Sapan Naik, A Novel NonDestructive Grading method for Mango (Mangifera Indica L.) using Fuzzy Expert System, 20 I4 Internationai Conference on Advances in Computing, Communications and Informatics (ICACCI) (Available :https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5134574/) [6] “Wiki” Available: https://vi.wikipedia.org/wiki/Raspberry_Pi [7] “ai google block” Available: https://ai.googleblog.com/2017/06/mobilenets-open-source-modelsfor.html [8] “machine think” Available: https://machinethink.net/blog/mobilenet-v2/ [9] “ai google block” Available: https://ai.googleblog.com/2019/11/introducing-next-generation-ondevice.html [10] “image net” Available: http://www.image- net.org/challenges/LSVRC/2012/ [11] H D Thoi, "VIBLO," 15 09 58 Luan van 2018 [Online] Available: https://viblo.asia/p/deep-learning-qua-kho-dung-lo-da-cokerasLzD5dBqoZjY [12] "Keras," [Online] Available: https://keras.io/ [13] P V Toàn, “[Handbook CV with DL - Phần 3] Bài tốn phân loại hình ảnh Image Classification với Keras,” [Online] Available: https://techblog.vn/handbook-cv-with-dl-phan-3-bai-toan-phan-loaihinhanh-image-classification-voi-keras [14] “MachineLearningcoban,” 04 03 2017 [Online] Available: https://machinelearningcoban.com/2017/03/04/overfitting/#regularization [15] towardsdatascience 08/2018 [Online] Availabel: https://towardsdatascience.com/a-basic-introduction-to-separableconvolutions-b99ec310272 [16] Andrew G Howard, Menglong Zhu Bo, Chen Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications Journal arXiv preprint arXiv:1704.04861, 2017/4/17 [17] Nguyen Truong Thinh, Huynh Thanh Cong, Nguyen Duc Thong, Nguyen Tran Thanh Phong, Mango Classification System Based on Machine Vision and Artificial Intelligence, 2019 IEEE 7th International Conference on Control, Mechatronics and Automation 59 Luan van S K L 0 Luan van ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THU? ??T THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ VÕ THỊ PHƯƠNG ỨNG DỤNG KỸ THU? ??T HỌC SÂU ĐÁNH GIÁ CHẤT LƯỢNG XOÀI THU HOẠCH NGÀNH: KỸ THU? ??T ĐIỆN... van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THU? ??T THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ VÕ THỊ PHƯƠNG ỨNG DỤNG KỸ THU? ??T HỌC SÂU ĐÁNH GIÁ CHẤT LƯỢNG XOÀI THU HOẠCH NGÀNH: KỸ THU? ??T ĐIỆN... tăng cơng đoạn sau thu hoạch Do tơi đề xuất mơ hình ứng dụng kỹ thu? ??t học sâu đánh giá chất lượng xoài thu hoạch 1.2 MỤC TIÊU CỦA ĐỀ TÀI Trong nghiên cứu, đề xuất phương pháp học sâu để phát phân