Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo

Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.Nghiên cứu thiết kế hệ thống phân loại nông sản hiệu suất cao sử dụng công nghệ xử lý ảnh kết hợp trí thông minh nhân tạo.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH NGUYỄN ĐỨC THÔNG NGHIÊN CỨU THIẾT KẾ HỆ THỐNG PHÂN LOẠI NÔNG SẢN HIỆU SUẤT CAO SỬ DỤNG CÔNG NGHỆ XỬ LÝ ẢNH KẾT HỢP TRÍ THƠNG MINH NHÂN TẠO LUẬN ÁN TIẾN SĨ NGÀNH: KỸ THUẬT CƠ KHÍ Tp Hồ Chí Minh, tháng … /2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH NGUYỄN ĐỨC THƠNG NGHIÊN CỨU THIẾT KẾ HỆ THỐNG PHÂN LOẠI NÔNG SẢN HIỆU SUẤT CAO SỬ DỤNG CƠNG NGHỆ XỬ LÝ ẢNH KẾT HỢP TRÍ THƠNG MINH NHÂN TẠO NGÀNH: KỸ THUẬT CƠ KHÍ - 9520103 Người hướng dẫn khoa học 1: PGS TS NGUYỄN TRƯỜNG THỊNH Người hướng dẫn khoa học 2: PGS TS HUỲNH THANH CÔNG Phản biện 1: Phản biện 2: Phản biện 3: Tp Hồ Chí Minh, tháng … /2022 i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu Các số liệu, kết nêu Luận án trung thực chưa công bố cơng trình khác Tp Hồ Chí Minh, ngày … tháng … năm 2022 Tác giả Nguyễn Đức Thơng ii TĨM TẮT Luận án nghiên cứu thiết kế hệ thống phân loại xoài hiệu suất cao sử dụng cơng nghệ xử lý ảnh kết hợp trí thông minh nhân tạo thực phương pháp phân tích lý thuyết, sở lý luận, phương pháp mơ hình hố phương pháp thực nghiệm Hệ thống phân loại nghiên cứu gồm phần Đầu tiên nghiên cứu hệ thống phân loại xoài tự động theo khối lượng, phát triển phân loại xồi theo khối lượng, thể tích khuyết tật trái sử dụng xử lý ảnh cuối hoàn thành hệ thống phân loại xoài sử dụng cơng nghệ xử lý ảnh kết hợp trí tuệ nhân tạo Hệ thống phân loại nghiên cứu ứng dụng phương pháp phân loại khác chọn phương pháp phân loại xoài tối ưu (khuyết tật, thể tích khối lượng) phương pháp mơ hình RF có hiệu suất đạt 98,1% Mạng thần kinh nhân tạo tối ưu dự đốn độ Brix trái xoài dựa khối lượng, chiều dài, chiều rộng thể tích với độ xác 98% thực nghiệm Ngoài ra, hệ thống phân loại đạt suất cao khoảng 3.000 5.000 kg xoài/giờ (tương đương khoảng - trái/giây) lắp đặt TP Cao Lãnh, tỉnh Đồng Tháp vận hành) Mặt khác, hệ thống phân loại phân loại loại nông sản khác thay đổi số yếu tố cấu Các kết đạt được: Thực nghiên cứu, tính tốn hồn thành hệ thống phân loại xoài Xây dựng sở lý thuyết, phương pháp luận phương pháp phân loại xoài khác áp dụng hệ thống phân loại Ứng dụng công nghệ xử lý ảnh kết hợp AI hệ thống phân loại Thực nghiệm so sánh kết lý thuyết với tính tốn hệ thống phân loại điều kiện đầu vào đầu Các mơ hình phân loại thực với việc hỗ trợ thuật toán máy học Việc triển khai phân loại xoài dựa việc áp dụng cơng nghệ xử lý ảnh để xử lý hình ảnh chụp xồi sau sử dụng bốn phương pháp mơ hình LDA, SVM, KNN RF để tự động phân loại xồi Thuật tốn Máy học có giám sát trì độ iii xác dự đốn cao cho loại xoài khác Tuy nhiên, giải pháp nên áp dụng cho loại xoài tương tự xồi mẫu Trong suốt q trình phân loại, chuỗi phương pháp phân tích xử lý ảnh sử dụng để biến đổi hình ảnh chụp xồi thành dạng hình ảnh dễ dàng trích xuất tính từ xồi Thí nghiệm cho thấy phương pháp thành công kết dự đốn có lỗi nhỏ Kết dự đốn mơ hình giám sát máy học đề cập nghiên cứu có độ xác cao Đặc biệt, phương pháp mơ hình RF có hiệu suất dự đoán tốt 98,1 % đề xuất để dự đốn phân loại xồi Mạng lưới thần kinh tối ưu dự đốn độ Brix xoài dựa khối lượng, chiều dài, chiều rộng thể tích với độ xác 98% thực nghiệm iv SUMMARY The thesis of researching and designing a high performance mango classification system using technology of image processing combined with artificial intelligence had been performed by theoretical analysis method, theoretical basis, modeling method and experimental method The studied classification system consists of about main parts Firstly, the design of an automatic mango classification system by weight, then the development of classification of mangoes by weight, volume and fruit defects using image processing and finally complete the mango classification system using image processing technology combined with artificial intelligence The classification system was studied and applied different classification methods and chose the most optimal mango method classification (defect, volume and mass) was the RF model method with an efficiency of 98.1% The optimal artificial neural network can predict the brix of each mango based on its mass, length, width and volume with 98% accuracy on the test set In addition, a sorting system with a high yield of about 3,000-5,000 kg of mangoes/hour (equivalent to about 6-8 fruits/second) was installed in Cao Lanh city, Dong Thap province and already operational) On the other hand, this classification system can also classify other agricultural products when we change some factors and structure The results obtained are as follows: Conduct research, calculate, design and complete the mango classification system Presenting the theoretical basis, methodology and different classification methods applied on the classification system Applying technology of image processing combined with artificial intelligence based on the classification system Experiment and compare the theoretical results with the design calculation of the classification system under the same input and output conditions The classification models have been implemented with the support of machine learning algorithms The implementation of classification mango is based v on applying image processing technology to process mango captured images and then using four model methods LDA, SVM, KNN and RF to automatically classify mangoes Machine Learning solutions are supervised with designs that can maintain high prediction accuracy for different mango varieties However, the same should be applied to the mango as the sample mango During the classification process, a chain of analytical methods in image processing are used to transform the captured image of mango into an image form that can easily be extracted from the mango Experiments show that such methods are successful when the prediction results have a small error The prediction results of the machine learning monitoring models mentioned in this study have high accuracy In particular, the RF model method has the best prediction performance of 98.1% and is proposed to predict the mango type The optimal neural network can predict the brix of mangoes depends on mass, length, width and volume with experimentation of 98% vi DANH SÁCH CÁC TỪ VIẾT TẮT TTNT: Trí tuệ nhân tạo (Artificial Intelligence: AI) CCD (Charge Coupled Device): Linh kiện tích điện kép, cảm biến chuyển đổi hình ảnh quang học sang tín hiệu điện máy thu nhận hình ảnh GMM (General Method of Moments): Tên chung phương pháp hồi quy/ước lượng (estimation) để xác định thông số mơ hình thống kê mơ hình kinh tế định lượng PCI (Peripheral Component Interconnect): Trong khoa học máy tính, chuẩn để truyền liệu thiết bị ngoại vi đến bo mạch chủ (thông qua chip cầu nam) Hyperspectral: Ứng dụng ảnh viễn thám siêu phổ PSNR (Peak signal-to-noise ratio): Tỷ số tín hiệu cực đại nhiễu, tỷ lệ giá trị lượng tối đa tín hiệu lượng nhiễu ảnh hướng đến độ xác thơng tin RGB: Đỏ (red), xanh (green) xanh lam (blue), ba màu gốc mơ hình ánh sáng bổ sung VNIR (Visible and Near-Infrared): Phổ hồng ngoại gần khả kiến SWIR (Short wave Infrared): Phổ hồng ngoại bước sóng ngắn SVM (Support Vector Machines): Máy vectơ hỗ trợ, khái niệm thống kê khoa học máy tính cho tập hợp phương pháp máy học có giám sát liên quan với để lựa chọn phân tích hồi quy SMO (Sequential Minimal Optimization): Thuật toán tối thiểu ROC (Receiver operating characteristic): Đường cong đặc trưng hoạt động thu nhận để xác định có tín hiệu nhiễu PCA (Principal Component Analysis): Một phương pháp phân tích liệu nhiều biến đơn giản FSCABC (Fitness-scaled chaotic artificial bee colony): Phương pháp kỹ thuật xử lý quy mô hoạt động hỗn độn bầy ong nhân tạo vii PSO-FNN (Particle Swarm Optimization- Feed-forward Neural Network): Phương pháp tối ưu bầy đàn kết hợp thuật toán thần kinh GA–FNN (Genetic Algorithm–FNN): Thuật toán di truyền kết hợp thuật toán thần kinh ANN (Artificial Neural Network): Mạng lưới thần kinh nhân tạo RFE (Recursive Feature Elimination): Kỹ thuật khử tính đệ quy MADM (Multi Attribute Decision Making): Kỹ thuật dựa vào đa thuộc tính đưa định LDA (Linear Discriminant Analysis): Kỹ thuật phân tích tuyến tính biệt thức K-NN (k-Nearest Neighbours): Thuật toán láng giềng gần DT (Decision Trees): Kỹ thuật định ELM (Extreme Learning Machine): Phương pháp máy học K-Means: Thuật toán phân cụm liệu GMM (Gaussian Mixture Model): Hỗn hợp mẫu Gaussian FCM (Fuzzy C Means): Phương pháp phân cụm liệu mờ viii International Journal of Machine Learning and Computing, Vol 10, No 2, February 2020 122 1) System with shooting chamber to process color images, find shape defects and calculate mango volume 2) Loadcell system to calculate the weight of each mango 3) The system has a wiper mechanism that eliminates unsatisfactory fruits, size, shape 4) The system has a classification mechanism used to classify quality of mangoes into trade items Building the principle of operation of mango classification model using artificial intelligence: Conveyed mango fruit brought to the conveyor mounted on the conveyor In the shooting chamber, there are two cameras for color image processing to find defects on the mango fruit surface such as: black spots, bruises, bruises, and shape defects such as waist, damaged broken, the fruit does not meet the color requirements, the shape will be eliminated, and the camera will also scan the mango fruit (length, width, height) to calculate the volume of the mango After that, the mango fruit, which meets the requirements of color shape, will be taken to the second conveyor to conduct mass calculations (Fig 1) First, the harvested mangoes are cleaned by using a washing solution, then sorted and sorted into commercial mangoes of different types, this is the current stage sorted by hand Finally, the mangoes of each classification are packaged and transferred to customers (Fig 2) represents the same feature Fourth, both object features and window features are extracted from each located area Fifth, the features are passed to the neural networks and the outputs of these networks are then combined using the feature combination strategy to assign an overall class to each region Finally, the mango is graded, using a set of rules, based on the feature type of each located region An example of a grading table is shown in Table I The table shows for each grade, the number, type and size of defects that are permissible Mangoes Image acquisition using combined front and back mango Segmentation with convolution filters Post-processing of the segmented image via AI-based techniques Feature extraction as: size, colour, defect Synergistic classification by feature combination Expert-system grading Grade Fig Developed system for mango grading Computer This table can be easily converted into a rule-based expert system For better results, fuzzy rules can be employed to emulate expert human graders more closely The segmentation method adopted is based on standard imageprocessing functions and consists of three stages Before segmentation, two images of the two surfaces being inspected is acquired using the image from above and beneath the mango These images contain some features caused by classifications The mangoes are rarely perfect spheres, most mangoes are either long (D