Hệ thống phân loại độ chín quả cà chua dựa trên kỹ thuật thị giác máy tính

Trong nghiên cứu này, một hệ thống phân loại độ chín quả cà chua được phát triển dựa trên kỹ thuật thị giác máy tính. Các hình ảnh quả cà chua với độ chín khác nhau được lấy bằng máy ảnh màu. Mô hình Mask RCNN được phát triển được dùng để phân loại từng mức độ chín quả cà chua.

HỆ THỐNG PHÂN LOẠI ĐỘ CHÍN QUẢ CÀ CHUA DỰA TRÊN KỸ THUẬT THỊ GIÁC MÁY TÍNH Bùi Cơng Thịnh* Viện Kỹ thuật HUTECH, Trường Đại học Công nghệ TP.Hồ Chí Minh (HUTECH) GVHD: TS Phạm Quốc Thiện TĨM TẮT Trong nghiên cứu này, hệ thống phân loại độ chín cà chua phát triển dựa kỹ thuật thị giác máy tính Các hình ảnh cà chua với độ chin khác lấy máy ảnh màu Mơ hình Mask RCNN phát triển dùng để phân loại mức độ chin cà chua Chương trình LabVIEW phát triển với mơ hình Mask RCNN tích hợp việc sử dụng thư viện Python Node để thực phân loại trực tuyến Tổng số 40 ảnh thử nghiệm với độ xác giai đoạn chin 1, 95%, 92.5% 97.5% Hệ thống mô hình Mask RCNN sử dụng để phân loại loại trái có kích thước tương tự Từ khóa: Mask RCNN, cà chua, thị giác máy tính, độ chín GIỚI THIỆU Cà chua (Solanum lycopersicum) rau quan trọng thứ hai giới sau khoai tây Sản lượng toàn giới khoảng 170,75 triệu tươi sản xuất 5,02 triệu 150 quốc gia [1] Cà chua với nhiều chất dinh dưỡng chất chuyển hóa thứ cấp quan trọng sức khỏe người: chất khoáng, vitamin B, C, E, axit hữu Cà chua loại hô hấp đột biến, thu hoạch giai đoạn chín khác tiếp tục chín q trình vận chuyển, xử lý, bảo quản, tiêu thụ Do vậy, độ chín thu hoạch có mối liên quan chặt chẽ với chất lượng chín Việc phân loại độ chín cà chua qua trọng trình xử lý sau thu hoạch để cung cấp cà chua chất lượng tốt đồng cho tiêu dùng Việc thu hoạch thủ công khiến người lao động dễ mệt mỏi thị giác thần kinh thời gian dài, dễ dẫn đến sai sót Hệ thống phân loại tự động khắc phục hạn chế người lao động hoạt động liên tục, đảm bảo suất, chất lượng công việc Trong thập kỷ qua, nhà nghiên cứu cố gắng phát triển hệ thống tự động dựa thị giác máy tính để giải việc phân loại hoa thủ công tốn nhiều thời gian Nhìn chung, hệ thống thị giác máy tính để phân loại trái bao gồm thành phần phận vận chuyển, nguồn sáng tích hợp, máy ảnh máy tính Hệ thống phân loại tự động kiểm tra chất lượng táo, phát triển Sofu cộng [2] sử dụng hai máy ảnh để thu thập hình ảnh Hệ thống đề xuất phân loại trực tuyến 15 táo giây 295 với độ xác 73-96% Abdul Wajid cộng [3] trích xuất khơng gian màu RGB giá trị xám dựa Border/Interior pixel Classification (BIC) để phân biệt tình trạng cam (chín, chưa chín đóng vảy thối) với kết đạt độ xác 93,13% Phương pháp phát phân loại vô quan trọng hệ thống phân loại cà chua tự động Với phát triển công nghệ máy học gần đây, thị giác máy tính trở nên mạnh mẽ hữu ích cho việc kiểm soát chất lượng trái Region-based Convolutional Neural Network (RCNNs) tập hợp chuyên biệt máy học trở thành kỹ thuật phổ biến việc phát phân đoạn hình ảnh trái năm gần Sapan Naik Bankim Patel xây dựng mơ hình phân loại trái xồi [4], Hamid cộng phát triển mơ hình phân loại trái với CNN [5] RCNN phiên cải tiến (Fast R-CNN, Faster R-CNN, Mask R-CNN) trích xuất nhiều đề xuất từ hình ảnh đầu vào, sau CNN sử dụng để dự đoán lớp hộp giới hạn vùng đề xuất Faster R-CNN tạo kết với nhãn lớp hộp giới hạn với tốc độ nhanh Fast R-CNN nhờ tích hợp thuật toán đề xuất region Mask R-CNN phiên mở rộng Faster R-CNN, có thêm nhánh để dự đoán mask đối tượng Yang Yu cộng xây dựng mơ hình phát dâu tây cho robot thu hoạch dựa mơ hình Mask R-CNN với tỉ lệ phát trung bình 95.78% [6] LabVIEW (Laboratory Virtual Instrumentation Engineering Workbench) môi trường lập trình đồ họa dễ dàng phát triển giao diện người dùng cho ứng dụng kỹ thuật Thị giác máy tính kết hợp với LabVIEW sử dụng rộng rãi việc kiểm tra chất lượng trái Yi Chiu Suming Chen nghiên cứu hệ thống hái trái tự động nhà kính việc sử dụng LabVIEW module NI Vision Development để phát triển hệ thống điều khiển xử lý hình ảnh [7] Mục tiêu nghiên cứu phát triển hệ thống phân loại độ chín dựa thị giác máy tính Một giao diện người dùng thực môi trường Labview để vận hành hệ thống phân loại Mơ hình Mask RCNN phát triển môi trường Python để phát độ chín cà chua cho hệ thống phân loại MẪU VÀ PHƯƠNG PHÁP 2.1 Mẫu cà chua Các mẫu cà chua lấy hai lần Uông Bí, tỉnh Quảng Ninh vào tháng năm 2022 Thủ Đức, HCM vào tháng năm 2022 Cà chua thu hoạch, sơ chế lấy mẫu ngày nhiệt độ 25oC Trong giai đoạn cà chua non đến trưởng thành thể rõ với thay đổi màu sắc chia làm ba giai đoạn độ chín 1, 2, tương ứng với xanh, chín vừa, chín (Hình 1) 296 Hình Các giai đoạn độ chín khác dùng nghiên cứu 2.2 Hệ thống thực nghiệm Hệ thống phân loại gồm ba phần: phần băng tải, phần xử lý phần phân loại Phần băng tải gồm động giảm tốc dc dây băng tải, phần xử lý gồm camera máy tính, phần phân loại gồm rc servo board Arduino Uno Quy trình phân loại độ chín cà chua sau: (1) Cà chua đưa từ nguồn cấp tới vị trí đặt camera phần phân loại (2) Camera chuyển hình ảnh trái cà chua máy tính Chương trình phân loại xử lý hình ảnh, đưa kết phân loại giao diện người dung đồng thời gửi tới phần phân loại giao tiếp serial (3) Phần phân loại với Arduino Uno điều chỉnh góc quay rc servo theo kết phân loại gửi từ chương trình xử lý Hình Hệ thống phân loại cà chua 2.3 Mask RCNN Để xây dựng, huấn luyện đánh giá mô hình Mask R-CNN, 300 hình ảnh trái cà chua sử dụng Hình ảnh dán nhãn loại 1, theo cách thủ cơng Với 222 hình ảnh cà chua cho huấn luyện 38 hình ảnh cho xác nhận, chọn ngẫu nhiên từ liệu để huấn luyện mơ hình 40 hình ảnh cịn lại xử dụng để thử nghiệm để đánh giá hiệu suất mơ hình đào tạo Hình ảnh mẫu thích thủ cơng phần mềm GIMP (GNU Image Manipulation Program) Để tạo tập liệu đối tượng chung ngữ 297 cảnh (COCO), tệp mask_definitions.json dataset_info.json tạo Hai tệp chứa thơng tin hình ảnh tập huấn luyện tập xác nhận Sau đó, chương trình python (coco_json_utils.py) sử dụng, chương trình tìm thấy kho lưu trữ Cocosynth [8] Mask R-CNN mơ hình giải việc phân đoạn phiên thị giác máy tính Nó phát phân loại đối tượng mục tiêu cách đáng tin cậy Framework Mask R-CNN áp dụng cho đơn vị xử lý hệ thống phân loại Trong nghiên cứu này, kiến trúc mạng ResNet50 (Residual Network 50) sử dụng làm xương sống để tạo đồ đặc trưng toàn hình ảnh đầu vào Mạng RPN (Region Proposal Network) sử dụng để trích rút vùng RoI (Region of Interest) có khả chứa đối tượng từ feature map ảnh Faster R-CNN sử dụng với mục đích giúp mơ hình dự đốn gián tiếp qua anchors (pre-defined boxes) Lớp cà chua RoI mask kết việc sử dụng Faster R-CNN nhánh mặt nạ Để triển khai Matterport, mơ hình đề xuất khởi tạo với trọng số đào tạo MS COCO thay đào tạo mạng từ đầu Sau đó, weight huấn luyện sử dụng để chạy suy luận tập thử nghiệm Một số tham số NUM_CLASSES, IMAGE_MIN_DIM, IMAGE_MAX_DIM sửa đổi để phù hợp với nghiên cứu tham số lại giống với thơng số mã gốc Mơ hình đào tạo 20 eporch Python 3.6 Hiệu suất mơ hình đề xuất đánh giá dựa bốn số: accuracy, precision, recall điểm F1 Hình Khung tổng thể mơ hình Mask R-CNN KẾT QUẢ VÀ THẢO LUẬN Giao diện đồ họa người dùng (GUI) thiết kế phần mềm LabVIEW, sử dụng để vận hành hệ thống phân loại trái cà chua (hình 4) Các thư viện sử dụng để phát triển NI-IMAQdx Python Node NI-IMAQdx hỗ trợ thiết lập thông số thu thập hình ảnh máy ảnh Python Node cho phép LabVIEW gọi hàm Python, mơ hình ML đào tạo mơi trường Python tích hợp vào chương trình LabVIEW GUI có cửa sổ để hiển thị hình ảnh suy luận, loại cà chua ô hiển thị nguồn ảnh, đường dẫn mô hình ML 298 Hình Giao diện người dùng hệ thống Thực tế Loại Loại Loại Loại 12 Loại 10 Loại 15 Dự đoán Bảng Confusion matrix mơ hình Mask R-CNN Tổng cộng 40 hình ảnh cà chua tập liệu (13 trái loại 1, 12 trái loại 2, 15 trái loại 3) sử dụng để kiểm tra độ xác mơ hình, thể bảng Kết thực nghiệm với loại 1, accuracy, precision, recall F1 score 95%, 92.3%, 92.3%, 92.3% Với loại 2, accuracy, precision, recall F1 score 92.5%, 90%, 83.3%, 86.5% Với loại 3, accuracy, precision, recall F1 score 97.5%, 93.7%, 100%, 96.7% Từ kết thực nghiệm, có tỉ lệ nhầm lẫn loại với loại loại với loại Nguyên nhân xuất phát từ số lượng mẫu sử dụng huấn luyện cịn chưa đa dạng Màu sắc loại có phân bố loại loại dẫn đến nhầm lẫn Sự nhầm lẫn cải thiện qua việc bổ sung thêm liệu hình ảnh trạng thái chín trái cà chua chia nhỏ độ chin thành nhiều giai đoạn Nhìn chung, mơ hình Mask R-CNN đạt kết tốt phân loại áp dụng cho hệ thống phân loại tự động, kết hình 299 Hình Kết phân loại Mơ hình phân loại Mask RCNN đóng vai trị quan trọng hệ thống phân loại Phương pháp phát phân loại tương đối xác loại trái cà chua, nhiên chương trình LabVIEW cịn chậm Chương trình LabVIEW chậm q trình gọi hàm Python Python Node Việc cải thiện thời gian xử lý mô hình việc sử dụng cơng cụ học sâu (Deep Learning Toolkit for LabVIEW) tiết kiệm thời gian để Python Node gọi hàm bên ngồi mơi trường LabVIEW trả kết trở lại LabVIEW KẾT LUẬN Bài báo trình bày ứng dụng mơ hình Mask R-CNN để phân loại độ chín cà chua Mơ hình đào tạo mơi trường Python tích hợp vào LabVIEW cách sử dụng thư viện Python Node Kết phân loại 40 ảnh thử nghiệm cho kết quả: loại với accuracy, precision, recall F1 score 95%, 92.3%, 92.3%, 92.3%; loại 2: accuracy, precision, recall F1 score 92.5%, 90%, 83.3%, 86.5%; loại 3: accuracy, precision, recall F1 score 97.5%, 93.7%, 100%, 96.7% Hệ thống mơ hình Mask RCNN sửa đổi sử dụng để phân loại loại trái có kích thước tương tự TÀI LIỆU THAM KHẢO Khan, I.A., Foreword, in Sustainable Management of Arthropod Pests of Tomato, W Wakil, G.E Brust, and T.M Perring, Editors 2017, Academic Press: San Diego p xv Sofu, M.M., et al., Design of an automatic apple sorting system using machine vision 2016 127: p 395405 Wajid, A., et al Recognition of ripe, unripe and scaled condition of orange citrus based on decision tree classification in 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET) 2018 IEEE 300 Naik, S and B.J.I.J.o.C.A Patel, Machine vision based fruit classification and grading-a review 2017 170(9): p 22-34 Hamid, N., et al., Comparing bags of features, conventional convolutional neural network and AlexNet for fruit recognition 2019 14(1): p 333-339 Yu, Y., et al., Fruit detection for strawberry harvesting robot in non-structural environment based on MaskRCNN 2019 163: p 104846 Chiu, Y.-C., et al., Study of an autonomous fruit picking robot system in greenhouses 2013 6(3): p 9298 Kelly, A., COCO Synth provides tools for creating synthetic COCO datasets [cited 2021 29 July]; Available from: https://github.com/akTwelve/cocosynth 2021 301 ... đóng vảy thối) với kết đạt độ xác 93,13% Phương pháp phát phân loại vô quan trọng hệ thống phân loại cà chua tự động Với phát triển công nghệ máy học gần đây, thị giác máy tính trở nên mạnh mẽ hữu... triển hệ thống điều khiển xử lý hình ảnh [7] Mục tiêu nghiên cứu phát triển hệ thống phân loại độ chín dựa thị giác máy tính Một giao diện người dùng thực môi trường Labview để vận hành hệ thống phân. .. thống phân loại Mô hình Mask RCNN phát triển mơi trường Python để phát độ chín cà chua cho hệ thống phân loại MẪU VÀ PHƯƠNG PHÁP 2.1 Mẫu cà chua Các mẫu cà chua lấy hai lần ng Bí, tỉnh Quảng Ninh