4.1.1 Đánh giá phần cơ khí
Kích thước băng tải: Độ rộng băng tải là 60mm, phù hợp với quả cà chua
có kích thước thực tế khoảng 30~50mm. Bên cạnh đó, mô hình thiết kế có vách ngăn hai bên băng tải nhằm tránh trường hợp sản phẩm rơi ra ngoài khi vận chuyển.
Với sản phẩm vận chuyển là quả cà chua nên vật liệu thiết kế băng tải được chọn là nhựa PVC nhám, tăng ma sát với quả, không làm quả trơn trượt khi di chuyển với tốc độ cao.
Tốc độ của băng tải: được duy trì ổn định ở mức 0,1m/s. Tuy nhiên, tốc độ
băng tải có thể tùy biến ở nhiều cấp độ khác nhau nhằm tăng hiệu suất trong các trường hợp cần thiết. Bên cạnh đó, nhóm lắp đặt động cơ có khả năng tải lớn, phù hợp để vận chuyển quả có trọng lượng khác nhau.
Hệ thống cảm biến: Mô hình có 3 cảm biến chính được đặt vào các vị trí
khác nhau để thực hiện nhiệm vụ cụ thể như sau:
- Cảm biến 1 thực hiện phân loại và đếm quả cà chua loại. - Cảm biến 2 thống kê số lượng quả đỏ thành phẩm.
- Cảm biến 3 nhận biết có hộp hay không, truyền nhanh tín hiệu điều khiển xylanh chính xác để cấp hộp.
4.1.2 Xử lý ảnh dữ liệu
4.1.2.1Xây dựng dữ liệu đầu vào
Để chuẩn bị tập dữ liệu đầu vào trích xuất đặc trưng của quả cà chua, nhóm xây dựng tiêu chí phân loại và kiểm tra chất lượng sản phầm cụ thể như sau:
Tiêu chí phân loại quả cà chua: Dựa trên màu sắc của quả, bao gồm màu
đỏ tương ứng với quả chín và màu xanh tương ứng với quả non.
Tiêu chí kiểm tra chất lượng quả cả chua: Đây là tiêu chí khó và phức tạp.
Để kiểm soát chất lượng quả có thể kiểm tra dựa trên nhiều phương pháp khác nhau: tìm vết xước, vết côn trùng phá hoại trên vỏ quả; đo độ dập nát – bóp
méo nặng trên thân quả; kiểm tra đốm xanh, vệt đen ở lớp da…. Trong đề tài này, nhóm lựa chọn nhận diện những vết đen có kích thước lớn nổi bật trên thân quả làm tiêu chí kiểm tra chất lượng.
Từ hai tiêu chí trên, nhóm xây dựng khoảng 1000 hình ảnh tương ứng với bốn nhóm quả cần phân loại (quả đỏ, quả đỏ hỏng, quả xanh, quả xanh hỏng). Kết quả thu được như sau:
Hình 4.1 Dữ liệu ảnh ban đầu
Sau khi chuẩn bị dữ liệu đầu vào, nhóm thiết kế module framework Roboflow để hỗ trợ gắn nhãn dán cho từng loại quả cần nhận dạng.
Để kiểm nghiệm khả năng nhận diện của mô hình train, nhóm đã chia tệp dữ liệu thành ba phần với tỉ lệ: Train 70% (Tệp dữ liệu chính để huấn luyện đối tượng), Validation 20% (Tệp dữ liệu dùng đề xác thực sau khi được huấn luyện trong tệp Train), Test 10% (Tệp dữ liệu dùng để kiểm tra lại sau khi được huấn luyện).
Hình 4.3 Tỉ lệ dữ liệu đầu vào
4.1.2.2Xử lý ảnh đầu vào
Với mục đích tăng cường chất lượng hình ảnh đầu vào cho hệ thống nhận diện, nhóm thiết kế một số ứng dụng xử lý ảnh tích hợp bao gồm: Xử lý tăng độ bão hòa cho ảnh, xử lý khử nhiễu và làm bóng hình ảnh, xử lý tùy biến độ sáng để tăng chi tiết cho đối tượng, xử lý làm mờ ảnh trong các trường hợp cần thiết.
a. Xử lý tăng giảm độ bão hòa của ảnh đầu vào theo mức độ mong muốn trên hệ thống nhận diện:
b. Chỉnh sửa độ bóng của đối tượng chính tùy theo cường độ ánh sáng bên ngoài:
Hình 4.5 Làm bóng hình ảnh
c. Tăng giảm độ sáng của hình ảnh nhằm giữ được các chi tiết quan trọng của đối tượng:
d. Xử lý làm mờ ảnh trong một số trường hợp:
Hình 4.7 Làm mờ ảnh
Qua các phương pháp trên, tệp dữ liệu đầu vào được tinh chỉnh để giữ mức độ chính xác và tương tự với hình ảnh thu được qua camera trong thực tế. 4.1.2.3Các bước huấn luyện mô hình
Với dữ liệu đầu vào lớn, việc huấn luyện một model cho mục đích nhận diện đối tượng bất kì trên một thiết bị có cấu hình thấp gặp rất nhiều khó khăn. Quá trình huấn luyện tốn nhiều thời gian và không thể duy trì huấn luyện trong thời gian dài. GoogleColab hỗ trợ sử dụng tài nguyên máy tính như GPU có tốc độ xử lý cao.
Các bước huấn luyện model trên GoogleColab như sau:
Bước 1: Nhập thư viện Pytorch hỗ trợ huấn luyện.
Bước 2: Tái thiết cấu trúc mạng YOLOv3
Hình 4.9 Tải dữ liệu YOLOv3
Bước 3: Nhập tập dữ liệu sau khi đã gắn nhãn và tiền xử lý ảnh qua Roboflow.
Hình 4.10 Giải nén tập dữ liệu từ Robotflow
Dựa vào hình 4.10, có thể thấy rằng với mỗi ảnh sau khi được xử lý qua module Framwork Robotflow sẽ bao gồm 2 file chính (1 file đuôi .txt và 1 file đuôi .jpg). Hai file này thực hiện việc lưu trữ thông tin của ảnh đã qua xử lý.
File đuôi .jpg chứa đựng các pixel đặc trưng của ảnh và file đuôi .txt chưa đựng các thông số khác của ảnh.
Bước 4: Chuẩn bị tệp dữ liệu hình ảnh và labels đã được gắn nhãn (Train, Validation)
Hình 4.11 Tệp Train và Validation
Bước 5: Chuyển đổi các lớp được gắn nhãn sang các lớp được đặt tên (do, do
hong, xanh, xanh hong).
Bước 6: Tiến hành huấn luyện model
Hình 4.13 Huấn luyện model
4.1.2.4Kết quả sau khi huấn luyện
Sau khi huấn luyện qua 300 Epoch (Đưa tất cả dữ liệu ảnh trong tập train vào cấu trúc mạng 1 lần, quá trình lặp lại 300 lần). Chỉ số P (Precision) và R (Recall) đều đạt ở mức tương đối cao ~0.9 và chỉ số mAP (Average Precision) ~0.97.
Hình 4.15 hiển thị giá trị mất mát sau khi huấn luyện và xác thực giảm dần qua các epoch, với epoch thứ 300 các chỉ số trên gần như bằng 0. Chỉ số precision và recall đều đạt ở mức tương đối cao ~ 1.0 và chỉ số mAP ~ 1.0. Điều này chứng tỏ quá trình huấn luyện model đạt độ chính xác khá cao.
Hình 4.15 Biểu đồ biểu thị thông số sau khi huấn luyện
Với lượng ảnh đầu vào có 4 lớp đối tượng cần nhận diện, kết quả độ chính xác qua từng lớp được hiển thị như hình dưới:
Tuy nhiên, để kiểm nghiệm chính xác thời gian quá trình huấn luyện và khả năng nhận diện của mạng YOLOv3, nhóm đã tiến hành so sánh quá trình huấn luyện mô hình mạng YOLOv3 với mô hình mạng Darknet trên cùng một tệp dữ liệu đầu vào. Kết quả thu được như sau:
Hình 4.17 Nhận diện quả đỏ hỏng trên YOLOv3 và Darknet
Hình 4.18 Nhận diện quả đỏ trên YOLOv3 và Darknet
Hình 4.20 Nhận diện quả xanh hỏng trên YOLOv3 và Darknet
Nhận xét: Kết quả trên cho thấy sự khác biệt giữa YOLOv3 và Darknet. Với
cùng một ảnh tĩnh đưa vào trong khoảng thời gian nhận diện không quá chênh lệch (~ 0.02 giây) nhưng YOLOv3 đưa ra độ chính xác cao hơn so với Darknet (YOLOv3 từ 95-99%, Darknet từ 50-70%). Vì vậy, nhóm lựa chọn YOLOv3 là cấu trúc mạng chính để tích hợp trên hệ thống thực.
4.1.3 Phân loại và kiểm tra chất lượng quả 4.1.3.1Phân loại
Như đã giới thiệu trong phần tiêu chí nhận diện, hệ thống phân loại dựa trên màu sắc của quả với đối tượng được nhận diện có tính đặc trưng được chiết xuất giống dữ liệu đầu vào. Kết quả phân loại được hiển thị trên HDMI của hệ thống:
+ Nếu quả đỏ, màn hình hiển thị “do 0.80”, trong đó 0.80 là mức độ tin cậy mà camera nhận diện được quả đỏ.
+ Nếu quả xanh, màn hình hiển thị “xanh 0.82”, trong đó 0.82 là mức độ tin cậy mà camera nhận diện được quả xanh.
Hình 4.22 Màn hình HDMI hiển thị camera nhận quả xanh
4.1.3.2Kiểm tra chất lượng quả
Hệ thống kiểm tra chất lượng quả cà chua dựa trên vệt đen có trên thân quả + Nếu quả đỏ hỏng, màn hình hiển thị “do hong 0.80”, trong đó 0.80 là mức độ tin cậy mà camera nhận diện được quả đỏ hỏng.
+ Nếu quả xanh hỏng, màn hình hiển thị “xanh hong 0.73”, trong đó 0.73 là mức độ tin cậy mà camera nhận diện được quả xanh hỏng.
Hình 4.24 Màn hình HDMI hiển thị camera nhận quả xanh hỏng
Sau khi phân loại và kiểm tra chất lượng quả, những quả đạt tiêu chuẩn sẽ được đưa đến cuối băng tải và chứa trong hộp. Với mỗi hộp 4 quả, hệ thống Loadcell sẽ cân khối lượng và hiển thị lên màn hình LCD.
Hình 4.25 Hệ thống đếm quả đỏ nhận diện, cân hộp trên loadcell khi chưa có quả nào trong hộp
Hình 4.26 Hệ thống đếm đủ 4 quả trong hộp và cân khối lượng sau khi nhận diện.
Sau khi cân với 4 quả mỗi hộp, khối lượng trung bình khoảng 200~250 gram.