TÊN ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH MẠNG HỌC SÂU VÀO THIẾT KẾ VÀ THI CÔNG MÔ HÌNH PHÂN LOẠI CÁC LOẠI CHUỐI KHÁC NHAU II.. Tên đề tài: ỨNG DỤNG XỬ LÝ ẢNH MẠNG HỌC SÂU VÀO THIẾT KẾ VÀ THI CÔN
TỔNG QUAN
ĐẶT VẤN ĐỀ
Việt Nam là quốc gia có nền nông nghiệp chiếm tỉ trọng lớn trong cơ cấu kinh tế, ngoài lúa gạo thì trái cây Việt Nam rất được ưa chuộng trên thế giới Trong các loại trái cây xuất khẩu, chuối đang ngày càng chứng tỏ vị thế vượt trội, là một sản phẩm xuất khẩu thế mạnh của ngành rau quả Việt Nam Theo thống kê của Cục trồng trọt (Bộ Nông nghiệp và Phát triển nông thôn), cả nước hiện có khoảng 154.000 ha trồng chuối với sản lượng 2,3 triệu tấn/năm Năm
2022, giá trị xuất khẩu chuối tươi của Việt Nam đạt 310,6 triệu USD, tăng 34,5% so với năm 2021[1]
Với sản lượng chuối lớn như trên, các nhà máy chế biến và đóng gói chuối hoạt động với nhiều dây chuyền khác nhau, việc xác định đúng loại chuối bằng con người với phương pháp thủ công tồn tại rất nhiều nhược điểm Khả năng sai sót rất cao, thời gian kéo dài và chi phí nhân công cao ảnh hưởng trực tiếp đến năng suất và doanh thu lợi nhuận của các doanh nghiệp
Vì thế, nhu cầu ứng dụng công nghệ vào khâu phân loại các dây chuyền sản xuất hiện đang rất cao Thông qua việc tự động hóa ở các khâu, sử dụng những công nghệ, sản phẩm của khoa học kỹ thuật, băng tải công nghiệp có thể giảm thiểu sai sót, giảm bớt nhân công, cho thời gian làm việc liên tục cũng như hiệu suất làm việc cao Công nghệ đang rất phát triển và hoàn toàn phù hợp cho lĩnh vực này đó là xử lý ảnh mạng học sâu Xử lý ảnh đã có từ rất lâu và đã được vận dụng trong những lĩnh vực như dân sự, quân sự, y tế và nhiều lĩnh vực khác [2] Mạng học sâu (Deep Learning) là một chức năng của trí tuệ nhân tạo (AI), bắt chước cách bộ não con người hoạt động để xử lý dữ liệu, tạo ra các mẫu để sử dụng cho việc đưa ra quyết định Trong mạng học sâu có một công cụ cực kỳ quan trọng đó là mạng nơ-ron (neural network), đây là cơ sở được xây dựng để mô phỏng khả năng tư duy của bộ não con người và đang trở thành công cụ rất mạnh mẽ trong nhiều bài toán như nhận dạng vật thể, cảm xúc…
Hiện nay đã có nhiều nghiên cứu liên quan đến ứng dụng xử lý ảnh để phân loại như đồ án “Thiết kế và thi công hệ thống phân loại sản phẩm bút chì theo màu sắc” của tác giả Đặng Văn Tuấn – Phạm Văn Long [3] và đồ án
“Phân loại cà chua theo màu sắc và khối lượng” của tác giả Trần Minh Hoàng – Lê Duy Ân [4] Cả hai đề tài này đều sử dụng Webcam để chụp ảnh vật thể, sau đó gửi ảnh vào máy tính để tiến hành phân tích màu sắc, từ đó tiến hành phân loại vật thể Hay tác giả Nguyễn Hoàng Thông – Lê Minh Phúc với đề tài
“Thiết kế và thi công mô hình hệ thống kiểm tra lỗi vỉ thuốc” [5], đề tài này ngoài việc phân tích màu sắc vật thể như hai đề tài trước còn trích xuất về kích thước, hình dạng vật thể để tiến hành phân loại
Với sự phát triển của trí tuệ nhân tạo (AI), mạng học sâu (Deep Learning) cũng ngày càng được ứng dụng trong việc nhận dạng và phân loại vật thể Đã có rất nhiều đề tài kết hợp xử lý ảnh và mạng học sâu để phân loại vật thể Có thể kể đến đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi công mô hình phân loại trái cây” của tác giả Võ Thanh Duy – Trần Quốc Cường [6] với mô hình mạng nơ-ron tích chập triển khai trên kit Raspberry Pi 3 với ngôn ngữ lập trình Python để phân loại ba loại trái cây táo, chuối và thanh long Hay tác giả Nguyễn Đức Hòa – Nguyễn Ngọc Phát với đề tài “Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural” [7] sử dụng cả hai mạng nơ-ron nhân tạo (ANN) và mạng nơ-ron tích chập (CNN) để tiến hành phân loại ba loại trái cây táo, cà chua và chuối, từ đó so sánh và đánh giá mức độ chính xác của hai mạng Ngoài ra, còn có nghiên cứu “Ứng dụng mạng YOLO vào thiết kế mô hình dạy học cho trẻ em” của tác giả Đặng Thị Ngọc – Nguyễn Hương Ngân
[8], sử dụng mạng YOLO để phát hiện và phân loại đối tượng bằng hình ảnh lấy được từ camera
Từ những nghiên cứu và khảo sát trên, chúng em đã tìm hiểu và quyết định chọn đề tài mang tính nghiên cứu, ứng dụng cao, phù hợp với sự phát triển của các ngành sản xuất là “Ứng dụng xử lý ảnh mạng học sâu vào thiết kế và thi công mô hình phân loại các loại chuối khác nhau” Mô hình có chức năng nhận dạng và phân loại ba loại chuối khác nhau, đồng thời có thể giao tiếp với người dùng thông qua giao diện giám sát.
MỤC TIÊU
Thiết kế và thi công mô hình phân loại ba loại chuối khác nhau là chuối lùn, chuối sứ và chuối cau ứng dụng xử lý ảnh mạng học sâu để nhận dạng chuối dựa trên mạng nơ-ron tích chập, xây dựng giao diện điều khiển và giao tiếp với người dùng trên kit Raspberry Pi Lưu trữ dữ liệu phân loại trên cơ sở dữ liệu và có thể truy cập qua web.
NỘI DUNG NGHIÊN CỨU
Trong quá trình thực hiện Đồ án tốt nghiệp với đề tài “Ứng dụng xử lý ảnh mạng học sâu vào thiết kế và thi công mô hình phân loại các loại chuối khác nhau”, nhóm chúng em đã tập trung giải quyết và hoàn thành được những nội dung sau:
• NỘI DUNG 1: Thu thập dữ liệu ảnh của ba loại chuối là chuối lùn, chuối sứ và chuối cau
• NỘI DUNG 2: Nghiên cứu, xây dựng và training model phân loại ba loại chuối trên Google Colab
• NỘI DUNG 3: Cài đặt hệ điều hành và thư viện cần thiết cho Raspberry
Pi, giao tiếp với máy tính để truy cập vào hệ điều hành Raspberry Pi
• NỘI DUNG 4: Kết nối các thiết bị ngoại vi (relay, cảm biến hồng ngoại, servo…) trên GPIO của Raspberry Pi
• NỘI DUNG 5: Kết nối và giao tiếp Webcam với Raspberry Pi
• NỘI DUNG 6: Viết chương trình load model đã training và xử lý ảnh để nhận dạng chuối
• NỘI DUNG 7: Viết chương trình điều khiển hệ thống và giao diện người dùng
• NỘI DUNG 8: Nghiên cứu về mô hình băng tải và buồng chụp ảnh
• NỘI DUNG 9: Thi công phần cứng, chạy thử nghiệm và hiệu chỉnh hệ thống
• NỘI DUNG 10: Viết báo cáo thực hiện
• NỘI DUNG 11: Bảo vệ đồ án.
GIỚI HẠN
Đề tài “Ứng dụng xử lý ảnh mạng học sâu vào thiết kế và thi công mô hình phân loại các loại chuối khác nhau” có những giới hạn là:
• Chỉ phân loại cho ba loại chuối là chuối lùn, chuối sứ và chuối cau
• Ảnh được chụp trong điều kiện ánh sáng bình thường, cố định
• Tốc độ phân loại không nhanh, chuối phân loại theo từng trái, độ chín vừa phải
• Đề tài chỉ giới hạn trong mô hình thu nhỏ.
BỐ CỤC
Chương này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nội dung nghiên cứu, các giới hạn thông số và bố cục đồ án.
CƠ SỞ LÝ THUYẾT
CÁC MÔ HÌNH ỨNG DỤNG XỬ LÝ ẢNH ĐỂ PHÂN LOẠI
2.1.1 Mô hình phân loại bút chì theo màu sắc
Phân loại sản phẩm dựa vào xử lý ảnh là một lĩnh vực nghiên cứu đang phát triển rất mạnh Có nhiều phương pháp khác nhau để phân loại sản phẩm, nhưng phương pháp dựa vào màu sắc vẫn còn ít được áp dụng và có nhiều cách thực hiện như sử dụng cảm biến màu sắc, kính lọc màu Do đó, tác giả đã quan tâm và lựa chọn đề tài này bởi vì nó có tính chất nghiên cứu, ứng dụng cao và phù hợp với xu hướng phát triển của các ngành sản xuất
Mô hình dùng Webcam để chụp ảnh bút chì và gửi ảnh vào máy tính để phân tích màu sắc Máy tính sẽ phân loại bút chì theo 7 màu sắc khác nhau Board Arduino Uno R3 là bộ xử lý trung tâm nhận kết quả từ máy tính Mô hình không cần cảm biến phát hiện vật thể nên giảm được chi phí, và dùng không gian màu HSV để nhận dạng màu sắc chính xác hơn không gian màu RGB Mô hình còn có buồng tối để chụp ảnh không bị nhiễu ánh sáng từ bên ngoài Nhưng mô hình còn có nhược điểm là thuật toán chưa tốt, kém ổn định khi hoạt động thời gian dài, chưa xét được chất lượng và kích thước bút chì, và chỉ giới hạn 7 màu trong cơ sở dữ liệu màu [3]
2.1.2 Mô hình phân loại cà chua theo khối lượng và màu sắc
Với mục tiêu tìm hiểu sâu hơn về ứng dụng của xử lý ảnh trong thực tế và thi công một mô hình phân loại mang tính ứng dụng cao trong sản xuất nông nghiệp Đề tài này nhằm mục đích thiết kế và thi công hệ thống phân loại cà chua theo khối lượng và màu sắc
Mô hình dùng Webcam để chụp ảnh cà chua và gửi ảnh vào máy tính để phân tích màu sắc Arduino nano là bộ xử lý trung tâm cân khối lượng cà chua và phân loại cà chua theo kết quả từ máy tính Hệ thống này có ưu điểm là độ chính xác tương đối cao (91.25%) Giao diện được xây dựng trên Matlab guid đơn giản, dễ sử dụng Bên cạnh đó, còn nhược điểm là độ chính xác của cà chua vàng còn thấp hơn nhiều so với các loại khác (80%), tính ổn định của hệ thống không cao, còn phụ thuộc nhiều vào máy tính [4]
2.1.3 Mô hình kiểm tra lỗi vỉ thuốc
Nhận thấy trong sản xuất công nghiệp, nông nghiệp cũng như y dược, việc đánh giá ngoại quan liên quan đến số lượng và chất lượng thuốc là rất thiết yếu và không thể bỏ qua nên đề tài đã ra đời để đáp ứng nhu cầu thiết yếu trên
Với mô hình này, tác giả dùng xử lý ảnh để phát hiện vỉ thuốc bị lỗi về kích thước, hình dạng hoặc màu sắc (vàng, hồng, trắng, đỏ, nâu, xanh lá), và đếm số lượng thuốc đủ trong vỉ để loại trừ vỉ thuốc thiếu Webcam sẽ chụp hình ảnh vỉ thuốc và gửi cho máy tính xử lý và phân tích, sau đó máy tính sẽ gửi tín hiệu cho Arduino Uno R3 để điều khiển servo bỏ đi thuốc lỗi, bật đèn và buzzer để cảnh báo Ưu điểm của mô hình này là độ ổn định tương đối cao khi hoạt động trong môi trường lý tưởng, có tính ứng dụng thực tế cao Kết quả thực nghiệm trên mô hình băng tải chuẩn xác, phân loại được lỗi vĩ thuốc Bên cạnh đó còn một số hạn chế như chưa đánh giá được chất lượng và biến dạng của từng viên thuốc trong vỉ, không thể kiểm tra được toàn bộ các loại vỉ thuốc có trên thị trường Hoạt động trong môi trường ánh sáng ổn định [5].
CÁC MÔ HÌNH ỨNG DỤNG MẠNG HỌC SÂU ĐỂ PHÂN LOẠI
Công nghệ phân loại là một nhu cầu quan trọng và thiết yếu trong các dây chuyền sản xuất hiện đại Ngoài xử lý ảnh thì mạng học sâu cũng là một công nghệ tiên tiến, đang ngày càng phát triển và phù hợp với lĩnh vực này Đề tài này đã kết hợp cả xử lý ảnh và mạng học sâu để thiết kế và thi công mô hình phân loại ba loại trái cây khác nhau là táo, chuối và thanh long
Mô hình dùng mạng nơ-ron tích chập để trích xuất màu sắc, hình dạng làm đặc trưng để phân loại trái cây Sử dụng tập dữ liệu tự tạo để huấn luyện và chạy trên kit Raspberry Pi 3 model B với Python và Tensorflow Mô hình có giao diện giao tiếp với người dùng để điều khiển và giám sát Dữ liệu phân loại được lưu trữ và có thể xem qua web Ưu điểm là ổn định, chính xác, giao diện đơn giản, dễ sử dụng và theo dõi Hệ thống hiển thị hình ảnh từ camera để người điều khiển kiểm soát sản phẩm Sản phẩm phân loại được lưu trên firebase và hiển thị trên Web Nhưng mô hình còn chậm khi phân loại, chỉ phân loại được lần lượt từng sản phẩm Độ sáng trong buồng ảnh cũng ảnh hưởng đến chất lượng ảnh [6]
2.2.2 Mô hình phân loại trái cây dùng mạng Neural
Khác với mô hình phân loại trái cây [6] chỉ dùng mạng nơ-ron tích chập (CNN) để phân loại Đề tài này, tác giả dùng cả mạng nơ-ron nhân tạo (ANN) và mạng nơ-ron tích chập (CNN) để phân loại và so sánh hiệu suất của hai mô hình
Mô hình này áp dụng các thuật toán xử lý ảnh và mạng neural để nhận diện 3 loại trái cây bằng 2 cách: dùng mạng nhân tạo hoặc mạng tích chập Đầu tiên, dùng trích xuất đặc trưng để huấn luyện mạng nhân tạo với ảnh đầu vào, hoặc dùng mạng tích chập để huấn luyện trực tiếp ảnh Sau đó, đếm số lượng trái cây theo từng loại đã phân loại được Đề tài dùng băng tải, camera, máy tính PC, Arduino và một số ngoại vi để tạo ra mô hình Ưu điểm của mô hình này là kết quả phân loại trái cây mô phỏng trên phần mềm Matlab cho kết quả chính xác, hệ thống có thể nhận diện được các loại trái cây khác nhau, có thể thay đổi các tập ảnh mẫu thành những loại trái cây khác để nhận diện Tuy nhiên, mô hình này cũng gặp phải một số khó khăn khi phân loại sai một số trái cây có kích thước giống nhau và màu sắc bị ảnh hưởng bởi ánh sáng trong buồng chụp không phản ánh đúng màu thực tế của trái cây [7]
2.2.3 Mô hình dạy học tiếng anh cho trẻ em
Với mong muốn đẩy mạnh AI trong giáo dục của Việt Nam và đáp ứng nhu cầu học tiếng anh của trẻ em, đề tài sử dụng mạng Yolo để xây dựng một mô hình dạy tiếng anh cho trẻ em
Mô hình dùng mạng YOLO để nhận diện và phân loại đối tượng từ hình ảnh camera và đọc tên bằng tiếng anh Hệ thống có khả năng nhận biết 30 đối tượng bao gồm 15 loại trái cây và 15 loại động vật Mạng YOLO gồm 106 lớp dùng một mạng thần kinh duy nhất để dự đoán hộp giới hạn và xác suất đối tượng từ hình ảnh toàn cảnh trong một lượt chạy Nó có thể hoạt động thời gian thực với tốc độ nhanh, độ chính xác cao Hệ thống dễ dàng sử dụng, không gây hại cho trẻ em khi sử dụng Chất lượng âm thanh tốt, rõ ràng, phát âm tiếng anh theo chuẩn anh-mỹ Tuy nhiên còn một số nhược điểm như hệ thống hoạt động phụ thuộc vào camera trên mô hình, đối tượng nhận dạng phải là vật thật hoặc hình ảnh của vật thật, hạn chế trong điều kiện thiếu ánh sáng, không nhận dạng được đối tượng có cự lý quá gần hoặc quá xa [8].
XỬ LÝ ẢNH CHO VIỆC PHÂN LOẠI
2.3.1 Xử lý màu sắc Đối với một số đề tài đã được nghiên cứu, như đề tài “Thiết kế và thi công hệ thống phân loại sản phẩm bút chì theo màu sắc” của Trần Văn Tuấn và
Phạm Văn Long thực hiện năm 2020 [3], hay tác giả Trần Minh Hoàng và Lê Duy Ân với đề tài “Phân loại cà chua theo màu sắc và khối lượng” thực hiện năm 2020 [4] Cả hai đã nêu lên cách nhận biết vật thể thông qua màu sắc của vật thể Trong các đề tài này, để nhận biết màu sắc một cách chính xác hơn, tác giả đã chuyển không gian màu từ không gian RGB sang không gian màu HSV để phân tích Tuy nhiên, việc này sẽ làm tăng tài nguyên tiêu thụ của chương trình, mặc dù đem lại độ chính xác khá cao Khác với hai đề tài đã nêu trên, đề tài của nhóm chỉ sử dụng ảnh thu thập từ webcam có không gian màu RGB để tiến hành xử lý
Không gian màu RGB là viết tắt của Red (đỏ), Green (xanh lá) và Blue (xanh lam), là ba màu cơ bản được dùng để tạo ra tất cả các màu khác bằng cách pha trộn với các tỉ lệ khác nhau Không gian màu RGB được chuẩn hóa như sau: [4]
- Màu xanh lá cây chuẩn hóa: 𝑔 = 𝐺
- Màu xanh dương chuẩn hóa: 𝑏 = 𝐵
Trong không gian màu RGB, mỗi màu được biểu diễn bằng một vector ba chiều (R, G, B), trong đó mỗi thành phần có giá trị nguyên từ 0 đến 255 Ví dụ, màu trắng có vector (255, 255, 255), màu đen có vector (0, 0, 0), màu đỏ có vector (255, 0, 0) và màu vàng có vector (255, 255, 0) Tổng số màu có thể biểu diễn trong không gian màu RGB là 256 3 = 16.777.216 màu [4]
Trong đề tài “Thiết kế và thi công mô hình hệ thống kiểm tra lỗi vỉ thuốc” của Nguyễn Hoàng Thông và Lê Minh Phúc thực hiện năm 2020 [5], tác giả đã thiết kế và thi công một hệ thống kiểm tra lỗi vỉ thuốc bằng cách sử dụng kỹ thuật chuyển ảnh sang ảnh nhị phân Kỹ thuật này giúp phân tích được hình dáng của vỉ thuốc một cách dễ dàng, từ đó nhận diện vỉ thuốc lỗi một cách chính xác hơn Tuy nhiên, kỹ thuật này có một hạn chế là chỉ có thể áp dụng cho những hình dáng đơn giản, có thể ngoại tiếp bởi một đường elip, ví dụ như hình chữ nhật, hình vuông, và cetera Do đó, kỹ thuật này không phù hợp cho việc nhận dạng trái cây, vì trái cây có những hình dáng phức tạp, không đều và không thuộc các hình cơ bản.
ỨNG DỤNG MẠNG HỌC SÂU CHO PHÂN LOẠI
Sau khi tham khảo các đề tài sử dụng mạng học sâu vào phân loại trái cây trước như: “Ứng dụng xử lý ảnh vào thiết kế và thi công mô hình phân loại trái cây” của Võ Thanh Duy và Trần Quốc Cường thực hiện năm 2020 [6], hay
“Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural” của Nguyễn Đức Hòa và Nguyễn Ngọc Phát thực hiện năm 2020 [7] Hai đề tài này đã áp dụng mô hình mạng nơ-ron tích chập (CNN) để phân loại ba loại trái cây khác nhau dựa trên hình ảnh của chúng Qua các bước xây dựng và thực nghiệm, cả hai đề tài đều cho thấy hiệu quả cao của mô hình CNN, với độ chính xác đạt tới 95% khi nhận dạng ba loại trái cây Điều này chứng tỏ rằng, mô hình CNN là một công cụ mạnh mẽ và hoàn toàn phù hợp trong việc xây dựng mô hình phân loại trái cây
2.4.1 Tổng quan về mạng nơ-ron tích chập (CNN)
Một loại mạng nơ-ron phổ biến trong học sâu là mạng nơ-ron tích chập (CNN) Mạng nơ-ron tích chập được xây dựng dựa trên nguyên lý của vỏ não thị giác của con người, giúp nó có khả năng xử lý và phân tích dữ liệu hình ảnh hiệu quả CNN đã tạo ra những bước tiến vượt bậc trong lĩnh vực thị giác máy tính, với nhiều ứng dụng như phân loại hình ảnh, phát hiện đối tượng và nhận dạng hình ảnh CNN hoạt động bằng cách sử dụng các bộ lọc (hay còn gọi là kernel) để trích xuất các đặc trưng từ hình ảnh hoặc video và dựa trên kết quả của lớp tích chập để đưa ra dự đoán
Hình 2.1 Mô hình tổng quát mạng nơ-ron
Mô hình tổng quát mạng nơ-ron bao gồm 3 lớp cơ bản: input layer (lớp đầu vào), hidden layer (lớp ẩn), output layer (lớp đầu ra)
Input Layer (lớp đầu vào): Đây là lớp nhận dữ liệu đầu vào và truyền chúng đến các nơ-ron ở lớp ẩn Dữ liệu đầu vào có thể là các đặc trưng hoặc thông tin cần xử lý
Hidden Layer (lớp ẩn): Lớp này chứa các nơ-ron hoặc các đơn vị xử lý ẩn, nơ-ron ẩn này thực hiện tính toán phức tạp trên dữ liệu đầu vào để học và trích xuất các đặc trưng quan trọng Mạng nơ-ron có thể có nhiều lớp ẩn và mỗi lớp ẩn thực hiện các tính toán tương tự nhau
Output Layer (lớp đầu ra): Lớp này thực hiện các tính toán cuối cùng và đưa ra kết quả dự đoán hoặc đầu ra dựa trên thông tin từ lớp ẩn Đầu ra có thể là một giá trị số hoặc một vector xác suất tùy thuộc vào bài toán cụ thể
Mỗi lớp chứa các nơ-ron có kết nối với các nơ-ron ở các lớp lân cận Mỗi mô hình đều có một lớp đầu vào và một lớp đầu ra, có thể có hoặc không có các lớp ẩn Các nơ-ron trong lớp ẩn và lớp đầu ra có liên hệ với các nơ-ron ở lớp trước nó với các trọng số w và mỗi nơ-ron có hệ số bias riêng Trong Hidden Layer (lớp ẩn) bao gồm 3 lớp chính: lớp tích chập, lớp gộp và lớp kết nối đầy đủ [6]
2.4.2 Một số mô hình CNN
2.4.2.1 AlexNet Đây là một trong những mô hình CNN đầu tiên và nổi tiếng nhất, được giới thiệu vào năm 2012 bởi Alex Krizhevsky và các cộng sự AlexNet có 8 lớp, trong đó 5 lớp là tích chập và 3 lớp là kết nối đầy đủ Một số đặc trưng của AlexNet là:
• Sử dụng hàm kích hoạt ReLU thay vì sigmoid hay tanh, để giảm hiện tượng tiêu biến gradient và tăng tốc độ học
• Sử dụng kỹ thuật dropout để giảm quá khớp và tăng khả năng tổng quát hóa của mô hình
• Sử dụng kỹ thuật tăng cường dữ liệu (data augmentation) để tăng số lượng dữ liệu huấn luyện và đa dạng hóa các đặc trưng
• Sử dụng kỹ thuật phân tán tính toán (distributed computing) để huấn luyện mô hình trên hai GPU song song, giảm thời gian huấn luyện và tăng hiệu suất
2.4.2.2 GoogleNet Đây là một mô hình CNN được giới thiệu vào năm 2014 bởi Christian Szegedy và các cộng sự GoogleNet có 22 lớp, trong đó có nhiều lớp là các khối Inception Một số đặc trưng của GoogleNet là:
• Sử dụng các khối Inception, là các lớp tích chập được ghép nối song song với nhau, để tăng độ rộng của mạng và giảm số lượng tham số
• Sử dụng các bộ lọc nhỏ (1x1) để giảm chiều sâu của đặc trưng và tăng hiệu quả tính toán
• Sử dụng các lớp phân loại phụ (auxiliary classifier) ở giữa mạng, để giảm hiện tượng tiêu biến gradient và tăng độ chính xác của mô hình
• Sử dụng một lớp kết nối đầy đủ duy nhất ở cuối mạng, với số nút bằng
1000, để đưa ra dự đoán cuối cùng
Mobilnet là một mô hình CNN được Google phát triển và công bố vào năm 2017 Mobilnet được thiết kế để tối ưu hóa hiệu năng và tiết kiệm tài nguyên khi chạy trên các thiết bị di động hoặc nhúng Một số đặc trưng của Mobilnet là:
• Sử dụng các phép tích chập sâu (depthwise convolution) và phép tích chập điểm (pointwise convolution) để giảm số lượng tham số và tăng tốc độ tính toán Phép tích chập sâu áp dụng các bộ lọc trên từng kênh của đầu vào, trong khi phép tích chập điểm áp dụng các bộ lọc trên tất cả các kênh của đầu vào
• Sử dụng một tham số gọi là độ rộng đa dạng (width multiplier) để điều chỉnh độ sâu của mạng, từ đó có thể tùy biến mô hình cho các nhu cầu khác nhau về độ chính xác và độ phức tạp
• Sử dụng một tham số gọi là độ phân giải đa dạng (resolution multiplier) để điều chỉnh kích thước của đầu vào, từ đó có thể tùy biến mô hình cho các nhu cầu khác nhau về độ chính xác và độ phức tạp.
TÍNH TOÁN VÀ THIẾT KẾ
GIỚI THIỆU
Đề tài “Ứng dụng xử lý ảnh mạng học sâu vào thiết kế và thi công mô hình phân loại các loại chuối khác nhau” với mục tiêu phân loại ba loại chuối là chuối lùn, chuối sứ và chuối cau Sử dụng mạng Mobilenet để trích xuất đặc trưng của ba loại chuối trên và tiến hành nhận dạng Bộ xử lý trung tâm sử dụng kit Raspberry Pi 4 Model B với ngôn ngữ Python, sử dụng các thư viện hỗ trợ mạnh về deep learning và xử lý ảnh như Tensorflow và OpenCV Điều khiển các thiết bị ngoại vi hoạt động đúng yêu cầu như cảm biến vật cản hồng ngoại, webcam, servo… Người dùng có thể giám sát và điều khiển thông qua giao diện được thiết kế dựa trên thư viện appJar Dữ liệu phân loại được lưu trữ trên cơ sở dữ liệu firebase và có thể truy cập trang web để quan sát.
TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG
3.2.1 Thiết kế sơ đồ khối hệ thống
Theo yêu cầu đề bài đã đưa ra, nhóm đã thiết kế sơ đồ khối của hệ thống bao gồm các khối: khối nguồn, khối chụp ảnh, khối xử lý trung tâm, khối công suất và khối giao diện điều khiển Sơ đồ khối của hệ thống được mô tả như trong hình 3.1
Hình 3.1 Sơ đồ khối của hệ thống
Chức năng của các khối trong hệ thống:
- Khối nguồn: Cung cấp nguồn điện cho các khối chụp ảnh, khối xử lý trung tâm và khối công suất hoạt động
- Khối chụp ảnh: Sử dụng cảm biến vật cản hồng ngoại E18-D80NK để phát hiện chuối và webcam có chức năng chụp ảnh chuối trong buồng ảnh
- Khối xử lý trung tâm: Sử dụng kit Raspberry Pi 4 model B có chức năng triển khai mô hình mạng Mobilnet đã được lưu để tiến hành xử lý và nhận dạng các loại chuối Nhận dữ liệu hình ảnh từ webcam, điều khiển động cơ băng tải, servo và truyền dữ liệu lên cơ sở dữ liệu Khối công suất
- Khối công suất: Sử dụng động cơ DC có chức năng điều khiển hoạt động của băng tải, động cơ servo MG996R để tác động phân loại sản phẩm
- Khối giao diện điều khiển: Hiển thị các thông tin của hệ thống như hình ảnh, kết quả phân loại, các phím nhấn thao tác
3.2.2 Tính toán và thiết kế sơ đồ mạch a Khối xử lý trung tâm
Khối xử lý trung tâm sử dụng kit Raspberry Pi 4 model B có chức năng chính là nhận dữ liệu hình ảnh từ webcam, dựa trên mô hình mạng Mobilnet đã lưu trước đó để xử lý và đưa ra kết luận về loại chuối Sau đó, điều khiển các cơ cấu chấp hành như băng tải và servo tác động để phân loại sản phẩm Gửi dữ liệu số lượng sản phẩm lên cơ sở dữ liệu firebase
Kit Raspberry Pi 4 model B, với điện áp hoạt động 5V và dòng tối thiểu là 3A, được trang bị nhiều port giao tiếp nhưng trong đề tài chỉ sử dụng các port như sau:
• Khe thẻ nhớ: dùng để cấp bộ nhớ lưu trữ cho Raspberry đồng thời cũng là nơi lưu trữ hệ điều hành Raspbian Để đảm bảo Raspberry có một bộ nhớ đủ lớn thì nhóm quyết định chọn thẻ nhớ Micro SD 32GB để làm bộ nhớ của kit với tốc độ đạt được để đọc dữ liệu là
• USB: sử dụng 1 cổng USB 2.0 để kết nối với webcam để thực thi việc chụp ảnh sản phẩm
• Power: cấp nguồn cho Raspberry hoạt động, nguồn có điện áp 5.1V và dòng điện 3A
• GPIO: cung cấp các chân GPIO để giao tiếp với các thiết bị ngoại vi như cảm biến, relay và servo
Hình 3.3 Sơ đồ các cổng ngoại vi được sử dụng
Hình 3.4 bên dưới là sơ đồ kết nối các chân GPIO của Raspberry với thiết bị ngoại vi Tổng cộng Raspberry có 40 chân GPIO để người dùng có thể giao tiếp với các thiết bị ngoại vi Trong đồ án này, nhóm chỉ sử dụng các chân như sau:
- Chân GPIO 14 giao tiếp với cảm biến vật cản hồng ngoại E18-D80NK
- Chân GPIO 23 giao tiếp với module Relay
- Các chân GPIO 17, GPIO 27 và GPIO 22 lần lượt giao tiếp với 3 servo
- Cảm biến vật cản hồng ngoại E18-D80NK và module Relay sẽ dùng nguồn 5V của Raspberry Pi
Hình 3.4 Sơ đồ các chân GPIO của Raspberry với thiết bị ngoại vi b Khối chụp ảnh
Sử dụng cảm biến vật cản hồng ngoại E18-D80NK để phát hiện chuối và webcam có chức năng chụp ảnh chuối trong buồng ảnh
Cảm biến vật cản hồng ngoại E18-D80NK sử dụng dòng điện 5VDC, dòng kích ngõ ra 300mA Khoảng cách phát hiện từ 3 đến 80cm và sẽ được hiệu chỉnh thông qua biến trở trên cảm biến
Hình 3.5 Cảm biến vật cản hồng ngoại E18-D80NK
Hình 3.6 bên dưới là sơ đồ kết nối cảm biến vật cản E18-D80NK với Raspberry Pi Dây màu nâu (VCC) sẽ được kết nối với nguồn 5V của Raspberry
Pi, dây màu xanh dương (GND) sẽ nối với chân GND và dây màu đen (tín hiệu) sẽ được kết nối với chân GPIO 14 để tiến hành giao tiếp
Hình 3.6 Sơ đồ kết nối cảm biến E18-D80NK với Raspberry
Khối chụp ảnh sử dụng Webcam Logitech C270p để tiến hành chụp ảnh và nhận dạng Webcam Logitech C270p có độ phân giải ảnh lên tới 3.0 megapixel, có thể điều chỉnh góc quay để tạo góc nhìn tốt nhất [3]
Webcam được kết nối với Raspberry Pi thông qua cổng USB 2.0 nên không cần nguồn điện bên ngoài Webcam hoạt động ở điện áp 5V và dòng tối đa là 500mA Hình 3.8 bên dưới là sơ đồ kết nối Webcam với Raspberry Pi
Hình 3.8 Kết nối của Webcam với Raspberry Pi c Khối công suất
Khối công suất được chia ra làm hai thực thi là điều khiển động cơ DC chạy băng tải và điều khiển servo tác động gạt sản phẩm
• Điều khiển động cơ DC chạy băng tải Để thông qua Raspberry điều khiển động cơ DC 12V cho việc chạy hay tắt băng tải, nhóm sử dụng module Relay 1 kênh 5V, có dạng như hình 3.9, có sẵn trên thị trường để thuận tiện cho việc cách ly nguồn riêng với khối xử lý trung tâm, giúp hệ thống ổn định và an toàn hơn
Hình 3.10 Sơ đồ nguyên lý module Relay [6]
U1 là opto PC817 như một cầu nối quang học, cách ly phần đầu vào của mạch với phần đầu ra Nó cho phép truyền tín hiệu mà không làm ảnh hưởng đến tính tách biệt của hai phần, giúp bảo vệ mạch khỏi nhiễu điện Điệp áp ngõ ra của opto bằng với điện áp đầu vào VCC và bằng 5V
Q1 là transistor NPN 2N1711, được sử dụng để khuếch đại tín hiệu từ
U1 và kích hoạt relay Nó chuyển đổi tín hiệu điều khiển thấp thành dòng điện cao hơn để hoạt động relay
Tính dòng khuếch đại qua 𝐼 𝑐 và 𝐼 𝑒 Đầu tiên cần tính dòng 𝐼 𝑏 với công thức sau:
- 𝑉 𝑖𝑛 là điện áp đầu vào
- 𝑉 𝐵𝐸 là điện áp giữa base và emitter của transistor, thường là 0.7V
Dựa vào công thức (3.1), ta có: 𝐼 𝑏 = 5−0.7
1𝑘Ω = 4.3mA Dòng khuếch đại qua 𝐼 𝑐 và 𝐼 𝑒 được tính bằng các công thức sau:
Trong đó β là hệ số khuếch đại, với transistor 2N1711 có hệ số khuếch đại từ 100 đến 300
Với β = 100, ta có: 𝐼 𝑐 = 4.3x100C0mA và 𝐼 𝑒 = 430+4.3C4.3mA Với β = 300, ta có: 𝐼 𝑐 = 4.3x30090mA và 𝐼 𝑒 90+4.394.3mA
Diode D2 được sử dụng để bảo vệ mạch khỏi hiện tượng tăng điện áp đột ngột khi relay ngắt kết nối Hiện tượng này xảy ra do năng lượng từ từ trường của cuộn dây trong relay được giải phóng khi relay tắt
Nguyên lý hoạt động: Khi nguồn điện 5V từ J2 được cung cấp, dòng điện sẽ chảy qua điện trở R1 và kích thích photodiode D1 Khi photodiode nhận ánh sáng, nó tạo ra dòng điện chảy từ anode đến cathode, kích hoạt optocoupler U1 Optocoupler U1 cách ly tín hiệu điện giữa phần đầu vào và đầu ra, đồng thời kích hoạt transistor bên trong nó để dẫn dòng từ collector đến emitter Dòng điện này qua R2 tạo ra hiệu điện thế cần thiết để kích thích transistor Q1 Khi Q1 dẫn, nó sẽ kích hoạt relay RL1, làm cho các chân NO và COM của J1 kết nối, cho phép dòng điện chảy qua và hoàn thành mạch Relay này có thể được sử dụng để điều khiển các thiết bị ngoại vi như đèn hoặc motor Điện áp cung cấp cho module relay hoạt động là 5V, dòng điện tĩnh là 2mA và dòng khi hoạt động là 80mA Công suất được tính theo công thức sau:
P = U x I (3.4) Với P là công suất, U là điện áp, I là dòng điện qua linh kiện
Công suất khi relay không hoạt động: P = 5 x 0.002 = 0.01W
Công suất khi relay hoạt động: P = 5 x 0.08 = 0.4W
Hình 3.11 bên dưới là sơ đồ kết nối module relay 5V với Raspberry Chân DC+ và DC- lần lượt nối với nguồn 5V và GND, chân IN (tín hiệu) sẽ được kết nối với chân GPIO 23 của Raspberry Pi
Hình 3.11 Sơ đồ kết nối module relay 5V với Raspberry Động cơ DC chạy băng tải là loại động cơ giảm tốc với điện áp hoạt động 12V, dòng điện không tải là 60mA và dòng tối đa khi có tải là 1.3A Dựa vào công thức (3.4), ta có:
Công suất khi động cơ không tải: P = U x I = 12 x 0.06 = 0.72W
Công suất khi động cơ có tải tối đa: P = U x I = 12 x 1.3 = 15.6W
Hình 3.12 Sơ đồ kết nối module relay 5V với động cơ DC và nguồn [6]
XÂY DỰNG MÔ HÌNH MẠNG MOBILENET PHÂN LOẠI CHUỐI
Trong Deep Learning, tập dữ liệu (dataset) đóng một vai trò quan trọng Đây là bộ dữ liệu được sử dụng để huấn luyện và kiểm tra độ hiệu quả của mô hình Tập dữ liệu cung cấp thông tin đầu vào và đầu ra mà mô hình sẽ học và dự đoán sau đó Do đó, việc chuẩn bị tập dữ liệu huấn luyện là điều quan trọng bậc nhất trong quá trình làm đồ án Tập dữ liệu ảnh hưởng lớn tới việc xây dựng mô hình nên đòi hỏi tập dữ liệu phải đủ tốt Để làm được điều này cần tuân thủ các yêu cầu sau:
- Số Lượng Dữ Liệu Đủ Lớn: Mô hình Deep Learning thường đòi hỏi một tập dữ liệu lớn để học một cách hiệu quả Điều này đặc biệt quan trọng đối với các mô hình phức tạp
- Cân bằng tập dữ liệu: số lượng ảnh cho mỗi loại phải cân bằng với nhau, duy trì tỉ lệ 1:2 cho loại có dữ liệu ít nhất với loại có dữ liệu cao nhất
- Đa Dạng Hóa Dữ Liệu: Tập dữ liệu nên bao gồm các trường hợp đại diện cho tất cả các loại dữ liệu mà mô hình có khả năng phân loại Đảm bảo có đủ đa dạng về mặt biến thể, góc chụp, ánh sáng, và các yếu tố khác
- Dữ liệu Gán Nhãn Đúng (Labeled Data): Dữ liệu phải được gán nhãn chính xác, có nghĩa là mỗi mẫu dữ liệu trong tập dữ liệu phải có một nhãn hoặc danh mục đúng và đã được kiểm tra bởi người tạo Điều này cần thiết để đảm bảo mô hình học từ các mẫu dữ liệu có thông tin đúng
- Cập Nhật Dữ Liệu: Dữ liệu nên được cập nhật theo thời gian để đảm bảo rằng mô hình duy trì khả năng phân loại tốt khi có sự thay đổi trong dữ liệu thực tế
Nhóm thực hiện đề tài đã chuẩn bị một tập dữ liệu huấn luyện theo yêu cầu của đề tài tương ứng 3 loại chuối khác nhau: chuối lùn, chuối sứ và chuối cau Tập dữ liệu bao gồm 3000 ảnh, với mỗi loại chuối có 1000 ảnh Mỗi loại chuối sẽ được chụp từng trái với nhiều góc độ khác nhau để đảm bảo tập dữ liệu đa dạng nhất và mô hình học một cách tối ưu nhất a) b) c)
Hình 3.19 a) Ảnh chuối lùn trong tập dữ liệu b) Ảnh chuối sứ trong tập dữ liệu c) Ảnh chuối cau trong tập dữ liệu
Ngoài tập dữ liệu huấn luyện, cần phải xây dựng thêm một tập kiểm định (valid) Tập valid được sử dụng trong quá trình huấn luyện mô hình để đánh giá hiệu suất và tránh overfitting Overfitting xảy ra khi mô hình quá khớp với dữ liệu huấn luyện và không thể tổng quát hóa tốt trên dữ liệu mới Bằng cách sử dụng tập valid, chúng ta có thể kiểm tra hiệu suất của mô hình trên dữ liệu mà nó chưa từng thấy trong quá trình huấn luyện, giúp chúng ta điều chỉnh và tối ưu hóa mô hình Nhóm đã xây dựng một tập valid với mỗi loại chuối là 150 ảnh
3.3.2 Xây dựng mô hình mạng MobileNet để nhận dạng chuối
Mạng nơ-ron tích chập (CNN) là một công cụ mạnh mẽ trong lĩnh vực học sâu, đặc biệt là trong các tác vụ liên quan đến xử lý hình ảnh Có rất nhiều loại mạng CNN, từ những mạng sớm như LeNet cho đến những mạng hiện đại như
ResNet, Inception và Mobilenet Mỗi mạng có những đặc điểm và ưu điểm riêng Trong đồ án này, sau khi nghiên cứu và đánh giá, nhóm đã chọn mạng Mobilenet để thực hiện việc phân loại 3 loại chuối là chuối lùn, chuối sứ và chuối cau
Mobilenet là một kiến trúc mạng nơ-ron tích chập được thiết kế để tối ưu hóa hiệu suất của các mô hình học sâu trên các thiết bị di động và thiết bị tài nguyên tính toán hạn chế Mobilenet sử dụng một loại tích chập đặc biệt là tích chập phân tách theo chiều sâu (Depthwise Separable Convolution) để giảm kích thước mô hình và tăng tốc độ dự đoán mà vẫn duy trì độ chính xác cao Tích chập phân tách theo chiều sâu là sự kết hợp của hai loại tích chập là tích chập theo chiều sâu (Depthwise Convolution) và tích chập điểm (Pointwise Convolution) Tích chập theo chiều sâu thực hiện một lớp tích chập duy nhất trên mỗi kênh đầu vào, trong khi tích chập điểm kết hợp đầu ra của tích chập theo chiều sâu một cách tuyến tính với các phép tích chập 1x1
Hình 3.20 Cấu trúc và quy trình tính toán của Mobilenet
Hình 3.20 mô tả cấu trúc và quy trình tính toán của Mobilenet Bắt đầu từ lớp đầu vào với kích thước 224x224x3, thông qua một chuỗi các phép biến đổi và tính toán, cuối cùng dẫn đến lớp phân loại đầu ra, phân loại dữ liệu đầu vào dựa trên các đặc trưng đã học
Sau khi thành công trong việc xây dựng tập dữ liệu huấn luyện, nhóm bắt tay vào quá trình tạo lập mô hình mạng Mobilenet Mục tiêu là tạo ra một mô hình có khả năng nhận biết 3 loại chuối khác nhau: chuối lùn, chuối sứ và chuối cau Trong đề tài này, nhóm sử dụng kỹ thuật Transfer Learning để tận dụng kiến trúc mạng MobileNet đã được huấn luyện sẵn Transfer Learning là một kỹ thuật trong học máy nơi mà một mô hình được huấn luyện trước đó trên một tập dữ liệu lớn và sau đó sử dụng làm điểm khởi đầu cho một mô hình mới được huấn luyện trên một tập dữ liệu nhỏ hơn và thường liên quan Hình 3.21 bên dưới là các bước để xây dựng mô hình
Hình 3.21 Lưu đồ quá trình xây dựng mô hình Mobilenet
Trong bước khởi tạo dữ liệu, sử dụng ImageDataGenerator để tự động tạo ra các biến thể của hình ảnh trong quá trình huấn luyện Điều này giúp mô hình trở nên mạnh mẽ hơn với các biến đổi nhỏ như xoay, dịch chuyển, lật hình… Sau đó hình ảnh sẽ được resize về kích thước 224x224, với kích thước ngõ vào
(batch_size) là 32 nghĩa là số lượng mẫu đưa vào model trong mỗi vòng lặp là
Sau khi đã khởi tạo dữ liệu, tiến hành tải mô hình Mobilenet đã huấn luyện trước từ ImageNet Mô hình này sẽ được sử dụng như một mô hình cơ sở để trích xuất đặc trưng Thêm các lớp mới vào mô hình để tùy chỉnh theo yêu cầu cụ thể của đồ án Trong trường hợp này, nhóm thêm các lớp:
THI CÔNG HỆ THỐNG
GIỚI THIỆU
Sau quá trình tính toán và thiết kế, nhóm sẽ trình bày về tiến trình thi công cho đề tài “Ứng dụng xử lý ảnh mạng học sâu vào thiết kế và thi công mô hình phân loại các loại chuối khác nhau” Đề tài tận dụng mô hình băng tải có sẵn trong phòng Lab của trường, đây là một mô hình hệ thống mô phỏng nhỏ gọn và không làm thành dây chuyền sản xuất Mô hình hệ thống được kết nối qua các dây tín hiệu nên sẽ không có phần thiết kế và thi công bo mạch.
THI CÔNG HỆ THỐNG
4.2.1 Thiết kế giao diện người dùng
Giao diện người dùng được thiết kế gồm 3 phần chính là hiển thị, kết quả và điều khiển Phần hiển thị sẽ hiển thị hình ảnh trái chuối được chụp từ Webcam Phần kết quả sẽ hiển thị tên loại chuối tương ứng với hình ảnh chuối hiển thị Phần điều khiển gồm 3 nút nhấn, nút Start để bật băng tải và chạy toàn bộ hệ thống, nút Stop dừng băng tải và hệ thống, nút Exit để thoát giao diện
Hình 4.1 Giao diện hoàn thiện của chương trình
Hình 4.1 là giao diện người dùng ban đầu Trong đó:
1 Hiển thị ảnh chụp từ Webcam
2 Hiển thị tên loại chuối
Khi mới hiển thị giao diện, chưa có chuối đi vào buồng ảnh, phần hiển thị sẽ hiển thị tên đề tài Phần kết quả sẽ không hiển thị thông tin gì
Như đã giới thiệu trước đó, đề tài đã tận dụng mô hình băng tải hiện có trong phòng Lab của trường, nhóm sẽ không mô tả phần lắp ráp mô hình Thay vào đó, nhóm chỉ giới thiệu tổng quan về thông số kích thước và việc bố trí các linh kiện trên băng tải
Bảng 4.1 Danh sách các linh kiện sử dụng trong mô hình
STT Tên linh kiện Số lượng Ghi chú
4 Cảm biến E18-D80NK 1 Cảm biến vật cản hồng ngoại
9 Tủ điện 1 Kích thước 20x15x12cm
Mô hình băng tải nhỏ gọn, có thể di chuyển dễ dàng Các thiết bị được bố trí như sau:
Hình 4.2 Băng tải của mô hình
Mô hình băng tải bao gồm băng tải với chiều dài 95cm, chiều rộng 25cm, cao 17cm
Hình 4.3 Bố trí servo trên băng tải
Hình 4.3 ở trên là cách bố trí 3 servo trên băng tải Servo thứ nhất cách servo thứ hai một khoảng 21cm, servo thứ hai và thứ ba cùng một bên và cách nhau một khoảng 20cm
Hình 4.4 Bố trí động cơ DC trên băng tải Động cơ DC 12V được đặt dưới băng tải để kéo băng tải hoạt động như Hình 4.4
Hình 4.5 Webcam nhìn từ phía trong buồng ảnh
Hình 4.6 Cảm biến đặt trong buồng ảnh
Hình 4.7 bên dưới mô tả rõ hơn về cách bố trí Webcam và cảm biến trong buồng ảnh Buồng ảnh dài 20cm, rộng 21 cm và cao 35cm Khoảng cách đặt Webcam là 25cm (tính từ Webcam đến mặt băng tải) Một cảm biến vật cản hồng ngoại được đặt ở trong buồng ảnh để phát hiện chuối khi được đưa vào trong
Hình 4.7 Bố trí các thiết bị cho buồng ảnh (nhìn từ cạnh bên)
Mô hình hệ thống được kết nối qua các dây tín hiệu nên sẽ không có phần thiết kế và thi công bo mạch Kit Raspberry Pi 4 model B, module Relay 5V được kết nối với nhau thông qua các dây tín hiệu Dùng thêm domino 6P để kết nối với các nguồn hoạt động
Bộ điều khiển được đóng gói trong tủ điện có kích thước chiều dài 20cm, chiều rộng 15cm và chiều cao 12cm Việc đóng gói như này sẽ đảm bảo độ an toàn của mạch Đóng gói điều khiển được thể hiện trong hình 4.8 bên dưới
Hình 4.8 Đóng gói bộ điều khiển trong tủ điện
Hình 4.9 bên dưới là mô hình hoàn thiện của hệ thống nhìn từ cạnh bên phải Buồng ảnh là nói đặt cảm biến vật cản hồng ngoại và Webcam để thực thi việc chụp ảnh chuối Tủ điện là nơi đóng gói bộ điều khiển của hệ thống để đảm bảo an toàn Ba servo trên băng tải có nhiệm vụ gạt sản phẩm chuối phân loại vào các ngăn phân loại tương ứng Servo 1 để phân loại chuối lùn, servo 2 để phân loại chuối sứ và servo 3 phân loại chuối cau Loại khác sẽ đi hết băng tải và vào ngăn phân loại loại khác
Hình 4.9 Mô hình thực tế hoàn chỉnh góc nhìn bên phải
Hình 4.10 bên dưới cũng là mô hình hoàn thiện của hệ thống nhưng được nhìn từ bên trái Cũng tương tự như hình 4.9 ở trên, tuy nhiên góc nhìn này thấy được thêm ngăn phân loại chuối cau cũng như động cơ DC 12V được bố tri dưới băng tải để điều khiển băng tải hoạt động
Hình 4.10 Mô hình thực tế hoàn chỉnh góc nhìn bên trái
4.2.3 Thiết kế giao diện Website a Tạo webserver Để tạo trang website giám sát và thống kê số lượng chuối phân loại được, chúng em thực hiện những bước như sau:
➢ Bước 1: Truy cập: https://vn.000webhost.com và đăng ký tài khoản bằng Email để thực hiện đăng nhập
➢ Bước 2: Khi đăng nhập thành công, sẽ thấy có biểu tượng để tạo website mới, sau đó điền tên website và mật khẩu và nhấn nút
“Create” Bước này được mô tả ở hình 4.11 bên dưới
Hình 4.11 Tạo một Website mới trên trang webhost
➢ Bước 3: Sau khi tạo, trên màn hình sẽ hiển thị tên trang web với tên miền là https://bananamanagement.000webhostapp.com/ Tiếp tục chọn nút “Manage” như hình 4.12 để bắt đầu quản lý
Hình 4.12 Tạo website mới thành công
➢ Bước 4: Tiến hành thiết kế giao diện Web Các file code thiết kế giao diện của trang web được tải lên và quản lý bằng công cụ file manager Chúng ta có thể viết chương trình ở máy tính bằng các phần mềm khác như Notepad++, Visual Studio Code Sau đó chỉ việc đăng tải lên
Hình 4.13 Giao diện công cụ quản lý File b Thiết kế giao diện Website
Giao diện Website được thiết kế bao gồm 2 trang web Một trang web để đăng nhập và một trang web hiển thị số lượng phân loại
Trang đăng nhập giúp cho người dùng đăng nhập vào để thống kê số lượng chuối từng loại phân loại được File code HTML có tên “dangnhap.html” và được lưu trong thư mục public_html Link để truy cập vào trang đăng nhập là: https://bananamanagement.000webhostapp.com/dangnhap.html
Hình 4.14 Giao diện trang đăng nhập
Khi người dùng hoàn tất việc nhập thông tin và nhấn nút “Login”, hệ thống sẽ tiến hành kiểm tra sự khớp nhau giữa thông tin đã nhập (name và pass) với dữ liệu đã được thiết lập từ trước:
- Trường hợp thông tin nhập khớp, người dùng sẽ được đưa tới trang web chính
- Ngược lại, nếu có bất kỳ sự không khớp nào, hệ thống sẽ thông báo “Sai tài khoản hoặc mật khẩu”
Sau khi đăng nhập thành công sẽ chuyển hướng người dùng đến trang web hiển thị số lượng phân loại Đây là trang giúp cho người dùng quan sát vào thống kê số lượng chuối từng loại phân loại được File code HTML có tên
“admin.html” và được lưu trong thư mục public_html
Hình 4.15 Giao diện trang web chính
VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC
Bước 1: Cấp nguồn cho hệ thống
Hệ thống sử dụng 3 bộ nguồn:
• 1 adapter (5.1V, 3A) cấp nguồn cho Raspberry Pi
• 1 adapter (5V, 3A) cấp nguồn cho 3 servo
• 1 adapter (12V, 2A) cấp nguồn cho động cơ DC chạy băng tải
Bước 2: Truy cập vào hệ điều hành của Raspberry Pi Điều khiển Raspberry Pi thông qua một máy tính khác Raspberry Pi và laptop được kết nối cùng một mạng wifi
Sử dụng phầm mềm RealVNC Viewer và dùng địa chỉ IP của Raspberry
Pi để truy cập vào hệ điều hành Địa chỉ IP của Raspberry Pi hiện tại là 192.168.0.89 Nhập username và password đã thiết lập lúc cài đặt hệ điều hành cho Raspberry Pi để truy cập
Hình 4.16 Cửa sổ hiển thị nhập địa chỉ IP
Bước 3: Khởi động chương trình điều khiển
Mở file chương trình bằng trình biên dịch Thonny sau đó chọn biểu tượng RUN Chờ khoảng 15 đến 20 giây để hệ thống tải dữ liệu
Hình 4.17 Nút Run trong giao diện Thonny
Sau khi nhất nút Run phần mềm sẽ mở ra giao diện người dùng như hình
Hình 4.18 Giao diện người dùng ban đầu
Bước 4: Phân loại 3 loại chuối là chuối lùn, chuối sứ và chuối cau
Ban đầu khi khi chưa bấm nút Start thì khung ảnh sẽ hiển thị thông tin về đề tài đồ án Ta nhấn nút Start trên giao diện điều khiển thì hệ thống bắt đầu hoạt động Băng tải hoạt động để đưa chuối vào buồng ảnh, nút Start chuyển sang màu xanh báo hiệu cho người dùng biết đã có thể đưa chuối vào hệ thống.
Khi chụp được ảnh sản phẩm thì giao diện sẽ hiển thị hình ảnh vừa được chụp và kết quả xác định loại chuối cho người dùng biết
Hình 4.19 Giao diện hiển thị khi có chuối đưa vào
Hệ thống cũng hỗ trợ phân loại cho các loại trái cây nằm ngoài 3 loại chuối chỉ định, đối với trường hợp này thì hệ thống sẽ hiển thị là LoaiKhac
Hình 4.20 Giao diện hiển thị khi có loại trái cây khác vào
Sau khi đã xác định được loại chuối thì băng tải sẽ tiếp tục đưa chuối đến khu vực phân loại Tại đây, chuối thuộc loại nào thì sẽ được cơ cấu phân loại chuyển đến loại đấy Riêng loại nằm ngoài 3 loại trên sẽ được chuyển đến cuối băng tải
Khi người dùng muốn dừng hệ thống thì sử dụng nút Stop, lúc này nút Stop sẽ chuyển sang màu vàng và hệ thống dừng hoạt động
Bước 5: Theo dõi số lượng sản phẩm phân loại trên Website Để xem số lượng sản phẩm phân loại được, người dùng truy cập vào đường dẫn https://bananamanagement.000webhostapp.com/dangnhap.html để tiến hành đăng nhập Hệ thống sẽ hiển thị giao diện đăng nhập và yêu cầu nhập Username: phanloaichuoi và Password: admin để vào trang web chính Nếu thông tin đăng nhập không chính xác, hệ thống sẽ báo lỗi “Sai tên đăng nhập hoặc mật khẩu”
Hình 4.21 Cửa sổ đăng nhập vào web
Sau khi đăng nhập thành công, người dùng có thể thấy được số lượng chuối mỗi loại mà hệ thống đã phân loại được
Hình 4.22 Giao diện web hiển thị
KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ
KẾT QUẢ
5.1.1 Kết quả về xây dựng mô hình Mobilenet
Mục tiêu của bài toán là phải nhận diện được 3 loại chuối khác nhau là chuối lùn, chuối sứ và chuối cau Sau đây là một số hình ảnh của các loại chuối khác nhau trong bộ ảnh được sử dụng để huấn luyện cho mô hình trên Google Colab Hình ảnh được chụp ngay từ Webcam trên mô hình băng tải trong điều kiện ánh sáng tốt
Hình 5.1 Một số ảnh chuối lùn trong tập dữ liệu
Hình 5.2 Một số ảnh chuối sứ trong tập dữ liệu
Hình 5.3 Một số ảnh chuối cau trong tập dữ liệu
Hình 5.4 bên dưới thể hiện đồ thị đánh giá của mô hình sau quá trình huấn luyện trên Google Colab
Hình 5.4 Đồ thị đánh giá sau khi huấn luyện mô hình Đồ thị thứ nhất thể hiện sự mất mát huấn luyện (Training Loss) và mất mát kiểm định (Validation Loss): Đường biểu diễn mất mát huấn luyện giảm theo thời gian, cho thấy mô hình đang học từ dữ liệu huấn luyện Tuy nhiên, đường mất mát kiểm định không ổn định và có xu hướng tăng lên ở cuối, điều này có thể chỉ ra vấn đề của overfitting, nơi mô hình hoạt động tốt trên dữ liệu huấn luyện nhưng không tốt trên dữ liệu kiểm định Đồ thị thứ hai thể hiện độ chính xác huấn luyện (Training Accuracy) và độ chính xác kiểm định (Validation Accuracy): Đường biểu diễn độ chính xác huấn luyện có xu hướng tăng nhưng không ổn định, trong khi độ chính xác kiểm định giảm xuống ở cuối Điều này cho thấy mô hình có khả năng overfitting
Hình 5.5 dưới đây trình bày ma trận nhầm lẫn (confusion matrix), phản ánh hiệu suất của mô hình sau quá trình huấn luyện, dựa trên tập kiểm định Mỗi loại chuối trong tập kiểm định này được biểu diễn qua 150 hình ảnh
Hình 5.5 Ma trận nhầm lẫn đánh giá hiệu suất mô hình
Ma trận nhầm lẫn cung cấp cái nhìn tổng quan về hiệu suất phân loại của mô hình đối với ba loại chuối: chuối lùn, chuối sứ và chuối cau Mỗi hàng tương ứng với nhãn thực tế và mỗi cột tương ứng với nhãn dự đoán của mô hình Dựa trên ma trận:
- Chuối lùn: Đa số được phân loại chính xác, với 145/150 trường hợp Có
5 trường hợp bị nhầm lẫn thành chuối sứ
- Chuối sứ: Tất cả 150 trường hợp đều được phân loại chính xác
- Chuối cau: Phần lớn được phân loại chính xác là 134/150, nhưng có 16 trường hợp bị nhầm lẫn thành chuối sứ
Tổng quan, ma trận cho thấy mô hình có độ chính xác cao trong việc phân loại chuối sứ, trong khi đó có một số nhầm lẫn giữa chuối lùn và chuối cau với chuối sứ
5.1.2 Kết quả tính toán thời gian thu nhận ảnh và xử lý Để di chuyển từ đầu đến cuối băng tải có chiều dài 0.95m, mất 14.2s, nên vận tốc trên băng tải là 0.0669m/s Khoảng cách từ điểm đặt chuối đến vị trí cảm biến vật cản hồng ngoại phát hiện là 0.17m, sau khi phát hiện 1s thì Webcam chụp ảnh Như vậy thời gian cần thiết để Webcam chụp được chuối là trong khoảng (0.17/0.0669) + 1= 3,5(s) kể từ khi đặt chuối
Sau đó hệ thống sẽ mất khoảng từ 2.5s đến 3s để tiến hành nhận dạng và đưa ra dự đoán Như vậy, thời gian để xử lý một ảnh để truyền xuống điều khiển động cơ là từ 6s đến 6,5s
5.1.3 Kết quả nhận dạng thực tế
Hệ thống nhận dạng thực tế, được vận hành bằng bộ kit Raspberry Pi 4 model B, có giao diện người dùng đơn giản Dù độ chính xác trong việc nhận diện là khá cao, nhưng vẫn còn một số hạn chế do kích thước của tập ảnh không đủ lớn và Webcam chưa ổn định và còn phụ thuộc vào ánh sáng
Các kết quả nhận dạng: nhóm đã thực hiện nhận dạng với 3 loại chuối là chuối lùn, chuối sứ và chuối cau
Hình 5.6 Kết quả nhận dạng chuối lùn
Hình ảnh 5.6 trên thể hiển kết quả nhận dạng chuối lùn Sau khi chụp từ Webcam và xử lý, hình ảnh và tên loại chuối sẽ được hiển thị trên giao diện người dùng Tương tự cho các loại chuối khác, hình 5.7 và hình 5.8 bên dưới lần lượt thể hiện kết quả nhận dạng chuối sứ và chuối cau
Hình 5.7 Kết quả nhận dạng chuối sứ
Hình 5.8 Kết quả nhận dạng chuối cau
Hình 5.9 Kết quả nhận dạng với trái cây khác
Với các loại trái cây khác, ví dụ như trái cam trong hình 5.9, mô hình cũng sẽ nhận biết và hiển thị loại khác trên giao diện
Các lần nhận dạng sai: sau khi chạy thử nghiệm thực tế, có những lần chuối nhận dạng sai
Hình 5.10 Nhận dạng sai chuối cau sang chuối sứ
Hình 5.11 Nhận dạng sai chuối cau sang loại khác
Hình 5.12 Nhận dạng sai chuối lùn sang loại khác
Như hình 5.10, kết quả nhận dạng sai khi nhận diện chuối cau sang chuối sứ Ở hình 5.11 chuối cau được nhận dạng sang một loại khác Hình 5.12 chuối lùn được nhận dạng sang một loại khác
Hình 5.13 Chuối khác thường không thể nhận biết
Hình 5.13 ở trên thực chất là một trái chuối lùn, được tách ra từ một nải Trái chuối này không có hình dạng cong như những trái chuối lùn thông thường và bề mặt đầy vết thâm đen Do sự khác thường đó nên không thể nhận dạng
Việc phân loại chuối có thể bị sai lầm hoặc không thể thực hiện được do một số yếu tố, bao gồm sự chuyển động không ngừng của băng tải, độ ổn định của Webcam và điều kiện ánh sáng Kết quả thống kê ở 30 lần thử liên tiếp mỗi loại được ghi lại ở bảng 5.1
Bảng 5.1 Kết quả thống kê khi đưa chuối vào trên mô hình
Loại trái Chuối lùn Chuối sứ Chuối cau Loại khác
Dựa vào bảng thống kê trên, có thể thấy mô hình nhận dạng 3 loại chuối với độ chính xác trên 85% Trong đó chuối sứ có độ chính xác cao hơn so với
2 loại còn lại Đối với các loại khác ngoài 3 loại chuối trên, mô hình chỉ mới nhận biết khoảng 80%, còn nhầm lẫn nhiều sang 3 loại chuối
Kết quả trên là kết quả khi sử dụng các loại chuối ở cùng một thời điểm Nhóm đã tiến hành nhận diện các loại chuối mua ở khác thời điểm để kiểm tra tính chính xác của mạng Kết quả được thể hiển trong bảng 5.2
Bảng 5.2 Kết quả thống kê khi đưa chuối vào trên mô hình khác thời điểm
Loại trái Chuối lùn Chuối sứ Chuối cau Loại khác
5.1.5 Kết quả xử lý trên mô hình Đầu tiên ta sẽ đặt chuối lên băng tải như hình 5.14 để bắt đầu quá trình xử lý và nhận dạng
Hình 5.14 Vị trí đặt chuối trên băng tải
Sau đó chuối sẽ được băng tải vận chuyển vào buồng ảnh và sau khi cảm biến phát hiện, Webcam sẽ bắt đầu chụp ảnh chuối
Hình 5.15 Chuối được vận chuyển vào buồng ảnh
Chuối đi vào buồng ảnh sẽ được Webcam chụp ảnh, xử lý để nhận dạng loại chuối Sau khi xử lý, servo sẽ hoạt động quay để đón lấy chuối đang di chuyển tới
Hình 5.16 Chuối được tay gạt mở ra đón lấy
Sau 1 khoảng thời gian mở ra chờ chuối, tay gạt sẽ đóng lại để gạt chuối lăn xuống khay
Hình 5.17 Tay gạt đóng lại để chuối lăn xuống khay
