GIỚI THIỆU
GIỚI THIỆU
Trong thời đại công nghệ phát triển, việc ứng dụng thiết bị thông minh vào nông nghiệp ngày càng phổ biến, đặc biệt là trong phân loại trái cây Sự áp dụng này không chỉ giúp nâng cao năng suất mà còn đáp ứng nhu cầu thị trường ngày càng cao.
Nhóm nghiên cứu đang phát triển thuật toán máy học và trí tuệ nhân tạo (AI) để xử lý dữ liệu và phân loại trái cây dựa trên chất lượng, màu sắc, kích thước và các thông tin khác Các phương pháp bao gồm kỹ thuật xử lý ảnh, xử lý tín hiệu và thuật toán AI, nhằm nâng cao độ chính xác và độ tin cậy trong việc phân loại trái cây.
Trong nghiên cứu mạng nơron học sâu, nhiều ứng dụng đã được áp dụng rộng rãi trong khoa học, kỹ thuật và đời sống Mạng nơron học sâu CNN (Convolutional Neural Network) là một ví dụ điển hình, giúp nhận dạng và phân loại tự động qua các lớp xếp chồng CNN đã thúc đẩy sự phát triển của Thị giác máy tính và cải thiện quá trình học sâu Tuy nhiên, việc áp dụng CNN yêu cầu tài nguyên tính toán và khả năng xử lý phần cứng cao Để giảm thiểu tiêu thụ tài nguyên, các thuật toán và mô hình mới đã được phát triển, trong đó mô hình YOLOv4 (You Only Look Once version 4) nổi bật với khả năng phát hiện và phân loại đối tượng nhanh chóng và hiệu quả, được nhóm nghiên cứu áp dụng cho đề tài phân loại trái cây.
Trái cây có sự phân loại đa dạng và ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm hỗ trợ sản xuất, phân phối, chăm sóc sức khỏe và thực phẩm.
Dự án "Thiết kế và thi công mô hình phân loại trái cây theo chất lượng" nhằm phát triển hệ thống phân loại trái cây tự động, có khả năng nhận diện quả không đạt chuẩn hoặc bị thối trong số lượng lớn Hệ thống này giúp tối ưu hóa quá trình phân loại, nâng cao hiệu quả và mang lại lợi ích kinh tế cho ngành nông sản.
Hệ thống phân loại trái cây mang lại nhiều ứng dụng đa dạng, giúp nông dân nâng cao hiệu quả sản xuất và phân phối bằng cách nhanh chóng loại bỏ trái cây không đạt chuẩn và thối, từ đó giảm thiểu lãng phí và nâng cao chất lượng sản phẩm Các doanh nghiệp thực phẩm cũng có thể áp dụng hệ thống này để đảm bảo chất lượng sản phẩm và đáp ứng yêu cầu từ khách hàng Hơn nữa, công nghệ phân loại trái cây dựa trên chất lượng đóng vai trò quan trọng trong việc đảm bảo an toàn thực phẩm và sức khỏe con người, nhờ vào khả năng loại bỏ nhanh chóng các trái cây không đạt chuẩn trước khi đến tay người tiêu dùng, giảm nguy cơ gây hại cho sức khỏe.
MỤC TIÊU ĐỀ TÀI
Đề tài được thực hiện nhằm thiết kế và thi công mô hình phân loại trái cây theo chất lượng với các chức năng sau:
Dữ liệu hình ảnh trái cây được thu nhận qua camera và truyền đến khối xử lý trung tâm Tại đây, dữ liệu sẽ được phân tích thông qua thuật toán AI đã được huấn luyện, nhằm thực hiện các tác vụ phân loại trên mô hình.
- Kiểm tra đánh giá vài phân loại trái cây dựa theo tiêu chuẩn chất lượng
- Giao diện người dùng giúp người dùng có thể thao tác và kiểm soát mô hình một cách thuận tiện
Khả năng cập nhật dữ liệu và thống kê số lượng trái cây tươi cùng trái cây hỏng là yếu tố quan trọng giúp người dùng quản lý sản phẩm hiệu quả Việc này không chỉ đáp ứng nhu cầu của người tiêu dùng mà còn nâng cao hiệu quả trong việc quản lý kho hàng.
GIỚI HẠN ĐỀ TÀI
Nhóm đặt mục tiêu xây dựng một hệ thống tối ưu để đáp ứng yêu cầu của người dùng, nhưng sẽ gặp phải một số hạn chế do thời gian và kinh phí có giới hạn.
Thời gian là yếu tố quyết định trong việc hoàn thành dự án đúng hạn Để đảm bảo tiến độ, nhóm cần tuân thủ lịch trình và quản lý thời gian một cách hiệu quả, điều này có thể dẫn đến việc hạn chế phạm vi công việc và yêu cầu sự tập trung cao độ từ tất cả các thành viên.
- Thứ hai, sẽ sử dụng máy tính trực tiếp để kết nối và xử lý dữ liệu thay vì sử dụng viiđiều khiển
Camera cần hoạt động trong môi trường đủ sáng và không bị ảnh hưởng bởi yếu tố bên ngoài để đảm bảo chất lượng và độ chính xác trong quá trình phân loại trái cây.
Mặc dù gặp phải hạn chế về tài nguyên và kinh phí, nhóm sẽ nỗ lực tối ưu hóa các thành phần và công nghệ để cải thiện hiệu suất hệ thống trong giới hạn hiện có.
Mô hình hiện tại của nhóm chủ yếu mang tính nghiên cứu và học thuật, chưa được áp dụng vào thực tiễn Mặc dù còn nhiều hạn chế, nhóm cam kết nỗ lực phát triển một hệ thống tối ưu, đáp ứng yêu cầu của người dùng trong khả năng của mình.
PHƯƠNG PHÁP NGHIÊN CỨU
Để hoànithành đề tài, nhómiđã sử dụng cáciphương pháp sau để nghiênicứu và phát triển hệ thống phân loại tráiicây:
Nhóm đã áp dụng phương pháp nghiên cứu tài liệu bằng cách tham khảo giáo trình lý thuyết và ôn tập kiến thức đã học trong quá trình đào tạo Đồng thời, chúng tôi cũng tìm hiểu và nghiên cứu các tài liệu trên Internet cũng như các đồ án thực hiện trong lĩnh vực tương tự nhằm bổ sung và nâng cao kiến thức.
- Phương pháp tham quan thực tế: Nhóm đã tiến hành quan sát các mô hình phân loại sản phẩm tại các công ty để nắm bắt chức năng và
4 phương pháp phù hợp Từ đó, chúng tôi đã thu thập thông tin và kinh nghiệm từ các ứng dụng thực tếitrong lĩnh vực tương tự
Nhóm nghiên cứu đã lựa chọn và áp dụng các phương pháp thiết kế và thực nghiệm tối ưu, dựa trên kiến thức thu thập được và sự hướng dẫn của giảng viên Chúng tôi đã thực hiện các giai đoạn thiết kế và thực nghiệm nhằm xây dựng và kiểm tra hiệu quả của hệ thống phân loại trái cây.
Nhóm nghiên cứu mong muốn hoàn thành đề tài một cách chính xác và hiệu quả bằng cách kết hợp các phương pháp nghiên cứu khác nhau, nhằm đáp ứng các yêu cầu đã đề ra.
ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
Vi điều khiển Arduino Nano là một bo mạch nhỏ gọn và phổ biến trong lĩnh vực điện tử, thường được sử dụng để điều khiển các module và linh kiện khác trong hệ thống.
Để thực hiện dự án, các linh kiện và module cần thiết bao gồm: Module thu phát hồng ngoại MH-IR01 để nhận tín hiệu hồng ngoại, Servo MG996R để điều khiển cơ cấu đẩy trái cây, IC ổn áp 7805 đảm bảo nguồn điện ổn định, Động cơ giảm tốc LS220 để di chuyển băng chuyền, Module Relay 5V để bật/tắt thiết bị ngoại vi, và Webcam W1 1080p để thu nhận hình ảnh trái cây.
Nhóm sẽ sử dụng Python IDE để lập trình xử lý và phân tích hình ảnh, đồng thời sử dụng Arduino IDE để lập trình cho vi điều khiển Arduino Nano.
Phạm vi nghiên cứu của đề tàiibao gồm:
Tìm hiểu về board mạch Arduino Nano cùng với các module và linh kiện cần thiết, nhóm sẽ nghiên cứu các tính năng, cách sử dụng và cách kết nối những module và linh kiện này với vi điều khiển.
Nhóm sẽ thực hiện lập trình vi điều khiển Arduino Nano để điều khiển và tương tác với các module và linh kiện khác trong hệ thống.
- Nắm vững ngôn ngữ Python: Nhóm sẽ tìm hiểu và áp dụng ngôn ngữ Python để xử lý và phân tích hình ảnh thuiđược từ camera
Mô hình YOLOv4 (You Only Look Once version 4) là một công cụ mạnh mẽ trong việc xử lý và phân tích hình ảnh Nhóm nghiên cứu sẽ áp dụng YOLOv4 để phân tích hình ảnh trái cây, nhằm nâng cao độ chính xác và hiệu quả trong việc nhận diện và phân loại Việc tìm hiểu sâu về mô hình này sẽ giúp cải thiện quy trình xử lý hình ảnh trong lĩnh vực nông sản.
Đề tài nghiên cứu tập trung vào việc phát triển hệ thống phân loại trái cây hiệu quả thông qua việc nghiên cứu phần cứng, bao gồm vi điều khiển, module và linh kiện, kết hợp với phần mềm lập trình và xử lý hình ảnh.
BỐ CỤC QUYỂN BÁO CÁO
Bốicục báo cáo được nhóm thựcihiên chia làm năm chương như sau:
Giớiithiệu sơ lược về mục tiêu, tầm quanitrọng, tình hình hiện nay và cũng như phươngipháp nghiên cứu của đề tài
Nêu rõ cơisở lý thuyết, chiitiết các kiến thức cầnithiết sẽ được ápidụng trong đề tài này
Trình bày về hệ thống nguyênilý hoạt động Đề ra nguyênilý làm việc và lưu đồ giải thuậticủa hệ thống Thiết kế phầnicứng và phầnimềm của hệ thống
Tổngihợp lại kết quả tổngiquan của đềitài
Chươngi5: Kếtiluận và hướng phátitriển
Nêu lên những điềuiđã làm được, ưu và nhược điểm của hệithống Từ đó đưa raihướng phát triển cũng như phạmivi sử dụng của đề tài trong tươngilai gần
CƠ SỞ LÝ THUYẾT
TỔNG QUAN VỀ MẠNG YOLO
2.1.1 Khái quát về mạng YOLO
Mạng YOLOi (You Only Look Once) là một mô hình thuật toán phát hiện đối tượng trong hình ảnh hoặc video, được phát triển bởi Joseph Redmon và các cộng sự Mô hình này áp dụng kiến trúc mạng nơ-ron sâu để nhận diện các đối tượng trong hình ảnh Trong quá trình huấn luyện, YOLO học cách phát hiện và phân loại các đối tượng thông qua việc sử dụng tập dữ liệu huấn luyện, trong đó các hình ảnh được gán nhãn với các hộp giới hạn xác định vị trí của đối tượng.
Mô hình YOLO nổi bật với khả năng phát hiện đối tượng nhanh chóng và chính xác bằng cách phân tích toàn bộ đầu vào một lần, thay vì phải thực hiện nhiều lần như các phương pháp khác Nhờ vào tính năng này, YOLO đã được ứng dụng rộng rãi trong các lĩnh vực như an ninh, giám sát giao thông, sản xuất ô tô và nhiều lĩnh vực khác để nhận dạng đối tượng hiệu quả.
Mặc dù YOLO không phải là thuật toán tốt nhất trong lĩnh vực phát hiện đối tượng, nhưng nó nổi bật với tốc độ nhanh nhất hiện có, gần như là thời gian thực mà không làm giảm độ chính xác so với các mô hình hàng đầu khác YOLO không chỉ dự đoán nhãn cho đối tượng mà còn xác định vị trí của chúng, cho phép phát hiện nhiều đối tượng với các nhãn khác nhau trong một hình ảnh thay vì chỉ phân loại một nhãn duy nhất.
Một trong những ưu điểm nổi bật của YOLO là khả năng sử dụng toàn bộ thông tin từ ảnh để dự đoán tất cả các hộp giới hạn chứa các đối tượng Mô hình YOLO được thiết kế theo phương pháp từ đầu đến cuối, cho phép huấn luyện hoàn toàn thông qua phương pháp gradient descent.
Mạng YOLO là một mô hình mạng nơ-ron tích chập (CNN) nổi bật, được sử dụng để phát hiện đối tượng trong hình ảnh Mô hình này được phát triển bởi Joseph Redmon và các cộng sự vào năm 2016.
2015, YOLO đã được phát triển nhiều phiên bản khác nhau và được cải tiến dần
Hình 2-1 Sơ đồ kiến trúc mạng YOLO
Mô hình YOLO bao gồm các lớpisau:
• Lớp đầu vàoi(Input Layer): Lớp này nhậnidữ liệu đầu vào là những hình ảnh
Lớp trích xuất đặc trưng trong YOLO đóng vai trò quan trọng trong việc nhận diện hình ảnh, sử dụng các mô hình mạng nơ-ron tích chập (CNN) như DarkNet hoặc ResNet để trích xuất các đặc điểm cần thiết.
Lớp kết hợp đặc trưng (Feature Concatenation Layer) là một thành phần quan trọng trong việc tích hợp các đặc trưng được trích xuất từ lớp trích xuất đặc trưng với thông tin vị trí của các ô lưới (grid cells) trên hình ảnh Việc này giúp xác định và làm nổi bật các vùng quan tâm trên hình ảnh, từ đó cải thiện khả năng phân tích và nhận diện.
Lớp dự đoán trong mạng nơ-ron chịu trách nhiệm xác định đối tượng và vị trí của chúng trong hình ảnh Bằng cách sử dụng thông tin từ lớp kết hợp đặc trưng, lớp này đưa ra các dự đoán về đối tượng và vị trí Mỗi ô lưới trên hình ảnh sẽ dự đoán một số lượng bounding box cùng với xác suất tương ứng của chúng.
The Non-Max Suppression (NMS) Layer employs the non-max suppression algorithm to eliminate overlapping bounding boxes while retaining those with the highest confidence scores This process effectively minimizes the number of redundant bounding boxes, enhancing the accuracy of object detection.
Lớp đầu ra (Output Layer) cung cấp dữ liệu về các đối tượng được phát hiện cùng với thông tin tọa độ của chúng Qua lớp này, người dùng có thể xác định được đối tượng nào đã được nhận diện và vị trí của chúng trên hình ảnh.
2.1.3 Hoạt động của mạng Yolo
Mô hình YOLO (You Only Look Once) là một phương pháp nhận dạng đối tượng trong hình ảnh, cho phép xác định và định vị các đối tượng có trong ảnh YOLO chia nhỏ hình ảnh thành lưới ô kích thước S x S, ví dụ như 3 x 3 hoặc 7 x 7, để phân tích và nhận diện các đối tượng một cách hiệu quả.
Hình 2-2 Hoạt động của Yolo
Mô hình YOLO nhận hình ảnh đầu vào và sản xuất đầu ra là một ma trận 3 chiều có kích thước S × S × (5 × N + M), trong đó N đại diện cho số lượng bounding box.
M là số lượng lớp đối tượng cần dự đoán cho mỗi ô
Mỗi bounding box dự đoán trong mô hình (5 × N + M) được biểu diễn bởi năm thành phần: (x, y, w, h, prediction) Trong đó, (x, y) là tọa độ tâm của bounding box, w và h lần lượt là chiều rộng và chiều cao Giá trị prediction được tính theo công thức Pr(Object) * IOU(pred, truth), thể hiện khả năng dự đoán chính xác của mô hình.
Mô hình YOLO chia hình ảnh thành lưới ô kích thước 7 × 7 với tổng cộng 13 tham số Tham số đầu tiên xác định sự hiện diện của đối tượng (P(Object)), trong khi các tham số từ 2 đến 5 cung cấp tọa độ x, y, w, h của bounding box đầu tiên Tương tự, các tham số từ 6 đến 10 chứa thông tin về bounding box thứ hai Cuối cùng, tham số 11 đến 13 lần lượt là xác suất ô chứa object1 (P(ô tô|object)), object2 (P(chó|object)), và object3 (P(xe đạp|object)).
Mỗi ô trong mô hình chỉ chứa một tâm của bounding box và một đối tượng duy nhất Khi có nhiều tâm hoặc đối tượng trong cùng một ô, khả năng phát hiện của mô hình sẽ bị hạn chế Để cải thiện độ chính xác trong việc phát hiện đối tượng, cần tăng số lượng ô trong hình ảnh.
2.1.4 Đầu ra của Yolo Đầu ra của mô hình YOLOilà một véc tơ chứa các thành phần: y T = [0,⏟ 𝑡 𝑥 , 𝑡 𝑦 , 𝑡 𝑤 , 𝑡 ℎ
Trong đó: p 0: là xác suất dự báo vậtithể xuất hiện trong bounding box
: xác định tọa độ của boundingibox Trong đó tx, ty là tọa độ tâm và tw, th là kíchithước rộng, dài của boundingibox
: là véc tơ phân phối xác suất dựibáo của các classes
M ẠNG YOLO V 4
YOLO có nhiều phiên bản như YOLOv1, YOLOv2, YOLOv3 và YOLOv4, với các cải tiến nhằm nâng cao độ chính xác và tốc độ của mô hình Trong đó, YOLOv4 được lựa chọn cho nghiên cứu nhờ vào những ưu điểm vượt trội và việc áp dụng các kỹ thuật như Bag of Freebies (BoF) và Bag of Specials (BoS) để tối ưu hóa hiệu suất.
Mô hình YOLOv4 được xây dựng dựa trên một kiến trúc gồm ba phần chính:
The Backbone section utilizes CSPDarknet53, an optimized version of Darknet-53, featuring convolutional blocks arranged in a Cross Stage Partial Network (CSP) structure This architecture enhances performance and accelerates computational speed.
The Neck component utilizes two key elements: Path Aggregation Network (PAN) and Spatial Pyramid Pooling (SPP) PAN enhances information integration from various layers of the backbone, improving communication capabilities and expanding the receptive field Meanwhile, SPP effectively extracts features, contributing to a more robust representation of the data.
16 không gian tỷ lệ khác nhau, giúp mô hình nhận biết được các đốiitượng có kích thước khác nhau
Phần đầu của mô hình sử dụng kiến trúc YOLOv3, chịu trách nhiệm dự đoán bounding box và phân loại đối tượng trên các ô vuông của bản đồ đặc trưng.
YOLOv4 áp dụng các kỹ thuật BoF (Bag of Freebies) và BoS (Bag of Specials) để nâng cao quá trình huấn luyện và độ chính xác của mô hình Kỹ thuật BoF bao gồm việc sử dụng CutMix, Mosaic augmentation và học chuyển giao từ các mô hình khác, giúp tăng cường dữ liệu huấn luyện và đa dạng hóa dữ liệu Trong khi đó, BoS sử dụng các kỹ thuật như Mish activation, PANet path aggregation và CIOU loss để cải thiện khả năng học và độ chính xác của mô hình YOLOv4.
CSPDarknet53 là một mạng xương sống quan trọng trong YOLOv4, được phát triển dựa trên thiết kế của DenseNet Mạng này kết nối đầu vào hiện tại với các đầu vào trước đó, trước khi đi vào các lớp tích chập dày đặc, tạo nên một kiến trúc kết nối dày đặc.
CSPDarkNet53 bao gồm hai khối:
• Lớp cơ sở tích chập
• Khối một phần giai đoạn chéo (CSP)
Chiến lược Cross Stage Partial (CSP) được áp dụng trong CSPDarknet53 nhằm chia bản đồ tính năng trong lớp cơ sở thành hai phần, kết hợp chúng qua Hệ thống phân cấp chéo giai đoạn Phương pháp này giúp cải thiện hiệu quả lưu thông gradient qua các lớp và giảm thiểu vấn đề "Vanishing Gradient".
Lớp cơ sở tích chập bao gồm bản đồ tính năng đầu vào đầy đủ, trong khi khối CSP được xếp chồng bên cạnh lớp ConvolutionaliBase, chia đầu vào thành hai nửa Một nửa đầu vào được gửi qua khối dày đặc, trong khi nửa còn lại được truyền thẳng đến bước tiếp theo mà không cần xử lý CSP giúp giữ nguyên các đặc trưng chi tiết, từ đó cải thiện hiệu quả truyền tải thông tin.
Mạng tái sử dụng các đặc trưng giúp giảm số lượng tham số trong mạng Khối tích chập cuối cùng trong mạng xương sống có khả năng trích xuất các đặc trưng ngữ nghĩa phong phú hơn so với các khối dày đặc, vì việc kết nối các đặc trưng qua nhiều lớp tích chập dày đặc có thể làm giảm tốc độ phát hiện.
Chiến lược CSP trong YOLOv4 giúp CSPDarknet53 truyền tải gradient hiệu quả hơn, duy trì các đặc trưng chi tiết quan trọng, đồng thời giảm độ phức tạp và số lượng tham số của mô hình Nhờ đó, hiệu suất và độ chính xác của YOLOv4 được cải thiện đáng kể.
Neck trong mạng YOLOv4 là phần mà quá trình tổng hợp đặcitrưng diễn ra
Nó có nhiệm vụ thu thập các bản đồ đặc trưng từ các giai đoạn khác nhau của mạng xương sống, sau đó kết hợp và trộn chúng để chuẩn bị cho các bước tiếp theo Thông thường, một neck bao gồm cả các đường dẫn từ dưới lên và từ trên xuống, tạo thành một cấu trúc cổ.
Trong YOLOv4, Neck đóng vai trò quan trọng trong việc cải thiện khả năng tổng hợp đặc trưng và biểu diễn của mô hình Nó kết hợp thông tin từ các giai đoạn trước, tạo ra bản đồ đặc trưng phức tạp hơn, giúp nâng cao khả năng phát hiện đối tượng và đưa ra dự đoán chính xác hơn.
Neck là thành phần quan trọng trong mô hình YOLOv4, giúp nâng cao hiệu suất thông qua việc tổng hợp và trộn các đặc trưng Nó cho phép mô hình tập trung vào những đặc trưng quan trọng, từ đó tạo ra biểu diễn mạnh mẽ cho việc dự đoán vật thể trong ảnh.
Trong mạng YOLOv4, SPPi (Spatial Pyramid Pooling) được tích hợp giữa xương sống CSPDarkNet53 và mạng tổng hợp đặc trưng PANet Mục tiêu chính của SPP là mở rộng trường nhìn của mô hình và trích xuất các đặc trưng ngữ cảnh quan trọng mà không làm giảm tốc độ hoạt động của mạng SPP được kết nối với các lớp cuối của CSPDarkNet, cụ thể là các lớp tích hợp chặt chẽ.
Hình 2-9 Áp dụng Yolo-SPP (bỏ qua phần DC Block)
SPP hoạt động bằng cách chia bản đồ đặc trưng đầu vào thành các vùng con và áp dụng lớp max-pooling với các kích thước khác nhau Phương pháp này cho phép SPP tạo ra các biểu diễn có kích thước cố định cho các vùng ngữ cảnh khác nhau trong ảnh, không bị ràng buộc bởi kích thước đầu vào Điều này nâng cao khả năng nhận diện các đặc trưng quan trọng ở nhiều tỉ lệ và kích thước khác nhau, từ đó cải thiện khả năng phát hiện và phân loại đối tượng.
THIẾT KẾ HỆ THỐNG
QUY TRÌNH HOẠT ĐỘNG CỦA HỆ THỐNG
Quy trình hoạtiđộng của hệ thống phâniloại trái cây dựa theo chất lượng:
Khi trái cây được đưa vào băng tải, camera sẽ ghi lại hình ảnh của chúng và so sánh với dữ liệu trong cơ sở dữ liệu Máy tính sẽ kiểm tra và đối chiếu dữ liệu hiển thị để xác định loại trái cây, từ đó đánh giá và phân loại đúng chất lượng của sản phẩm.
Khi trái cây được xác định chất lượng, chúng sẽ đi qua các cảm biến được lập trình trong khối xử lý trung tâm Nếu trái cây thuộc nhóm chất lượng nào, cảm biến sẽ nhận diện và gửi thông tin về khối xử lý trung tâm, từ đó kích hoạt servo để đẩy loại trái cây đó vào ô tương ứng.
Hệ thống còn cung cấp giao diện cho người dùng thao tác trên máy tính, giúp điều khiển các thiết bị và quan sát, kiểm soát số lượng trái cây được phân loại theo chất lượng tương ứng.
THIẾT KẾ PHẦN CỨNG
3.2.1 Sơ đồ khối phần cứng
Sau khi hiểu rõ về mô hình và quy trình hoạt động của hệ thống phân loại trái cây theo chất lượng, nhóm đã tiến hành phân tích và thiết kế sơ đồ khối cho phần cứng của hệ thống.
Hình 3-1 Sơ đồ khối hệ thống phần cứng
Chức năng củaitừng khối được nêu ra chi tiết như sau:
Khối thu tín hiệu hình ảnh có chức năng quan trọng trong việc thu nhận tín hiệu hình ảnh từ thực tế, sau đó chuyển đổi chúng thành tín hiệu điện để gửi dữ liệu đến máy tính.
Khối xử lý trung tâm là thành phần chủ chốt trong việc xử lý dữ liệu máy tính và truyền nhận thông tin liên kết với vi điều khiển Arduino Nó có nhiệm vụ xử lý các tín hiệu dữ liệu, tương tác với các cảm biến và điều khiển hoạt động của khối đóng/mở động cơ.
Khối động cơ nhận lệnh từ khối xử lý trung tâm và bao gồm các servo, giúp đẩy trái cây vào vị trí phân loại một cách chính xác.
- Khối băng tải: Khối này nhận lệnh điều khiển từ khối xử lý trung tâm Nó có vai trò đóng và ngắt relay để điều khiển băng tải
Khối cảm biến đóng vai trò quan trọng trong việc phát hiện trái cây thông qua cảm biến hồng ngoại Khi trái cây được phát hiện, cảm biến sẽ kích hoạt relay để dừng băng chuyền và khởi động máy ảnh chụp hình Sau khi máy tính xử lý hình ảnh, relay sẽ được thả để băng chuyền tiếp tục di chuyển trái cây đến các cảm biến khác.
- Khối nguồn: Khối này cung cấp nguồn điện 5V cho khối xử lý trungitâm và sử dụng nguồn 12V để cấp cho các khối điều khiển ngoại viikhác trong hệ thống
Mỗi khối trong hệ thống đóng vai trò quan trọng trong việc thực hiện các chức năng cụ thể, góp phần tạo thành một hệ thống hoàn chỉnh để phân loại và xử lý trái cây tự động.
Với mụcitiêu của nhóm và sơ đồ khốiiđã thiết kế, hệithống phần cứng phảiiđáp ứng các tiêu chí và yêu cầu sau:
Khối thu tín hiệu hình ảnh cần có khả năng thu nhận tín hiệu một cách chính xác và chi tiết, nhằm đảm bảo nhận diện chính xác các đối tượng.
- Máy tính: Phải có khả năng nhận biết tín hiệu để xác định chấtilượng của trái cây và thực hiện xử lý phù hợp
- Khối điềuikhiển trung tâm: Phải nhận tínihiệu điều khiển từ máyitính và sau đó điều khiển động cơ servo và relay để thực hiện các hoạt động cần thiết
Khối đóng/mở động cơ cần hoạt động mượt mà và giảm độ trễ, nhằm đảm bảo phương tiện lưu thông qua lại một cách nhanh chóng và hiệu quả khi thanh chắn được đóng hoặc mở.
- Khốiinguồn: Phải cung cấp đủ nguồn choitoàn bộ hệ thống, đảm bảo hoạtiđộng ổn định của các khối khác
Tất cả các thành phần trong hệ thống phần cứng cần hoạt động đồng bộ và tương tác hiệu quả để đảm bảo hoạt động trơn tru và đạt được mục tiêu đề ra.
3.2.3 Khối thu tín hiệu hình ảnh (camera)
3.2.3.1 Yêu cầu về thiết kế:
Những yêuicầu khối thu tín hiệu hình ảnh phải đáp ứng:
- Phải nhận diện chính xác các chi tiết cần phát hiện
- Có chất lượng hình ảnh tốt để nhận dạng chính xác những điểm cần xác định
Vì camera được xem là conimắt của môihình Có chức năngithu thập tín hiệu hình ảnh từ thựcitế rồi gửi dữ liệu cho máy tính xử lý
Camera 1080p là lựa chọn phổ biến cho hệ thống giám sát và phân loại trái cây nhờ vào độ phân giải cao và độ tương phản tốt Với độ phân giải xấp xỉ 2 megapixel (1920x1080 pixel), camera này cho phép quan sát chi tiết các đặc trưng của trái cây, giúp phát hiện hư hỏng và sự khác biệt về chất lượng Việc sử dụng camera 1080p đáp ứng yêu cầu về độ chính xác và tốc độ xử lý hình ảnh, làm cho nó trở thành sự lựa chọn hợp lý cho các ứng dụng giám sát và phân loại.
Camera là một thành phầnivô cùng quan trọng trong hệ thống phân loại trái cây
Hình 3-2 Camera dùng trong đề tài
Camera đóng vai trò quan trọng trong việc ghi lại hình ảnh phục vụ cho việc phân tích và kiểm tra sản phẩm trong đề tài Dưới đây là một số thông số kỹ thuật của camera được sử dụng trong nghiên cứu này.
Bảng 3-1 Thông số kỹ thuật của webcam w1 1080p
Phần cứng Sự chỉ rõ
Video có tỉ lệ khung hình 30 khung hình/giây và độ phân giải hỗ trợ là 1920 x 1080 Thiết bị này được trang bị khả năng xử lý hình ảnh với các tính năng như khử nhiễu 3D, cân bằng trắng tự động và tự động cải thiện chất lượng hình ảnh Âm thanh được thu bằng micro tích hợp sẵn, tuy nhiên không có đèn LED hồng ngoại.
Bộ lọc cắt IR KHÔNG
Kích thước 91mm x 80mm x 33mm
Nguồn cấp được cung cấp bởi USB
Nhiệt độ hoạt động âm 5°C đến 55°C
3.2.3.4 Sơ đồ mạch kết nối
Trong mô hình phân loại trái cây, việc kết nối camera với máy tính là rất quan trọng để thu thập hình ảnh trái cây, từ đó hỗ trợ phân loại chất lượng sản phẩm.
Hình 3-3 Sơ đồ kết nối Camera với máy tính và vi điều khiển
Kết nối camera với máy tính qua cáp kết nối cho phép truyền dữ liệu hình ảnh từ camera đến máy tính để xử lý và phân loại Việc liên kết giữa vi điều khiển Arduino và máy tính được thực hiện qua cổng COM, giúp máy tính tương tác và thực hiện các thao tác phân loại trên mô hình.
3.2.4 Khối xử lý trung tâm
3.2.4.1 Yêu cầu về thiết kế
Những yêuicầu khối xử lý trung tâm phải đáp ứng:
- Nhỏ gọn giá thành hợp lý
- Cấp đủ các chân cho các linh kiện kết nối
- Đảm bảo tương tác tốt với các khối khác trong hệ thống
- Đảm bảo tốt trong việc xử lý truyền và nhận tín hiệu
- Máy tính: sử dụng laptop sẵn có để làm bộ xử lý chính
Trên thị trường hiện có nhiều vi điều khiển, nhưng nhóm thực hiện đã chọn Arduino Nano CH340 cho hệ thống phân loại trái cây nhờ vào kích thước nhỏ gọn, dễ lắp đặt và không chiếm nhiều không gian Arduino Nano có chi phí thấp hơn so với các bảng mạch khác có khả năng tương tự, và việc nạp chương trình qua cổng USB từ máy tính giúp việc nâng cấp trở nên đơn giản Tóm lại, Arduino Nano với chip CH340 là lựa chọn lý tưởng cho hệ thống phân loại trái cây nhờ kích thước nhỏ, chi phí hợp lý, dễ sử dụng và khả năng kết nối linh hoạt.
3.2.4.3 Khái quát về arduino nano ch340
THIẾT KẾ PHẦN MỀM
3.3.1 Lưu đồ giải thuật phần mềm
*Lưu đồ giải thuật chương trình chính
Hình 3-18 Lưu đồ giải thuật chương trình chính
Khi chương trình được khởi động, cần khai báo các thư viện thiết yếu như PyQt5, OpenCV và những thư viện khác Đồng thời, cũng cần thiết lập cổng COM để kết nối với phần cứng.
Các chương trình sẽ hoạt động theo chu kỳ trong hàm Time, nơi thiết lập các thông số cho các hàm tiếp theo trong quá trình thực thi Trong quá trình này, hàm Time sẽ gọi hàm xử lý ảnh để xác định đối tượng trong hình ảnh sử dụng thuật toán.
Trong xử lý ảnh, mạng neural YOLO được sử dụng để phát hiện và nhận diện đối tượng Sau khi phân tích hình ảnh, chúng ta sẽ tạo ra các lệnh điều khiển để thực hiện các hành động tương ứng với kết quả phân loại.
*Lưu đồ giải thuật chương trình chọn chế độ
Hình 3-19 Lưu đồ giải thuật chương trình chính
Sau khi khởi tạo giao diện bằng PyQT5 và khai báo hàm Time cùng các biến toàn cục, chúng ta tiến hành thiết lập các nhãn (label) để hiển thị trạng thái của các đối tượng.
"hỏng", "đạt" và "khác" được sử dụng để đại diện cho trạng thái của các trái cây
Hệ thống cung cấp hai chế độihoạt động là chế độ "auto"ivà
"manual" Khi biến "mode_ht == 0", hệ thống sẽ hoạt động trong chế độ tự động (auto), trong khi nếu
Khi chế độ "mode_ht" được đặt thành 1, hệ thống sẽ chuyển sang chế độ thủ công Chế độ tự động cho phép hệ thống tự động phân loại và hiển thị trạng thái của trái cây dựa trên kết quả xử lý hình ảnh, trong khi chế độ thủ công cho phép người dùng can thiệp và thực hiện phân loại trái cây qua giao diện người dùng Sự tồn tại của hai chế độ này tăng cường tính linh hoạt và khả năng tương tác của hệ thống, giúp người dùng lựa chọn phương thức phù hợp với nhu cầu và yêu cầu cụ thể của từng tình huống.
*Lưu đồ giải thuật chương trình nhận và xử lý dữ liệu
Hình 3-20 Lưu đồ giải thuật chương trình nhận và xử lý dữ liệu
Sau khi dữ liệu từ camera được đọc, khối xử lý trung tâm sẽ nhận và xử lý dữ liệu đó Nếu trái cây xuất hiện trong tầm nhìn của camera (run == 1), quá trình xử lý hình ảnh sẽ được kích hoạt Trái cây sẽ được xử lý hình ảnh để chuẩn bị cho quá trình phân loại.
Sau khi trái cây được xử lý thành hình ảnh, hệ thống sẽ phân loại chúng vào các lớp tương ứng Cụ thể, trái cây thuộc lớp "loại == 2" sẽ được xác định là trái hỏng, trong khi lớp "loại == 1" phân loại trái cây là loại khác Trái cây thuộc lớp "loại == 0" sẽ được xem là đạt yêu cầu Quá trình này giúp hệ thống phân loại trái cây một cách hiệu quả, hỗ trợ người dùng dễ dàng đánh giá chất lượng và tình trạng của từng trái cây.
*Lưu đồ giải thuật chương trình xử lý hình ảnh
Hình 3-21 Lưu đồ giải thuật chương trình xử lý hình ảnh
Trong quá trình phân loại trái cây, hàm xử lý ảnh được thực hiện qua nhiều bước và sử dụng các biến toàn cục để quản lý dữ liệu Đầu tiên, cần khai báo các biến toàn cục để lưu trữ thông tin về các file quan trọng, bao gồm file chứa các lớp (yolo.names), file dữ liệu đã được huấn luyện (yolov4-tiny_final.weights) và file cấu hình (yolov4-tiny.cfg).
Tiếp theo, xây dựng hai hàm quan trọng:
"get output layer" và "name prediction" Hàm
"Get output layer" được sử dụng để trích xuất lớp đầu ra từ mô hình YOLO, giúp lấy thông tin quan trọng về đặc trưng và định vị đối tượng trong ảnh.
Hàm "name prediction" được sử dụng để phân loại đối tượng dựa trên các đặc trưng trích xuất từ mô hình YOLO Mạng neural YOLO cho phép dự đoán và xác định lớp của đối tượng trong ảnh, giúp phân loại trái cây một cách hiệu quả Bằng cách sử dụng các hàm và mô hình YOLO, chúng ta có thể trích xuất các đặc trưng quan trọng từ ảnh, từ đó nâng cao khả năng nhận diện và phân loại chính xác trái cây tươi và không tươi.
3.3.2 Quá trình huấn luyện dữ liệu Để thực hiện quá trình huấniluyện dữ liệu cho YOLOv4 nhận diện các đốiitượng đặc thù theoiyêu cầu cần tiến hành các bước sau:
Để chuẩn bị dữ liệu huấn luyện cho mô hình phân loại, cần thu thập hình ảnh của các loại quả và gán nhãn cho máy để xác định đối tượng cần phân loại Bên cạnh đó, cũng cần chuẩn bị các tập dữ liệu cấu hình (config) và file makefile để hỗ trợ quá trình huấn luyện.
- Thực hiện huấn luyện trên Google Colab
3.3.2.1 Chuẩn bị dữ liệu huấn luyện Để thựcihiện quáitrình gán nhãnivà huấniluyện dữ liệu cần chuẩn bịitập dữ liệu khoảng 200 ảnh về trái cây tươi và thối và trái cây khác loại Cụ thể trong đề tài nhóm đã sử dụng trái cà chua để đại diện cho mô hình phân loại, với mỗiihình sẽ có một file gán nhãn điikèm
Quy trình gán nhãn dữ liệu gồm các bước:
- Thực hiện cài đặt công cụ LabelImg
Trong giao diện LabelImg, hãy chọn định dạng Yolo và sử dụng chức năng Creat Rectbox để khoanh vùng các khu vực cần gán nhãn cho từng bức ảnh Sau khi hoàn tất việc gán nhãn, hệ thống sẽ tạo ra một tệp annotation chứa dữ liệu nhãn tương ứng.
Hình 3-22 Thực hiện dán nhãn đối tượng
Tệp annotation có chứa các nội dung:
Các giá trị , , và đại diện cho tâm và kích thước của bounding box, được chuẩn hóa bằng cách chia cho chiều rộng và chiều cao của ảnh, do đó các giá trị này luôn nằm trong khoảng [0, 1] Giá trị là mục lục đánh dấu các lớp Nếu một ảnh có nhiều bounding box, tệp chú thích sẽ bao gồm nhiều dòng, mỗi dòng tương ứng với một bounding box.
Hình 3-23 Nội dung file annotation
Dưới đây là kết quả sau khi thực hiện gán nhãn cho tệp dữ liệu hình ảnh:
Hình 3-24 Cà chua thối và label từng hình
Hình 3-25 Cà chua tươi và trái khác loại với label từng hình
Thiết lập các thông số cho các tệp config và makefile cần thiết cho quá trình huấn luyện với Yolov4:
+ Xác định số class cần huấn luyện, đề tài của nhóm xác định 2 đốiitượng nên số class là 2
KẾT QUẢ
KẾT QUẢ ĐẠT ĐƯỢC
4.1.1 Kết quả của quá trình huấn luyện
Quá trình huấn luyện mô hình YOLO cho trái cà chua cho phép phân loại hiệu quả giữa trái tươi và trái hỏng Đánh giá kết quả dựa trên độ chính xác và độ tin cậy của mô hình trong việc nhận diện và phân loại trái cây là rất quan trọng.
Mô hình YOLO cho phép phân loại đáng tin cậy giữa trái cà chua tươi và hỏng, đồng thời cung cấp mức độ tin cậy cho từng dự đoán Điều này hỗ trợ quy trình kiểm tra chất lượng và phân loại trái cây trong sản xuất và bảo quản.
Hình 4-1 Kết quả huấn luyện của quả hỏng
Sau quá trình huấn luyện, mô hình YOLO có khả năng phân loại và định vị các dấu hiệu hỏng trong hình ảnh trái cà chua, giúp xác định vùng quan tâm một cách chính xác.
65 trong hình ảnh và dự đoán các hộp giới hạn (bounding boxes) xung quanh các vật thể trong hình ảnh, bao gồm cả trái cà chua hỏng
Mô hình YOLO có khả năng nhận diện các dấu hiệu hỏng của trái cà chua như màu sắc không đồng đều, mốc, vết thối và hình dạng biến dạng thông qua phân loại và định vị các hộp giới hạn Nó sẽ đưa ra dự đoán về trạng thái hỏng của cà chua trong hình ảnh, đồng thời cung cấp thông tin về vị trí và độ tin cậy của các dự đoán này.
Hình 4-2 Kết quả huấn luyện của quả tươi
Mô hình YOLO có khả năng phát hiện và định vị quả cà chua tươi trong hình ảnh nhờ vào quá trình huấn luyện trên dữ liệu có nhãn Qua đó, YOLO đã học được các đặc điểm và mẫu nhận diện của quả cà chua tươi.
Quả cà chua tươi có màu sắc đồng đều, không có vết thối, không biến dạng lớn và hình dạng đặc trưng Mô hình YOLO có khả năng nhận diện những đặc điểm này, từ đó đưa ra dự đoán chính xác về trạng thái tươi của quả cà chua trong hình ảnh.
Hình 4-3 Kết quả huấn luyện của quả khác loại
Khi áp dụng mô hình YOLO vào hình ảnh mới, nó quét toàn bộ hình ảnh để xác định các vùng chứa đối tượng Mô hình dự đoán hộp giới hạn và lớp cho từng đối tượng, cho phép phân biệt và phát hiện loại trái cây khác nhau trong cùng một mẻ trái cây lẫn lộn nhờ vào dữ liệu đã được gán nhãn trước đó.
4.1.2 Kết quả của mô hình thi công
4.1.2.1 Kết quả của phần cứng kết nối giữa các thiết bị
Kết quả của việc kết nối phần cứng giữa các thiết bị là yếu tố quan trọng trong việc đảm bảo sự tương tác và truyền thông hiệu quả giữa các thiết bị điện tử.
Sau khi hoàn thành kế hoạch thiết kế, bước tiếp theo là nghiên cứu kết nối giữa các thiết bị trong mô hình nhóm Việc thiết kế mạch PCB sẽ giúp kết nối các thiết bị một cách hiệu quả hơn so với việc đi dây thủ công, từ đó nâng cao tính thẩm mỹ và đảm bảo độ chính xác, tin cậy trong kết nối giữa các thiết bị.
Sau khi hoàn thành việc vẽ mạch và thi công, chúng ta đã thiết lập được mạch kết nối giữa băng tải, các cảm biến hồng ngoại, module relay, servo và Arduino Nano như hình dưới đây.
Hình 4-5 Hình mạch kết nối giữa các thiết bị với arduino
Các thiết bị điện tử và module được kết nối một cách ngắn gọn và hợp lý Tất cả các thành phần được bố trí trong một hộp mica thiết kế tinh tế, mang lại tính thẩm mỹ cao cho mô hình và nâng cao trải nghiệm người dùng.
4.1.2.2 Kết quả của toàn bộ hệ thống
Nhóm đã hoànithiện môihình phân loại tráiicây theo chất lượng theo hìnhidưới đây:
Hình 4-6 Mô hình toàn bộ hệ thống
Mô hình này bao gồm một băng tải di chuyển quả, hai servo để phân loại quả, ba module cảm biến hồng ngoại để phát hiện vật thể, và một module relay để điều khiển băng tải Tất cả được điều khiển thông qua một Arduino Nano CH340 Ngoài ra, còn có một camera USB kết hợp với phần mềm máy tính để nhận diện quả, cùng với một máy tính để chạy giao diện điều khiển.
4.1.3 Kết quả của quá trình test sau khi đã training xong
Sau khi tiến hànhikiểm tra, nhóm đã đưa ra được bảng đánhigiá mức độ chính xác
Bảng 4-1 Đánh giá mức độ chính xác của quá trình nhận diện thực tế
Tên trái cây Tổng số lần kiểm tra
Nhận diện sai Độ chính xác
Bảng số liệu đánh giá được xây dựng dựa trên các loại quả khác nhau với lựa chọn ngẫu nhiên nhằm cung cấp dữ liệu khách quan Các trường hợp được chọn theo tiêu chí chuẩn, không bị che khuất điểm hỏng Mặc dù bảng số liệu cho thấy tình trạng nhiễu trong quá trình nhận diện do ảnh hưởng của ánh sáng và các tác nhân bên ngoài, hệ thống nhận diện vẫn đạt độ chính xác từ 75% trở lên Điều này cho thấy kết quả đạt được là khả quan và chấp nhận được.
4.1.4 Kết quả hoạt động của hệ thống
Kết quả hoạt động của hệ thống là sản phẩm của sự tương tác đồng bộ giữa phần cứng, phần mềm và các thành phần khác trong một môi trường nhất định Điều này phản ánh quá trình hoạt động và sự liên kết giữa các yếu tố trong hệ thống.
Quá trình nhận dạng trái hỏng diễn ra tuần tự qua các bước: camera ghi nhận hình ảnh của trái hỏng, sau đó hình ảnh được xử lý bởi khối xử lý trung tâm và chuyển đến ô chứa trái hỏng Đồng thời, thông tin về trái hỏng cũng được hiển thị trên giao diện điều khiển.
Hình 4-7 Giao diện khi nhận diện trái hỏng
Hình 4-8 Quá trình thực hiện phân loại trái hỏng
Hình 4-9 Kết quả phân loại trái hỏng
NHẬN XÉT VÀ ĐÁNH GIÁ
Mô hình YOLOv4 phân loại trái cây tươi và không tươi mang lại hiệu quả cao trong việc nhận diện và phân loại Đánh giá cho thấy mô hình này có độ chính xác vượt trội, giúp cải thiện quy trình kiểm tra chất lượng trái cây Sự áp dụng công nghệ này trong nông nghiệp không chỉ tiết kiệm thời gian mà còn nâng cao năng suất sản xuất.
Mô hình đạt độ chính xác lên đến 90% nhờ vào việc được đào tạo với tập dữ liệu đa dạng và lớn, giúp nhận diện và phân loại trái cây hiệu quả Điều này tạo ra cơ sở đáng tin cậy cho quá trình kiểm tra chất lượng và quản lý sản phẩm.
Mô hình YOLOv4 được tối ưu hóa với tốc độ xử lý nhanh, cho phép phân loại trái cây một cách hiệu quả và nhanh chóng Điều này mang lại sự linh hoạt và hiệu suất cao cho hệ thống trong các môi trường sản xuất.
Mô hình đã được kiểm tra và thử nghiệm trong nhiều tình huống thực tế, chứng minh khả năng đáp ứng và hoạt động ổn định Điều này đặc biệt quan trọng trong các ứng dụng thực tiễn như kiểm tra chất lượng sản phẩm trái cây.
Mô hình được thiết kế với tính thẩm mỹ cao, đảm bảo khả năng phân loại chính xác và mang lại trải nghiệm tốt cho người dùng Giao diện và kết quả hiển thị được tối ưu hóa, tạo ra một trải nghiệm trực quan và thú vị.
Mô hình phân loại trái cây không chỉ nhận diện và phân loại mà còn tích hợp các chức năng bổ sung như phân loại theo khu vực và hiển thị chất lượng Điều này giúp người dùng dễ dàng kiểm soát và quản lý số lượng cũng như chất lượng của các loại quả được phân loại.