1. Tổng quan về đề tài ........................................................................................ 3 1.1 Mở đầu ...................................................................................................... 3 1.2 Lý do chọn đề tài ....................................................................................... 3 1.3 Tóm tắt đề tài ............................................................................................ 3 2. Đặt vấn đề và xác định bài toán .................................................................... 4 2.1 Đặt vấn đề ................................................................................................. 4 2.2 Xác định bài toán và tiêu chí đánh giá ...................................................... 4 2.2.1 Yêu cầu bài toán ................................................................................ 4 2.2.2 Tiêu chí đánh giá ............................................................................... 5 3. Lý do chọn mô hình Yolo v8 .......................................................................... 6 4. Cấu tạo mô hình Yolo v8 ............................................................................... 7 5. Tiến hành ........................................................................................................ 8 5.1 Xây dựng tập dữ liệu ............................................................................ 8 5.2 Huấn luyện mô hình và kết quả huấn luyện ....................................... 10 6. Kết quả và đánh giá ..................................................................................... 11 6.1 Kết quả ............................................................................................... 11 6.2 Đánh giá ............................................................................................. 12 7. Kết luận và đề xuất ....................................................................................... 13 7.1 Kết luận .............................................................................................. 13 7.2 Đề xuất ............................................................................................... 13 8. Tổng kết ......................................................................................................... 13 9. Tài liệu tham khảo ........................................................................................ 14
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -o0o - TIỂU LUẬN MÔN CÁC VẤN ĐỀ HIỆN ĐẠI NGÀNH KỸ THUẬT MÁY TÍNH Áp dụng mơ hình học sâu Yolo v8 để giải toán phát vết xước bề mặt sản phẩm nhựa Giảng viên hướng dẫn: TS Hoàng Gia Hưng Sinh viên: Nguyễn Văn Hiệp MSSV: 20020228 Hà Nội, tháng 11 năm 2023 Mục lục Tổng quan đề tài 1.1 Mở đầu 1.2 Lý chọn đề tài 1.3 Tóm tắt đề tài Đặt vấn đề xác định toán 2.1 Đặt vấn đề 2.2 Xác định tốn tiêu chí đánh giá 2.2.1 Yêu cầu toán 2.2.2 Tiêu chí đánh giá Lý chọn mơ hình Yolo v8 Cấu tạo mơ hình Yolo v8 Tiến hành 5.1 Xây dựng tập liệu 5.2 Huấn luyện mơ hình kết huấn luyện 10 Kết đánh giá 11 6.1 Kết 11 6.2 Đánh giá 12 Kết luận đề xuất 13 7.1 Kết luận 13 7.2 Đề xuất 13 Tổng kết 13 Tài liệu tham khảo 14 Tổng quan đề tài 1.1 Mở đầu Trong chương trình đào tạo ngành Kỹ thuật máy tính, học phần khơng thể thiếu sinh viên Các vấn đề đại ngành Kỹ thuật máy tính Mục tiêu học phần mang đến cho sinh viên hiểu biết chủ đề đại mà doanh nghiệp triển khai, áp dụng, sản phẩm phục vụ đời sống, sản phẩm nghiên cứu Với mục tiêu vậy, chọn cho đề tài “Áp dụng mơ hình học sâu Yolo v8 để giải toán phát vết xước bề mặt sản phẩm nhựa” 1.2 Lý chọn đề tài Với kiến thức mà tích luỹ được, tơi lựa chọn đề tài liên quan đến thị giác máy Thị giác máy (computer vision) lĩnh vực trí tuệ nhân tạo khoa học máy tính, mà máy tính lập trình để hiểu giải vấn đề liên quan đến việc nhận diện hiểu hình ảnh video tương tự người Mục tiêu thị giác máy phát triển thuật toán mơ hình máy tính có khả tự động hiểu, phân tích, rút trích thơng tin từ liệu hình ảnh video Trong sống nói chung dây chuyền sản xuất nói riêng, thị giác máy ứng dụng đóng vai trò quan trọng việc triển khai, giám sát, tự động hố quy trình Nhận thấy việc phát vết xước bề mặt sản phẩm nhựa thực người độ xác cịn thấp, tốc độ chậm, khơng đảm bảo tính tự động hố dây chuyền nên tơi thực đề tài “Áp dụng mơ hình học sâu Yolo v8 để giải toán phát vết xước bề mặt sản phẩm nhựa” để giải vấn đề 1.3 Tóm tắt đề tài Đề tài đưa lý chọn mơ hình Yolo v8, cách triển khai toán phát vết xước bền mặt sản phẩm nhựa Một số khó khăn, phương án giải triển khai toán Cuối kết quả, đánh giá, đề xuất để cải thiện hiệu toán Đặt vấn đề xác định toán 2.1 Đặt vấn đề - Vấn đề độ xác: Trong dây chuyền sản xuất với số lượng sản phẩm lớn việc xác định vết xước điều khó Nhất vết xước có kích thước nhỏ, người khó để phát Việc không phát không yếu tố mặt kích thước, mà cịn yếu tố góc nhìn, độ sáng mơi trường, hướng nhìn mắt người - Vấn đề tốc độ: Nếu dây chuyền tạo nhiều sản phẩm thời gian ngắn, việc dùng người để kiểm tra tốn nhiều nhân lực, kinh tế Vì tốc độ người có giới hạn, khơng thể lúc bao quát nhiều sản phẩm, đặc biệt sản phẩm có kích thước lớn 2.2 Xác định tốn tiêu chí đánh giá 2.2.1 u cầu toán Từ vấn đề đặt trên, hình thành u cầu tốn: - Phát vết xước bề mặt nhựa màu trắng(phần viền hồng) - Độ xác 98% trở lên, thời gian < giây lần kiểm tra - Chỉ dùng mẫu để tạo dataset vết xước - Vết xước cỡ milimet - Môi trường tự setup - Camera điện thoại Hình 1: Khu vực phát vết xước 2.2.2 Tiêu chí đánh giá - Các vết xước tập test (bề mặt không dùng để tạo tập train) - Kích thước nhỏ tạo có kích thước 1mmx1mm => 1.41mm Mơ hình tốt nhận biết tất vết xước không nhận sai thêm vết xước Hình 2: Tiêu chí đánh giá Lý chọn mơ hình Yolo v8 YOLO (You Only Look Once) mơ hình phát đối tượng thị giác máy tính Đây mơ hình phát đối tượng tiếng khả phát phân loại đối tượng thời gian thực với độ xác cao Yolo hỗ trợ tốt cho tốn real-time nên ta chọn mơ hình Một số mơ hình khác sử dụng cho tồn này, nhiên kích thước lớn, tốn nhiều tài nguyên mang lại hiệu suất khơng cao Một số mơ hình có thời gian thực thi lớn, áp dụng yêu cầu real-time Hình 3: So sánh phiên Yolo Có thể thấy so sánh phiên khác Yolo, yolo v8 cho độ xác vượt trội với số lượng tham số cho kết thời gian thực thi tốt nhiều so với phiên tiền nhiệm Cấu tạo mơ hình Yolo v8 Hình 4: Cấu tạo mơ hình Yolo v8 Cấu trúc mơ hình YOLO (You Only Look Once) bao gồm số phần chính, bao gồm backbone network, neck architecture, detection head, anchor boxes, yếu tố khác Dưới mô tả tổng quan cấu trúc mô hình YOLO: Backbone Network Đây phần mơ hình thường xây dựng từ mạng nơ-ron tích chập (CNN) mạnh mẽ Mạng có nhiệm vụ trích xuất đặc trưng quan trọng từ hình ảnh đầu vào Trong YOLO, mạng giúp mơ hình học đặc điểm chung đối tượng Neck Architecture: Một số phiên YOLO sử dụng kiến trúc cổ để kết hợp thông tin từ lớp đặc trưng có độ phân giải khác Điều giúp nâng cao khả mơ hình việc nhận diện đối tượng quy mô khác Detection Head: Phần nơi dự đốn thực Detection head tạo bounding boxes (ô giới hạn) dự đốn cho đối tượng hình ảnh, dự đoán xác suất lớp đối tượng tương ứng Anchor Boxes: YOLO sử dụng anchor boxes để dự đoán bounding boxes Anchor boxes hộp neo có kích thước xác định trước, giúp mơ hình dự đốn vị trí kích thước đối tượng Sử dụng anchor boxes giúp cải thiện độ xác mơ hình Activation Function: Các hàm kích hoạt Leaky ReLU thường sử dụng để giữ cho mơ hình có khả học thơng tin phi tuyến tính Loss Function (Hàm Mất Mát): Hàm mát sử dụng để đo lường chênh lệch dự đoán nhãn thực tế Mục tiêu cực tiểu hóa hàm mát để mơ hình học xác Data Augmentation (Tăng Cường Dữ Liệu): Kỹ thuật tăng cường liệu xoay, co giãn, làm mờ thường sử dụng để tạo thêm đa dạng liệu đào tạo làm cho mơ hình chống lại biến động liệu thực tế Cấu trúc tổng thể mơ hình YOLO cho phép thực việc nhận diện đối tượng hình ảnh cách nhanh chóng hiệu Tuy nhiên, chi tiết cấu trúc cụ thể thay đổi tùy thuộc vào phiên cụ thể YOLO cải tiến cụ thể nghiên cứu phát triển sau Tiến hành 5.1 Xây dựng tập liệu - Khó khăn: Do mẫu(1 mẫu) => dataset - Giải pháp: Xoay theo góc khác để làm phong phú tập data, điều kiện ánh sáng, góc chụp cố định hướng vết xước thay đổi Hình 5: Giải khó khăn tập liệu hạn chế - Tạo hàm xoay nhận vào ảnh góc chạy từ 0-361 với step - Đầu ảnh lưu dạng jpg - Gán nhãn cho tập liệu : Hình 6: Gán nhãn Dùng phần mềm pyqt5_momolabelImg link Github để vẽ xác định file txt bao gồm thơng tin vết xước ảnh: Hình 7: Dùng phần mềm pyqt5_momolabelImg - Khó khăn: Sau xoay ta có 72 ảnh ảnh lại có 30 vết xước chồng chéo nên dùng phần mềm vẽ thời gian khơng đảm bảo xác lần - Giải pháp: Dùng mặt phẳng xoay phép resize để tìm box cho tập liệu Hình 8: Dùng mặt phẳng xoay phép resize - Tìm điểm giữa, trái dưới, phải cách nhân điểm góc xoay độ (ban đầu) với ma trận xoay tìm - Kiểm tra điều kiện đưa chiều dài, rộng box - Làm với góc vết xước ảnh góc 5.2 Huấn luyện mơ hình kết huấn luyện Hình 9: Kết huấn luyện 10 - Kết thu huấn luyện: + mAP trung bình 0.93 + Độ hồi quy dần + Loss tập train val gần 0; => Kết tốt 100 epoches Kết đánh giá 6.1 Kết - Kết với liệu khác mà mơ hình chưa biết: Hình 10: Kết test - Đối chiều kết với tiêu chí so sánh ban đầu: 11 Hình 11: Đối chiếu kết Bảng: Thống kê kết 6.2 Đánh giá => Mơ hình phát vết xước có kích thước lớn 1.41mm (1mmx1mm) => Mức độ confidence chưa tốt => Do sai lệch đặt góc chụp nên số vết xước cho confidence chưa cao: 8mm cho 0.36 12 => Thời gian detect ngắn, khoảng 37ms, phù hợp cho real-time Kết luận đề xuất 7.1 Kết luận Ưu điểm: Xây dựng data set hiệu qủa dựa lượng mẫu Phát vết xước có kích thước nhỏ (cỡ milimet) Thời gian phát nhanh,cỡ mili giây Nhược điểm: Confidence tổng quan chưa tốt Một số vết xước sai lệch góc chụp điều kiện ánh sáng nên có confidence thấp 7.2 Đề xuất Sử dụng đèn có độ bao phủ lớn chiếu từ phía ngang bề mặt sản phẩm để rõ vết xước, đặt mẫu hộp kín bật đèn chụp => tránh nhiễu ánh sáng bên ngồi Dùng camera có độ phân giải cao hơn, lấy nét đặt gần, việc zoom kỹ thuật số khiến ảnh nhiễu, khơng thể xử lý thuật tốn Cố định camera, khoảng cách từ camera đến sản phẩm, vị trí sản phẩm, sản xuất sử dụng hệ thống đặt vật vào vị trí quy định Tổng kết Đề tài “Áp dụng mơ hình học sâu Yolo v8 để giải toán phát vết xước bề mặt sản phẩm nhựa” giải toán thực tế doanh nghiệp khâu kiểm định chất lượng sản phẩm Mơ hình YOLO v8 cho thấy khả nhận diện vết xước với độ xác cao, giúp tăng cường hiệu suất trình kiểm định chất lượng sản phẩm Sự linh hoạt mơ hình cho phép chúng tơi thích nghi với điều kiện ánh sáng khác nhau, góc chụp hình kích thước sản phẩm, làm tăng tính ứng dụng mơi trường sản xuất thực tế 13 Đặc biệt, việc sử dụng mơ hình YOLO v8 giúp giảm thiểu sai số tăng cường độ tin cậy quy trình kiểm định chất lượng Nhờ vào khả học sâu, mô hình hiểu biểu đồ hình ảnh cách tự nhiên, từ nâng cao khả nhận diện phân loại vết xước so với phương pháp truyền thống Sự tích hợp mơ hình vào quy trình sản xuất khơng giúp tiết kiệm thời gian mà mang lại hiệu chi phí Quy trình tự động hóa YOLO v8 giúp giảm tải công việc cho nhân viên kiểm định chất lượng đồng thời giảm nguy nhầm lẫn thiếu sót q trình kiểm tra sản phẩm Tóm lại, việc áp dụng mơ hình học sâu YOLO v8 vào toán phát vết xước bề mặt sản phẩm nhựa không giúp doanh nghiệp nâng cao chất lượng sản phẩm mà cịn tối ưu hóa quy trình sản xuất Điều mở nhiều triển vọng hội cho ứng dụng công nghệ học sâu lĩnh vực kiểm định chất lượng quản lý sản xuất tương lai Tài liệu tham khảo https://docs.ultralytics.com https://www.freecodecamp.org/news/how-to-detect-objects-in-imagesusing-yolov8/ Comparison of Pre-Trained YOLO Models on Steel Surface Defects Detector Based on Transfer Learning with GPU-Based Embedded Devices https://www.mdpi.com/1424-8220/22/24/9926 14