Hệ thống tự động kiểm tra ngoại quan sản phẩm rocker arm dựa trên xử lý ảnh và công nghệ học sâu

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Viện Cơ Khí LUẬN VĂN THẠC SĨ HỆ THỐNG TỰ ĐỘNG KIỂM TRA NGOẠI QUAN SẢN PHẨM ROCKER ARM DỰA TRÊN XỬ LÝ ẢNH VÀ CÔNG NGHỆ HỌC SÂU TRẦN VĂN HUY Huy.TV202328M@sis.hust.edu.vn MSHV: 20202328M Chuyên ngành Kỹ thuật Cơ điện tử Giảng viên hướng dẫn: Bộ môn: Viện: TS Nguyễn Thành Hùng Chữ ký GVHD Cơ điện tử Cơ khí HÀ NỘI, 05/2022 ĐỀ TÀI LUẬN VĂN Hệ thống tự động kiểm tra ngoại quan sản phẩm rocker arm dựa xử lý ảnh công nghệ học sâu Giáo viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Để hoàn thành luận văn thạc sĩ này, tơi xin bày tỏ cảm kích đặc biệt tới giáo viên hướng dẫn tôi, TS Nguyễn Thành Hùng - người định hướng, trực tiếp dẫn dắt, cố vấn cho suốt thời gian thực đề tài nghiên cứu khoa học Xin chân thành cảm ơn giảng tài liệu thầy giúp tơi mở mang thêm nhiều kiến thức hữu ích xử lý ảnh công nghệ học máy, học sâu Đồng thời, thầy người cho lời khuyên vô quý giá kiến thức chuyên môn định hướng phát triển nghiệp Tôi xin gửi lời cảm ơn chân thành đến nhóm nghiên cứu hợp tác cơng ty trường đại học: Nissin Manufacturing Việt Nam, Nissin Manufacturing Co., Ltd, Kyoto Institute of Technology Ha Noi University of Science and Technology Tôi xin cảm ơn lời khun, lời góp ý TS Nguyễn Chí Hưng, phó giáo sư Fukuzawa Masayuki trình hợp tác nghiên cứu dự án Đồng thời gửi lời cảm ơn đến ông Hirano Takashi, Tổng giám đốc công ty Nissin Manufacturing Co., Ltd đồng ý tạo điều kiện cho sử dụng đề tài làm luận văn thạc sĩ Sau cùng, tơi xin tỏ lịng biết ơn đến cha mẹ, người thân bạn bè bên cạnh ủng hộ, động viên sống thời gian hoàn thành luận văn thạc sĩ Xin chân thành cảm ơn tất người! Tóm tắt nội dung luận văn Nội dung luận văn thạc sĩ thực nghiên cứu hệ thống kiểm tra ngoại quan sản phẩm rocker arm dựa xử lý ảnh công nghệ học sâu Trong đề tài cần nghiên cứu phương pháp để phát lỗi ngoại quan có hệ thống sản xuất rocker arm như: lỗi lệch trục chính, lỗi vát mép lỗ trục chính, lỗi xước gân thân sản phẩm, lỗi nhám bên lỗ trục lỗ lăn Để thực đề tài này, áp xây dựng phương pháp khác kiểm tra ngoại quan cho loại lỗi: áp dụng thuật tốn RANSAC cho việc tìm đường trịn tính tốn tham số tốn liên quan đến đường trịn lỗi lệch trục vát mép, thuật toán học sâu YOLO Autoencoder cho tốn tìm lỗi xước nhám Những thiết bị sử dụng cho đề tài bao gồm máy tính pc với cấu hình mạnh tăng tốc trình phát lỗi, máy ảnh Nikon D7100 độ phân giải cao cho trình chụp ảnh Những công cụ phần mềm thư viện hỗ trợ trình thực đề tài bao gồm: phần mềm camera control hãng Nikon cho trình chụp ảnh, thư viện opencv, tensorflow, darknet, yolo mark cho trình xử lý ảnh, phần mềm visual studio community pycharm community cho trình xây dựng biên dịch chương trình Kết thu sau thực luận văn xây dựng thành công phương pháp kiểm tra loại lỗi, kiểm tra độ xác phương pháp tập liệu thu thập Từ thấy luận văn có ý nghĩa thực tiễn việc áp dụng vào trình kiểm tra ngoại quan sản phầm rocker arm nhà máy Tuy nhiên để áp dụng vào trình sản xuất cần thu thập thêm mẫu lỗi, đào tạo thêm mơ hình YOLO để tăng tính tổng qt, tính xác cho mơ hình Đồng thời nghiên cứu phương pháp giúp tăng tốc độ xử lý để đáp ứng yêu cầu xử lý thời gian thực: tăng tốc độ phần cứng, áp dụng kỹ thuật đa luồng vào xử lý HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG 1.1 TỔNG QUAN VỀ ĐỀ TÀI Tổng quan hệ thống kiểm tra ngoại quan sản phẩm 1.1.1 Yêu cầu đặt 1.1.2 Mơ hình hệ thống kiểm tra ngoại quan sản phẩm 1.1.3 Một số hệ thống kiểm tra ngoại quan sản phẩm 1.2 Tổng quan công nghệ học máy, học sâu xử lý ảnh ứng dụng hệ thống kiểm tra ngoại quan 1.2.1 Xử lý ảnh 1.2.2 Học máy 1.2.3 Học sâu 15 1.2.4 Tổng quan nghiên cứu hệ thống kiểm tra ngoại quan sản phẩm 23 1.3 Giới thiệu rocker arm 24 1.3.1 Rocker arm 24 1.3.2 Các lỗi ngoại quan 25 1.4 Nội dung nghiên cứu 26 CHƯƠNG VÁT MÉP 2.1 THUẬT TOÁN PHÁT HIỆN LỖI LỆCH TRỤC VÀ LỖI 27 Thuật toán RANSAC 27 2.1.1 Khái niệm 27 2.1.2 Tổng quan 27 2.1.3 Ưu nhược điểm 27 2.1.4 Ứng dụng 30 2.1.5 Thuật tốn RANSAC phát đường trịn rocker arm 30 2.2 Phát lỗi lệch trục 31 2.3 Phát lỗi vát mép 33 CHƯƠNG 3.1 THUẬT TOÁN PHÁT HIỆN LỖI XƯỚC 36 Thuật toán YOLO 36 3.1.1 Khái niệm 36 3.1.2 Mơ hình 36 3.1.3 Cấu trúc đặc điểm mơ hình yolov3 áp dụng phát lỗi xước rocker arm 38 3.2 Phát lỗi xước 40 CHƯƠNG THUẬT TOÁN PHÁT HIỆN LỖI NHÁM 43 4.1 Thuật toán Autoencoder 43 4.1.1 Khái niệm 43 4.1.2 Kiến trúc 43 4.1.3 Ứng dụng 44 4.1.4 SSIM 45 4.1.5 Kiến trúc mạng Autoencoder áp dụng cho rocker arm 48 4.2 Phát lỗi nhám 48 CHƯƠNG 5.1 MÔ HÌNH HỆ THỐNG VÀ KẾT QUẢ THỰC NGHIỆM 51 Mơ hình hệ thống 51 5.1.1 Hệ thống chụp ảnh 51 5.1.2 Hệ thống camera máy tính xử lý 55 5.2 Kết thực nghiệm 56 5.2.1 Chuyển đổi đơn vị ảnh thực tế 56 5.2.2 Kết thực nghiệm phát lỗi lệch trục 59 5.2.3 Kết thực nghiệm lỗi vát mép 61 5.2.4 Kết thực nghiệm lỗi xước 64 5.2.5 Kết thực nghiệm lỗi nhám 67 5.3 Kết luận, đánh giá hiệu giải pháp 72 DANH MỤC HÌNH ẢNH Hình 1.1 Kiểm tra ngoại quan mắt Hình 1.2 Hệ thống kiểm tra chất lượng Hình 1.3 Hệ thống kiểm tra ngoại quan chiết rót Hình 1.4 Hệ thống kiểm tra ngoại quan bảng mạch điện tử Hình 1.5 Hệ thống tự động kiểm tra số lượng sản phẩm hộp Hình 1.6 Ví dụ số phép lọc Hình 1.7 Ví dụ số phép biến đổi Hình 1.8 Ví dụ phép xói mịn giản nở Hình 1.9 Ví dụ toán học máy Hình 1.10 SVM phương pháp học có giám sát Hình 1.11 Mơ hình ANN 10 Hình 1.12 Một ví dụ định 11 Hình 1.13 Một ví dụ SVM 12 Hình 1.14 Ví dụ hồi qui tuyến tính 12 Hình 1.15 Một mạng bayes đơn giản 13 Hình 1.16 Ví dụ overfitting 15 Hình 1.17 Ví dụ deep learning 16 Hình 1.18 Ví dụ DNN 17 Hình 1.19 Một số mạng RNN 17 Hình 1.20 Một kiến trúc CNN cho toán xử lý ảnh 17 Hình 1.21 Kiến trúc LSTM 18 Hình 1.22 Ví dụ nhận dạng hình ảnh 19 Hình 1.23 Ví dụ xử lý nghệ thuật 20 Hình 1.24 Các tốn xử lý ngơn ngữ tự nhiên 21 Hình 1.25 Ví dụ phân tích hình ảnh y tế 22 Hình 1.26 Phục hồi hình ảnh 23 Hình 1.27 Cị mổ 25 Hình 1.28 Lỗi lệch trục 25 Hình 1.29 Lỗi vát mép 26 Hình 1.30 Lỗi xước 26 Hình 1.31 Lỗi nhám 26 Hình 2.1 Ví dụ RANSAC tìm đường thẳng 2D 27 Hình 2.2 Các ngoại lệ 28 Hình 2.3 RANSAC tốn ước tính mơ hình 3D 30 Hình 2.4 Thuật tốn RANSAC phát đường trịn 31 Hình 2.5 Lỗi lệch trục 32 Hình 2.6 Ảnh chụp rocker arm hướng vng góc lỗ trục 32 Hình 2.7 Ảnh tách cạnh phát đường tròn lỗ trục 32 Hình 2.8 Qui trình kiểm tra lỗi lệch trục 33 Hình 2.9 Cơng thức tính giá trị ∆𝑅𝑅 33 Hình 2.10 Lỗi vát mép sâu lỗ trục 33 Hình 2.11 Lỗi lệch vát mép lỗ trục 34 Hình 2.12 Vát mép lỗ trục 34 Hình 2.13 Tách cạnh vùng vát mép lỗ trục 34 Hình 2.14 Tìm đường trịn vùng vát mép lỗ trục 35 Hình 3.1 Ví dụ yolo 36 Hình 3.2 Ví dụ mơ hình yolo đơn giản 36 Hình 3.3 Chia lưới yolo 37 Hình 3.4 Ví dụ bouding box yolo 38 Hình 3.5 Cấu trúc darknet53 39 Hình 3.6 Kiến trúc mạng YOLOv3 39 Hình 3.7 Các hướng chụp ảnh 40 Hình 3.8 Quá trình chia nhỏ ảnh 41 Hình 3.9 Quá trình đào tạo mơ hình 42 Hình 3.10 Quá trình phát lỗi xước 42 Hình 4.1 Kiến trúc autoencoder 43 Hình 4.2 Kiến trúc mạng Autoencoder áp dụng 48 Hình 4.3 Ảnh OK ảnh lỗi nhám bên lỗ trục 49 Hình 4.4 Chụp ảnh bên lỗ 49 Hình 4.5 Cắt ảnh lỗ trục 50 Hình 4.6 Đào tạo mơ hình autoencoder 50 Hình 4.7 Quá trình phát lỗi bên lỗ trục 50 Hình 5.1 Vị trí camera, vật đèn led hộp 51 Hình 5.2 Hệ thống cấu chấp hành cho trình chụp ảnh 51 Hình 5.3 Hình ảnh chụp mặt rocker arm 52 Hình 5.4 Hệ thống chiếu sáng chụp ảnh bên lỗ 53 Hình 5.5 Vị trí camera rocker arm chụp ảnh lỗ 53 Hình 5.6 Hình ảnh hệ thống chụp bên lỗ thực tế 54 Hình 5.7 Hình ảnh chụp bên lỗ trục 54 Hình 5.8 Hình ảnh chụp bên lỗ lăn 55 Hình 5.9 Máy ảnh Nikon D7100 55 Hình 5.10 Đo chiều dài vật thực tế 56 Hình 5.11 Đo chiều rộng vật thực tế 57 Hình 5.12 Đo chiều cao vật thực tế 57 Hình 5.13 Kích thước vật ảnh 58 Hình 5.14 Đo đường kính lỗ trục thực tế 58 Hình 5.15 Đo đường kính đường trịn ngồi thực tế 59 Hình 5.16 Kết phát lỗi lệch trục lỗ trục 60 Hình 5.17 Kết phát lỗi lệch trục lỗ trục 60 Hình 5.18 Kết phát lỗi lệch trục lỗ gen 61 Hình 5.19 Kết kiểm tra lỗi lệch vát mép lỗ trục 62 Hình 5.20 Kết kiểm tra lỗi vát mép sâu lỗ trục 63 Hình 5.21 Kết kiểm tra lỗi vát mép lỗ lăn 64 Hình 5.22 Biểu đồ trình đào tạo YOLOv3 65 Hình 5.23 Biểu đồ trình đào tạo YOLOv3 65 Hình 5.24 Ảnh mẫu trước sau kiểm tra lỗi xước 66 Hình 5.25 Kết phát lỗi xước mẫu NG 67 Hình 5.26 Kết phát lỗi xước mẫu OK 67 Hình 5.27 Biểu đồ loss mse đào tạo cho lỗ trục 68 Hình 5.28 Biểu đồ loss ssim đào tạo cho lỗ trục 69 Hình 5.29 Kết kiểm tra lỗi nhám lỗ trục mẫu OK 69 Hình 5.30 Kết kiểm tra lỗi nhám lỗ trục mẫu NG 69 Hình 5.31 Biểu đồ loss ssim đào tạo cho lỗ lăn 70 Hình 5.32 Biểu đồ loss mse đào tạo cho lỗ lăn 71 Hình 5.33 Kết kiểm tra lỗi nhám lỗ trục lăn mẫu NG 71 DANH MỤC BẢNG BIỂU Bảng 5.1 Kích thước vật thực tế ảnh 58 Bảng 5.2 Kích thước đường trịn thực tế tính tốn 59 Bảng 5.3 Thống kê kết kiểm tra lỗi lệch trục 61 Bảng 5.4 Thống kê kết kiểm tra lỗi lệch vát mép lỗ trục 63 Bảng 5.5 Thống kê kết kiểm tra lỗi vát mép sâu lỗ trục 64 Hình 5.16 Kết phát lỗi lệch trục lỗ trục Hình 5.17 Kết phát lỗi lệch trục lỗ trục Kết kiểm tra 51 mẫu thu được: bán kính đường trịn từ 6.48-6.7 mm, giá trị trung bình bán kính đường trịn 6.61 mm, bán kính đường trịn ngồi từ 8.97-9.56 mm, giá trị trung bình bán kính đường trịn ngồi 9.22 mm, độ lệch tâm e từ 0.06-0.91 mm, giá trị trung bình độ lệch tâm 0.32 mm, khoảng cách 60 ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 2.57-3.52 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 2.93 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 2.4-2.94 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 2.61 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 1.62.64 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 2.29 mm Bảng 5.3 Thống kê kết kiểm tra lỗi lệch trục Outer Circle (mm) 8.97 Deviation (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) Nhỏ Inner Circle (mm) 6.48 0.06 2.57 2.4 1.6 Lớn 6.7 9.56 0.91 3.52 2.94 2.64 Trung bình 6.61 9.22 0.32 2.93 2.61 2.29 Giá trị Đối với kiểm tra lỗi lệch trục lỗ gen, chưa có mẫu lỗi vị trí Tuy nhiên, áp dụng phương pháp tương tự để kiểm tra lỗi lỗi lệch trục lỗ trục Hình 5.12 ví dụ áp dụng thuật toán kiểm tra lỗi lệch trục lỗ gen Hình 5.18 Kết phát lỗi lệch trục lỗ gen 5.2.3 Kết thực nghiệm lỗi vát mép Áp dụng thuật tốn để đánh giá q trình phát lỗi vát mép với số lượng ảnh NG 61, có 40 ảnh lệch vát mép, 21 ảnh vát mép sâu lỗ trục Kích thước vùng vát mép cần kiểm tra 15.56x15.56 mm (1400x1400 pixel) Thơng số cài đặt cho thuật tốn RANSAC: số vòng lặp tối đa 2000, ngưỡng khoảng cách để điểm nằm đường tròn pixel Tốc độ kiểm tra khoảng s cho ảnh Đối với lỗi lệch vát mép thấy giá trị ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 , ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 , ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 có khoảng cách lớn với với ∆𝑅𝑅𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 Như ví dụ hình 5.12 61 mẫu lỗi lệch vát mép, vùng vát mép lớn có độ rộng 0.64 mm, vùng vát mép nhỏ có độ rộng 0.35 mm Từ thấy độ lệch lớn so với độ rộng đạt chuẩn 0.19 mm Hình 5.13 kết kiểm tra lỗi vát mép sâu lỗ trục Đối với lỗi vát mép sâu giá trị ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 , ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 , ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 khơng lệch nhiều lại sai lệch lớn so với giá trị ∆𝑅𝑅𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 Trong ví dụ thấy độ rộng vùng vát mép lớn 0.93 mm, gấp đôi giá trị đạt chuẩn, độ lệch so với độ rộng đạt chuẩn 0.49 mm Hình 5.19 Kết kiểm tra lỗi lệch vát mép lỗ trục 62 Hình 5.20 Kết kiểm tra lỗi vát mép sâu lỗ trục Kết kiểm tra mẫu lệch vát mép lỗ trục chính: bán kính đường trịn từ 6.55-6.64 mm, giá trị trung bình bán kính đường trịn 6.59 mm, bán kính đường trịn ngồi từ 6.99-7.18 mm, giá trị trung bình bán kính đường trịn ngồi 7.07 mm, độ lệch tâm e từ 0.03-0.24 mm, giá trị trung bình độ lệch tâm 0.12 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 0.49-0.83 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 0.59 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 0.38-0.59 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 0.47 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 0.21-0.47 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 0.35 mm Bảng 5.4 Thống kê kết kiểm tra lỗi lệch vát mép lỗ trục Outer Circle (mm) 6.99 Deviation (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑛𝑛 (mm) Nhỏ Inner Circle (mm) 6.55 0.03 0.49 0.38 0.21 Lớn 6.64 7.18 0.24 0.83 0.59 0.47 Trung bình 6.59 7.07 0.12 0.59 0.47 0.35 Giá trị Kết kiểm tra mẫu vát mép sâu lỗ trục chính: bán kính đường trịn từ 6.56-6.65 mm, giá trị trung bình bán kính đường trịn 6.6 mm, bán kính đường trịn ngồi từ 6.09-7.45 mm, giá trị trung bình bán kính đường trịn ngồi 7.24 mm, độ lệch tâm e từ 0.02-0.2 mm, giá trị trung bình độ lệch tâm 0.1 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 0.57-1.09 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 0.79 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 0.47-0.89 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 0.69 mm, khoảng cách ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 từ 0.33-0.78 mm, giá trị trung bình ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 0.6 mm 63 Bảng 5.5 Thống kê kết kiểm tra lỗi vát mép sâu lỗ trục Outer Circle (mm) 6.09 Deviation (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) Nhỏ Inner Circle (mm) 6.56 0.02 0.57 0.47 0.33 Lớn 6.65 7.45 0.2 1.09 0.89 0.78 Trung bình 6.6 7.24 0.1 0.79 0.69 0.6 Giá trị Đối với vùng vát mép lỗ lăn, chưa có mẫu lỗi vát mép lệch lỗi chiếu sâu vát mép vị trí Tuy nhiên, áp dụng phương pháp tương tự để kiểm tra lỗi vùng vát mép lỗ trục Hình 5.15 ví dụ áp dụng thuật toán cho vùng vát mép lỗ lăn Hình 5.21 Kết kiểm tra lỗi vát mép lỗ lăn 5.2.4 Kết thực nghiệm lỗi xước Đào tạo mơ hình yolov3 với đầu vào 72 ảnh NG, 20 ảnh OK Do số lượng ảnh NG nhỏ, để tăng số lượng mẫu áp dụng phương pháp tăng cường liệu lật, xoay, thay đổi độ sáng độ tương phản, … Đào tạo mơ hình YOLOv3 với kích thước đầu vào mạng 416x416, batch size 64, max batches 20000 vòng lặp, learning rate 0.001, decay 0.0005 Biểu đồ trình đào tạo thu hình 5.16 5.17 Trên biểu đồ cho thấy loss giảm dần đạt giá trị nhỏ khoảng 0.0167 Giá trị độ xác trung bình (mean average precision – mAP) tăng dần đạt giá trị lớn 91% Do mAP có xu hướng giảm sau đạt giá trị lớn nhất, có nghĩa mơ hình có xu hướng q tải (overfit) tiếp tục đạo tạo nên dừng trình đào tạo vịng lặp thứ 20000 Lấy mơ hình tốt vị trí đạt mAP 91% cho q trình kiểm tra đánh giá mơ hình đào tạo 64 Hình 5.22 Biểu đồ trình đào tạo YOLOv3 Hình 5.23 Biểu đồ trình đào tạo YOLOv3 65 Áp dụng mơ hình đào tạo kiểm tra 112 ảnh NG 184 ảnh OK Kích thước ảnh lớn 5000x2000 pixel, tốc độ kiểm tra khoảng 3s ảnh Đối với mẫu OK, mơ hình phát sai lỗi mẫu NG tổng số 184 mẫu OK Đối với mẫu NG, mơ hình phát 108 mẫu NG tổng số 112 mẫu NG Từ tính tốn tham số đánh giá mơ sau: 𝑇𝑇𝑇𝑇 108 PT 5.1 = = 0.964 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 112 𝑇𝑇𝑇𝑇 108 PT 5.2 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 = = = 0.973 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 108 + 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 0.964 ∗ 0.973 PT 5.3 𝐹𝐹1 = = 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 + 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 0.964 + 0.973 = 0.484 Kết áp dụng cho mẫu OK NG hình 5.18 đây, sau phát lỗi hệ thống đánh dấu vùng lỗi thị vị trí lỗi hình 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 = Hình 5.24 Ảnh mẫu trước sau kiểm tra lỗi xước 66 Hình 5.25 Kết phát lỗi xước mẫu NG Hình 5.26 Kết phát lỗi xước mẫu OK 5.2.5 Kết thực nghiệm lỗi nhám Đào tạo mơ hình autoencoder để phát lỗi bên lỗ trục với thơng số đầu vào: 360 ảnh OK kích thước 790x365 pixel, áp dụng phương pháp tăng 67 liệu cắt ảnh thu 50000 ảnh, kích thước ảnh đầu vào 128x128 pixel, số vòng lặp tối đa 1000 epochs Thời gian đào tạo epoch 64s, trình đào tạo dừng epoch 700 giá trị validation loss không giảm sau 400 vòng lặp Kết đào tạo tốt thu với giá trị ssim loss = 0.0413, mse loss = 0.00006, validation ssim loss = 0.05072, validation mse loss = 0.00008 Hình 5.27 Biểu đồ loss mse đào tạo cho lỗ trục 68 Hình 5.28 Biểu đồ loss ssim đào tạo cho lỗ trục Kết kiểm tra mẫu OK NG hình 5.22, 5.23, 5.24 đây, mẫu NG mơ hình tái tạo khơng tốt vùng lỗi dẫn đến độ lệch SSIM lớn, thông qua hình ảnh phân bố giá trị SSIM ảnh đầu vào ảnh tái tạo để khoanh vùng lỗi Hình 5.29 Kết kiểm tra lỗi nhám lỗ trục mẫu OK Hình 5.30 Kết kiểm tra lỗi nhám lỗ trục mẫu NG Áp dụng mơ hình đào tạo kiểm tra ảnh bên lỗ trục với số lượng 96 mẫu OK 52 mẫu NG Đối với mẫu OK, mô hình phát sai lỗi mẫu NG tổng số 96 mẫu OK Đối với mẫu NG, mô hình phát 52 mẫu NG tổng số 52 mẫu NG Từ tính tốn tham số đánh giá mơ sau: 69 𝑇𝑇𝑇𝑇 52 PT 5.4 = =1 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 52 𝑇𝑇𝑇𝑇 52 PT 5.5 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 = = = 0.87 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 52 + 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 ∗ 0.87 PT 5.6 𝐹𝐹1 = = = 0.465 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 + 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 + 0.87 Áp dụng q trình tương tự để xây dựng mơ hình phát lỗi bên lỗ lăn Các thơng số cài đặt cho q trình đào tạo giống với đào tạo mơ hình cho lỗ trục Số lượng ảnh OK cho trình đào tạo 34 ảnh kích thước 375x118 pixel, áp dụng phương pháp tăng liệu cắt ảnh thu 578 ảnh, kích thước ảnh đầu vào 128x128 pixel, số vòng lặp tối đa 2000 epochs Thời gian đào tạo epoch 1s, trình đào tạo dừng epoch 1400 giá trị validation loss không giảm sau 500 vòng lặp Kết đào tạo tốt thu với giá trị ssim loss = 0.15, mse loss = 0.0005, validation ssim loss = 0.16, validation mse loss = 0.0005 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 = Hình 5.31 Biểu đồ loss ssim đào tạo cho lỗ lăn 70 Hình 5.32 Biểu đồ loss mse đào tạo cho lỗ lăn Quá trình kiểm tra mẫu lỗ lăn tương tự kiểm tra mẫu bên lỗ trục hình 5.26 Hình 5.33 Kết kiểm tra lỗi nhám lỗ trục lăn mẫu NG Áp dụng mơ hình đào tạo kiểm tra ảnh bên lỗ trục với số lượng 20 mẫu OK 14 mẫu NG Đối với mẫu OK, mơ hình phát sai lỗi mẫu NG tổng số 20 mẫu OK Đối với mẫu NG, mơ hình phát 14 mẫu NG tổng số 14 mẫu NG Từ tính tốn tham số đánh giá mơ sau: 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 = 𝑇𝑇𝑇𝑇 14 = =1 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 14 PT 5.7 71 𝑇𝑇𝑇𝑇 14 = = 0.93 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 14 + 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 ∗ 0.93 𝐹𝐹1 = = = 0.48 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 + 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 + 0.93 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 = PT 5.8 PT 5.9 5.3 Kết luận, đánh giá hiệu giải pháp Bài luận văn nghiên cứu trình bày phương pháp để kiểm tra ngoại quan sản phẩm rocker arm Công việc luận văn phát lỗi có q trình sản xuất rocker arm như: lỗi lệch trục lỗ trục lỗ gen, lỗi vát mép lỗ trục chính, lỗi xước bề mặt cạnh, lỗi nhám bên lỗ trục lỗ lăn Để thực điều này, luận văn đưa phương pháp khác để kiểm tra loại lỗi: thuật toán RANSAC cho lỗi lệch trục lỗi vát mép, thuật toán YOLO cho lỗi xước, thuật toán Autoencoder cho lỗi nhám bên lỗ Kết thử nghiệm tập liệu thu thập cho thấy độ hiệu xác phương pháp loại lỗi, thuật tốn cho độ xác cao, thời gian suy luận nhanh phát đường tròn lỗ trục vùng vát mép Đối với lỗi lệch trục vát mép phát tất đường trịn tính tốn thông số độ lệch mẫu Kết so sánh độ xác phát đường trịn thuật toán RANSAC đo đạc thực tế với sai lệch 0.3 mm, đạt độ xác cao, đáp ứng yêu cầu toán kiểm tra lỗi lệch trục vát mép Tốc độ kiểm tra lỗi lệch trục 1.5s cho ảnh, lỗi vát mép 1s cho ảnh Đối với lỗi xước, đào tạo mơ hình cho độ xác lên đến 96.4%, số đánh giá mơ hình là: precision 0.964, recall 0.973, F1 0.484 Các lỗi nhám bên lỗ, mơ hình đào tạo phát tất mẫu lỗi có, đạt độ xác 100%, cịn phát sai mẫu tốt Tuy nhiên, mơ hình YOLO Autoencoder để phát lỗi xước lỗi nhám cịn nhược điểm Do kích thước ảnh lớn nên thời gian suy luận phát vết xước chậm, yêu cầu thực tế cần chạy với thời gian thực để đáp ứng sản xuất Mô hình YOLO chưa phát tồn ảnh lỗi xước, phát nhầm mẫu khơng có lỗi Mơ hình Autoencoder cịn phát nhầm mẫu khơng có lỗi Trong tương lai cần cải thiện độ xác mơ hình mẫu khơng có lỗi Đồng thời cải thiện thời gian suy luận mơ hình YOLO Để áp dụng kết vào trình sản xuất cần thu thập thêm mẫu, mở rộng tập liệu, đào tạo lại mơ hình với liệu để tăng tính khái quát độ xác Đối với lỗi vát mép lỗi lệch trục cần tính tốn tham số ∆𝑅𝑅𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 đạt yêu cầu nhà máy mẫu tốt Đỗi với lỗi xước thu thập thêm nhiều mẫu NG để cải thiện mơ hình YOLO cho kết cao Các lỗi nhám bên lỗ, điều chỉnh mơ hình hệ chiếu sáng tránh phát nhầm mẫu OK, loại bỏ ảnh hưởng từ bên bụi bẩn hay dầu 72 TÀI LIỆU THAM KHẢO [1] Steger, Carsten; Markus Ulrich; Christian Wiedemann (2018) Machine Vision Algorithms and Applications (2nd ed.) Weinheim: Wiley-VCH p ISBN 978-3-527-41365-2 Retrieved 2018-01-30 [2] Beyerer, Jürgen; Puente León, Fernando & Frese, Christian (2016) Machine Vision - Automated Visual Inspection: Theory, Practice and Applications Berlin: Springer doi:10.1007/978-3662-47794-6 ISBN 978-3-662-47793-9 Retrieved 2016-10-11 [3] Graves, Mark & Bruce G Batchelor (2003) Machine Vision for the Inspection of Natural Products Springer p ISBN 978-1-85233525-0 Retrieved 2010-11-02 [4] Steger, Carsten; Markus Ulrich; Christian Wiedemann (2018) Machine Vision Algorithms and Applications (2nd ed.) Weinheim: Wiley-VCH p ISBN 978-3-527-41365-2 Retrieved 2018-01-30 [5] John Canny, “A computational approach to edge detection”, [6] Satoshi Suzuki and others, “Topological structural analysis of [7] M A Fischler and R C Bolles, “Random sample consensus: A [8] Joseph Redmon, Ali Farhadi, “YOLOv3: An Incremental [9] Shuang Mei, Yudan Wang and Guojun Wen, “Automatic Fabric [10] 10 Jiawei Yu, Ye Zheng, Xiang Wang, Wei Li, Yushuang Wu, Rui [11] 11 Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard [12] 12 https://github.com/AlexeyAB/darknet [13] 13 https://github.com/AlexeyAB/Yolo_mark [14] 14 https://github.com/plutoyuxie/AutoEncoder-SSIM-for-unsupervisedanomaly-detection- Pattern Analysis and Machine Intelligence, IEEE Transactions on, (6):679–698, 1986 digitized binary images by border following”, Computer Vision, Graphics, and Image Processing, 30(1):32–46, 1985 paradigm for model fitting with applications to image analysis and automated cartography”, Communications of the ACM, vol 24, no 6, 1981, pp 381–395 Improvement”, ArXiv, 2018 Defect Detection with a Multi-Scale Convolutional Denoising Autoencoder Network Model”, Sensors 2018, 18, 1064 Zhao, Liwei Wu, “FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows”, ArXiv, 2021 Schölkopf, Thomas Brox, Peter Gehler, “Towards Total Recall in Industrial Anomaly Detection”, ArXiv, 2022 73 [15] 15 https://github.com/MirrorYuAI/Ransac-2d-Shape-Detection 74 ... nghiên cứu hệ thống kiểm tra ngoại quan sản phẩm rocker arm dựa xử lý ảnh công nghệ học sâu Trong đề tài cần nghiên cứu phương pháp để phát lỗi ngoại quan có hệ thống sản xuất rocker arm như: lỗi... đó, hệ thống kiểm tra ngoại quan tự động nghiên cứu ứng dụng nhà máy 1.1.2 Mơ hình hệ thống kiểm tra ngoại quan sản phẩm Mơ hình hệ thống kiểm tra ngoại quan sản phẩm gồm thành phần bản: hệ thống. .. thống kiểm tra giúp đảm bảo đầy đủ sản phầm bên hộp trước đóng gói 1.2 Tổng quan công nghệ học máy, học sâu xử lý ảnh ứng dụng hệ thống kiểm tra ngoại quan 1.2.1 Xử lý ảnh a Khái niệm Xử lý hình ảnh