Giá trị Inner Circle (mm) Outer Circle (mm) Deviation (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑚𝑚 (mm) ∆𝑅𝑅𝑚𝑚𝑚𝑚𝑛𝑛 (mm) Nhỏ nhất 6.56 6.09 0.02 0.57 0.47 0.33 Lớn nhất 6.65 7.45 0.2 1.09 0.89 0.78 Trung bình 6.6 7.24 0.1 0.79 0.69 0.6
Đối với vùng vát mép trên lỗcon lăn, hiện tại chưa có các mẫu lỗi vát mép lệch và lỗi chiếu sâu vát mép tại vị trí này. Tuy nhiên, có thể áp dụng phương pháp tương tựđể kiểm tra lỗi tại đây như vùng vát mép trên lỗ trục chính. Hình 5.15 dưới đây là ví dụ áp dụng thuật tốn cho vùng vát mép trên lỗcon lăn.
Hình 5.21 Kết quả kiểm tra lỗi vát mép trên lỗ con lăn
5.2.4 Kết quả thực nghiệm lỗi xước
Đào tạo mơ hình yolov3 với đầu vào 72 ảnh NG, 20 ảnh OK. Do sốlượng ảnh NG nhỏ, để tăng số lượng mẫu áp dụng các phương pháp tăng cường dữ liệu cơ bản như lật, xoay, thay đổi độsáng độtương phản, … Đào tạo mơ hình YOLOv3 với kích thước đầu vào của mạng là 416x416, batch size 64, max batches 20000 vòng lặp, learning rate 0.001, decay 0.0005. Biểu đồ quá trình đào tạo thu được như hình 5.16 và 5.17. Trên biểu đồ cho thấy loss giảm dần và đạt giá trị nhỏ nhất khoảng 0.0167. Giá trị độ chính xác trung bình (mean average precision – mAP) tăng dần và đạt giá trị lớn nhất 91%. Do mAP có xu hướng giảm sau khi đạt giá trị lớn nhất, có nghĩa mơ hình đang có xu hướng q tải (overfit) nếu tiếp tục đạo tạo nên dừng quá trình đào tạo ở vịng lặp thứ 20000. Lấy mơ hình tốt nhất tại vị trí đạt mAP 91% cho q trình kiểm tra và đánh giá mơ hình đào tạo được.
65
Hình 5.22 Biểu đồ quá trình đào tạo YOLOv3
66 Áp dụng mơ hình đào tạo được kiểm tra trên 112 ảnh NG và 184 ảnh OK. Kích thước ảnh lớn nhất 5000x2000 pixel, tốc độ kiểm tra khoảng 3s trên một ảnh. Đối với các mẫu OK, mơ hình phát hiện sai lỗi 3 mẫu NG trong tổng số 184 mẫu OK. Đối với các mẫu NG, mơ hình phát hiện 108 mẫu NG trong tổng số 112 mẫu NG. Từđó tính tốn các tham sốđánh giá mơ hình như sau:
𝑃𝑃𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈 = 𝑇𝑇𝑃𝑃𝑇𝑇𝑃𝑃+𝐹𝐹𝑃𝑃 =108112= 0.964 PT 5.1 𝑅𝑅𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂 = 𝑇𝑇𝑃𝑃𝑇𝑇𝑃𝑃+𝐹𝐹𝐹𝐹 =108 + 3108 = 0.973 PT 5.2 𝐹𝐹1 = 2𝑝𝑝𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈𝑝𝑝𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈.+𝐴𝐴𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂𝐴𝐴𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂 =0.964 + 0.9730.964∗0.973
= 0.484
PT 5.3
Kết quả áp dụng cho các mẫu OK và NG như trong hình 5.18 dưới đây, sau khi phát hiện ra lỗi hệ thống sẽ đánh dấu vùng lỗi và hiện thị vị trí các lỗi trên màn hình.
67
Hình 5.25 Kết quả phát hiện lỗi xước mẫu NG
Hình 5.26 Kết quả phát hiện lỗi xước mẫu OK
5.2.5 Kết quả thực nghiệm lỗi nhám
Đào tạo mơ hình autoencoder để phát hiện lỗi bên trong lỗ trục chính với các thơng sốđầu vào: 360 ảnh OK kích thước 790x365 pixel, áp dụng các phương pháp tăng
68 dữ liệu và cắt ảnh thu được 50000 ảnh, kích thước ảnh đầu vào là 128x128 pixel, số vòng lặp tối đa 1000 epochs. Thời gian đào tạo mỗi epoch là 64s, quá trình đào tạo dừng tại epoch 700 khi giá trị validation loss khơng giảm sau 400 vịng lặp. Kết quảđào tạo tốt nhất thu được với các giá trị ssim loss = 0.0413, mse loss = 0.00006, validation ssim loss = 0.05072, validation mse loss = 0.00008.
69
Hình 5.28 Biểu đồ loss ssim khi đào tạo cho lỗ trục chính
Kết quả kiểm tra trên các mẫu OK và NG như trong hình 5.22, 5.23, 5.24 dưới đây, trên các mẫu NG mơ hình sẽ tái tạo khơng tốt các vùng lỗi dẫn đến độ lệch SSIM lớn, thơng qua hình ảnh phân bố giá trị SSIM giữa ảnh đầu vào và ảnh tái tạo được để khoanh vùng lỗi.
Hình 5.29 Kết quả kiểm tra lỗi nhám lỗ trục chính trên mẫu OK
Hình 5.30 Kết quả kiểm tra lỗi nhám lỗ trục chính trên mẫu NG
Áp dụng mơ hình đào tạo được kiểm tra ảnh bên trong lỗ trục chính với sốlượng 96 mẫu OK và 52 mẫu NG. Đối với các mẫu OK, mơ hình phát hiện sai lỗi 8 mẫu NG trong tổng số 96 mẫu OK. Đối với các mẫu NG, mơ hình phát hiện 52 mẫu NG trong tổng số 52 mẫu NG. Từđó tính tốn các tham sốđánh giá mơ hình như sau:
70 𝑃𝑃𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈 = 𝑇𝑇𝑃𝑃𝑇𝑇𝑃𝑃+𝐹𝐹𝑃𝑃 =5252= 1 PT 5.4 𝑅𝑅𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂 = 𝑇𝑇𝑃𝑃𝑇𝑇𝑃𝑃+𝐹𝐹𝐹𝐹 =52 + 852 = 0.87 PT 5.5 𝐹𝐹1 = 2𝑝𝑝𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈𝑝𝑝𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈.+𝐴𝐴𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂𝐴𝐴𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂 =1 + 0.871∗0.87 = 0.465 PT 5.6 Áp dụng quá trình tương tự để xây dựng mơ hình phát hiện lỗi bên trong lỗ con lăn. Các thơng sốcài đặt cho q trình đào tạo giống với khi đào tạo mơ hình cho lỗ trục chính. Sốlượng ảnh OK cho q trình đào tạo là 34 ảnh kích thước 375x118 pixel, áp dụng các phương pháp tăng dữ liệu và cắt ảnh thu được 578 ảnh, kích thước ảnh đầu vào là 128x128 pixel, số vòng lặp tối đa 2000 epochs. Thời gian đào tạo mỗi epoch là 1s, quá trình đào tạo dừng tại epoch 1400 khi giá trị validation loss không giảm sau 500 vòng lặp. Kết quảđào tạo tốt nhất thu được với các giá trị ssim loss = 0.15, mse loss = 0.0005, validation ssim loss = 0.16, validation mse loss = 0.0005.
71
Hình 5.32 Biểu đồ loss mse khi đào tạo cho lỗ con lăn
Quá trình kiểm tra các mẫu trong lỗ con lăn tương tự khi kiểm tra các mẫu bên trong lỗ trục chính như hình 5.26 dưới đây.
Hình 5.33 Kết quả kiểm tra lỗi nhám lỗ trục con lăn trên mẫu NG
Áp dụng mơ hình đào tạo được kiểm tra ảnh bên trong lỗ trục chính với sốlượng 20 mẫu OK và 14 mẫu NG. Đối với các mẫu OK, mơ hình phát hiện sai lỗi 1 mẫu NG trong tổng số 20 mẫu OK. Đối với các mẫu NG, mơ hình phát hiện 14 mẫu NG trong tổng số 14 mẫu NG. Từđó tính tốn các tham sốđánh giá mơ hình như sau:
72 𝑅𝑅𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂 = 𝑇𝑇𝑃𝑃𝑇𝑇𝑃𝑃+𝐹𝐹𝐹𝐹 =14 + 114 = 0.93 PT 5.8 𝐹𝐹1 = 2𝑝𝑝𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈𝑝𝑝𝐴𝐴𝐴𝐴𝑐𝑐𝑈𝑈𝑠𝑠𝑈𝑈𝑜𝑜𝑈𝑈.+𝐴𝐴𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂𝐴𝐴𝐴𝐴𝑐𝑐𝐴𝐴𝑂𝑂𝑂𝑂 =1 + 0.931∗0.93 = 0.48 PT 5.9
5.3 Kết luận, đánh giá hiệu quả của giải pháp
Bài luận văn này đã nghiên cứu và trình bày các phương pháp để kiểm tra ngoại quan sản phẩm rocker arm. Cơng việc chính của luận văn là phát hiện các lỗi hiện có trong q trình sản xuất rocker arm như: lỗi lệch trục trên lỗ trục chính và lỗ gen, lỗi vát mép trên lỗ trục chính, lỗi xước trên bề mặt và cạnh, lỗi nhám bên trong lỗ trục chính và lỗ con lăn.Để thực hiện được điều này, luận văn đã đưa ra các phương pháp khác nhau để kiểm tra từng loại lỗi: thuật toán RANSAC cho lỗi lệch trục và lỗi vát mép, thuật toán YOLO cho lỗi xước, thuật toán Autoencoder cho lỗi nhám bên trong lỗ. Kết quả thử nghiệm trên tập dữ liệu thu thập được cho thấy độ hiệu quả và chính xác của các phương pháp đối với từng loại lỗi, các thuật tốn đều cho độ chính xác cao, thời gian suy luận nhanh khi phát hiện đường tròn trên từng lỗ trục và vùng vát mép. Đối với các lỗi lệch trục và vát mép đã phát hiện được tất cảcác đường trịn và tính tốn các thơng số vềđộ lệch trên từng mẫu. Kết quảso sánh độ chính xác khi phát hiện đường trịn bằng thuật tốn RANSAC và khi đo đạc thực tế với sai lệch 0.3 mm, đạt độchính xác cao, đáp ứng u cầu các bài tốn kiểm tra lỗi lệch trục và vát mép. Tốc độ kiểm tra lỗi lệch trục là 1.5s cho 1 ảnh, lỗi vát mép là 1s cho 1 ảnh. Đối với các lỗi xước, đào tạo được mơ hình cho độ chính xác lên đến 96.4%, các chỉ số đánh giá mơ hình lần lượt là: precision 0.964, recall 0.973, F1 0.484. Các lỗi nhám bên trong lỗ, mơ hình đào tạo đã phát hiện được tất cả các mẫu lỗi hiện có, đạt độ chính xác 100%, vẫn cịn phát hiện sai trên các mẫu tốt. Tuy nhiên, các mơ hình YOLO và Autoencoder để phát hiện lỗi xước và lỗi nhám vẫn cịn những nhược điểm. Do kích thước ảnh lớn nên thời gian suy luận khi phát hiện vết xước vẫn còn chậm, yêu cầu thực tế cần chạy với thời gian thực để đáp ứng được trong sản xuất. Mơ hình YOLO chưa phát hiện được toàn bộ các ảnh lỗi xước, phát hiện nhầm các mẫu khơng có lỗi. Mơ hình Autoencoder cũng cịn phát hiện nhầm trên các mẫu khơng có lỗi.
Trong tương lai cần cải thiện độ chính xác của các mơ hình đối với các mẫu khơng có lỗi. Đồng thời cải thiện thời gian suy luận đối với mơ hình YOLO. Để có thể áp dụng kết quả vào quá trình sản xuất cần thu thập thêm mẫu, mở rộng tập dữ liệu, đào tạo lại các mơ hình với dữ liệu mới đểtăng tính khái qt và độ chính xác. Đối với lỗi vát mép và lỗi lệch trục cần tính tốn tham số∆𝑅𝑅𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 đạt yêu cầu của nhà máy trên các mẫu tốt. Đỗi với lỗi xước thu thập thêm nhiều mẫu NG để cải thiện mơ hình YOLO cho kết quảcao hơn. Các lỗi nhám bên trong lỗ, có thểđiều chỉnh mơ hình hoặc hệ chiếu sáng tránh phát hiện nhầm các mẫu OK, loại bỏảnh hưởng từbên ngoài như bụi bẩn hay dầu.
73
TÀI LIỆU THAM KHẢO
[1] 1. Steger, Carsten; Markus Ulrich; Christian Wiedemann
(2018). Machine Vision Algorithms and Applications (2nd ed.). Weinheim: Wiley-VCH. p. 1. ISBN 978-3-527-41365-2.
Retrieved 2018-01-30.
[2] 2. Beyerer, Jürgen; Puente León, Fernando & Frese, Christian
(2016). Machine Vision - Automated Visual Inspection: Theory, Practice and Applications. Berlin: Springer. doi:10.1007/978-3- 662-47794-6. ISBN 978-3-662-47793-9. Retrieved 2016-10-11.
[3] 3. Graves, Mark & Bruce G. Batchelor (2003). Machine Vision for the
Inspection of Natural Products. Springer. p. 5. ISBN 978-1-85233- 525-0. Retrieved 2010-11-02.
[4] 4. Steger, Carsten; Markus Ulrich; Christian Wiedemann
(2018). Machine Vision Algorithms and Applications (2nd ed.). Weinheim: Wiley-VCH. p. 1. ISBN 978-3-527-41365-2.
Retrieved 2018-01-30.
[5] 5. John Canny, “A computational approach to edge detection”,
Pattern Analysis and Machine Intelligence, IEEE Transactions on, (6):679–698, 1986.
[6] 6. Satoshi Suzuki and others, “Topological structural analysis of
digitized binary images by border following”, Computer Vision, Graphics, and Image Processing, 30(1):32–46, 1985.
[7] 7. M. A. Fischler and R. C. Bolles, “Random sample consensus: A
paradigm for model fitting with applications to image analysis and automated cartography”, Communications of the ACM, vol. 24, no. 6, 1981, pp. 381–395.
[8] 8. Joseph Redmon, Ali Farhadi, “YOLOv3: An Incremental
Improvement”, ArXiv, 2018.
[9] 9. Shuang Mei, Yudan Wang and Guojun Wen, “Automatic Fabric
Defect Detection with a Multi-Scale Convolutional Denoising Autoencoder Network Model”, Sensors 2018, 18, 1064.
[10] 10. Jiawei Yu, Ye Zheng, Xiang Wang, Wei Li, Yushuang Wu, Rui
Zhao, Liwei Wu, “FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows”, ArXiv, 2021.
[11] 11. Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard
Schölkopf, Thomas Brox, Peter Gehler, “Towards Total Recall in Industrial Anomaly Detection”, ArXiv, 2022.
[12] 12. https://github.com/AlexeyAB/darknet
[13] 13. https://github.com/AlexeyAB/Yolo_mark
[14] 14. https://github.com/plutoyuxie/AutoEncoder-SSIM-for-unsupervised-
74