B.Kiểm chứng kết quả:
Ảnh từ camera sẽ được quay cùng hướng với ảnh mẫu ta thu được ảnh (b), sau đó chuyển ảnh sang không gian màu YUV ảnh (c), lấy kết quả đó thực hiện phép trừ ảnh với ảnh mẫu ta được ảnh (d), tiếp đó ta lọc nhiễu để bỏ các vùng lỗi nhỏ ảnh (e). Với các vùng nhiễu thỏa mãn các điều kiện về độ lớn, độ đặc, tỉ lệ dài và rộng ta sẽ lưu lại tọa độ để thực hiện các bước tiếp theo.
57
(a) (b) (c)
Kiểm tra model resnet50:
Với các tọa độ vùng lỗi thu được ở phần A ta sẽ resize về kích thước 300x300x3 để đưa vào mạng resnet50 để nhận diện linh kiện bị thiếu hoặc thừa.
Kiểm tra model mobilenet.
Tương tự ta cũng lấy dữ liệu các vùng lỗi ở phần A sau khi resize về kích thước 300x300x3 để đưa vào mạng mobilenet để kiểm tra chiều linh kiện.
Kiểm tra model U2net tương tự ta cũng lấy dữ liệu các vùng lỗi ở phần A sau khi resize về kích thước 256x256x3 để đưa vào mạng U2-net để kiểm tra vết xước
3.5 Đánh giá tổng quan đồ án:
Hệ thống đã được kiểm tra 200 lần với mỗi loại mạch và linh kiện bị hỏng trong 2 điều kiện thiếu sáng cũng như ngược sáng với 2 loại mạch là đúng hay sai. Biểu đồ được vẽ trong dựa vào file CSV sau khi xử lý mạch bao gồm độ chính xác của mỗi linh kiện trong trường hợp khác nhau.
Nhìn chung, hệ thống hoạt động ổn định trong trường hợp đủ sáng với độ chính xác với mạch đúng từ 92% - 95%, với mạch sai từ 89-92% và trong trường hợp thiếu sáng thì độ chính xác giảm mạnh khoảng 20-30%. Năng suất của hệ thống đạt tối đa là 300 mạch/giờ.
3.6 Hạn chế và phương án giải quyết: 3.6.1 Hạn chế
- Hệ thống còn phụ thuộc nhiều vào điều kiện ánh sáng do yếu tố Camera còn kém
- Năng suất hệ thống còn thấp.
- Số lượng linh kiện nhận diện còn thấp, độ chính xác chưa cao, chưa tối ưu được nhiều loại linh kiện nhỏ.
- Chưa nhận diện được các linh kiện hỏng quá nhỏ.
3.6.2 Phương án giải quyết
- Rút ngắn độ dài băng tải sẽ làm tăng năng suất hệ thống.
- Sử dụng Camera độ phân giải cao giúp làm tăng loại linh kiện có thể nhận diện. - Sử dụng mô hình U2Net để phân vùng các vùng lỗi nhỏ.
TÀI LIỆU THAM KHẢO
[1] Adrian Kaehler and Gary Bradski, “Learning OpenCV 3 Computer Vision in C++ with the OpenCV Library”, O’Reilly Media, Inc, 2017.
[2] M.A. Fischler and R.C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 24(6):381–395, 1981.
[3] Rublee, Ethan; Rabaud, Vincent; Konolige, Kurt; Bradski, Gary (2011). "ORB: an efficient alternative to SIFT or SURF" (PDF). IEEE International Conference on Computer Vision (ICCV).
[4] S. Liu and W. Deng, "Very deep convolutional neural network based image classification using small training sample size," 2015 3rd IAPR Asian Conference on Pattern Recognition (ACPR), 2015, pp. 730-734, doi: 10.1109/ACPR.2015.7486599.
[5] K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778, doi: 10.1109/CVPR.2016.90.
[6] C. Szegedy et al., "Going deeper with convolutions," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 1-9, doi: 10.1109/CVPR.2015.7298594.
[7] Howard, Andrew & Zhu, Menglong & Chen, Bo & Kalenichenko, Dmitry & Wang, Weijun & Weyand, Tobias & Andreetto, Marco & Adam, Hartwig. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications.
[8] Samarth Brahmbhatt,”Practical Opencv”,2013
[9] Milan Sonka, Vaclav Hlavac, Roger Boyle“Image Processing Analysis and Machine Vision”, 2013
[10] Shams Ur Rehman, Ka Fei Thang, Nai Shyan Lai,” Automated PCB identification and defect-detection system”,Vol. 9, No.1 February 2019,pp.297-306,IJECE
[11] Richard Szeliski, “Computer vision algorithms and applications”, Springer, 2011
[12] Rowel Atienza, “Advanced Deep learning with Tensorflow 2 and Keras”, Packt, 2020
[13] Nguyễn Thanh Tuấn, “Deep learning cơ bản”, 2020
[14] David Millán Escrivá and Robert Laganiere, “Opencv 4 Computer Vision Application Programming”, 2019
PHỤ LỤC
[1] Lưu đồ thuật toán. [2] Bản vẽ gối đỡ trục quay. [3] Bản vẽ gối đỡ trục điều chỉnh. [4] Bản vẽ gá cảm biến.
[5] Bản vẽ gá đỡ động cơ băng tải. [6] Bản vẽ gối đỡ trục truyền động. [7] Bản vẽ gá động cơ tay máy 1. [8] Bản vẽ gá động cơ tay máy 2. [9] Bản vẽ hộp đèn trợ sáng. [10] Bản vẽ tấm chặn PCB lỗi. [11] Bản vẽ hộp trợ sáng. [12] Bản vẽ lắp.