Ứng dụng học sâu và xử lý ảnh phát hiện lỗi trong sản xuất chip soc

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM MINH HẢI ỨNG DỤNG HỌC SÂU VÀ XỬ LÝ ẢNH PHÁT HIỆN LỖI TRONG SẢN XUẤT CHIP SOC Chuyên ngành: Điều khiển Tự Động Hóa Mã số: 8520216 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2023 Luận văn tốt nghiệp Cơng trình hoàn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM Cán hướng dẫn khoa học : PGS.TS Huỳnh Thái Hoàng – TS Phạm Việt Cường Cán chấm nhận xét : TS Nguyễn Vĩnh Hảo Cán chấm nhận xét : PGS TS Lê Mỹ Hà Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 11 tháng năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch hội đồng: PGS TS Nguyễn Tấn Lũy Phản biện 1: TS Nguyễn Vĩnh Hảo Phản biện 2: PGS TS Lê Mỹ Hà Ủy viên: TS Nguyễn Ngọc Sơn Thư ký: TS Nguyễn Trọng Tài Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Phạm Minh Hải MSHV: 1970153 Ngày, tháng, năm sinh: 26/11/1995 Nơi sinh: Thái Bình Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa Mã số : 8520216 I TÊN ĐỀ TÀI: Ứng dụng học sâu xử lý ảnh phát lỗi sản xuất chip SOC – Vision based defect detection for SOC chip manufacturing NHIỆM VỤ VÀ NỘI DUNG: - Giải toán phát sản phẩm lỗi dây chuyền sản xuất chip bán dẫn Xây dựng ứng dụng bổ sung cho hệ thống có sẵn nhằm tăng cường khả phát giảm thiểu lỗi - Khảo sát độ xác phương pháp Patch Distribution Modeling (PaDiM), Template Matching kết hợp với kỹ thuật xử lý ảnh điều kiện khác II NGÀY GIAO NHIỆM VỤ : 5/9/2022 III NGÀY HOÀN THÀNH NHIỆM VỤ: 28/12/2022 IV.CÁN BỘ HƯỚNG DẪN: PGS.TS Huỳnh Thái Hoàng – TS Phạm Việt Cường Tp HCM, ngày 28 tháng 12 năm 2022 i Luận văn tốt nghiệp CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ (Họ tên chữ ký) ii Luận văn tốt nghiệp LỜI CẢM ƠN Với truyền thống sáng tạo ham học hỏi từ hệ trước khoa Điện – Điện Tử nói chung Bộ Mơn Tự Động Hóa nói riêng, luận văn tốt nghiệp tổng kết hành trình nghiên cứu học tập sinh viên phần thể ước mơ cống hiến dù nhỏ bé để xây dựng đất nước May mắn nhận hướng dẫn giúp đỡ thầy cơ, anh chị khóa bạn bè nên em có điều kiện để thực đề tài luận văn Hi vọng rằng, với nhiệt huyết tuổi trẻ niềm đam mê nghiên cứu không ngừng nghỉ hệ sinh viên, đề tài luận văn đóng góp thêm nhiều kiến thức hữu ích cho ngành Tự Động Hóa Việt Nam Em xin cảm ơn quý thầy cô khoa Điện – Điện Tử đồng hành em năm tháng giảng đường để em có kiến thức bổ ích, khơng tri thức khoa học mà kinh nghiệm thực tế giúp em giải nhiều vấn đề khác sống Em xin gửi lời cảm ơn chân thành đến thầy PGS TS Huỳnh Thái Hoàng thầy TS Phạm Việt Cường giúp đỡ em nhiều để em hồn thành luận văn từ việc chọn đề tài, hướng dẫn đến giám sát, kiểm tra Sau em xin gửi lời cảm ơn đến gia đình, bạn bè ln đồng hành, chia sẻ em Dù thành công hay thất bại, em ghi nhớ trân quý giá trị Tp Hồ Chí Minh, ngày 12 tháng 12 năm 2022 Phạm Minh Hải iii Luận văn tốt nghiệp TÓM TẮT LUẬN VĂN Trong sản xuất chip bán dẫn, chất lượng độ tin cậy ưu tiên hàng đầu Do đó, hệ thống giám sát kiểm tra lỗi xác điều kiện tiên đảm bảo sản phẩm tốt đến tay khách hàng Một hệ thống kiểm tra kết hợp với sai lệch quy trình sản xuất hạn chế phần cứng dẫn tới sản phẩm lỗi bị bỏ sót Trong hầu hết cơng đoạn, sản phẩm lỗi giám sát camera có độ phân giải cao Tuy nhiên, vài lỗi vượt khả hệ thống giám sát gây hậu nghiêm trọng chất lượng Luận văn tập trung tăng cường khả phát lỗi hệ thống kiểm tra sẵn có cách xây dựng ứng dụng xử lý, phân tích hình ảnh có khả phát lỗi mà hệ thống chưa phát Ứng dụng tận dụng hình ảnh tạo hệ thống Các phương pháp Patch Distribution Modeling (PaDiM), Template Matching số kỹ thuật xử lý ảnh sử dụng kết hợp để phát sản phẩm lỗi Kết nhận dạng gửi đến người vận hành hệ thống tự động khác Các thí nghiệm kết trình bày phần sau luận văn iv Luận văn tốt nghiệp ABSTRACT Quality and reliability are the principles of semiconductor manufacturing Thus, precise visual inspection and defect containment are prerequisites to ensure flawless final products delivering to customers and organizational image sustainability Poor inspection systems, process deviation and hardware limitations could translate into defect escapees The defects are mostly segregated by high-resolution camera inspection However, some cosmetic footprints are beyond their capability and sometimes cause severe quality excursion The thesis focuses on improving the inspection capability of existing system with a complementary application which has the ability to scan the defects that are out of the region of interest (ROI) of current system The application is making use of the images produced by the inline inspection machine The combination of Patch Distribution Modeling (PaDiM), Template Matching and other computer vision techniques is used to recognize the defects The results are then sent to users by an automated system All the design of experiments as well as the inspection result will be given in the following sections v Luận văn tốt nghiệp LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn khoa học PSG.TS.Huỳnh Thái Hoàng TS Phạm Việt Cường, nội dung nghiên cứu, kết đề tài trung thực chưa cơng bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ mơ thực nghiệm thân thực Ngồi ra, luận văn này, tác giả có tham khảo số tài liệu nước, tất có ghi cụ thể Nếu phát có gian lận tơi xin chịu hồn tồn trách nhiệm nội dung luận văn Trường Đại học Bách khoa thành phố Hồ Chí Minh khơng liên quan đến vi phạm tác quyền, quyền tơi gây q trình thực (nếu có) TP Hồ Chí Minh, ngày 12 tháng 12 năm 2022 Phạm Minh Hải vi Luận văn tốt nghiệp MỤC LỤC Chương GIỚI THIỆU 1.1 Tổng quan 1.2 Tình hình nghiên cứu nước 1.3 Mục tiêu nhiệm vụ luận văn 1.4 Nội dung luận văn Chương CƠ SỞ LÝ THUYẾT 2.1 Đặc điểm lỗi ngoại quan thường gặp sản xuất chip bán dẫn 2.2 Một số phương pháp xử lý ảnh phát lỗi công nghiệp 2.3 Phương pháp Template Matching 11 2.4 Kiến trúc Residual Neural Network (ResNet) cho toán nhận dạng vật thể 13 2.5 Phương pháp mơ hình hóa phân phối đặc trưng (Patch Distribution Modeling - PaDiM) 14 2.6 Ứng dụng xử lý ảnh phát lỗi lệch/thiếu linh kiện 18 2.7 Một số phương pháp tiền xử lý ảnh áp dụng cho toán CNN 19 Chương QUÁ TRÌNH THỰC HIỆN 21 3.1 Cấu trúc hệ thống 21 3.2 Phân loại toán 23 3.2.1 Lỗi vết bẩn trầy xước bề mặt 23 3.2.2 Lỗi lệch linh kiện 24 3.3 Tiền xử lý ảnh 24 3.4 Thu thập liệu huấn luyện đánh giá 24 3.5 Phát sản phẩm bị lệch sử dụng OpenCV 27 3.6 Phát vết bẩn trầy xước bề mặt sử dụng CNN 30 3.7 Thiết kế giao diện phục vụ cho việc huấn luyện 33 Chương KẾT QUẢ THỰC HIỆN VÀ ĐÁNH GIÁ 36 4.1 Kết nhận dạng huấn luyện mơ hình CNN với số lượng hình ảnh đầu vào thay đổi 36 4.2 Kết nhận dạng huấn luyện mơ hình CNN với phương pháp tiền xử lý ảnh khác 39 4.3 Kết nhận dạng huấn luyện mơ hình CNN với kích thước vector đặc trưng khác 42 4.4 Kết phát lệch/thiếu linh kiện 47 vii Luận văn tốt nghiệp Chương KẾT LUẬN 52 5.1 Kết đạt 52 5.2 Hướng phát triển 53 TÀI LIỆU THAM KHẢO 54 PHỤ LỤC 56 PHỤ LỤC 57 PHỤ LỤC 58 PHỤ LỤC 59 PHỤ LỤC 60 PHỤ LỤC 61 PHỤ LỤC 62 PHỤ LỤC 63 PHỤ LỤC 64 PHỤ LỤC 10 65 PHỤ LỤC 11 66 viii Luận văn tốt nghiệp 5.2 Hướng phát triển - Cải thiện liên tục hệ thống cách tự động việc so sánh kết hệ thống với kết nhận dạng cơng đoạn phía sau Nếu có sai lệch, hệ thống sử dụng hình ảnh bị phân loại sai chưa phân loại để huấn luyện lại 53 Luận văn tốt nghiệp TÀI LIỆU THAM KHẢO [1] Fortune Business Insights "Semiconductor Market Report" [Online] Available: https://www.fortunebusinessinsights.com/semiconductor-market-102365, Nov 2022 [2] N V Trường N D Linh, "Nghiên cứu ứng dụng mạng neural network cho hệ thống kiểm tra linh kiện điện tử thời gian thực," Tạp chí khoa học cơng nghệ tập 56 – số 6, Dec 2020 [3] J Luo et al., "FPCB Surface Defect Detection: A Decoupled Two-Stage Object Detection Framework," IEEE Transactions on Instrumentation and Measurement, vol 70, pp 1-11, 2021 doi: 10.1109/TIM.2021.3092510 [4] R Girshick et al., "Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation," in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2014, pp 580-587, doi: 10.1109/CVPR.2014.81 [5] Q Zhang and H Liu "Multi-scale Defect Detection of Printed Circuit Board Based on Feature Pyramid Network," 2021 IEEE International Conference on Artificial Intelligence and Computer Applications (ICAICA), pp 911-914, 2021 [6] T -Y Lin et al., "Feature Pyramid Networks for Object Detection," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 936-944, 2017 [7] C.-W Lei et al., "Automated Surface Defect Inspection Based on Autoencoders and Fully Convolutional Neural Networks," Applied Sciences, vol 11, 2021 [8] J Rovani "End-to-end Object Detection with Template Matching using Python" [Online] Available: www.sicara.fr, Nov 2022 54 Luận văn tốt nghiệp [9] K He et al., "Deep Residual Learning for Image Recognition," in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 770-778, 2016 [10] H H Tan and K H Lim "Vanishing Gradient Mitigation with Deep Learning Neural Network Optimization," in 2019 7th International Conference on Smart Computing & Communications (ICSCC), Sarawak, Malaysia, pp 1-4, 2019 [11] T Defard et al., "PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization," in 1st International Workshop on Industrial Machine Learning, held on a virtual platform, ICPR 2020 [12] O Rippel et al., "Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection," in 2020 25th International Conference on Pattern Recognition (ICPR), Milan, Italy, 2021 pp 6726-6733 [13] Machine Learning Plus "Mahalanobis Distance" [Online] Available: https://www.machinelearningplus.com/statistics/mahalanobis, Nov 2022 [14] D Bao, "Tombstoning Explained", Metallic Resources, Inc., Feb 2017 [15] P Đ Khánh "Đánh giá mơ hình phân loại ML." Internet: https://phamdinhkhanh.github.io/2020/08/13/ModelMetric.html, 2020 [16] Pytorch "Fold & Unfold & Interpolation." Internet: https://pytorch.org/docs, 2022 55 Luận văn tốt nghiệp PHỤ LỤC Một số hình ảnh nhận dạng linh kiện bị lệch/mất sản phẩm Một số hình ảnh nhận dạng linh kiện bị lệch/mất sản phẩm Một số hình ảnh nhận dạng linh kiện bị lệch/mất sản phẩm 56 Luận văn tốt nghiệp PHỤ LỤC Một số lỗi nhận dạng lệch/mất linh kiện sản phẩm bị nhiễm bụi bẩn bị dính không sử dụng base fiducial 57 Luận văn tốt nghiệp PHỤ LỤC Kết nhận dạng accuracy training dataset thay đổi sản phẩm Kết nhận dạng accuracy training dataset thay đổi sản phẩm 58 Luận văn tốt nghiệp PHỤ LỤC Precision sản phẩm training dataset thay đổi Precision sản phẩm training dataset thay đổi 59 Luận văn tốt nghiệp PHỤ LỤC Recall sản phẩm training dataset thay đổi Recall sản phẩm training dataset thay đổi 60 Luận văn tốt nghiệp PHỤ LỤC Kết accuracy phương pháp tiền xử lý ảnh thay đổi sản phẩm Kết accuracy phương pháp tiền xử lý ảnh thay đổi sản phẩm 61 Luận văn tốt nghiệp PHỤ LỤC Kết precision thay đổi phương pháp tiền xử lý ảnh sản phẩm Kết precision thay đổi phương pháp tiền xử lý ảnh sản phẩm 62 Luận văn tốt nghiệp PHỤ LỤC Kết recall thay đổi phương pháp tiền xử lý ảnh sản phẩm Kết recall thay đổi phương pháp tiền xử lý ảnh sản phẩm 63 Luận văn tốt nghiệp PHỤ LỤC Kết nhận dạng accuracy kích thước vector đặc trưng thay đổi sản phẩm Kết nhận dạng accuracy kích thước vector đặc trưng thay đổi sản phẩm 64 Luận văn tốt nghiệp PHỤ LỤC 10 Kết nhận dạng precision kích thước vector đặc trưng thay đổi sản phẩm Kết nhận dạng precision kích thước vector đặc trưng thay đổi sản phẩm 65 Luận văn tốt nghiệp PHỤ LỤC 11 Kết nhận dạng recall kích thước vector đặc trưng thay đổi sản phẩm Kết nhận dạng recall kích thước vector đặc trưng thay đổi sản phẩm 66 Luận văn tốt nghiệp LÝ LỊCH TRÍCH NGANG Họ tên: Phạm Minh Hải Ngày, tháng, năm sinh: 26/11/1995 Nơi sinh: Thái Bình Địa liên lạc: 74/79 đường số 8, phường Trường Thạnh, thành phố Thủ Đức, thành phố Hồ Chí Minh QUÁ TRÌNH ĐÀO TẠO 9/2013 – 4/2018: Sinh viên khoa Điện – Điện Tử, môn Điện Tử Viễn Thơng, trường Đại Học Bách Khoa Thành phố Hồ Chí Minh 9/2019 – 12/2022: Học viên Cao Học khoa Điện – Điện Tử, môn Điều Khiển Tự Động Hóa, trường Đại Học Bách Khoa Thành phố Hồ Chí Minh Q TRÌNH CƠNG TÁC 2/2018 – nay: Kỹ sư công ty TNHH Intel Products Việt Nam 67