Định vị và phân loại board mạch bị lỗi thiếu linh kiện bằng công nghệ xử lý ảnh và robot

ỦY BAN NHÂN DÂN TP.HCM SỞ KHOA HỌC VÀ CÔNG NGHỆ THÀNH ĐỒN TP HỒ CHÍ MINH BÁO CÁO NGHIỆM THU ĐỊNH VỊ VÀ PHÂN LOẠI BO MẠCH BỊ LỖI THIẾU LINH KIỆN BẰNG CÔNG NGHỆ XỬ LÝ ẢNH VÀ ROBOT NGUYỄN VIỆT THẮNG CƠ QUAN CHỦ TRÌ: TRUNG TÂM PHÁT TRIỂN KHOA HỌC VÀ CÔNG NGHỆ TRẺ THÀNH PHỐ HỒ CHÍ MINH THÁNG 12/ 2015 TĨM TẮT Quy trình sản xuất bo mạch in điện tử, gọi tắt PCB (Printed Circuit Board), quy trình phổ biến, thƣờng địi hỏi nhiều ứng dụng cơng nghệ cao Trong đó, việc kiểm tra PCB với đầy đủ linh kiện việc làm khó khăn với ngƣời lao động tính chất địi hỏi tập trung cao bền bỉ công nhân Để giải vấn đề này, nhiều giải pháp đƣợc đề xuất, cơng nghệ xử lý ảnh lên nhƣ phƣơng án tốt với ƣu điểm nhƣ tốc độ xử lý nhanh độ xác cao Tuy nhiên, giá thành hệ thống thƣờng cao Đề tài trình bày giải pháp để kiểm tra linh kiện bị thiếu PCB hồn chỉnh Theo đó, giải thuật phù hợp đƣợc đề xuất cho camera giá thành thấp, cho phép xây dựng quy trình kiểm tra có tính đơn giản kinh tế ABSTRACT The manufacturing process of Printed Circuit Board (PCB) nowsaday requires several high-tech procedures Among them, components inspection on PCB usually requires high attention concentration and labor persistence Solutions were suggested to solve this problem, among which computer vision emerged as one of the most suited with high speed and precise detection capacity, but usually high cost This project presents a solution to detect missing components on PCB using low cost camera and an appropriate algorithm that meets the requirements of the producer DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT PCB: Printed Circuit Board SMT: Surface Mount Technology AI: Auto Insertion MI: Manual Insertion AOI: Automated Optical Inspection ICT: In-Circuit Test IC: Integrated Circuit RGB: Red – Green – Blue HSV: Hue – Saturation – Value Trang i DANH MỤC CÁC BẢNG Bảng 1: Các công việc tiến hành giai đoạn v Bảng : Thông số kỹ thuật camera C920 31 Bảng 3: Bộ lọc Gaussian đƣợc xấp xỉ rời rạc 36 Bảng 4: Bảng kết kiểm tra bo không bị lỗi, không dùng lọc Gaussian 49 Bảng 5: Bảng kết kiểm tra bo lỗi, không dùng lọc Gaussian 49 Bảng 6: Bảng kết kiểm tra bo không lỗi, dùng lọc Gaussian 5x5 49 Bảng 7: Bảng kết kiểm tra bo không lỗi, dùng lọc Gaussian 5x5 50 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Minh họa hệ thống kiểm tra bo mạch Hình 2.1 Một số linh kiện SMT Hình 2.2 Một số linh kiện AI Hình 2.3 Quá trình kiểm tra linh kiện dán máy AOI Hình 2.4 Một số linh kiện phải cắm tay 10 Hình 2.5 Hàn chì máy hàn chì dạng sóng Hình bên trái: Máy hàn chì nhìn từ bên ngồi Hình bên phải: Q trình hàn chì bên máy 10 Hình 2.6 Kiểm tra linh kiện mạch điện 11 Hình 2.7 Kiểm tra chức hoạt động mạch 12 Hình 2.8 Bo mạch sau hoàn chỉnh đƣợc đặt vào thùng đóng gói lại 13 Hình 3.1 Lọc nhiễu cho ảnh lọc Gaussian 17 Hình 3.1 Áp dụng lọc Gaussian 3x3 9x9 lên ảnh chụp tụ điện 18 Hình 3.2 Khơng gian màu RGB 19 Hình 3.2 Khơng gian màu HSV 20 Hình 3.3 Đèn chiếu sáng Hình bên trái : Đèn led Hình bên phải: đèn huỳnh quang 23 Hình 3.4 Giao diện lập trình Visual Studio 28 Hình 3.5 Giao diện lập trình Visual Studio 29 Hình 4.1 Bo đạt - Các linh kiện đƣợc gắn đầy đủ, loại, vị trí, hƣớng 33 Trang ii Hình 4.2 Bo không đạt – Hầu hết linh kiện loại, vị trí Linh kiện bị thiếu cần đƣợc đánh dấu ô màu đỏ Một số linh kiện đƣợc cắm vị trí chân nhƣng khơng hồn tồn nằm vị trí với ảnh chuẩn đƣợc chấp nhận (đƣợc đánh dấu ô màu vàng) 34 Hình 4.3 Ảnh bo mẫu khơng có có linh kiện 35 Hình 4.4 Đánh dấu vị trí cần kiểm tra nơi có linh kiện (các hình chữ nhật màu xanh cây) 35 Hình 4.5 Áp dụng lọc Gaussian 5x5 lên ảnh Hình bên trái: Ảnh gốc Hình bên phải: Ảnh sau lọc 36 Hình 4.6 Chuyển đổi ảnh từ không gian màu RGB sang không gian màu HSV Hình bên trái: Ảnh khơng gian màu RGB Hình bên phải: Ảnh khơng gian màu HSV 37 Hình 4.7 Các kênh màu khơng gian màu HSV Hình bên trái: kênh màu Hue Hình giữa: Kênh màu Saturation Hình bên phải: kênh màu Value 37 Hình 4.8 Lƣu đồ giải thuật cho pha huấn luyện 38 Hình 4.9 Giao diện hàm tạo sở liệu cho chƣơng trình 40 Hình 4.10 Giao diện thuộc tính cần thiết lập cho camera 41 Hình 4.11 Giao diện chƣơng trình bảo mật 41 Hình 5.1 Định vị tách vùng ảnh có chứa bo mạch từ ảnh đầu vào Hình trái: Ảnh chuẩn bo mạch Hình phải: Ảnh kiểm tra nguyên gốc đƣợc chụp từ camera 43 Hình 5.2 Bản đồ tƣơng quan (correlation map) ảnh chuẩn bo mạch ảnh kiểm tra Điểm có giá trị cao vị trí bo mạch ảnh kiểm tra 43 Hình 5.3 Linh kiện mẫu (bên trái) vùng chứa linh kiện ảnh kiểm tra (bên phải) 44 Hình 5.4 Bản đồ tƣơng quan (correlation map) ảnh chuẩn linh kiện (ở trên) với vùng ảnh ảnh kiểm tra 44 Hình 5.5 Hình trái: ảnh linh kiện Hình giữa: histogram tƣơng ứng kênh màu Hue Hình phải: histogram tƣơng ứng kênh màu Saturation 45 Trang iii Hình 5.6 So sánh ảnh kiểm tra với ảnh mẫu có linh kiện ảnh mẫu khơng có linh kiện 46 Hình 5.7 Lƣu đồ giải thuật kiểm tra linh kiện thiếu bo mạch điện tử 47 Hình 6.1 Mơ hình hệ thống thử nghiệm Hình bên trái: Mơ hình nhìn từ bên ngồi Hình bên phải: Hệ thống chiếu sáng camera đƣợc gá bên mơ hình 48 Hình 6.2 Một số kết thực nghiệm với bo có đủ linh kiện Hình giữa: Bo chuẩn Hình bên trái bên phải: Bo kiểm tra với việc báo lỗi giả 51 Hình 6.3 Một số ảnh kết thực nghiệm với bo thiếu linh kiện Các chữ nhật màu xanh báo hiệu có linh kiện vị trí Các chữ nhật màu đỏ báo hiệu thiếu linh kiện 52 PHẦN MỞ ĐẦU Tên đề tài/dự án: Định vị phân loại bo mạch bị lỗi thiếu linh kiện công nghệ xử lý ảnh robot Chủ nhiệm đề tài/dự án: Nguyễn Việt Thắng Cơ quan chủ trì: Trung tâm phát triển khoa học công nghệ trẻ Thời gian thực hiện: 12 tháng Kinh phí đƣợc duyệt: 80 triệu đồng Kinh phí cấp: theo Thông báo số /TB-SKHCN Mục tiêu: 2.1 Mục tiêu tổng quát: Xây dựng hệ thống kiểm tra linh kiện bị thiếu board mạch với giá thành rẻ, độ tin cậy cao, nhằm đƣa vào sử dụng dây chuyền sản xuất 2.2 Mục tiêu cụ thể: - Khảo sát thông tin vấn đề lỗi thiếu linh kiện board mạch điện tử đƣợc sản xuất nhà máy Việt Nam, sở xây dựng bảng tiêu chí để đánh giá board có bị lỗi hay khơng Từ đề xuất so sánh phƣơng án Lựa chọn phƣơng án phù hợp để giải toán phân loại board thiếu (hay đủ) linh kiện - Xây dựng giải thuật kiểm tra linh kiện thiếu board mạch, gồm bƣớc: Trang iv + Bƣớc 1: Training (Huấn luyện): Xây dựng sở liệu tham chiếu gồm ảnh, ảnh board đạt yêu cầu (có đầy đủ linh kiện) ảnh board không đạt (các linh kiện vị trí kiểm tra bị thiếu) Các vị trí cần kiểm tra board đƣợc đánh dấu lại Chƣơng trình phân tích đặc trƣng khác loại board, lƣu liệu vào máy tính dùng cho bƣớc kiểm tra + Bƣớc 2: Testing (Kiểm tra): Board kiểm tra đƣợc chụp ảnh, đƣa vào máy tính phân tích Dựa sở liệu có, máy tính đƣa kết đánh giá đạt (có đủ linh kiện tất vị trí) hay khơng đạt (thiếu linh kiện bất kỳ) Nếu thiếu linh kiện vị trí thơng báo vị trí tên linh kiện thiếu tƣơng ứng - Xây dựng phần mềm kiểm tra linh kiện thiếu board mạch điện tử Sản phẩm đƣợc đƣa vào ứng dụng thử để kiểm tra board mạch công ty Nội dung: 3.1 Nội dung thực giai đoạn (đối chiếu với hợp đồng ký): Bảng 1: Các công việc tiến hành giai đoạn Công việc thực Công việc dự kiến Khảo sát thông tin lỗi thiếu linh Bảng báo cáo dạng lỗi thiếu linh kiện board mạch điện tử nhà máy kiện board, nguyên nhân tần suất xuất lỗi Xây dựng tiêu chí đánh giá board Bảng tiêu chí đánh giá bị lỗi thiếu hay khơng thiếu linh kiện Đề xuất phƣơng án lựa Báo cáo đề xuất lựa chọn phƣơng chọn phƣơng án kiểm tra lỗi phù hợp án Xây dựng giải thuật phần mềm kiểm Giải thuật kiểm tra linh kiện thiếu tra linh kiện thiếu board mạch board mạch điện tử công nghệ xử lý ảnh 3.2 Nội dung lại: Trang v - Xây dựng chƣơng trình phần mềm dựa giải thuật có - Thực nghiệm chƣơng trình với board mạch điện tử thực tế - Báo cáo tổng hợp Trang vi MỤC LỤC CHƢƠNG : TỔNG QUAN 1.1 Tổng quan hệ thống sản xuất kiểm tra bo mạch: 1.2 Giải pháp kiểm tra phân loại bo mạch: CHƢƠNG : KHẢO SÁT QUY TRÌNH SẢN XUẤT VÀ THƠNG TIN VỀ LỖI THIẾU LINH KIỆN TRÊN BO MẠCH ĐIỆN TỬ 2.1 Quy trình sản xuất bo mạch: 2.2 Kích thƣớc bo mạch kích thƣớc linh kiện: 13 2.3 Các lỗi thƣờng xuất bo mạch hoàn chỉnh: 13 2.4 Mức độ nghiêm trọng có bo bị lỗi: 15 CHƢƠNG : THAM KHẢO VÀ LỰA CHỌN GIẢI PHÁP CHO VIỆC PHÂN LOẠI BO MẠCH BỊ LỖI BẰNG CÔNG NGHỆ XỬ LÝ ẢNH 16 3.1 Tổng quan hệ thống xử lý ảnh: 16 3.1.1 Cấu trúc hệ thống kiểm tra công nghệ xử lý ảnh: 16 3.1.2 Xử lý thông tin ảnh sau xây dựng hệ thống phù hợp: 16 3.2 Các bƣớc tiền xử lý: 17 3.2.1 Lọc nhiễu ảnh: 17 3.2.2 Lựa chọn không gian màu: 18 3.3 Tham khảo giải pháp có cho việc phân loại bo mạch bị lỗi không bị lỗi công nghệ xử lý ảnh: 21 3.3.1 Tham khảo giải pháp phần cứng: 22 3.3.2 Tham khảo giải pháp phần mềm: 23 3.4 Ngơn ngữ lập trình, phần mềm thƣ viện mã nguồn mở: 26 Trang 3.4.1 Một số ngơn ngữ lập trình nay: 26 3.4.2 Phần mềm Visual Studio: 27 3.4.3 Thƣ viện mã nguồn mở OpenCV: 30 3.5 Đề xuất giải pháp cho việc phân loại bo mạch bị lỗi không bị lỗi công nghệ xử lý ảnh: 31 CHƢƠNG : XÂY DỰNG GIẢI THUẬT HUẤN LUYỆN CHO MÁY TÍNH PHÂN BIỆT BO ĐẠT VÀ KHÔNG ĐẠT 33 4.1 Định nghĩa bo đạt bo không đạt: 33 4.2 Xây dựng giải thuật huấn luyện cho máy tính phân biệt bo đạt khơng đạt: 34 4.3 Lƣu đồ giải thuật: 38 4.4 Các vấn đề khác khâu huấn luyện: 38 4.4.1 Tạo sở liệu cho loại bo: 39 4.4.2 Hiệu chỉnh Camera: 40 4.4.3 Tạo quyền quản lý chƣơng trình: 41 CHƢƠNG : XÂY DỰNG GIẢI THUẬT NHẬN DẠNG LINH KIỆN THIẾU TRÊN BOARD MẠCH ĐIỆN TỬ 42 5.1 Xây dựng giải thuật nhận dạng linh kiện thiếu board mạch điện tử: 42 5.2 Lƣu đồ giải thuật kiểm tra bo mạch: 46 CHƢƠNG : MƠ HÌNH VÀ KẾT QUẢ THỰC NGHIỆM 48 6.1 Mô hình hệ thống thực nghiệm: 48 6.2 Kết thực nghiệm: 48 6.3 Phân tích kết nhận đƣợc: 50 CHƢƠNG : KẾT LUẬN VÀ ĐỀ NGHỊ 53 Trang CHƢƠNG : TỔNG QUAN 1.1 Tổng quan hệ thống sản xuất kiểm tra bo mạch: Trong bối cảnh công nghiệp hóa, đại hóa nay, lĩnh vực sản xuất mặt hàng điện tử lĩnh vực phát triển nhanh mạnh, đƣợc công ty nƣớc nhƣ nƣớc ngồi tích cực đầu tƣ Trong đó, việc chế tạo bo mạch điện tử phần then chốt sản xuất hàng điện tử Một dây chuyền sản xuất bo mạch điện tử đƣợc khái qt gồm 10 bƣớc sau (hình 1.1) - Bƣớc 1: Đƣa bo (PCB) vào dây chuyền - Bƣớc 2: Dán chì - Bƣớc 3: Chuyển lên băng tải - Bƣớc 4: Gắp gắn linh kiện lên mạch - Bƣớc 5: Kiểm tra bo - Bƣớc 6: Đƣa vào nồi hấp chì dành cho linh kiện dán (SMD) - Bƣớc 7: Đƣa vào nồi hấp chì dành cho linh kiện chân cắm xuyên lỗ (THD) - Bƣớc 8: Đƣa lên băng tải - Bƣớc 9: Kiểm tra lại bo - Bƣớc 10: Đƣa khỏi dây chuyền xuất xƣởng Với công nghệ làm mạch dây chuyền tự động ngày nay, thời gian làm bo mạch trở nên ngắn so với việc sử dụng nhân công nhƣ ngày trƣớc Tuy nhiên, việc kiểm tra sau bo mạch đƣợc chế tạo lại gặp nhiều khó khăn Với bo đƣợc in khoan lỗ xong, lỗi thƣờng gặp là: - Đƣờng mạch sai - Lỗ khoan bị thiếu sai vị trí - Lỗ khoan khơng kích thƣớc - Bo bị cong vênh, nứt, gãy Trang Hình 5.1 Định vị tách vùng ảnh có chứa bo mạch từ ảnh đầu vào Hình trái: Ảnh chuẩn bo mạch Hình phải: Ảnh kiểm tra nguyên gốc chụp từ camera Hình 5.2 Bản đồ tương quan (correlation map) ảnh chuẩn bo mạch ảnh kiểm tra Điểm có giá trị cao vị trí bo mạch ảnh kiểm tra Sau tính tốn vị trí board mạch, tiến hành loại bỏ vùng ảnh xung quanh, giữ lại vùng ảnh board mạch cần kiểm tra Trang 43 Bước 2: Tƣơng tự phần tạo sở liệu (mục 4.2, chƣơng 4), việc khử nhiễu sơ ảnh kiểm tra cách áp dụng lọc Gaussian kích thƣớc 5x5 lên ảnh Bước 3: Ảnh kiểm tra đƣợc chuyển đổi từ không gian màu RGB sang không gian màu HSV Bước 4: Tiếp tục sử dụng phƣơng pháp khớp mẫu với phép đo hệ số tƣơng quan để dị tìm vùng ảnh giống với vùng ảnh linh kiện mẫu (hình 5.3 hình 5.4) Hình 5.3 Linh kiện mẫu (bên trái) vùng chứa linh kiện ảnh kiểm tra (bên phải) Hình 5.4 Bản đồ tương quan (correlation map) ảnh chuẩn linh kiện (ở trên) với vùng ảnh ảnh kiểm tra Trang 44 Dựa vào giá trị đồ tƣơng quan, ta tìm đƣợc vị trí vùng ảnh giống với vùng có linh kiện Sau đó, vùng ảnh đƣợc tách để kiểm tra bƣớc sau Lưu ý: Bƣớc bƣớc đổi vị trí với Hai bƣớc không thiết phải theo thứ tự tác giả đề xuất Bước 5: Ứng với kênh màu H, S, V, ta trích xuất vùng ảnh linh kiện (tìm đƣợc bƣớc 4) tính histogram ảnh Do có tất kênh màu, ta có histogram ảnh linh kiện Hình 5.5 Hình trái: ảnh linh kiện Hình giữa: histogram tương ứng kênh màu Hue Hình phải: histogram tương ứng kênh màu Saturation Bước 6: So sánh biểu đồ mức xám (histogram) ảnh với histogram ảnh linh kiện chuẩn (tƣơng ứng kênh màu) phép đo độ tƣơng quan (correlation) Kết thu đƣợc giá trị đo độ tƣơng quan (tƣơng ứng với kênh màu) Lấy trung bình giá trị đo này, ta đƣợc kết lƣu vào biến KQ1 Cách tính histogram ảnh sau: Gọi H histogram ảnh T, H[i] số lượng pixel mang mức xám i có ảnh T Ví dụ: H[0] số pixel mang giá trị ảnh T, H[255] số pixel mang giá trị 255 có ảnh T Phép đo độ tương quan histogram thực theo công thức sau: d ( H1 , H )   (H (I )  H ).(H (I )  H )  (H (I )  H )  (H (I )  H ) I 1 2 I 1 Trang 45 I 2 Với H k  N H k (J ) , N số mức xám J Bước 7: Tƣơng tự, ứng với kênh màu, so sánh histogram vùng ảnh (có đƣợc bƣớc 5) với histogram ảnh mẫu khơng có linh kiện phép đo độ tƣơng quan (correlation) Các kết phép đo đƣợc lƣu vào KQ2 Bƣớc 8: So sánh giá trị KQ1 KQ2 (hình 5.6) Theo cơng thức phép đo hệ số tƣơng quan, giá trị lớn mức độ ―liên quan‖ lớn, nghĩa đối tƣợng giống với mẫu Do KQ1 lớn KQ2 kết luận kênh màu thứ i có linh kiện Ngƣợc lại, KQ1 nhỏ KQ2 kết luận thiếu linh kiện Hình 5.6 So sánh ảnh kiểm tra với ảnh mẫu có linh kiện ảnh mẫu khơng có linh kiện 5.2 Lƣu đồ giải thuật kiểm tra bo mạch: Giải thuật kiểm tra linh kiện thiếu bo mạch điện tử đƣợc thể tóm tắt lƣu đồ giải thuật hình 5.7 Theo đó, bắt đầu kiểm tra, hệ thống chụp ảnh đƣa qua lọc Gaussian để khử nhiễu sơ Sau qua lọc Gaussian, hệ thống định vị lại bo mạch (do sai lệch khí, biến dạng bo ) Sau đó, ứng với linh kiện cần kiểm tra, hệ thống phân tích so sánh histogram vùng linh kiện ảnh test với histogram vùng linh kiện ảnh chuẩn Trang 46 Kiểm tra Chụp ảnh board kiểm tra Bộ lọc Gaussian Định vị board mạch So sánh histogram Kết luận Hình 5.7 Lưu đồ giải thuật kiểm tra linh kiện thiếu bo mạch điện tử Trang 47 CHƢƠNG : MƠ HÌNH VÀ KẾT QUẢ THỰC NGHIỆM 6.1 Mơ hình hệ thống thực nghiệm: Mơ hình thực nghiệm gồm camera đƣợc đặt vị trí phù hợp, hệ thống chiếu sáng chắn ánh sáng gây nhiễu từ bên ngồi Mơ hình bao gồm khay đỡ di chuyển đƣợc để đƣa bo mạch vào (hình 6.1) Bo mạch đƣợc dùng để thí nghiệm có kích thƣớc 19mm x 17mm Mơ hình có kích thƣớc nhƣ sau: - Kích thƣớc bên : 43mm x 37mm x 48mm (dài x rộng x cao) - Khoảng cách từ camera đến bo mạch: 27 mm - Với góc mở 90 độ độ cao 27 mm, kích thƣớc vùng quan sát camera là: 35mm x 24mm, nên đáp ứng đƣợc yêu cầu quan sát đầy đủ bo mạch Đèn chiếu sáng Hộp chắn sáng Camera Khay đỡ trƣợt vào Hình 6.1 Mơ hình hệ thống thử nghiệm Hình bên trái: Mơ hình nhìn từ bên ngồi Hình bên phải: Hệ thống chiếu sáng camera gá bên mơ hình 6.2 Kết thực nghiệm: Chƣơng trình đƣợc thử nghiệm máy tính có cấu hình CPU Core I5, RAM 3GB, camera có độ phân giải 1920 x 1080 pixels Bo mạch thực nghiệm đƣợc chọn có tổng số linh kiện cần kiểm 48 Việc thực nghiệm đƣợc tiến hành 50 bo mạch có đầy Trang 48 đủ linh kiện 50 bo mạch khơng có đủ linh kiện, tồng số 100 bo mạch Việc kiểm tra 100 bo mạch đƣợc thực lặp lại 20 lần, lần cách khoảng 60 phút Nhƣ vậy, tổng số lần kiểm tra 100 x 20 = 2000 lƣợt Một bo mạch đƣợc gọi bo lỗi có linh kiện thiếu Một bo mạch đƣợc gọi đạt khơng có linh kiện bị thiếu Kết thực nghiệm đƣợc thống kê bảng sau: Trường hợp không dùng lọc Gaussian trước kiểm tra: Với bo không bị lỗi (bo tốt): Bảng 4: Bảng kết kiểm tra bo không bị lỗi, không dùng lọc Gaussian Số bo Số lần kiểm tra kiểm tra 50 1000 Số lần Số lần Số lần Tỉ lệ Thời gian kiểm báo lỗi báo đạt đúng tra trung bình 959 95.9% 0.215 41 959 Với bo bị lỗi thiếu linh kiện: Bảng 5: Bảng kết kiểm tra bo lỗi, không dùng lọc Gaussian Số bo Số lần kiểm tra kiểm tra 50 1000 Số lần Số lần Số lần Tỉ lệ Thời gian kiểm báo lỗi báo đạt đúng tra trung bình 951 95.1% 0.193 49 951 Trường hợp có dùng lọc Gaussian 5x5 trước kiểm tra: Với bo không bị lỗi (bo tốt): Bảng 6: Bảng kết kiểm tra bo không lỗi, dùng lọc Gaussian 5x5 Số bo Số lần kiểm tra kiểm tra 50 1000 Số lần Số lần Số lần Tỉ lệ Thời gian kiểm báo lỗi báo đạt đúng tra trung bình 968 96.8% 0.225 32 968 Trang 49 Với bo bị lỗi thiếu linh kiện: Bảng 7: Bảng kết kiểm tra bo không lỗi, dùng lọc Gaussian 5x5 Số bo Số lần kiểm tra kiểm tra 50 1000 Số lần Số lần Số lần Tỉ lệ Thời gian kiểm báo lỗi báo đạt đúng tra trung bình 959 95.9% 0.201 41 959 6.3 Phân tích kết nhận đƣợc: - Tỉ lệ kiểm đạt mức 95,9% với bo lỗi (bảng 6) 96.8% với bo đạt (bảng 7) Nguyên nhân khác tỉ lệ mạch có linh kiện, hệ thống nhận dạng sai đƣa kết luận linh kiện bị thiếu, nhƣng thực tế linh kiện bị nghiêng, lệch, hay ánh sáng Trong đó, với bo mạch bị lỗi linh kiện thiếu, hệ thống bị thêm lỗi sai kết luận có linh kiện thiếu linh kiện Vì tỉ lệ bị lỗi với bo thiếu linh kiện cao tỉ lệ bị lỗi bo đủ linh kiện - Khi chƣa áp dụng lọc Gaussian, kết kiểm tra dễ bị nhiễu đó, tỉ lệ nhận dạng có lọc Gaussian - Khi mạch có linh kiện, hệ thống nhận dạng sai đƣa kết luận linh kiện bị thiếu, nhƣng thực tế linh kiện bị nghiêng, lệch, hay ánh sáng Trong đó, linh kiện bị thiếu, hệ thống có khả nhận dạng sai kết luận có linh kiện Vì tỉ lệ bị lỗi với bo thiếu linh kiện cao tỉ lệ bị lỗi bo đủ linh kiện - Việc sử dụng lọc Gaussian giúp giảm nhiễu không mong muốn nhƣ bụi hay chấm bẩn linh kiện, giúp cải thiện kết nhận dạng - Thời gian xử lý: Thời gian xử lý liệu ảnh đƣa kết kiểm tra xấp xỉ 0.21 giây, đáp ứng đƣợc yêu cầu đặt - Một số trƣờng hợp hệ thống báo sai: + Ở hình 6.2, hệ thống báo lỗi giả Ở hình báo lỗi giả thứ nhất, ngun nhân linh kiện có độ sáng bóng giảm nhiều so với linh kiện chuẩn Ở hình Trang 50 báo lỗi giả thứ 2, nguyên nhân linh kiện bị sai lệch vị trí so với bo chuẩn Do đó, hệ thống kiểm tra nhận định trƣờng hợp thiếu linh kiện + Một số trƣờng hợp hệ thống kiểm tra linh kiện bị thiếu nhƣ hình 6.3 Theo đó, linh kiện thiếu đƣợc hệ thống phát đánh dấu đỏ Những linh kiện có mặt đƣợc hệ thống đánh dấu màu xanh Hình 6.2 Một số kết thực nghiệm với bo có đủ linh kiện Hình giữa: Bo chuẩn Hình bên trái bên phải: Bo kiểm tra với việc báo lỗi giả Trang 51 Hình 6.3 Một số ảnh kết thực nghiệm với bo thiếu linh kiện Các ô chữ nhật màu xanh báo hiệu có linh kiện vị trí Các chữ nhật màu đỏ báo hiệu thiếu linh kiện Trang 52 CHƢƠNG : KẾT LUẬN VÀ ĐỀ NGHỊ Đề tài mô tả giải pháp giúp giảm chi phí thời gian xử lý cho trình nhận dạng kiểm tra việc thiếu linh kiện bo mạch Kết đề tài áp dụng vào việc phát triển hệ thống nhận dạng kiểm tra lỗi khác bo mạch điện tử, bao gồm lỗi nhƣ kiểm tra linh kiện dán (với kích thƣớc nhỏ, số lƣợng lớn nên dùng mắt thƣờng để kiểm tra), kiểm tra điểm hàn chì chân linh kiện, độ lệch linh kiện, hay kiểm tra đƣờng mạch PCB, v.v Mở rộng ra, kết tạo tiền đề cho việc phát triển ứng dụng xử lý ảnh để kiểm tra chi tiết, sản phẩm lỗi dây chuyền sản xuất công nghiệp Tuy nhiên, việc cải tiến hệ thống chiếu sáng camera, kèm với việc phát triển giải thuật tính tốn xác tối ƣu, cần đƣợc nghiên cứu nhiều để đạt hiệu cao trình kiểm tra Đề tài đồng thời tạo tiền đề cho việc xây dựng hệ thống kiểm tra xếp phân loại bo mạch điện tử robot công nghệ xử lý ảnh, tạo thành chuỗi tự động hóa hồn tồn, giúp tiết kiệm chi phí nhân cơng cho nhà máy sản xuất Trang 53 TÀI LIỆU THAM KHẢO: [1] Timothy S Newman, A survey of automated visual inspection, Computer Vision and Image Understanding, Vol 61, No 2, March, pp 231-262, 1995 [2] Rolan T.Chin, Automatic visual inspection techniques and application: a bibliography, Pattern Recognition, Vol 15, No 4, pp 343- 357, 1982 [3] C.J Smith and K.Adendorff, Advantages and limitations of an automated visualinspection system, Journal of Industrial Engineering, Vol 5, No 1, June 1991, pp 27-36 [4] Elias N Malamasa, Euripides G.M Petrakisa, Michalis Zervakisa, Laurent Petitb, Jean-Didier Legatb, A survey on industrial vision systems, applications and tools, Image and Vision Computing 21 (2003) 171–188 [5] Wen-Yen Wu, Mao-Jim J.Wang, Chih-Ming Liu, Automated inspection of printed circuit bos through machine vision, Computers in Industry 28 ( 1996) 103- 111 [6] Madhav Moganti, Segmentation of Printed Circuit Bo Images into Basic Patterns, Computer Vision and image understanding, Vol 70, No 1, April, pp 74–86, 1998 [7] K Sundaraj, Jejawi, Perlis, PCB inspection for missing or misaligned components using background subtraction, Journal WSEAS Transactions on Information Science and Applications, Volume Issue 5, May 2009 Pages 778-787 [8] I Ibrahim, S.A Rahman, S.A Bakar, M.M Mokji, J.A.A Mukred, Z.Yusof, Z Ibrahim, K.Khalil, M.S Mohamad, A printed Circuit Bo Inspection System with Defect Classification Capability, International Journal of Innovative Management, Information & Production ISME International, March 2012, Vol 3, No 1: pp.82-87 [9] Fabiana R Leta, Flávio F Feliciano, Flavius P R Martins, Computer Vision System for Printed Circuit Bo Inspection, ABCM Symposium Series in Mechatronics, Vol 3, pp 623-632, 2008 [10] Chin-Sheng Chen, Chun-Wei Yeh, Peng-Yeng Yin, A novel Fourier Descriptor Based Image Alignment Algorithm for Automatic Optical Inspection, Elsevier Journal Trang 54 of Visual Communication and Image Representation, Vol 20, Issue 3, April 2009, pp 178–189 [11] Z.Ibrahim , S.A.Rahman, Wavelet-Based Printed Circuit Bo Inspection System‖, International Journal of Signal Processing, Vol 1, No 2, pp 73-79, 2004 [12] Csaba Benedek, Detection of soldering defects in Printed Circuit Bos with Hierarchical Marked Point Processes, Elsevier Pattern Recognition Letters, Vol 32, Issue 13, October 2011, pp 1535–1543 [13] Syamsiah Mashohor, Jonathan R Evans and Ahmet T Erdogan, Automatic Hybrid Genetic Algorithm Based Printed Circuit Bo Inspection, First NASA/ESA Conference on Adaptive Hardware and Systems (AHS'06 Istanbul) 15-18 June 2006, pp 390-400 [14] Yu Cai, Yanjin Huang, Shugong Zhang, Research of Defect Inspection and Processing in PCB Automatic Optical Inspection, Proceeding ICECC '12 Proceedings of the 2012 International Conference on Electronics, Communications and Control, Zhoushan China pp 803-806 [15] A J Crispin & V Rankov, Automated inspection of PCB components using a genetic algorithm template-matching approach, Springer International Journal of Advanced Manufacturing Technology, Vol 35, pp 293-300, 2007 [16] Madhav Moganti, Fikret Ercal, Cihan H Dagli, Shou Tsunekawa, Automatic PCB Inspection Algorithms: A Survey, Computer Vision and Image Understanding Volume 63, Issue 2, March 1996, Pages 287–313 [17] David M Walker, Stephen R McNeill, Glen Davis, and Mike A Sutton, A system for inspection of surface mount PC bos, Vision’87: Conference Proceedings, 1987, pp 11.1–11.11 [18] Michael Beck and David Clark, SMT inspection strategies: Maximizing cost effectiveness, Proceedings of the Technical Program: NEPCON West ’91, pp 1075– 1081, 1991 [19] Gerald Jacob, Advances in bo inspection, Eval Eng Sept 1992, 126–133 Trang 55 [20] John Bond, Inspection systems distribute test throughout manufacturing, Test Meas World Dec 1991, 65–66 [21] Robert M Savage, NASA evaluates automated inspection systems, Test Meas World Nov 1993, pp 59–64 [22] Walter H Schwartz, Vision systems for PC bo inspection, Assem Eng 29(8), 1986, 18–21 [23] David T Lee, A computerized automatic inspection system for complex printed thick film patterns, SPIE—Appl Electron Imaging Syst 143, 1978, 172–177 [24] A Rosenfeld and A C Kak, Digital Picture Processing, Vol I, Academic Press, Orlando, FL [25] William K Pratt, Image detection and registration, Digital Image Processing, pp 551–566, Wiley–Interscience, New York, 1978 [26] Qin-Zhong Ye and Per E Danielson, Inspection of printed circuit bos by connectivity preserving shrinking, IEEE Annual Transaction, Mach, PAMI-10(5), 1988, 737–742 [27] G A W West, A system for the automatic visual inspection of bare-printed circuit bos, IEEE Transaction, System Man Cybernet, SMC-14(5), 1984, 767–773 Trang 56 PHỤ LỤC Phụ lục sản phẩm: Nguyễn Việt Thắng, Lê Thanh Tùng, Mai Văn Nam, Hệ thống kiểm tra linh kiện bo mạch điện tử sử dụng công nghệ xử lý ảnh, 35B (2016), 52-58, Tạp chí Khoa học Giáo dục Kỹ thuật Trang 57