Bài viết này trình bày một giải pháp để kiểm tra những linh kiện bị thiếu trên các PCB hoàn chỉnh. Theo đó, một giải thuật phù hợp được đề xuất cho camera giá thành thấp, cho phép xây dựng một quy trình kiểm tra có tính đơn giản và kinh tế hơn.
Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016) 52 Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh HỆ THỐNG KIỂM TRA LINH KIỆN TRÊN BO MẠCH ĐIỆN TỬ SỬ DỤNG CÔNG NGHỆ XỬ LÝ ẢNH DEVELOPMENT OF A COMPUTER VISION SYSTEM FOR ELECTRONIC PCB COMPONENT INSPECTION Nguyễn Việt Thắng1, Lê Thanh Tùng2, Mai Văn Nam3 1,2 Trường Đại học Sư phạm Kỹ thuật TP Hồ Chí Minh Cơng ty TNHH Panasonic AVC Việt Nam Ngày tòa soạn nhận 22/12/215, ngày phản biện đánh giá 06/01/2016, ngày chấp nhận đăng 18/02/2016 TÓM TẮT Quy trình sản xuất bo mạch in điện tử, gọi tắt PCB (Printed Circuit Bo), quy trình phổ biến, thường địi hỏi nhiều ứng dụng cơng nghệ cao Trong đó, việc kiểm tra PCB với đầy đủ linh kiện việc làm khó khăn với người lao động tính chất địi hỏi tập trung cao bền bỉ công nhân Để giải vấn đề này, nhiều giải pháp đề xuất, cơng nghệ xử lý ảnh lên phương án tốt với ưu điểm tốc độ xử lý nhanh độ xác cao Tuy nhiên, giá thành hệ thống thường cao Bài báo trình bày giải pháp để kiểm tra linh kiện bị thiếu PCB hồn chỉnh Theo đó, giải thuật phù hợp đề xuất cho camera giá thành thấp, cho phép xây dựng quy trình kiểm tra có tính đơn giản kinh tế Từ khóa: kiểm tra quang; kiểm tra bo mạch in; linh kiện thiếu; xử lý ảnh, camera giá thành thấp ABSTRACT The manufacturing process of Printed Circuit Board (PCB) nowsaday requires several high-tech procedures Among them, components inspection on PCB usually requires high attention concentration and labor persistence Solutions were suggested to solve this problem, among which computer vision emerged as one of the most suited with high speed and precise detection capacity, but usually high cost This paper presents a solution to detect missing components on PCB using low cost camera and an appropriate algorithm that meets the requirements of the producer Keywords: visual inspection; printed circuit board checking; missing component; image processing; low cost camera ĐẶT VẤN ĐỀ Công nghệ xử lý ảnh công nghệ xuất giới Ở thập niên 80, công nghệ ứng dụng để kiểm tra mạch in điện tử, kiểm tra chip, chất lượng bề mặt vật liệu, thức ăn [1], [2] Tuy gặp nhiều hạn chế [3], công nghệ cải tiến không ngừng sử dụng ngày nhiều công nghiệp [4] Trong dây chuyền sản xuất bo mạch điện tử, công nghệ đặc biệt tỏ hữu ích việc kiểm tra đường mạch in [5] hay kiểm tra bảo đảm linh kiện bo khơng bị bỏ sót [6] Trong nội dung báo này, nhóm tác giả tập trung vào việc xây dựng giải thuật xử lý với mơ hình phần cứng thích hợp để kiểm tra 1.1 Các phương án thiết kế phần cứng: Theo [7], việc lựa chọn thiết bị cho hệ thống xử lý ảnh có nhiều phương án, bao gồm: - Sử dụng ánh sáng thường (ánh sáng người nhìn thấy, có bước sóng từ 0,4 0,75 μm Hệ thống dùng để kiểm tra lỗi bề mặt kiểm tra bo lúc chưa gắn linh kiện, kiểm tra mối hàn Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh 53 chì, kiểm tra thiếu linh kiện [8] - Dùng tia X (X quang, có bước sóng từ 0,01 đến 10 nm (nanomet) Hệ thống xử lý ảnh dạng dùng để thực phép đo nhanh xác cho bo nhiều lớp [9] - Dùng siêu âm: Bằng cách phát dải sóng siêu âm nhận tín hiệu phản hồi, hệ thống phát lỗi mối hàn chì [10] - Ảnh nhiệt: Sử dụng công nghệ laser ánh sáng hồng ngoại, hệ thống dùng để đo điểm sinh nhiệt bo mạch hoạt động, kiểm tra vị trí ngắn mạch nhiệt [11] 1.2 Các phương án giải thuật xử lý: Các phương pháp kiểm tra chất lượng PCB dùng camera thường đa dạng Tuy nhiên, phân tích thành hai nhóm phương pháp là: phương pháp có tham khảo liệu ảnh mẫu phương pháp không tham khảo liệu ảnh mẫu a/ Phương pháp có tham khảo liệu ảnh mẫu: Phương pháp u cầu phải có ảnh chuẩn (khơng có khuyết điểm nào) Khi tiến hành kiểm tra, ảnh cần kiểm đưa vào phân tích với ảnh chuẩn Phép trừ ảnh chuẩn với ảnh kiểm tra phương pháp phổ biến sử dụng nghiên cứu [12] Theo đó, ảnh kiểm tra cân chỉnh lại cho tương đồng với ảnh chuẩn (do sai lệch chụp ảnh) Sau đó, phép trừ ảnh chuẩn với ảnh kiểm tra tiến hành cho kết ảnh âm ảnh dương Những ảnh lại phân ngưỡng, nhị phân hóa, lọc nhiễu cuối đánh giá, xếp loại mức khuyết điểm Một số tác giả khác sử dụng thêm phép biến đổi biến đổi Fourier [13] hay Haar Wavelet [13] để phân tích đặc trưng khác b/ Phương pháp không tham khảo liệu ảnh mẫu: Thay phương pháp so sánh với ảnh chuẩn, phương pháp sử dụng quy tắc thiết kế (có thiết kế mạch) để kiểm tra bo mạch, bao gồm tiêu chuẩn kích thước, vị trí, hướng linh kiện, để tiến hành kiểm tra ảnh thu Ngoài ra, nhiều nghiên cứu hiệu việc kết hợp phương pháp trên, nghĩa sử dụng thiết kế ảnh chuẩn để kiểm tra bo mạch [14], [15] 1.3 Lựa chọn phương án Trong phạm vi nghiên cứu này, nhóm tác giả tập trung vào việc giải vấn đề thiếu linh kiện bo mạch Xét theo tiêu chí kinh tế, độ linh hoạt thiết bị, phương án xử lý ảnh dùng camera thường (camera với cảm biến nhận ánh sáng vùng nhìn thấy) phương án tốt Bên cạnh đó, nhờ phát triển khoa học kỹ thuật, camera ngày có độ phân giải cao, thời gian truyền nhận liệu nhanh, góp phần tối ưu chất lượng thời gian kiểm tra dây chuyền Về giải thuật xử lý, nhóm tác giả chọn phương án kiểm tra có tham khảo liệu ảnh mẫu Nguyên nhân thực tế, tính chất bảo mật, thiết kế chuẩn PCB thường không công bố rộng rãi XÂY DỰNG GIẢI THUẬT NHẬN DẠNG PCB THIẾU HAY ĐỦ LINH KIỆN Giải thuật kiểm tra linh kiện PCB đề xuất xây dựng dựa pha: Pha huấn luyện pha kiểm tra Pha huấn luyện q trình tạo nguồn sở liệu cho máy tính Ngược lại, pha kiểm tra pha xử lý liệu dựa sở có 2.1 Pha huấn luyện: Xây dựng sở liệu cho máy phân biệt bo mạch đạt chuẩn khơng đạt chuẩn Q trình huấn luyện trình tạo sở liệu nhằm giúp hệ thống phân biệt rõ đặc điểm khác bo bị lỗi thiếu linh kiện bo chuẩn Quá trình thực trước bắt đầu cơng đoạn kiểm tra Do khơng u cầu thời gian xử lý nhanh, cần xác việc Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016) 54 Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh phân biệt bo mạch lỗi hay khơng lỗi Q trình thực bao gồm bước sau: - Bước 1: Chụp ảnh PCB lỗi (khi chưa có linh kiện nào) PCB chuẩn (có đầy đủ linh kiện theo thiết kế) làm mẫu - Bước 2: Chọn vùng cần kiểm tra Vị trí vùng vị trí linh kiện cần kiểm tra Q trình chọn thực tay tự động Tuy nhiên, trình chọn tự động khơng xác sai số khí không làm thay đổi đến thời gian thực thi kiểm tra Vì vậy, phương án chọn tay, với ưu điểm độ linh động cao, sử dụng - Bước 3: Khử nhiễu sơ ảnh lỗi ảnh chuẩn cách áp dụng lọc Gaussian chiều kích thước 5x5 lên ảnh Bộ lọc Gaussian chiều có tác dụng làm làm giảm nhiễu ảnh Trong không gian chiều, hàm phân phối Gaussian G(x, y) định nghĩa theo công thức sau: 2 − x + y2 (1) G(x,y) = e 2σ 2πσ với σ phương sai phân phối - Bước 4: Lưu trữ liệu gồm ảnh chuẩn, ảnh lỗi, thông số liên quan đến vùng cần kiểm tra 2.2 Pha kiểm tra: Kiểm tra PCB dựa sở liệu có từ pha huấn luyện Pha kiểm tra trình nhận dạng bo mạch đưa vào hệ thống dựa sở liệu có Pha kiểm tra trình cần giảm thiểu thời gian xử lý nhằm đáp ứng yêu cầu sản xuất đảm bảo chất lượng theo yêu cầu Quá trình đề xuất gồm bước sau: - Bước 1: Ảnh PCB cần kiểm tra khử nhiễu cách đưa qua lọc Gaussian - Bước 2: Xác định lại vị trí bo mạch Do sai số khí (sai số chế tạo, sai số dịch chuyển bo ) nên bo cần kiểm tra đặt khơng hồn tồn khớp với lúc đặt bo chuẩn Việc đặt bo không vị trí gây sai số nhận dạng Để khắc phục, phương pháp khớp mẫu (template matching) với phép đo hệ số tương quan (Correlation Coefficient) dùng để xác định lại vị trí bo mạch Phép tính hệ số tương quan cho phương pháp khớp mẫu định nghĩa sau: R(x,y) = ∑ (T (x ,y ).I (x + x ,y + y )) ∑ T (x ,y ) ∑ I (x + x ,y + y ) x' ,y' x' ,y' ' ' ' ' ' ' ' ' x' ,y' với: I'(x + x',y + y') =I(x + x',y + y') − ' w.h ' ' ' (2) ∑ x'',y''I(x + x'',y + y'') T'(x',y') = T(x',y') − 1/ (w.h).∑ x'',y''T(x'',y'') Trong đó: T ảnh bo chuẩn, I ảnh cần kiểm tra lấy từ camera (xem hình 2) Q trình dị vị trí bo mạch ảnh kiểm tra xem việc lập biểu đồ tương quan (correlation map) ảnh bo chuẩn với ảnh kiểm tra Trên hình 3, hai trục theo phương ngang hai chiều ảnh, trục đứng (trục z) trục biểu thị độ tương quan bo chuẩn với vùng bo kiểm tra Điểm có giá trị cao (tương ứng với hệ số tương quan lớn nhất) xem vị trí bo mạch ảnh kiểm tra - Bước 3: Mỗi linh kiện (đã chọn pha huấn luyện) tách rời khỏi ảnh PCB lớn đưa vào so sánh với sở liệu gốc (đã tạo pha huấn luyện) Phương án so sánh chọn đo độ tương quan histogram ảnh kiểm tra với histogram ảnh chuẩn ảnh lỗi Cách tính histogram ảnh sau: Gọi H histogram ảnh T, H[i] số lượng pixel có mức xám i ảnh T Phép đo độ tương quan histogram thực theo công thức sau: Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh 55 d ( H1 , H ) = ∑ (H (I ) − H ).(H (I ) − H ) ∑ (H (I ) − H ) ∑ (H (I ) − H ) I I Với H k = N ∑H J k 1 2 I 2 2 ( J ) , N số mức xám (3) 2.3 Lưu đồ giải thuật tổng quát Giải pháp kiểm tra linh kiện thiếu bo mạch điện tử bao gồm hai pha pha huấn luyện pha kiểm tra trình bày mục mục Lưu đồ giải thuật pha huấn luyện pha kiểm tra trình bày tóm tắt hình Hình Xác định vị trí bo mạch ảnh đầu vào Hình trái: Ảnh chuẩn bo mạch Hình phải: Q trình dị vị trí bo mạch ảnh kiểm tra Hình Bản đồ tương quan (correlation map) ảnh bo chuẩn với ảnh kiểm tra Hình Lưu đồ giải thuật kiểm tra linh kiện bị thiếu PCB Hình bên trái: Lưu đồ pha huấn luyện Hình bên phải: Lưu đồ pha kiểm tra Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016) 56 Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh MƠ HÌNH HỆ THỐNG VÀ KẾT QUẢ THỰC NGHIỆM : 3.1 Mơ hình hệ thống thực nghiệm: Mơ hình thực nghiệm gồm camera đặt vị trí phù hợp, hệ thống chiếu sáng chắn ánh sáng gây nhiễu từ bên Mơ hình bao gồm khay đỡ di chuyển để đưa bo mạch vào 3.2 Kết thực nghiệm: Nhóm tác giả thử nghiệm với chương trình chạy máy tính có cấu hình CPU Core I5, RAM 3GB, camera có độ phân giải 1920 x 1080 pixels PCB thực nghiệm chọn bo có tổng số linh kiện cần kiểm 48 Việc thực nghiệm tiến hành bo mạch có đầy đủ linh kiện bo mạch khơng có đủ linh kiện Thống kê kết thực nghiệm: - Với bo mạch có đủ 48 linh kiện: Hệ thống báo lỗi giả lần hình Ở bo báo lỗi giả thứ nhất, nguyên nhân linh kiện có độ sáng bóng giảm nhiều so với linh kiện chuẩn Ở bo báo lỗi giả thứ 2, nguyên nhân linh kiện bị sai lệch vị trí so với bo chuẩn Do đó, hệ thống kiểm tra nhận định trường hợp thiếu linh kiện (hình 5) - Với bo mạch thiếu linh kiện: Hệ thống nhận dạng bo lỗi Với bo, hệ thống vị trí tên linh kiện bị thiếu (hình 6) - Thời gian xử lý: Thời gian để máy tính nhận liệu từ camera xấp xỉ 0.1 giây Thời gian xử lý liệu ảnh đưa kết kiểm tra xấp xỉ 0.5 giây Như vậy, tổng thời gian xử lý cho PCB đưa vào giây KẾT LUẬN Bài báo mô tả giải pháp giúp giảm chi phí thời gian xử lý cho trình nhận dạng kiểm tra việc thiếu linh kiện bo mạch Kết báo áp dụng vào việc phát triển hệ thống nhận dạng kiểm tra lỗi khác bo mạch điện tử, bao gồm lỗi kiểm tra linh kiện dán (với kích thước nhỏ, số lượng lớn nên dùng mắt thường để kiểm tra), kiểm tra điểm hàn chì chân linh kiện, độ lệch linh kiện, hay kiểm tra đường mạch PCB, v.v Mở rộng ra, kết tạo tiền đề cho việc phát triển ứng dụng xử lý ảnh để kiểm tra chi tiết, sản phẩm lỗi dây chuyền sản xuất công nghiệp Tuy nhiên, việc cải tiến hệ thống chiếu sáng camera, kèm với việc phát triển giải thuật tính tốn xác tối ưu, cần nghiên cứu nhiều để đạt hiệu cao trình kiểm tra Hình Mơ hình hệ thống thử nghiệm Hình bên trái: Mơ hình nhìn từ bên ngồi Hình bên phải: Hệ thống chiếu sáng camera gá bên mô hình Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh 57 Hình Một số kết thực nghiệm với bo có đủ linh kiện Hình giữa: Bo chuẩn Hình bên trái: Bo kiểm tra với việc báo lỗi giả (tại vị trí chữ nhật màu đỏ) linh kiện bị oxy hóa tối màu Hình bên phải: Bo kiểm tra với việc báo lỗi giả linh kiện bị sai vị trí Hình Một số ảnh kết thực nghiệm với bo thiếu linh kiện Các ô chữ nhật màu xanh báo hiệu có linh kiện vị trí Các chữ nhật màu đỏ báo hiệu thiếu linh kiện TÀI LIỆU THAM KHẢO [1] Timothy S Newman, A survey of automated visual inspection, Computer Vision and Image Understanding, Vol 61, No 2, pp 231-262, 1995 [2] Rolan T.Chin, Automatic visual inspection techniques and application: a bibliography, Pattern Recognition, Vol 15, No 4, pp 343- 357, 1982 [3] C.J Smith and K.Adendorff, Advantages and limitations of an automated visual inspection system, Journal of Industrial Engineering, Vol 5, No 1, pp 27-36, 1991 [4] Elias N Malamasa, Euripides G.M Petrakisa, Michalis Zervakisa, Laurent Petitb, JeanDidier Legatb, A survey on industrial vision systems, applications and tools, Image and Vision Computing, pp 171–188, 2003 [5] Wen-Yen Wu, Mao-Jim J.Wang, Chih-Ming Liu, Automated inspection of printed circuit boards through machine vision, Computers in Industry, pp 103- 111, 1996 Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 35B (3/2016) 58 Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh [6] K Sundaraj, Jejawi, Perlis, PCB inspection for missing or misaligned components using background subtraction, Journal WSEAS Transactions on Information Science and Applications, Vol 6, pp 778-787, 2009 [7] Madhav Moganti, Fikret Ercal, Cihan H Dagli, Shou Tsunekawa, Automatic PCB Inspection Algorithms: A Survey, Computer Vision and Image Understanding Volume 63, Issue 2, pp 287–313, 1996 [8] David M Walker, Stephen R McNeill, Glen Davis, and Mike A Sutton, A system for inspection of surface mount PC boards, Vision Conference Proceedings, pp 11.1–11.11, 1987 [9] Gerald Jacob, Advances in board inspection, Eval Eng., pp 126–133 ,1992 [10] Robert M Savage, NASA evaluates automated inspection systems, Test Meas World, pp 59–64, 1993 [11] Walter H Schwartz, Vision systems for PC board inspection, Assem Eng, pp 18–21, 1986 [12] I Ibrahim, S.A Rahman, S.A Bakar, M.M Mokji, J.A.A Mukred, Z.Yusof, Z Ibrahim, K.Khalil, M.S Mohamad, A printed Circuit Board Inspection System with Defect Classification Capability, International Journal of Innovative Management, Information & Production ISME International, Vol 3, No 1, pp.82-87, 2012 [13] Chin-Sheng Chen, Chun-Wei Yeh, Peng-Yeng Yin, A novel Fourier Descriptor Based Image Alignment Algorithm for Automatic Optical Inspection, Elsevier Journal of Visual Communication and Image Representation, Vol 20, Issue 3, pp 178–189, 2009 [14] Yu Cai, Yanjin Huang, Shugong Zhang, Research of Defect Inspection and Processing in PCB Automatic Optical Inspection, Proceeding ICECC ‘12 Proceedings of the 2012 International Conference on Electronics, Communications and Control, Zhoushan China, pp 803-806, 2012 [15] A J Crispin & V Rankov, Automated inspection of PCB components using a genetic algorithm template-matching approach, Springer International Journal of Advanced Manufacturing Technology, Vol 35, pp 293-300, 2007 ... có tổng số linh kiện cần kiểm 48 Việc thực nghiệm tiến hành bo mạch có đầy đủ linh kiện bo mạch khơng có đủ linh kiện Thống kê kết thực nghiệm: - Với bo mạch có đủ 48 linh kiện: Hệ thống báo lỗi... thống kiểm tra nhận định trường hợp thiếu linh kiện (hình 5) - Với bo mạch thiếu linh kiện: Hệ thống nhận dạng bo lỗi Với bo, hệ thống vị trí tên linh kiện bị thiếu (hình 6) - Thời gian xử lý: ... trình nhận dạng kiểm tra việc thiếu linh kiện bo mạch Kết báo áp dụng vào việc phát triển hệ thống nhận dạng kiểm tra lỗi khác bo mạch điện tử, bao gồm lỗi kiểm tra linh kiện dán (với kích thước