uffile upload no title30452 9432

SCIENCE - TECHNOLOGY P-ISSN 1859-3585 E-ISSN 2615-9619 NGHIÊN CỨU ỨNG DỤNG MẠNG NEURAL NETWORK CHO HỆ THỐNG KIỂM TRA LINH KIỆN ĐIỆN TỬ THỜI GIAN THỰC A REAL-TIME SYSTEM FOR PCB AUTOMATED INSPECTION USING CONVOLUTIONAL NEURAL NETWORK Nguyễn Văn Trường*, Nguyễn Đức Linh TĨM TẮT Bài báo trình bày việc ứng dụng cơng nghệ xử lý ảnh phân tích kiểm tra linh kiện điện tử mạch in PCB miền thời gian thực Trong báo này, mơ hình mạng nơ-ron tích chập CNN 53 lớp sử dụng để trích xuất đặc trưng vật thể dự đoán vật thể ảnh Mơ hình thực nghiệm tích hợp trạm phân loại mạch in PCB có suất làm việc 120 sản phẩm/giờ Quá trình thử nghiệm môi trường làm việc khác cho thấy hệ thống có độ xác lên tới 96% Các ảnh hưởng nhiễu lọan khác từ môi trường xét đến để đánh giá hiệu hệ thống chế độ sáng, kích thước ảnh Từ khóa: PCB, CNN, công nghệ xử lý ảnh, AOI ABSTRACT The paper presents the application of image processing technology in checking real-time electronic components on the Printed Circuit Board (PCB) The convolutional neural network model is used to extract features and predict of objects in a new image The PCB system has a working capacity of 120 products/hour From the experiment, it is certain that the proposed system has an accuracy of up to 96% for PCB The various noise effects from the environment are considered to evaluate the effectiveness of the system such as brightness, image size, and background Keywords: PCB, CNN, Image processing technology, AOI Khoa Cơ khí, Trường Đại học Công nghiệp Hà Nội * Email: nguyenvantruong@haui.edu.vn Ngày nhận bài: 01/8/2020 Ngày nhận sửa sau phản biện: 25/11/2020 Ngày chấp nhận đăng: 23/12/2020 CHỮ VIẾT TẮT PCB Printed Circuit Board AOI Automated Optical Inspection CNN Convolutional Neural Network IoU Interest of Union NMS Non-max suppression GIỚI THIỆU Bảng mạch in hay bo mạch in (PCB), gọi tắt mạch in, bảng mạch điện dùng phương pháp in để tạo Website: https://tapchikhcn.haui.edu.vn hình đường mạch dẫn điện điểm nối linh kiện cách điện [1] Việc lắp ráp bảng mạch in cơng đoạn quan trọng q trình chế tạo bảng mạch điện tử Trong trình sản xuất mạch số mạch in PCB bị lỗi sau gia cơng số ngun nhân như: linh kiện dán lệch vị trí, cắm sai chiều, cắm sai linh kiện,… Để đảm bảo chất lượng sản phẩm, mạch kiểm tra sau công đoạn gia công hay láp ráp mạch in Trong đó, người cơng nhân người kiểm tra phát mạch lỗi mắt thường dây chuyền sản xuất Tuy nhiên, việc kiểm tra mắt thường không mang lại hiệu suất cao Ngày nay, có nhiều phương pháp tiên tiến nghiên cứu để cải thiện suất lắp ráp mạch dựa công nghệ xử lý ảnh Công nghệ xử lý ảnh lĩnh vực thuộc trí tuệ nhân tạo hoạt động theo nguyên tắc trích xuất đặc trưng đối tượng từ liệu đầu vào, từ đưa định đúng/sai với liệu đầu vào Tích hợp cơng nghệ xử lý ảnh vào hệ thống kiểm tra linh kiện điện tử mang lại hiệu cao, làm tăng suất đảm bảo độ xác Dựa kỹ thuật xử lý ảnh, số phương pháp kinh điển ứng dụng để nhận diện đối tượng haar features [2], histogram of oriented gradients [3],… Haar features dùng để phát vật thể có ảnh Histogram of oriented gradients dùng phát vùng vật thể có ảnh Hai phương pháp dễ ứng dụng lớp đối tượng đơn giản Tuy nhiên, ứng dụng vào việc phát đối tượng mạch in PCB có hạn chế định như: khó phát vật ảnh chứa nhiều vật thể phức tạp vùng ảnh gần giống nhau; chưa trích xuất đặc trưng cụ thể vật Trong kỷ nguyên công nghệ 4.0, với phát triển khoa học công nghệ, lĩnh vực nghiên cứu chuyên sâu giải thuật, thuật toán nhận diện phát triển theo Trong đó, thành tựu giải thuật học máy machine learning [4-8], giải thuật học sâu deep learning [9-12] sử dụng phổ biến ứng dụng: mở khố khn mặt, điểm danh khn mặt, nhận diện giọng nói,… Trên giới có thành tựu công nghệ xử lý ảnh để kiểm tra linh kiện điện tử mạch in PCB hay hệ thống kiểm tra quang học tự động AOI [13, 14] Hệ thống làm việc ổn định với kích thước linh kiện lớn 1mm Tuy nhiên, Việt Nam nghiên cứu Vol 56 - No (Dec 2020) ● Journal of SCIENCE & TECHNOLOGY 57 KHOA HỌC CƠNG NGHỆ cịn hạn chế, đặc biệt ứng dụng vào hệ thống kiểm tra linh kiện điện tử Trong báo này, mơ hình mạng nơ-ron tích chập CNN 53 lớp (Darknet-53) sử dụng để trích xuất đặc trưng vật thể dự đoán vật thể ảnh Hệ thống thư viện ảnh tác giả tự tạo đưa vào huấn luyện mơ hình mạng CNN Model tạo sử dụng để làm tín đầu vào cho hệ thống điều khiển trạm phân loại sản phẩm Các công cụ hỗ trợ OpenCV library [15], Python [16] tích hợp hệ thống máy tính để tính tốn phân tích tín hiệu trước truyền đến cho vi điều khiển Hệ thống phân loại cho phép làm việc miền thời gian thực với suất 120 mạch/giờ Các yếu tố ảnh hưởng khác khau từ môi trường dẫn tới kết không mong muốn trình xử lý ảnh chế độ sáng, kích thước ảnh nghiên cứu tính tốn dựa thực nghiệm để tìm vùng mơi trường phù hợp cho trình xử lý ảnh Kết nghiên cứu kiểm nghiệm dựa thực nghiệm cho thấy kết xác lên tới 96% cho mạch in MƠ HÌNH GIẢI THUẬT HỌC SÂU Theo tài liệu [19], kiến trúc mạng nơ-ron tích chập CNN (Darknet-53) sử dụng báo mơ tả hình 1, bao gồm: mạng lớp trích xuất thơng tin dự đốn vật thể (extra layers) Trong đó, mạng mạng convolution làm nhiệm vụ trích xuất đặc trưng Extra layers áp dụng để phát vật thể dựa liên kết đặc trưng vật thể (feature map) Mạng Darknet-53 có kích thước ảnh đầu vào chủ yếu 418x418, 608x608 Mỗi đầu vào có thiết kế lớp riêng phù hợp với hình dạng ảnh đầu vào Sau qua lớp CNN, hình dạng vật thể giảm dần cuối thu feature map có kích thước tương đối nhỏ dùng để dự đoán P-ISSN 1859-3585 E-ISSN 2615-9619 giá trị IoU giao với Ground truth bounding box cao Tuy nhiên, thuật tốn khơng thể gán nhãn trường hợp hai vật thể bị trùng tâm ví dụ nêu hình Trường hợp khó xảy điểm hạn chế thuật tốn Hình Hai vật thể bị trùng tâm [19] Để tối ưu giá trị liệu đầu vào, nhận diện dự đoán tên vật thể, CNN sử dụng hàm mát loss Theo tài liệu [17], hàm mát chia làm hai phần: hàm tính tốn sai số kích thước hàm tính tốn phân phối xác suất phân nhóm Trong đó, hàm tính tốn sai số kích thước Lcoord tính toán độ sai lệch nhỏ giá trị ban đầu giá trị dự đốn Hàm tính tốn phân phối xác suất phân nhóm Lclass tính tốn sai lệch nhóm liệu huấn luyện mơ hình thuật tốn Mục đích trả phân nhóm dự đoán cho vùng chứa vật thể s2 B 2 loss   coord 1ijobj  x i  xˆ i    y i  yˆ i     i j  s B    coord  1ijobj  i j  s2 B obj ij  1 i 0 j    Ci  Cˆ i ˆi wi  w  i 0  cclasses s2  s2  B hi  hˆ i obj ij  noobj 1 i  j 0 s2  1iobj  pi  c   pˆ i  c    Ci  Cˆ i    B 2 L coord   coord  1ijobj  x i  xˆ i    y i  yˆ i     i j s2 Hình Sơ đồ kiến trúc mạng Darknet-53 extra layers [19] Trong mơ hình mạng nơ-ron tích chập CNN, để tìm vùng bao quanh vật thể ảnh (bounding box), thuật toán cần anchor boxes để làm sở cho việc ước lượng tính tốn độ sai lệch Những anchor boxes xác định trước bao quanh vật thể tương đối xác Trong mạng CNN, vật thể hình ảnh huấn luyện phân bổ cell feature map, có chứa điểm trung tâm vật thể Từ anchor boxes bao quanh vật thể xác định Mỗi vật thể hình ảnh huấn luyện phân bổ anchor boxes Trong trường hợp có hai anchor boxes trở lên, anchor box xác định có 58 Tạp chí KHOA HỌC VÀ CƠNG NGHỆ ● Tập 56 - Số (12/2020) B    coord 1  i  j 0  s2 B obj ij  L class   1ijobj Ci  Cˆ i i 0 j  s2 B    ˆi wi  w i 0 j   i0 cclasses  s2    hi  hˆ i  (2)     noobj  1obj Ci  Cˆ i ij   1iobj (1) pi  c   pˆ i  c   (3) Trong đó:  x , y  ,  w, h   : Kích thước mốc; Website: https://tapchikhcn.haui.edu.vn SCIENCE - TECHNOLOGY P-ISSN 1859-3585 E-ISSN 2615-9619    xˆ i , yˆ i  , w ˆ i , hˆ i  : Kích thước dự đốn;   1iobj : Hàm định có giá trị [0, 1], xét xem có vật hay không; 1obj ij : Cho biết tạo vùng thứ j thứ i có chứa vật thể hay khơng; C ij : Điểm tin cậy ô thứ i; Cˆ ij : Điểm dự đoán; c: Tập hợp tất nhóm; pi(c): Hàm xác suất có điều kiện để xác định chứa đối tượng thuộc nhóm c; pˆ i  c  : Hàm xác suất có điều kiện dự đoán  coord , noobj : Hằng số điểu chỉnh có nhiệm vụ làm giảm giá trị hàm mát Để dự báo vùng bao quanh vật thể dựa phép biến đổi từ anchor box cell Thuật toán dự đoán bounding boxes tính tốn cho khơng lệch khỏi vị trí trung tâm nhiều Ví dụ: anchor box hình có kích thước (pw, ph), với (cx, cy) kích thước (cell) Mỗi bounding box dự đốn chứa thơng số: (tx, ty, tw, th) độ xác Các thơng số giúp xác định bounding box dự đốn có tâm b(bx, by) thông qua hàm sigmoid [12] hàm exponential sau: bx    t x   c x (4) by    t y   c y (5) bw  pw  e tw (6) bh  ph  e th (7) Hình Ước lượng bounding box từ anchor box [19] Ngoài ra, tọa độ hiệu chỉnh theo chiều rộng chiều cao ảnh nên ln có giá trị ngưỡng [0, 1] Do áp dụng hàm sigmoid giúp giới hạn tọa độ không vượt xa ngưỡng Theo hình 3, hình chữ nhật nét đứt bên ngồi anchor box có kích thước (pw, ph) Tọa độ bounding box xác định dựa đồng thời anchor box cell mà thuộc Điều giúp kiểm sốt vị trí bounding box dự đốn quanh vị trí cell bounding box mà khơng vượt q xa bên giới hạn Website: https://tapchikhcn.haui.edu.vn Kỹ thuật chọn lựa thuật toán CNN dự báo cho nhiều bounding box bao quanh vật thể ảnh nên cell có vị trí gần nhau, khả vùng giao cao Trong trường hợp đó, giải thuật nonmax suppression (NMS) sử dụng để giảm bớt số lượng vùng bao sinh Theo hình 4, từ ba bounding box ban đầu bao quanh xe giảm xuống bounding box sau sử dụng phương pháp NMS Giải thuật NMS trình bày ngắn gọn sau: - Bước 1: Lọc bỏ toàn bounding box có xác suất chứa vật thể lớn ngưỡng, thường 0,5 - Bước 2: Đối với bouding box giao nhau, NMS lựa chọn bounding box có xác xuất chứa vật thể lớn Sau tính tốn số giao thoa IoU với bounding box cịn lại Nếu có box có giá trị IOU lớn giá trị ngưỡng loại box Hình Non-max suppression [18] THIẾT KẾ HỆ THỐNG KIỂM TRA LINH KIỆN ĐIỆN TỬ 3.1 Tính tốn vị trí đặt camera Khi camera chụp hình đối tượng để xử lý có vùng hình ảnh nằm ngồi vùng mà camera xử lý Điều làm ảnh hưởng đến độ xác thuật tốn Vì vậy, cần phải xác định xác vị trí đặt camera cho tồn hình ảnh nằm vùng mà camera xử lý Hình Vị trí đặt camera Khoảng cách từ ống kính đến chip cảm biến tiêu cự thấu kính Tiêu cự ngắn góc quét camera lớn Với giá trị tiêu cự cần đặt camera vị trí khác để ảnh thu nằm trọn vùng mà camera xử lý Giả sử với camera có tiêu cự 4mm, góc quét α, ta cần xác định khoảng cách Y khoảng cách từ vị trí đặt camera đến vật Như vậy, cần đặt camera vị trí cách vật khoảng Y vng góc với mặt phẳng chứa vật Vol 56 - No (Dec 2020) ● Journal of SCIENCE & TECHNOLOGY 59 KHOA HỌC CÔNG NGHỆ Y  a.cot  P-ISSN 1859-3585 E-ISSN 2615-9619 (8) 3.2 Hệ thống kiểm tra linh kiện điện tử Để kiểm chứng kết nghiên cứu từ việc phân tích xử lý ảnh kiểm tra linh kiện điện tử thời gian thực, nhóm tác giả đề xuất mơ hình hệ thống kiểm tra linh kiện điện tử thiết kế hình Trong đó, hệ thống truyền động (hình 7) gồm hai động điện chiều có giảm tốc với hệ thống dây đai răng, pulli truyền chuyển động đến hệ thống băng tải làm nhiệm vụ di chuyển mạch Cụm hệ thống tay hút mạch thiết kế hình Hệ thống điều khiển sử dụng mạch Arduino Mega 2560R3 trình bày hình bao gồm module nguồn 24V-3A, module điều khiển tốc độ động giảm tốc, module điều khiển tốc độ động bước, module relay kênh 24V Hình Hệ thống thiết bị tủ điện Hệ thống camera điều chỉnh chiếu sáng trình bày hình 10 Trong khoảng cách lắp đặt camera trình bày mục 3.1 Hệ thống kiểm tra linh kiện điện tử chế tạo hình 11 Hệ thống có khối lượng 20kg, suất 120 mạch/h, độ xác lên đến 96% Hình Mơ hình hệ thống kiểm tra linh kiện điện tử Hình 10 Hệ thống Camera chiếu sáng Hình Hệ thống truyền động Hình 11 Hệ thống kiểm tra linh kiện điện tử hồn chỉnh Hình Tay máy hút mạch ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM Quá trình xử lý ảnh thực CPU máy tính có có vi xử lý Core i7-3250M nhớ RAM 4GB; sử dụng camera Aoni độ phân giải 1080P; với chip ATmega2560 có nhớ 256KB, SRAM 8KB, EEPROM 4KB có nhiệm vụ điều khiển trạm phân loại bảng mạch (kích thước 12x16cm) 60 Tạp chí KHOA HỌC VÀ CƠNG NGHỆ ● Tập 56 - Số (12/2020) Website: https://tapchikhcn.haui.edu.vn SCIENCE - TECHNOLOGY P-ISSN 1859-3585 E-ISSN 2615-9619 giao tiếp với máy tính Q trình huấn luyện khoảng thời gian đến 10 tiếng, sử dụng GPU Google Colab làm mơi trường huấn luyện Trong đó, thơng số GPU Google Tesla 80k, với nhớ RAM 12GB Trong trình thực nghiệm, thời gian xử lý ảnh sử dụng ngôn ngữ Python môi trường Windown 10 cho kết xử lý ảnh 0,4s, thời gian thực khoảng khung hình/giây (2FPS) Để tìm vùng làm việc hiệu ảnh hưởng mơi trường, kết thực nghiệm trình bày điều kiện khác chế độ sáng, kích cỡ ảnh đầu vào Số lượng ảnh sử dụng cho thử 100 ảnh chụp ngẫu nhiên Kết thử nghiệm trình bày hình 12-17 Trong đó, hình 12, 13 trình bày kết đạt xét đến ảnh hưởng chế độ sáng Hình 14, 15 kết điều kiện khác Hình 16, 17 kết xét đến ảnh hưởng kích thước ảnh Như vậy, điều kiện đủ sáng, màu trắng kích thước ảnh 960x1280, độ xác xử lý lên tới 96% Có thể kết luận rằng, hệ thống có khả ứng dụng thực tiễn vào q trình sản xuất cơng nghiệp Hình 15 Biểu đồ ảnh hưởng đến khả nhận diện Hình 12 Ảnh hưởng ánh sáng đến khả nhận diện: thiếu sáng, đủ sáng Hình 16 Ảnh hưởng kích thước ảnh đến khả nhận diện: 1512x2016, 960x1280, 480x640 Hình 13 Biểu đồ ảnh hưởng chế độ sáng đến khả nhận diện Hình 17 Biểu đồ ảnh hưởng kích thước ảnh đến khả nhận diện Hình 14 Ảnh hưởng nền: đen, trắng, ngẫu nhiên Website: https://tapchikhcn.haui.edu.vn KẾT LUẬN Bài báo ứng dụng mơ hình mạng nơ-ron tích chập CNN 53 lớp để trích xuất đặc trưng kiểm tra linh kiện điện tử mạch in PCB Hệ thống cho phép xử lý đồng thời Vol 56 - No (Dec 2020) ● Journal of SCIENCE & TECHNOLOGY 61 KHOA HỌC CÔNG NGHỆ nhiều loại lịnh kiện điện tử khác loại mạch in PCB khác Kết thử nghiệm cho thấy, hệ thống làm việc với độ xác ổn định 96% điều kiện đủ sáng, màu trắng kích thước ảnh 960x1280 Có thể kết luận rằng, hệ thống có khả ứng dụng thực tiễn vào trình sản xuất công nghiệp LỜI CẢM ƠN Nghiên cứu tài trợ Quỹ Phát triển khoa học công nghệ Quốc gia (NAFOSTED) đề tài mã số 107.01-2019.311 TÀI LIỆU THAM KHẢO [1] Clyde F Coombs, 2007 Printed circuits handbook McGraw-Hill Professional [2] X Luo, H Hu, 2020 Selected and refined local attention module for object detection electronics letters, vol 56, no 14, pp 712-714 [3] S K G Manikonda, D N Gaonkar, 2020 Islanding detection method based on image classification technique using histogram of oriented gradient features IET Generation, Transmission & Distribution, vol 14, no 14, pp 27902799 [4] G A Tahir, C K Loo, 2020 An Open-Ended Continual Learning for Food Recognition Using Class Incremental Extreme Learning Machines IEEE Access, vol 8, pp 82328-82346 [5] K Huang, H Yang, I King, M R Lyu, 2008 Maxi-Min margin machine: Learning large margin classifiers locally and globally IEEE Transactions on Neural Networks, vol 19, no 2, pp 260-272 [6] D Martens, B B Baesens, T Van Gestel, 2009 Decompositional rule extraction from support vector machines by active learning IEEE Transactions on Knowledge and Data Engineering, vol 21, no 2, pp 178-191 [7] E Pasolli, F Melgani, Y Bazi, 2011 Support vector machine active learning through significance space construction IEEE Geoscience and Remote Sensing Letters, vol 8, no 3, pp 431-435 [8] G Krummenacher, C S Ong, S Koller, S Kobayashi, J M Buhmann, 2018 Wheel defect detection with machine learning IEEE Transactions on Intelligent Transportation Systems, vol 19, no 4, pp 1176-1187 [9] P Kumar Shukla et al., 2020 Efficient prediction of drug–drug interaction using deep learning models IET Systems Biology, vol 14, no 4, pp 211-216 [10] J S Shemona, A K Chellappan, 2020 Segmentation techniques for early cancer detection in red blood cells with deep learning-based classifier - a comparative approach IET Image Processing, vol 14, no 9, pp 1726-1732 [11] A Alamri, et al., 2020 An effective bio-signal-based driver behavior monitoring system using a generalized deep learning approach IEEE Access, vol 8, pp 135037-135049 [12] M Zhu, Q Chen, 2020 Big data image classification based on distributed deep representation learning model IEEE Access, vol 8, pp 133890133904 [13] J Jiang, J Cheng, D Tao, 2012 Color biological features-based solder paste defects detection and classification on printed circuit boards IEEE Transactions on Components, Packaging and Manufacturing Technology, vol 2, no 9, pp 1536-1544 P-ISSN 1859-3585 E-ISSN 2615-9619 [14] Y Hara, H Doi, K Karasaki, T Iida, 1988 A system for PCB automated inspection using fluorescent light IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 10, no 1, pp 69-78 [15] X Farhodov, O Kwon, K W Kang, S Lee, K Kwon, 2019 Faster RCNN detection based opencv csrt tracker using drone data International Conference on Information Science and Communications Technologies (ICISCT), Tashkent, Uzbekistan, pp 1-3 [16] A Kumar, S P Panda, 2019 A survey: How Python pitches in IT-World International Conference on Machine Learning, Big Data, Cloud and Parallel Computing (COMITCon), Faridabad, India, pp 248-251 [17] Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, 2016 You Only Look Once: Unified, Real-Time Object Computer Vision and Pattern Recognition, pp 1-10 [18] Jan Hosang, Rodrigo Benenson, Bernt Schiele, 2017 Learning nonmaximum suppression Computer Vision and Pattern Recognition, pp 1-16 [19] Joseph Redmon, Ali Farhadi, 2018 YOLOv3: An Incremental Improvement Computer Vision and Pattern Recognition, pp 1-6 62 Tạp chí KHOA HỌC VÀ CƠNG NGHỆ ● Tập 56 - Số (12/2020) AUTHORS INFORMATION Nguyen Van Truong, Nguyen Duc Linh Faculty of Mechanical Engineering, Hanoi University of Industry Website: https://tapchikhcn.haui.edu.vn ...   noobj  1obj Ci  Cˆ i ij   1iobj (1) pi  c   pˆ i  c   (3) Trong đó:  x , y  ,  w, h   : Kích thước mốc; Website: https://tapchikhcn.haui.edu.vn SCIENCE - TECHNOLOGY... đặt camera vị trí cách vật khoảng Y vng góc với mặt phẳng chứa vật Vol 56 - No (Dec 2020) ● Journal of SCIENCE & TECHNOLOGY 59 KHOA HỌC CÔNG NGHỆ Y  a.cot  P-ISSN 1859-3585 E-ISSN 2615-9619... tra linh kiện điện tử mạch in PCB Hệ thống cho phép xử lý đồng thời Vol 56 - No (Dec 2020) ● Journal of SCIENCE & TECHNOLOGY 61 KHOA HỌC CÔNG NGHỆ nhiều loại lịnh kiện điện tử khác loại mạch in