ĐỒ án môn học cơ điện tử giới thiệu về AI (artificial intelligence) và deep learning

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CƠ KHÍ - - ĐỒ ÁN MÔN HỌC CƠ ĐIỆN TỬ Giảng viên hướng dẫn: T.S Nguyễn Văn Trường Sinh viên thực hiện: Lê Văn Tuyên 2018601451 Đoàn Thị Ngọc Anh 2018600241 Nguyễn Phi Long 2018600323 Hà Nội – 2021 MỤC LỤC CHƯƠNG I : TỔNG QUAN CHUNG .1 1.1 Đặt vấn đề 1.2 Lý chọn đề tài 1.3 Mục đích nghiên cứu 1.4 Giới hạn nghiên cứu CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu xử lý ảnh .4 2.2 Giới thiệu OpenCV 2.2.1 Giới thiệu OpenCV .6 2.2.2 Đặc điểm bật: .6 2.2.3 Ứng dụng OpenCV 2.3 Deep learning (Học sâu) 2.3.1 Giới thiệu AI (Artificial Intelligence) Deep learning 2.3.2 Neural Network (Mạng thần kinh) .8 CHƯƠNG 3 : TÍNH TOÁN THIẾT KẾ HỆ THỐNG .10 3.1 Tổng quan hệ thống 10 3.1.2 Thiết lập danh sách yêu cầu .10 3.1.2 Sơ đồ tổng thể hệ thống .11 3.2 Tính tốn, thiết kế hệ thống khí 12 3.2.1 Tính tốn lựa chọn động cơ, băng tải .12 3.2.1.1 Động băng tải 12 3.2.1.2 Tính tốn thiết kế hệ thống băng tải 13 3.2.2 Tính tốn thiết kế tay máy hút mạch 21 3.2.3 Thiết kế hệ thống khí 23 3.3 Tính tốn, thiết kế hệ thống điều khiển 26 3.3.1 Hệ thống khí nén 27 3.3.1.1 Xilanh 28 3.3.1.2 Giác hút chân không .28 3.3.2 Hệ thống điều khiển 29 3.3.2.1 Động chiều có giảm tốc 29 3.3.2.2 Module điều khiển tốc độ động bước .30 3.3.2.3 Module relay kênh 24V .30 3.3.2.4 Van điện từ (5/2) 31 3.3.2.5 Máy tính nhúng NVIDIA Jetson Nano Developer Kit B01 32 3.3.2.6 Mạch Arduino .33 3.4 Thiết kế hệ thống nhận diện linh kiện điện tử 35 3.4.1 Calibration camera 35 3.4.2 Thuât toán ORB kĩ thuât Bruce Force matching 37 3.4.3 Mạng Convolution neuron network ứng dung việc phân loại linh kiện 45 3.4.4 Quá trình huấn luyện mơ hình 53 DANH MỤC HÌNH ẢNH Hình 1- 1: Hệ thống kiểm tra mạch công nghiệp Hình 1- 2: Dây truyền hệ thống kiểm tra mạch Hình 2- 1: Mơ hình nhận diện đối tượng Hình 2- 2: Ứng dụng xử lý ảnh ngành y tế Hình 2- 3: Ứng dụng nhận diện khn mặt Hình 2- 4: Mơ hình Neuron thần kinh Hình 2- 5: Cấu hình mạng Neuron nhân tạo Hình 3- 1: Động bước Nema 17 22 Hình 3- 2: Khung hệ thống 23 Hình 3- 3: Động giảm tốc .23 Hình 3- 4: Hệ thống truyền động .24 Hình 3- 5: Tay hút mạch .24 Hình 3- 6: Hệ thống điều chỉnh ánh sáng 25 Hình 3- 7: Sơ đồ tổng quan hệ thống điều khiển 26 Hình 3- 8: Xilanh trịn xilanh cốt đôi 28 Hình 3- 9: Giác hút chân khơng 28 Hình 3- 10: Động giảm tốc 12-24VDS400 29 Hình 3- 11: : Module Điều Khiển Động Cơ Mạch Cầu H 160W X2 29 Hình 3- 12: Module điều khiển tốc độ động bước TB6560 30 Hình 3- 13: Module relay kênh 24V .31 Hình 3- 14: Van điện từ khí nén 5/2 31 Hình 3- 15: Bộ JETSON NANO kit 32 Hình 3- 16: Mạch Arduino Mega 2560 R3 .34 Hình 3- 17: Cảm biến quang 34 Hình 3- 18: Lưu đồ thuật toán hệ thống nhận diện linh kiện điện tử 35 Hình 3- 19: Hình ảnh bàn cờ dùng để hiệu chỉnh camera 36 Hình 3- 20: Ảnh mạch sau sử dụng thuật toán ORB 37 Hình 3- 21: Matching keypoints 39 Hình 3- 22: Matching Key points ảnh .40 Hình 3- 23: Quay chụp theo ảnh tham chiếu 42 Hình 3- 24: Ảnh mask sau sử dụng trừ ảnh 43 Hình 3- 25: Mơ tả thuật tốn Dilation 43 Hình 3- 26: Mô tả thuật táon Erode 44 Hình 3- 27: Ảnh mask sau áp dụng dilation erode 44 Hình 3- 28: Vẽ border xác định vùng lỗi 45 Hình 3- 29: Sơ đồ mạng CNN 46 Hình 3- 30: Trích xuất đặc trưng qua lớp mạng CNN 46 Hình 3- 31: Khối Residual Resnet 47 Hình 3- 32: Mơ hình mạng Resnet-50 48 Hình 3- 33: Khối Residual Mobilenet .49 Hình 3- 34: Mơ hình Residual Mobilenet 49 Hình 3- 35: Kiến trúc U-net (ví dụ cho 32x32 pixel độ phân giải thấp nhất) 51 Hình 3- 36: Google Colaboratory 53 Hình 3- 37: Tập liệu ảnh huấn luyện nhận diện linh kiện .54 Hình 3- 38: Tập ảnh kiểm tra chiều linh kiện phát lỗi chip 54 Hình 3- 39: Kết huấn luyện mơ hình 55 Hình 3- 40: Giao diện phần mềm QT Designer 55 Hình 3- 41: Giao diện chương trình 57 Hình 3- 42: Bảng điều khiển 57 Hình 3- 43: Bảng lựa chọn cơng giao tiếp thơng số thuật tốn 58 Hình 3- 44: Label thông báo kết kiểm tra 58 Hình 3- 45: Scroll bar hiển thị linh kiện lỗi .59 Hình 3- 46: Dialog hiệu chỉnh camera .59 Hình 3- 47: Dialog gán nhãn vùng linh kiện 60 DANH MỤC BẢNG BIỂU Bảng 3- 1: Các thông số đai 14 Bảng 3- 2: Chiều rộng đai b 15 Bảng 3- 3: Số bánh đai nhỏ Z1 16 Bảng 3- 4: Chiều dài đai ld, mm 17 Bảng 3- 5: Hệ số tải trọng động 19 Bảng 3- : Trị số khối lượng 1m đai qm lực vòng riêng cho phép [q0] .19 Bảng 3- 7: Hệ số ảnh hưởng Cz 20 Bảng 3- 8: Hệ số Cu 20 CHƯƠNG I : TỔNG QUAN CHUNG 1.1 Đặt vấn đề Theo phát triển ngành kỹ thuật công nghệ sản xuất thiết bị điện, máy công cụ đại, nhu cầu chip bán dẫn mạch điện tử tăng cao hết Quy trình sản xuất mạch điện tử q trình phức tạp u cầu độ xác cao Do đó, khâu kiểm tra thành phẩm sau sản xuât để đảm bảo yêu cầu chất lượng cần thiêt Với công nghệ ngày phát triển, thiết bị ngày thu nhỏ kích thước, kéo theo giảm kích thước linh kiện mạch điện tử Điều gây sựu khó khăn cơng đoạn kiểm tra ngoại quan mạch điện tử theo cách thủ công Tốc độ độ xác cuả q trình kiểm tra thủ cơng hạn chế, tốn nhân lực Do đó, nhà máy sản xuất lớn tích cực áp dụng cơng nghệ, xây dựng dây chuyền tự động hoá khâu sản xuất kiểm tra sản phẩm để tăng cao xuất Hình 1- 1: Hệ thống kiểm tra mạch cơng nghiệp 1.2 Lý chọn đề tài Hiện nay, phần lớn dây truyền sản xuất theo hướng công nghiệp với số lượng lớn vừa địi hỏi độ xác cao, vừa phải có xuất đáp ứng Các dây chuyền sản xuất cấp nhằm thay người khâu sản xuất đòi hỏi tốc độ độ xác cao Đặc biệt lĩnh vực sản xuất mạch điện tử yêu cầu khâu sản xuất phải phải kiểm tra chất lượng cách xác tuyệt đối Kiểm tra mạch sử dụng nhân cơng gặp có nhiều bất lợi tốc độ chậm, có khả sai sót cao Do đó, nhà máy có nhu cầu xây dựng hệ thống kiểm tra chất lượng mạch tự đông Ngày Thị giác máy tính AI ngày phát triển, áp dụng vào đời sống sản xuất tìm kiếm hình ảnh thương mại điện tử, bảo mật, giám sát sản xuất tự động hoá, giám sát an ninh, chăm sóc sức khoẻ, xe tự hành, Thị giác máy tính lựa chọn hồn hảo để xây dụng hệ thống kiểm tra mạch chất lượng sản phẩm, thay công việc người, tăng độ xác tin cậy Đảm bảo chất lượng sản phẩm sau cơng đoạn gia cơng Nhóm lựa chọn đề tài “nghiên cứu, thiết kế chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh” ứng dụng cho kiểm tra ngoại quan khâu sản xuất mạch điện tử Ứng dụng công nghệ thị giác máy tính vào khâu kiển tra giúp tăng độ xác, suất sản xuất tiết kiệm nguồn nhận lực Kết hợp với dây truyền sản xuất tự động đại khác để tự động hoá nhà máy, hướng đến sản xuất 4.0 Hình 1- 2: Dây truyền hệ thống kiểm tra mạch 1.3 Mục đích nghiên cứu Mục đích nghiện cứu áp dụng lý thuyết thị giác máy tính kiến thức học trường chuyên ngành Cơ điện tử để chế tạo hoàn chỉnh hệ thống tự động kiểm tra ngoại quan mạch điện tử ứng dụng thị giác máy tính, phát sai sót láp giáp linh kiện hay khuyết tật cuả thành phẩm Từ áp dụng vào khâu sản xuất nhằm xây dụng hệ thống sản xuất mạch điện tử tự động hố với độ xác xuất cao đáp ứng nhu cầu ngày tăng thị trường chip mạch điện tử Nhóm đặt mục tiêu: Nghiên cứu, thiết kế chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh áp dụng cho kiểm tra ngoại quan mạch điện tử Nghiên cứu chế tạo mơ hình hệ thống thị giác máy tính thực tế thực tế làm mơ hình thí nghiệm học tập nghiên cứu 1.4 Giới hạn nghiên cứu Do kiến thức thời gian hạn hẹp nên đề tài thực nghiên cứu vấn đề sau: Nghiên cứu giải thuật xử lý ảnh sử dụng OpenCV Deep learning Nghiên cứu Thiết kế hệ thống dây chuyền băng tải phục vụ kiểm tra bảng mạch CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu xử lý ảnh Thị giác máy tính (computer vision) lĩnh vực bao gồm phương tiện thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh nói chung liệu đa chiều từ giói thực thơng tin, từ thơng tin đưa vào hệ thống để xử lý đưa định Ý tưởng thị giác máy tính cố gắng mô hệ thần kinh thị giác người, cung cấp cho hệ thống nhân tạo khả thu nhận, phân tích đưa định người nhận diện hình ảnh xem việc giải thơng tin từ liệu hình ảnh qua cách dùng mơ hình xây dựng nhờ giúp đỡ nghành lý thuyết, thống kê, vật lý hình học Thị giác máy tính mô tả tổng thể rải rộng trình chọn lọc, xử lý phân tích cách tự động thơng tin mơi trường đối tượng thông qua liệu dạng hình ảnh số Hình 2- 1: Mơ hình nhận diện đối tượng ... người máy tính - Điều khiển Robot 2.3 Deep learning (Học sâu) 2.3.1 Giới thiệu AI (Artificial Intelligence) Deep learning  Tổng quan AI AI (Artificial intelligence) trí thơng minh nhân tạo Nó... bật: .6 2.2.3 Ứng dụng OpenCV 2.3 Deep learning (Học sâu) 2.3.1 Giới thiệu AI (Artificial Intelligence) Deep learning 2.3.2 Neural Network (Mạng thần kinh) ... rộng ? ?ai Môđun xác định theo cơng thức (Hiệp, 1990): (3-5) Trong đó: 14 P1: Cơng suất bánh ? ?ai chủ động (kW) n1 : Số vòng quay bánh ? ?ai chủ động, vòng/phút Dựa vào kết tính tốn kết hợp với cơng