đề tài nghiên cứu, thiết kế và chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh

Tiểu Luận Pro(123docz.net) BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CƠ KHÍ -🙞🙜🕮🙞🙜 - ĐỒ ÁN MÔN HỌC CƠ ĐIỆN TỬ Giảng viên hướng dẫn: T.S Nguyễn Văn Trường Sinh viên thực hiện: Lê Văn Tuyên 2018601451 Đoàn Thị Ngọc Anh 2018600241 Nguyễn Phi Long 2018600323 Hà Nội – 2021 Tiểu Luận Pro(123docz.net) MỤC LỤC CHƯƠNG I : TỔNG QUAN CHUNG 1.1 Đặt vấn đề 1.2 Lý chọn đề tài 1.3 Mục đích nghiên cứu 1.4 Giới hạn nghiên cứu CHƯƠNG : CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu xử lý ảnh 2.2 Giới thiệu OpenCV 2.2.1 Giới thiệu OpenCV 2.2.2 Đặc điểm bật: 2.2.3 Ứng dụng OpenCV 2.3 Deep learning (Học sâu) 2.3.1 Giới thiệu AI (Artificial Intelligence) Deep learning 2.3.2 Neural Network (Mạng thần kinh) CHƯƠNG : TÍNH TỐN THIẾT KẾ HỆ THỐNG 3.1 Tổng quan hệ thống 10 10 3.1.2 Thiết lập danh sách yêu cầu 10 3.1.2 Sơ đồ tổng thể hệ thống 11 3.2 Tính tốn, thiết kế hệ thống khí 3.2.1 Tính toán lựa chọn động cơ, băng tải 12 12 3.2.1.1 Động băng tải 12 3.2.1.2 Tính tốn thiết kế hệ thống băng tải 13 3.2.2 Tính tốn thiết kế tay máy hút mạch 21 Tiểu Luận Pro(123docz.net) 3.2.3 Thiết kế hệ thống khí 3.3 Tính tốn, thiết kế hệ thống điều khiển 3.3.1 Hệ thống khí nén 23 26 27 3.3.1.1 Xilanh 28 3.3.1.2 Giác hút chân không 28 3.3.2 Hệ thống điều khiển 29 3.3.2.1 Động chiều có giảm tốc 29 3.3.2.2 Module điều khiển tốc độ động bước 30 3.3.2.3 Module relay kênh 24V 30 3.3.2.4 Van điện từ (5/2) 31 3.3.2.5 Máy tính nhúng NVIDIA Jetson Nano Developer Kit B01 32 3.3.2.6 Mạch Arduino 33 3.4 Thiết kế hệ thống nhận diện linh kiện điện tử 35 3.4.1 Calibration camera 35 3.4.2 Thuât toán ORB kĩ thuât Bruce Force matching 37 3.4.3 Mạng Convolution neuron network ứng dung việc phân loại linh kiện 45 3.4.4 Quá trình huấn luyện mơ hình 53 Tiểu Luận Pro(123docz.net) DANH MỤC HÌNH ẢNH Hình 1- 1: Hệ thống kiểm tra mạch cơng nghiệp Hình 1- 2: Dây truyền hệ thống kiểm tra mạch Hình 2- 1: Mơ hình nhận diện đối tượng Hình 2- 2: Ứng dụng xử lý ảnh ngành y tế Hình 2- 3: Ứng dụng nhận diện khn mặt Hình 2- 4: Mơ hình Neuron thần kinh Hình 2- 5: Cấu hình mạng Neuron nhân tạo Hình 3- 1: Động bước Nema 17 22 Hình 3- 2: Khung hệ thống 23 Hình 3- 3: Động giảm tốc 23 Hình 3- 4: Hệ thống truyền động 24 Hình 3- 5: Tay hút mạch 24 Hình 3- 6: Hệ thống điều chỉnh ánh sáng 25 Hình 3- 7: Sơ đồ tổng quan hệ thống điều khiển 26 Hình 3- 8: Xilanh trịn xilanh cốt đơi 28 Hình 3- 9: Giác hút chân khơng 28 Hình 3- 10: Động giảm tốc 12-24VDS400 29 Hình 3- 11: : Module Điều Khiển Động Cơ Mạch Cầu H 160W X2 29 Hình 3- 12: Module điều khiển tốc độ động bước TB6560 30 Hình 3- 13: Module relay kênh 24V 31 Hình 3- 14: Van điện từ khí nén 5/2 31 Hình 3- 15: Bộ JETSON NANO kit 32 Hình 3- 16: Mạch Arduino Mega 2560 R3 34 Tiểu Luận Pro(123docz.net) Hình 3- 17: Cảm biến quang 34 Hình 3- 18: Lưu đồ thuật tốn hệ thống nhận diện linh kiện điện tử 35 Hình 3- 19: Hình ảnh bàn cờ dùng để hiệu chỉnh camera 36 Hình 3- 20: Ảnh mạch sau sử dụng thuật tốn ORB 37 Hình 3- 21: Matching keypoints 39 Hình 3- 22: Matching Key points ảnh 40 Hình 3- 23: Quay chụp theo ảnh tham chiếu 42 Hình 3- 24: Ảnh mask sau sử dụng trừ ảnh 43 Hình 3- 25: Mơ tả thuật tốn Dilation 43 Hình 3- 26: Mơ tả thuật táon Erode 44 Hình 3- 27: Ảnh mask sau áp dụng dilation erode 44 Hình 3- 28: Vẽ border xác định vùng lỗi 45 Hình 3- 29: Sơ đồ mạng CNN 46 Hình 3- 30: Trích xuất đặc trưng qua lớp mạng CNN 46 Hình 3- 31: Khối Residual Resnet 47 Hình 3- 32: Mơ hình mạng Resnet-50 48 Hình 3- 33: Khối Residual Mobilenet 49 Hình 3- 34: Mơ hình Residual Mobilenet 49 Hình 3- 35: Kiến trúc U-net (ví dụ cho 32x32 pixel độ phân giải thấp nhất) 51 Hình 3- 36: Google Colaboratory 53 Hình 3- 37: Tập liệu ảnh huấn luyện nhận diện linh kiện 54 Hình 3- 38: Tập ảnh kiểm tra chiều linh kiện phát lỗi chip 54 Hình 3- 39: Kết huấn luyện mơ hình 55 Hình 3- 40: Giao diện phần mềm QT Designer 55 Hình 3- 41: Giao diện chương trình 57 Hình 3- 42: Bảng điều khiển 57 Hình 3- 43: Bảng lựa chọn công giao tiếp thông số thuật tốn 58 Tiểu Luận Pro(123docz.net) Hình 3- 44: Label thơng báo kết kiểm tra 58 Hình 3- 45: Scroll bar hiển thị linh kiện lỗi 59 Hình 3- 46: Dialog hiệu chỉnh camera 59 Hình 3- 47: Dialog gán nhãn vùng linh kiện 60 DANH MỤC BẢNG BIỂU Bảng 3- 1: Các thông số đai 14 Bảng 3- 2: Chiều rộng đai b 15 Bảng 3- 3: Số bánh đai nhỏ Z1 16 Bảng 3- 4: Chiều dài đai ld, mm 17 Bảng 3- 5: Hệ số tải trọng động 19 Bảng 3- : Trị số khối lượng 1m đai qm lực vòng riêng cho phép [q0] 19 Bảng 3- 7: Hệ số ảnh hưởng Cz 20 Bảng 3- 8: Hệ số Cu 20 Tiểu Luận Pro(123docz.net) CHƯƠNG I : TỔNG QUAN CHUNG 1.1 Đặt vấn đề Theo phát triển ngành kỹ thuật công nghệ sản xuất thiết bị điện, máy công cụ đại, nhu cầu chip bán dẫn mạch điện tử tăng cao hết Quy trình sản xuất mạch điện tử trình phức tạp u cầu độ xác cao Do đó, khâu kiểm tra thành phẩm sau sản xuât để đảm bảo yêu cầu chất lượng cần thiêt Với công nghệ ngày phát triển, thiết bị ngày thu nhỏ kích thước, kéo theo giảm kích thước linh kiện mạch điện tử Điều gây sựu khó khăn cơng đoạn kiểm tra ngoại quan mạch điện tử theo cách thủ cơng Tốc độ độ xác cuả q trình kiểm tra thủ công hạn chế, tốn nhân lực Do đó, nhà máy sản xuất lớn tích cực áp dụng công nghệ, xây dựng dây chuyền tự động hoá khâu sản xuất kiểm tra sản phẩm để tăng cao xuất Hình 1- 1: Hệ thống kiểm tra mạch công nghiệp Tiểu Luận Pro(123docz.net) 1.2 Lý chọn đề tài Hiện nay, phần lớn dây truyền sản xuất theo hướng công nghiệp với số lượng lớn vừa địi hỏi độ xác cao, vừa phải có xuất đáp ứng Các dây chuyền sản xuất cấp nhằm thay người khâu sản xuất đòi hỏi tốc độ độ xác cao Đặc biệt lĩnh vực sản xuất mạch điện tử yêu cầu khâu sản xuất phải phải kiểm tra chất lượng cách xác tuyệt đối Kiểm tra mạch sử dụng nhân công gặp có nhiều bất lợi tốc độ chậm, có khả sai sót cao Do đó, nhà máy có nhu cầu xây dựng hệ thống kiểm tra chất lượng mạch tự đơng Ngày Thị giác máy tính AI ngày phát triển, áp dụng vào đời sống sản xuất tìm kiếm hình ảnh thương mại điện tử, bảo mật, giám sát sản xuất tự động hố, giám sát an ninh, chăm sóc sức khoẻ, xe tự hành, Thị giác máy tính lựa chọn hoàn hảo để xây dụng hệ thống kiểm tra mạch chất lượng sản phẩm, thay cơng việc người, tăng độ xác tin cậy Đảm bảo chất lượng sản phẩm sau cơng đoạn gia cơng Nhóm lựa chọn đề tài “nghiên cứu, thiết kế chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh” ứng dụng cho kiểm tra ngoại quan khâu sản xuất mạch điện tử Ứng dụng cơng nghệ thị giác máy tính vào khâu kiển tra giúp tăng độ xác, suất sản xuất tiết kiệm nguồn nhận lực Kết hợp với dây truyền sản xuất tự động đại khác để tự động hoá nhà máy, hướng đến sản xuất 4.0 Hình 1- 2: Dây truyền hệ thống kiểm tra mạch Tiểu Luận Pro(123docz.net) 1.3 Mục đích nghiên cứu Mục đích nghiện cứu áp dụng lý thuyết thị giác máy tính kiến thức học trường chuyên ngành Cơ điện tử để chế tạo hoàn chỉnh hệ thống tự động kiểm tra ngoại quan mạch điện tử ứng dụng thị giác máy tính, phát sai sót láp giáp linh kiện hay khuyết tật cuả thành phẩm Từ áp dụng vào khâu sản xuất nhằm xây dụng hệ thống sản xuất mạch điện tử tự động hố với độ xác xuất cao đáp ứng nhu cầu ngày tăng thị trường chip mạch điện tử Nhóm đặt mục tiêu: Nghiên cứu, thiết kế chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh áp dụng cho kiểm tra ngoại quan mạch điện tử Nghiên cứu chế tạo mơ hình hệ thống thị giác máy tính thực tế thực tế làm mơ hình thí nghiệm học tập nghiên cứu 1.4 Giới hạn nghiên cứu Do kiến thức thời gian hạn hẹp nên đề tài thực nghiên cứu vấn đề sau: Nghiên cứu giải thuật xử lý ảnh sử dụng OpenCV Deep learning Nghiên cứu Thiết kế hệ thống dây chuyền băng tải phục vụ kiểm tra bảng mạch Tiểu Luận Pro(123docz.net) CHƯƠNG : CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu xử lý ảnh Thị giác máy tính (computer vision) lĩnh vực bao gồm phương tiện thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh nói chung liệu đa chiều từ giói thực thơng tin, từ thông tin đưa vào hệ thống để xử lý đưa định Ý tưởng thị giác máy tính cố gắng mơ hệ thần kinh thị giác người, cung cấp cho hệ thống nhân tạo khả thu nhận, phân tích đưa định người nhận diện hình ảnh xem việc giải thông tin từ liệu hình ảnh qua cách dùng mơ hình xây dựng nhờ giúp đỡ nghành lý thuyết, thống kê, vật lý hình học Thị giác máy tính mơ tả tổng thể rải rộng trình chọn lọc, xử lý phân tích cách tự động thơng tin môi trường đối tượng thông qua liệu dạng hình ảnh số Hình 2- 1: Mơ hình nhận diện đối tượng ... đặt mục tiêu: Nghiên cứu, thiết kế chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh áp dụng cho kiểm tra ngoại quan mạch điện tử Nghiên cứu chế tạo mơ hình hệ thống thị giác máy tính thực... tập nghiên cứu 1.4 Giới hạn nghiên cứu Do kiến thức thời gian hạn hẹp nên đề tài thực nghiên cứu vấn đề sau: Nghiên cứu giải thuật xử lý ảnh sử dụng OpenCV Deep learning Nghiên cứu Thiết kế hệ thống. .. tốn thiết kế hệ thống băng tải 13 3.2.2 Tính toán thiết kế tay máy hút mạch 21 Tiểu Luận Pro(123docz.net) 3.2.3 Thiết kế hệ thống khí 3.3 Tính tốn, thiết kế hệ thống điều khiển 3.3.1 Hệ thống