Nghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp ai cho nền tảng robot thông minh

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THÀNH NGHIÊN CỨU PHÁT TRIỂN CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH LUẬN VĂN THẠC SĨ HÀ NỘI, 2022 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THÀNH NGHIÊN CỨU PHÁT TRIỂN CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - VIỄN THÔNG Chuyên ngành: Kỹ thuật điện tử LUẬN VĂN THẠC SĨ Cán hƣớng dẫn: TS Đinh Triều Dƣơng PGS.TS Hoàng Văn Xiêm HÀ NỘI, 2022 LỜI CAM ĐOAN Tôi xin cam đoan đề tài “NGHIÊN CỨU PHÁT TRIỂN CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH” TS Đinh Triều Dƣơng PGS.TS Hồng Văn Xiêm hƣớng dẫn cơng trình nghiên cứu Các nội dung nghiên cứu, kết luận văn trung thực không chép cơng trình ngƣời khác Tất tài liệu tham khảo đƣợc sử dụng khóa luận đƣợc ghi rõ nguồn gốc ghi tên tác giả Nếu có sai sót, tơi xin chịu hồn tồn trách nhiệm Hà Nội, ngày tháng năm 2022 Tác giả Nguyễn Văn Thành i LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc đến hai thầy TS Đinh Triều Dƣơng PGS.TS Hoàng Văn Xiêm tận tình hƣớng dẫn hỗ trợ em hồn thành luận văn Em xin cảm ơn thầy, cô giáo khoa Điện tử - Viễn thông, Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội giảng dạy cho em kiến thức bổ ích suốt q trình học tập trƣờng Tơi xin gửi lời cảm ơn chân thành đến công ty TNHH Samsung Display Việt Nam nơi công tác tạo điều kiện cho tơi tham gia chƣơng trình đào tạo thạc sỹ trƣờng Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội Trong trình thực luận văn này, kiến thức cịn hạn chế, khơng thể tránh khỏi thiếu sót, em mong nhận đƣợc ý kiến góp ý thầy để em tiếp tục hồn thiện phát triển đề tài Hà Nội, ngày tháng năm 2022 Tác giả Nguyễn Văn Thành ii MỤC LỤC CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT iv DANH MỤC HÌNH ẢNH/ HÌNH VẼ v DANH MỤC BẢNG BIỂU .vi LỜI NÓI ĐẦU .1 CHƢƠNG GIỚI THIỆU CHUNG 1.1 Đặt vấn đề 1.2 Đóng góp luận văn 1.3 Cấu trúc luận văn CHƢƠNG TỔNG QUAN VỀ CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH .4 2.1 Tổng quan giải pháp thị giác máy công nghiệp kết hợp AI .4 2.1.1 Thị giác máy tính 2.1.2 Trí thơng minh nhân tạo 2.2 Tổng quan robot tay máy thông minh 21 CHƢƠNG 3: ỨNG DỤNG THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI ĐIỀU KHIỂN ROBOT THEO CỬ CHỈ CON NGƢỜI .26 3.1 Mô tả hệ thống 26 3.2 Ứng dụng thị giác máy kết hợp AI nhận dạng cử tay ngƣời 27 3.2.1 Những ứng dụng với cử bàn tay 27 3.2.2 Những phƣơng pháp nhận diện cử bàn tay 28 3.3 Điều khiển robot 32 3.3.1 Tính tốn động học thuận 32 3.3.2 Tính tốn động học nghịch .34 CHƢƠNG 4: ĐÁNH GIÁ VÀ KẾT QUẢ .36 4.1 Công cụ thực nghiệm 36 4.2 Chuẩn bị liệu 37 4.3 Phƣơng pháp thực nghiệm 39 4.4 Kết đánh giá 42 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 45 TÀI LIỆU THAM KHẢO iii CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT C CNN: Convolutional Neural Netwwork CSDL Mạng thần kinh tích chập Cơ sở liệu D DOF: Degrees of Freedom Bậc tự H HOG: Histrogram of Oriented Gradient HSV: Hue, Saturation, Lightness Biểu đồ gradient định hƣớng Vùng màu, độ bão hòa, độ sáng I IOU: Intersection over union Tỉ lệ diện tích giao hợp KNN:K-nearest neighbor Thuật toán K-láng giềng gần N NMS:Non-Max Suppression Triệt tiêu tối đa R ReLU: Rectified Linear Unit Đơn vị tuyến tính chỉnh lƣu S SRM:Structural Risk Minimization Giảm thiểu rủi ro cấu trúc SVM: Support Vector Machine Thuật học máy sử dụng véctơ hỗ trợ Y YOLO: You Only look Once Bạn nhìn lần iv DANH MỤC HÌNH ẢNH/ HÌNH VẼ Hình 2.1 Mơ tả thị giác máy tính Hình 2.2 Ví dụ KNN classification Hình 2.4 Kiến trúc mạng tích chập 12 Hình 2.5 ví dụ lọc tích chập đƣợc sử dụng ma trận điểm ảnh 13 Hình 2.6 Trƣờng hợp thêm/khơng thêm viền trắng vào ảnh tích chập .14 Hình 2.7 Phƣơng thức Avarage pooling Max pooling 15 Hình 2.8 Sơ đồ kiến trúc mạng YOLO 16 Hình 2.9 Phát vật thể thuật tốn YOLO 17 Hình 2.10 Mơ tả q trình YOLO 17 Hình 2.11 Minh họa cách xác định bounding box YOLO 18 Hình 2.12 Minh họa biểu diễn cơng thức tính IOU 19 Hình 2.13 Bounding box áp dụng nms 20 Hình 2.14 Sơ đồ kết nối mạch điều khiển Robot 23 Hình 2.15 Mơ robot hồn chỉnh 25 Hình 2.16 Tay máy bậc tự sau lắp ghép hoàn chỉnh (Uet robotics lab) 25 Hình 3.1 Mơ tả tốn robot thực thi theo cử tay ngƣời thông qua camera 26 Hình 3.2 Phân đoạn ảnh dựa vào màu da 29 Hình 3.3 Nhị phân ảnh tạo đƣờng viền 31 Hình 3.4 Hình minh họa động học thuận cánh tay robot 33 Hình 4.1 Mô tả công cụ thực nghiệm 37 Hình 4.2 Thực nghiệm với phƣơng pháp học máy truyền thống .39 Hình 4.3 Thực nghiệm với phƣơng pháp học máy truyền thống áp dụng số kỹ thuật xử lý ảnh nhận diện vùng da 39 Hình 4.4 Thực nghiệm với phƣơng pháp học sâu 41 Hình 4.5 Hình ảnh minh họa kết thực tế………………………………… 42 Hình 4.6 Thuật toán YOLO phát vật thể gắp robot……………… …42 Hình 4.7 Độ xác thuật tốn ứng dụng 43 Hình 4.8 Biểu đồ thể thời gian tiền xử lý - đào tạo thuật tốn AI 44 Hình 4.9 Biểu đồ thể thời gian dự đoán ảnh thuật toán AI 44 v DANH MỤC BẢNG BIỂU Bảng 2.1 Chi tiết linh kiện sử dụng tay máy bậc tự 22 Bảng 2.2 Các bƣớc thiết kế tay máy bậc tự .24 Bảng 3.1 Thông số D – H tay máy robot 33 Bảng 3.2 Cơng thức tính động học nghịch .35 Bảng 4.1 Bộ liệu sử dụng để nhận diện cử 38 Bảng 4.2 Bộ liệu bao gồm hình ảnh sạc điện thoại 38 vi LỜI NÓI ĐẦU Ngày với phát triển nhanh chóng ứng dụng cơng nghệ thông tin vào sống ngƣời, việc tƣơng tác ngƣời máy móc ngày trở nên quan trọng Trƣớc đây, bàn phím chuột giao diện để giao tiếp ngƣời máy tính Tuy nhiên, ngƣời giao tiếp chủ yếu với tƣơng tác “nghe” “nhìn”, giao diện ngƣời với máy móc trực quan nhiều ngƣời điều khiển máy móc giọng nói hay cử giống nhƣ tƣơng tác ngƣời với ngƣời giới thực mà không cần thông qua thiết bị điều khiển nhƣ chuột hay bàn phím giao tiếp từ xa So với hệ thống điều khiển lệnh âm thanh, hệ thống thị giác thích hợp mơi trƣờng ồn trƣờng hợp âm bị nhiễu, việc thị giác nhận dạng cử động tay ngƣời giao tiếp cách tƣơng tác tự nhiên giao tiếp ngƣời với ngƣời, nhiều nhà nghiên cứu học viện ngành công nghiệp quan tâm đến hƣớng nghiên cứu ứng dụng tƣơng tác ngƣời với máy móc qua cử tay Nghiên cứu ứng dụng cho phép ngƣời tƣơng tác với máy dễ dàng thuận tiện từ xa mà không cần phải mang thêm thiết bị ngoại vi nào, thay đổi trình giao tiếp trƣớc tăng tính thuật tiện nhƣ kết hợp thơng minh ngƣời máy móc Do luận văn tập trung nghiên cứu với đề tài: “Nghiên cứu phát triển giải pháp thị giác máy công nghiệp kết hợp AI cho tảng Robot thông minh” CHƢƠNG GIỚI THIỆU CHUNG 1.1 Đặt vấn đề Trong giới ngày nay, nhà sản xuất ngày chuyển sang tự động hóa dựa cộng tác ngƣời máy móc Tự động hóa cộng tác linh hoạt giúp giảm thời gian cần thiết cho việc lập kế hoạch, ngân sách, chi phí, thuê đào tạo nhân viên để có đƣợc kỹ cần thiết để thực cấu hình nhà máy lớn Mặc dù phát triển robot hợp tác (cobots - collaborative robots) tồn tại, nhƣng cobots đƣợc tích hợp thành cơng vào quy trình khác chúng đƣợc sử dụng nhiều ứng dụng khác từ cơng nghiệp thơng qua chăm sóc sức khỏe nghiên cứu Có nhiều khác biệt cách robot công nghiệp thông thƣờng khác với cobots, robot công nghiệp thông thƣờng bị cô lập khỏi ngƣời điều khiển (bằng hàng rào, rào cản quang học phƣơng tiện khác để ngăn chuyển động robot), cobots hoạt động trực tiếp bên cạnh ngƣời giúp ngƣời xử lý công việc hàng ngày Trong thời đại tự động hóa, robot khơng loại bỏ can thiệp ngƣời vào cơng việc lặp lặp lại mà cịn đƣợc coi thay phù hợp cho ngƣời công việc phức tạp, nơi kỹ định gắn với lập kế hoạch di chuyển cần thiết, bối cảnh tƣơng lai nhƣ u cầu chia sẻ khơng gian làm việc ngƣời robot Do đó, robot học kỹ từ ngƣời cách quan sát nhiệm vụ cần thiết để phát triển ứng dụng tƣơng lai Vì động thực luận văn mong muốn điều khiển robot mà khơng cần lập trình thủ công trực tiếp sử dụng cảm biến mà thay vào sử dụng phƣơng pháp học sâu trí tuệ nhân tạo để phát cử tay ngƣời đƣợc thu thập camera vision qua gửi tín hiệu điều khiển tới robot Điều giúp loại bỏ tiếp xúc trực