Nghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh

ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh ghiên cứu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THÀNH NGHIÊN CỨU PHÁT TRIỂN CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH LUẬN VĂN THẠC SĨ HÀ NỘI, 2022 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THÀNH NGHIÊN CỨU PHÁT TRIỂN CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - VIỄN THÔNG Chuyên ngành: Kỹ thuật điện tử LUẬN VĂN THẠC SĨ Cán hƣớng dẫn: TS Đinh Triều Dƣơng PGS.TS Hoàng Văn Xiêm HÀ NỘI, 2022 LỜI CAM ĐOAN Tôi xin cam đoan đề tài “NGHIÊN CỨU PHÁT TRIỂN CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH” TS Đinh Triều Dƣơng PGS.TS Hồng Văn Xiêm hƣớng dẫn cơng trình nghiên cứu Các nội dung nghiên cứu, kết luận văn trung thực không chép cơng trình ngƣời khác Tất tài liệu tham khảo đƣợc sử dụng khóa luận đƣợc ghi rõ nguồn gốc ghi tên tác giả Nếu có sai sót, tơi xin chịu hồn tồn trách nhiệm Hà Nội, ngày tháng năm 2022 Tác giả Nguyễn Văn Thành i LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc đến hai thầy TS Đinh Triều Dƣơng PGS.TS Hoàng Văn Xiêm tận tình hƣớng dẫn hỗ trợ em hồn thành luận văn Em xin cảm ơn thầy, cô giáo khoa Điện tử - Viễn thông, Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội giảng dạy cho em kiến thức bổ ích suốt q trình học tập trƣờng Tơi xin gửi lời cảm ơn chân thành đến công ty TNHH Samsung Display Việt Nam nơi công tác tạo điều kiện cho tơi tham gia chƣơng trình đào tạo thạc sỹ trƣờng Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội Trong trình thực luận văn này, kiến thức cịn hạn chế, khơng thể tránh khỏi thiếu sót, em mong nhận đƣợc ý kiến góp ý thầy để em tiếp tục hồn thiện phát triển đề tài Hà Nội, ngày tháng năm 2022 Tác giả Nguyễn Văn Thành ii MỤC LỤC CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT iv DANH MỤC HÌNH ẢNH/ HÌNH VẼ v DANH MỤC BẢNG BIỂU vi LỜI NÓI ĐẦU CHƢƠNG GIỚI THIỆU CHUNG 1.1 Đặt vấn đề 1.2 Đóng góp luận văn 1.3 Cấu trúc luận văn CHƢƠNG TỔNG QUAN VỀ CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH 2.1 Tổng quan giải pháp thị giác máy công nghiệp kết hợp AI 2.1.1 Thị giác máy tính 2.1.2 Trí thơng minh nhân tạo 2.2 Tổng quan robot tay máy thông minh 21 CHƢƠNG 3: ỨNG DỤNG THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI ĐIỀU KHIỂN ROBOT THEO CỬ CHỈ CON NGƢỜI 26 3.1 Mô tả hệ thống 26 3.2 Ứng dụng thị giác máy kết hợp AI nhận dạng cử tay ngƣời 27 3.2.1 Những ứng dụng với cử bàn tay 27 3.2.2 Những phƣơng pháp nhận diện cử bàn tay 28 3.3 Điều khiển robot 32 3.3.1 Tính tốn động học thuận 32 3.3.2 Tính tốn động học nghịch 34 CHƢƠNG 4: ĐÁNH GIÁ VÀ KẾT QUẢ 36 4.1 Công cụ thực nghiệm 36 4.2 Chuẩn bị liệu 37 4.3 Phƣơng pháp thực nghiệm 39 4.4 Kết đánh giá 42 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 45 TÀI LIỆU THAM KHẢO iii CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT C CNN: Convolutional Neural Netwwork CSDL Mạng thần kinh tích chập Cơ sở liệu D Bậc tự DOF: Degrees of Freedom H HOG: Histrogram of Oriented Gradient HSV: Hue, Saturation, Lightness Biểu đồ gradient định hƣớng Vùng màu, độ bão hòa, độ sáng I IOU: Intersection over union Tỉ lệ diện tích giao hợp KNN:K-nearest neighbor Thuật toán K-láng giềng gần N Triệt tiêu tối đa NMS:Non-Max Suppression R Đơn vị tuyến tính chỉnh lƣu ReLU: Rectified Linear Unit S SRM:Structural Risk Minimization Giảm thiểu rủi ro cấu trúc SVM: Support Vector Machine Thuật học máy sử dụng véctơ hỗ trợ Y Bạn nhìn lần YOLO: You Only look Once iv DANH MỤC HÌNH ẢNH/ HÌNH VẼ Hình 2.1 Mơ tả thị giác máy tính Hình 2.2 Ví dụ KNN classification Hình 2.4 Kiến trúc mạng tích chập 12 Hình 2.5 ví dụ lọc tích chập đƣợc sử dụng ma trận điểm ảnh 13 Hình 2.6 Trƣờng hợp thêm/không thêm viền trắng vào ảnh tích chập 14 Hình 2.7 Phƣơng thức Avarage pooling Max pooling 15 Hình 2.8 Sơ đồ kiến trúc mạng YOLO 16 Hình 2.9 Phát vật thể thuật toán YOLO 17 Hình 2.10 Mơ tả q trình YOLO 17 Hình 2.11 Minh họa cách xác định bounding box YOLO 18 Hình 2.12 Minh họa biểu diễn cơng thức tính IOU 19 Hình 2.13 Bounding box áp dụng nms 20 Hình 2.14 Sơ đồ kết nối mạch điều khiển Robot 23 Hình 2.15 Mơ robot hoàn chỉnh 25 Hình 2.16 Tay máy bậc tự sau lắp ghép hoàn chỉnh (Uet robotics lab) 25 Hình 3.1 Mơ tả tốn robot thực thi theo cử tay ngƣời thông qua camera 26 Hình 3.2 Phân đoạn ảnh dựa vào màu da 29 Hình 3.3 Nhị phân ảnh tạo đƣờng viền 31 Hình 3.4 Hình minh họa động học thuận cánh tay robot 33 Hình 4.1 Mơ tả cơng cụ thực nghiệm 37 Hình 4.2 Thực nghiệm với phƣơng pháp học máy truyền thống 39 Hình 4.3 Thực nghiệm với phƣơng pháp học máy truyền thống áp dụng số kỹ thuật xử lý ảnh nhận diện vùng da 39 Hình 4.4 Thực nghiệm với phƣơng pháp học sâu 41 Hình 4.5 Hình ảnh minh họa kết thực tế………………………………… 42 Hình 4.6 Thuật tốn YOLO phát vật thể gắp robot……………… …42 Hình 4.7 Độ xác thuật toán ứng dụng 43 Hình 4.8 Biểu đồ thể thời gian tiền xử lý - đào tạo thuật tốn AI 44 Hình 4.9 Biểu đồ thể thời gian dự đoán ảnh thuật toán AI 44 v DANH MỤC BẢNG BIỂU Bảng 2.1 Chi tiết linh kiện sử dụng tay máy bậc tự 22 Bảng 2.2 Các bƣớc thiết kế tay máy bậc tự 24 Bảng 3.1 Thông số D – H tay máy robot 33 Bảng 3.2 Cơng thức tính động học nghịch 35 Bảng 4.1 Bộ liệu sử dụng để nhận diện cử 38 Bảng 4.2 Bộ liệu bao gồm hình ảnh sạc điện thoại 38 vi LỜI NÓI ĐẦU Ngày với phát triển nhanh chóng ứng dụng cơng nghệ thông tin vào sống ngƣời, việc tƣơng tác ngƣời máy móc ngày trở nên quan trọng Trƣớc đây, bàn phím chuột giao diện để giao tiếp ngƣời máy tính Tuy nhiên, ngƣời giao tiếp chủ yếu với tƣơng tác “nghe” “nhìn”, giao diện ngƣời với máy móc trực quan nhiều ngƣời điều khiển máy móc giọng nói hay cử giống nhƣ tƣơng tác ngƣời với ngƣời giới thực mà không cần thông qua thiết bị điều khiển nhƣ chuột hay bàn phím giao tiếp từ xa So với hệ thống điều khiển lệnh âm thanh, hệ thống thị giác thích hợp mơi trƣờng ồn trƣờng hợp âm bị nhiễu, việc thị giác nhận dạng cử động tay ngƣời giao tiếp cách tƣơng tác tự nhiên giao tiếp ngƣời với ngƣời, nhiều nhà nghiên cứu học viện ngành công nghiệp quan tâm đến hƣớng nghiên cứu ứng dụng tƣơng tác ngƣời với máy móc qua cử tay Nghiên cứu ứng dụng cho phép ngƣời tƣơng tác với máy dễ dàng thuận tiện từ xa mà không cần phải mang thêm thiết bị ngoại vi nào, thay đổi trình giao tiếp trƣớc tăng tính thuật tiện nhƣ kết hợp thơng minh ngƣời máy móc Do luận văn tập trung nghiên cứu với đề tài: “Nghiên cứu phát triển giải pháp thị giác máy công nghiệp kết hợp AI cho tảng Robot thông minh” CHƢƠNG GIỚI THIỆU CHUNG 1.1 Đặt vấn đề Trong giới ngày nay, nhà sản xuất ngày chuyển sang tự động hóa dựa cộng tác ngƣời máy móc Tự động hóa cộng tác linh hoạt giúp giảm thời gian cần thiết cho việc lập kế hoạch, ngân sách, chi phí, thuê đào tạo nhân viên để có đƣợc kỹ cần thiết để thực cấu hình nhà máy lớn Mặc dù phát triển robot hợp tác (cobots - collaborative robots) tồn tại, nhƣng cobots đƣợc tích hợp thành cơng vào quy trình khác chúng đƣợc sử dụng nhiều ứng dụng khác từ cơng nghiệp thơng qua chăm sóc sức khỏe nghiên cứu Có nhiều khác biệt cách robot công nghiệp thông thƣờng khác với cobots, robot công nghiệp thông thƣờng bị cô lập khỏi ngƣời điều khiển (bằng hàng rào, rào cản quang học phƣơng tiện khác để ngăn chuyển động robot), cobots hoạt động trực tiếp bên cạnh ngƣời giúp ngƣời xử lý công việc hàng ngày Trong thời đại tự động hóa, robot khơng loại bỏ can thiệp ngƣời vào cơng việc lặp lặp lại mà cịn đƣợc coi thay phù hợp cho ngƣời công việc phức tạp, nơi kỹ định gắn với lập kế hoạch di chuyển cần thiết, bối cảnh tƣơng lai nhƣ u cầu chia sẻ khơng gian làm việc ngƣời robot Do đó, robot học kỹ từ ngƣời cách quan sát nhiệm vụ cần thiết để phát triển ứng dụng tƣơng lai Vì động thực luận văn mong muốn điều khiển robot mà khơng cần lập trình thủ công trực tiếp sử dụng cảm biến mà thay vào sử dụng phƣơng pháp học sâu trí tuệ nhân tạo để phát cử tay ngƣời đƣợc thu thập camera vision qua gửi tín hiệu điều khiển tới robot Điều giúp loại bỏ tiếp xúc trực Với thông số thiết kế: L1 = 0mm, d1 = 100 mm, L2 = 120mm, L3 = 120mm, L4 = 100mm A khoảng cách trục Z, alpha góc trục Z, d khoảng cách trục X, theta góc trục X Các ma trận chuyển đổi: (3.1) (3.2) (3.3) (3.4) T = T1*T2*T3*T4 T= (3.5) 3.3.2 Tính tốn động học nghịch Động học ngƣợc toán xác định góc quay khớp biết vị trí khâu tác động cuối robot Đặc điểm:  Khơng có phƣơng pháp tổng quát 34  Nghiệm không Tính tốn động học nghịch phƣơng pháp hình học: Ta có: L1 = 0mm, d1 = 100mm, L2 = 120mm, L3 = 120mm, L4 = 100mm Bảng 3.2 Cơng thức tính động học nghịch Thơng số Cơng thức tính atan2(y, x) d Q √ có giá trị khoảng đến 120 độ d – L4*cos(Q) r3 z3 s z + L4*sin(Q) √ α | atan2(z3 - d1, r3) | α+ Q+ Bài toán động học nghịch nhằm xác định thông số động học để đảm bảo chuyển động cho trƣớc phần công tác Nhiều trƣờng hợp có nghiệm tìm đƣợc tốn học, nhƣng lại không chấp nhận đƣợc mặt vật lý, buộc kết cấu robot Việc tìm nghiệm phù hợp địi hỏi ngƣời thiết kế trực giác mặt toán học, kết cấu để dự đoán đặc điểm khu vực giảm đƣợc số nghiệm cần lựa chọn 35 CHƢƠNG 4: ĐÁNH GIÁ VÀ KẾT QUẢ Hiệu phƣơng pháp đề xuất với cách thức kiểm tra điều kiện kiểm tra đƣợc mô tả chƣơng Dựa kết thu đƣợc, hoạt động ổn định hệ thống đƣa kết luận đánh giá phƣơng pháp để đảm bảo tính xác hƣớng phát triển thêm luận văn 4.1 Công cụ kịch thực nghiệm Cơng cụ thực nghiệm Máy tính:  OS: Microsoft Window 10 64 bits  CPU: Intel Core i5-3110M 2.5Ghz  RAM: 8Gb Phần mềm:  Visual studio code 1.68.1  Adruino IDE 1.8.19 Camera phát sạc điện thoại:  Camera Logitech C270i Robot:  Robot bậc tự sử dụng vi điều khiển Arduino Mega 2560 36 Hình 4.1 Mơ tả cơng cụ thực nghiệm Kịch thực nghiệm Luận văn tiến hành đánh giá hệ thống với phƣơng pháp khác nhằm mục đích so sánh đánh giá hiệu mặt xác nhƣ thời gian tiến hành thuật toán AI truyền thống AI học sâu phƣơng pháp thực bao gồm nhƣ dƣới đây: + Phƣơng pháp 1: Đánh giá với phƣơng pháp học máy truyền thống + Phƣơng pháp 2: Thực nghiệm với phƣơng pháp học máy truyền thống áp dụng số kỹ thuật xử lý ảnh nhận diện vùng da + Phƣơng pháp 3: Thực nghiệm với phƣơng pháp Học sâu 4.2 Chuẩn bị liệu Dữ liệu chuẩn bị cho việc tiến hành thực nghiệm đƣợc chụp lại bao gồm tập liệu cử tay sạc điện thoại Bộ liệu cử tay đƣợc tạo với mục đích tạo liệu trainning cho thuật toán AI nhận diện cử tay, liệu sạc điện thoại đƣợc tạo với mục đích tạo liệu đào tạo cho thuật tốn Yolo phát vật gửi tọa độ cho robot để thực gắp vật thả vào vị trí mong muốn theo cử Bộ liệu cử tay ngƣời 37 bao gồm 2000 ảnh, gán nhãn loại với số lƣợng 500 ảnh loại liệu sạc điện thoại bao gồm 200 ảnh Bảng 4.1 dƣới mô tả liệu cử tay ngƣời Bảng 4.1 Bộ liệu sử dụng để nhận diện cử Dữ liệu điều khiển Số lƣợng liệu 500 ảnh Nhãn UP 500 ảnh DOWN 500 ảnh HIGH 500 ảnh ZERO Bảng 4.2 Bộ liệu bao gồm hình ảnh sạc điện thoại Dữ liệu nhận diện vật cần gắp cho Robot Số lƣợng liệu 200 ảnh 38 4.3 Phƣơng pháp thực nghiệm Phƣơng pháp 1: Thực nghiệm với phƣơng pháp học máy truyền thống Hình 4.2 Thực nghiệm với phương pháp học máy truyền thống - Bƣớc 1: Xây dựng CSDL ảnh cho cử tay - Bƣớc 2: Tiền xử lý ảnh (giảm kích thƣớc, chuyển sang ảnh gray) [20] - Bƣớc 3: Sử dụng thuật toán HOG để tạo đặc trƣng cho ảnh - Bƣớc 4: Huấn luyện mơ hình nhận dạng cử tay ngƣời từ CSDL ảnh - Bƣớc 5: Thống kê độ xác với tỉ lệ đào tạo (70%), kiểm thử (30%) Kết đạt đƣợc không cao, khoảng 59.6%~77.9% Phƣơng pháp 2: Thực nghiệm với phƣơng pháp học máy truyền thống áp dụng số kỹ thuật xử lý ảnh nhận diện vùng da Hình 4.3 Thực nghiệm với phương pháp học máy truyền thống áp dụng số kỹ thuật xử lý ảnh nhận diện vùng da 39 - Bƣớc 1: Xây dựng CSDL ảnh cho cử tay - Bƣớc 2: Tiền xử lý ảnh CSDL + Về màu sắc: Sử dụng không gian màu HSV để mô tả màu sắc dựa số liệu vùng màu, độ bão hòa màu độ sáng Ứng dụng điển hình HSV việc lọc màu + Tạo lớp mặt nạ, lọc nền, tạo viền, nhị phân ảnh + Sử dụng ngƣỡng cố định khơng gian màu HSV Các điểm ảnh có giá trị H nằm khoảng [0, 50], giá trị S nằm khoảng [0.23, 0.68] đƣợc xác định điểm ảnh có màu da [18] + Tạo đƣờng biên cho hình ảnh bàn tay - Bƣớc 3: Chọn lọc đặc trƣng sử dụng thuật toán HOG để tạo đặc trƣng cho ảnh Điểm mấu chốt nguyên lý hoạt động HOG hình dạng vật thể cục đƣợc mơ tả thơng qua hai ma trận ma trận độ lớn gradient (gradient magnitude) ma trận phƣơng gradient (gradient direction) [19] - Bƣớc 4: Huấn luyện mơ hình nhận dạng cử tay ngƣời từ CSDL ảnh xây dựng Bộ CSDL ảnh để so sánh cách tƣơng đối độ xác mơ hình học máy truyền thống với mơ hình học sâu phát triển bây giờ, số lƣợng loại cử đƣợc hạn chế với loại, số lƣợng cho loại cử 500 ảnh - Bƣớc 5: Thống kê độ xác với tỉ lệ đào tạo/kiểm thử 70/30 Kết đạt đƣợc không cao, khoảng 64.2~80.5%, thử nghiệm thực tế gặp phải nhiều sai số (do ảnh chụp ảnh thực có chất lƣợng khơng cao, nhiều nhiễu khác biệt lớn so với CSDL ảnh để huấn luyện) 40 Phƣơng pháp 3: Thực nghiệm với phƣơng pháp Học sâu Hình 4.4 Thực nghiệm với phương pháp Học sâu - Bƣớc 1: Xây dựng CSDL ảnh cử tay, ảnh sạc điện thoại - Bƣớc 2: Tiền xử lý giảm kích cỡ gán nhãn ảnh CSDL [16] Hai bƣớc cần thực lần xây dựng CSDL ảnh huấn luyện cho phƣơng pháp Học máy truyền thống - Bƣớc 3: Thiết lập thông số convolution layer, fully connected layer cần thiết để ứng dụng mơ hình CNN [21] - Bƣớc 4: Huấn luyện mơ hình nhận dạng cử tay - Bƣớc 5: Thống kê độ xác với tỉ lệ đào tạo/test 70/30 Xem hình kết ta thấy độ xác đạt đƣợc cao, 95.5%, vƣợt trội so với với độ xác mơ hình huấn luyện sử dụng phƣơng pháp Học máy truyền thống Hình 4.5 Hình ảnh minh họa kết thực tế 41 Nhận diện vật thể robot cần gắp sạc điện thoại thuật toán YOLO: - Bƣớc 1: Xây dựng CSDL vật thể ảnh sạc điện thoại - Bƣớc 2: Gán nhãn cho hình ảnh vật thể - Bƣớc 3: Huấn luyện thuật tốn YOLO độ xác ~96%, tính tốn tọa độ vật phát đƣợc [21] Hình 4.5 Thuật toán YOLO phát vật thể gắp robot - Bƣớc 4: Chuyển tọa độ vật từ vision sang tọa độ robot - Bƣớc 5: Tiến hành gắp vật, vị trí thả vật tƣơng ứng với tín hiệu điều khiển cử tay (cử up thả giỏ 1, cử down thả giỏ 2, cử high thả giỏ 3, cử zero gắp vật không thả) 4.4 Kết đánh giá Với kết thu đƣợc từ hai mơ hình huấn luyện sử dụng ba phƣơng pháp khác CSDL ảnh chất lƣợng tốt đƣợc tiền xử lý nhƣ gán nhãn cẩn thận, đƣa kết luận nhƣ sau: Với toán nhận diện cử tay sử dụng phƣơng pháp học máy truyền thống áp dụng số kỹ thuật xử lý ảnh nhận diện vùng da cho đƣợc kết tốt với 42 phƣơng pháp học máy truyền thống xử lý ảnh thông thƣờng chuyển thang độ xám, nhiên với phƣơng pháp học máy truyền thống khó chọn đƣợc đặc trƣng hiệu lƣợng nhiễu liệu nhiều trƣờng hợp lớn Từ tơi tiến hành đánh giá với phƣơng pháp học sâu nhận thấy kết có ƣu vƣợt trội so với phƣơng pháp học máy truyền thống, học sâu giúp đơn giản hóa q trình huấn luyện mơ hình nhận dạng không yêu cầu tham gia ngƣời huấn luyện q trình trích chọn đặc trƣng, đồng thời cho phép tái sử dụng mơ hình huấn luyện trƣớc để giảm thời gian cài đặt giải pháp cho toán nhận dạng Với kết thời gian đào tạo ta nhận thấy với thuật toán học sâu có thời gian đào tạo tồn lƣợng liệu lớn 684giây, thuật toán học máy thông thƣờng giao động từ khoảng 100~200giây, nhiên sau đào tạo thời gian kiểm tra ảnh thuật tốn học sâu khơng có chênh lệch đáng kể với thời gian trung bình 0.6giây/ảnh, thuật tốn học máy truyền thống 0.2~0.58% Thông tin tổng quan kết đạt đƣợc ba phƣng pháp khác việc nhận diện cử tay đƣợc thể biểu đồ 4.3 dƣới - Mask: áp dụng kỹ thuật xử lý ảnh nhận diện vùng da - No mask: không áp dụng kỹ thuật xử lý ảnh nhận diện vùng da Hình 4.6 Độ xác thuật tốn ứng dụng 43 Hình 4.7 Biểu đồ thể thời gian tiền xử lý - đào tạo thuật tốn AI Hình 4.8 Biểu đồ thể thời gian dự đoán ảnh thuật toán AI Với tỷ lệ độ xác cao 95.5% phƣơng pháp CNN với thời gian dự đoán ảnh 0.6s/image đáp ứng đƣợc yêu cầu hệ thống đặt , tiến hành ứng dụng phƣơng pháp kết hợp với robot tay máy thông minh với tỷ lệ nhận dạng vật thể cần gắp xác 96.8% phƣơng pháp YOLO Hệ thống chạy ổn định hoạt động toán đặt với yêu cầu điều khiển robot gắp thả vật (sạc điện thoại) vào giỏ tƣơng ứng với cử up thả vật vào giỏ 1, cử down thả vật vào giỏ 2, cử high thả vật vào giỏ 3, cử zero gắp vật không thả 44 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Luận văn trình bày kiến thức tổng quan thị giác máy trí thông minh nhân tạo kết hợp với hệ thống điều khiển robot Nhờ áp dụng kỹ thuật học máy học sâu khác luận văn đánh giá đƣợc hiệu ứng dụng theo thuật toán Từ phân tích, đánh giá, luận văn đƣa đƣợc số nội dung dƣới đây:  Kết đạt đƣợc: - Thực tốt chức năng: nhận dạng cử bàn tay, nhận diện vật cần gắp cho robot tay máy - Nghiên cứu lý thuyết thuật toán AI - Nghiên cứu lý thuyết xử lý ảnh - Xây dựng giải thuật nhận dạng cử bàn tay hoạt động thành công - Xây dựng đƣợc giải thuật nhận dạng điều khiển robot - Thực hồn thiện mơ hình AI-Vision kết nối với robot tay máy bậc tự Hệ thống chạy đảm bảo đáp ứng yêu toán đƣa  Hạn chế: - Chƣa hoạt động tốt môi trƣờng nhiễu nhiều vật thể - Thời gian đào tạo liệu cao  Hƣớng phát triển đề tài: Từ mặt hạn chế đề tài, để đề tài hoạt động tốt áp dụng vào thực tế tiếp tục nghiên cứu sâu để tối ƣu hóa hệ thống độ xác thời gian xử lý, bên cạnh tơi phát triển hƣớng nghiên cứu với nhiều cử ngƣời để điều khiển tƣơng tác với robot cách linh hoạt 45 TÀI LIỆU THAM KHẢO Tài liệu tiếng Anh: [1] Yu Sun, Yuan Liu, Guan Wang, and Haiyan Zhang, “Deep Learning for Plant Identification in Natural Environment”, School of Information Science and Technology, Beijing Forestry University, Beijing 100083, China 22 May 2017 [2] MihainDaniel RADU, Ilona Madalina COSTEA, Valentin Alexandru STAN, “Automatic Traffic Sign Recognition Artificial Inteligence Deep Learning Algorithm”, 25-27 June 2020 [3] Wun-Hwa Chen, Sheng-Hsun Hsu , Hwang-Pin Shen, “Application of SVM and ANN for intrusion detection”, National Taiwan University, No 1, Section 4, Roosevelt Road, Taipei 106, Taiwan Accepted 29 March 2004 [4] Durgesh K Srivastava, Lekha Bhambh, “Data classification using support vector machine”, Journal of Theoretical and Applied Information Technology 12(1):1-7, february 2010 [5] N Dalal and B Triggs ”Histograms of oriented gradients for human detection”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 20-25 June 2005 [6] Shyava Tripathi, Rishi Kumar, “Image Classification using small Convolutional Neural Network”, International Conference on Cloud Computing, Data Science & Engineering (Confluence), DOI: 10.1109/CONFLUENCE.2019.8776982, 2019 [7] K Sobottka, I Pitas, “Extraction of facial regions and features using color and shape information”, Computer Science, Proceedings of 13th International Conference on Pattern Recognition, 25 August 1996 [8] A Shimada, T Yamashita and R - I Taniguchi, “Hand gesture based TV control system - towards both user - & machine-friendly gesture applications”, in Proceedings of the 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV '13), ISBN: 121– 126, February 2013 [9] Zhi-hua Chen, Jung-Tae Kim, Jianning Liang, Jing Zhang and YuBo Yuan “Real-Time Hand Gesture Recognition Using Finger Segmentation” The Fundamental Research Funds for the Central Universities, ISSN: 1923-4007, 3(7), 36-43, 2014 [10] Lifan Fei, Jin He.” A three-dimensional Douglas–Peucker algorithm and its application to automated generalization of DEMs”, International Journal of Geographical Information, Science, 23(6):703-718, 10.1080, June 200 [11] Vincent Mühler, “Simple Hand Gesture Recognition using OpenCV and JavaScript”, Medium, ISBN: 978-604-93-8961-0, 3-16, Sep 5, 2017 [12] Chao Hy Xiang Wang, Mrinal K Mandal, Max Meng and Donglin Li, "Efficient Face and Gesture Recognition Techniques for Robot Control", CCECE, 1757-1762, Sep 5, 2017 [13] AsanterabiMalima, ErolOzgur and Mujdat Cetin, "A Fast Algorithm for Vision-Based Hand Gesture Recognition for Robot Control", IEEE International Conference on Computer Vision, 2006 [14] Harish Kumar Kaura, VipulHonrao, SayaliPatil, PravishShetty, "Gesture Controlled Robot using Image Processing", IJARAI 2013, Volume No 5, Page 69-77, 2013 [15] Amiraj Dhawan, Anuradha Bhat, Soumya Sharma, Harish Kumar Kaura, "Automated Robot with Object Recognition and Handling Features", IJECSE Volume 2, Number 3, Page 861-873, 2013 Tài liệu tiếng Việt: [16] Nguyễn Văn Dũng, “Nhận dạng bàn tay điều khiển robot di động”, luận văn đại học, Đại học Bách Khoa TP.Hồ Chí Minh, 2005 [17] Nguyễn Thị Phƣơng Hà, “Lý thuyết điều khiển đại”, nhà xuất đại học quốc gia TP.Hồ Chí Minh, 2007 [18] Lê Việt Dũng, “Nghiên cứu kỹ thuật nhận dạng bàn tay ngƣời”, Luận văn tốt nghiệp, Học viện Cơng nghệ Bƣu Viễn thông, 2013 Các website tham khảo: [19] lzane/Fingers-Detection-using-OpenCV-and-Python: https://github.com/lzane/Fingers-Detection-using-OpenCV-andPython [20] Amarlearning/Finger-Detection-and-Tracking: https://github.com/amarlearning/Finger-Detection-and-Tracking [21] Opencv python nhận dạng cử tay: https://github.com/dabhisharad13/Hand-gesture-recognition-usingOpenCv-and-Cnn ... hƣớng phát triển tƣơng lai CHƢƠNG TỔNG QUAN VỀ CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH 2.1 Tổng quan giải pháp thị giác máy công nghiệp kết hợp AI 2.1.1 Thị. .. CHƢƠNG TỔNG QUAN VỀ CÁC GIẢI PHÁP THỊ GIÁC MÁY CÔNG NGHIỆP KẾT HỢP AI CHO NỀN TẢNG ROBOT THÔNG MINH 2.1 Tổng quan giải pháp thị giác máy công nghiệp kết hợp AI 2.1.1 Thị giác máy tính ... thuật tiện nhƣ kết hợp thơng minh ngƣời máy móc Do luận văn tập trung nghiên cứu với đề tài: ? ?Nghiên cứu phát triển giải pháp thị giác máy công nghiệp kết hợp AI cho tảng Robot thông minh? ?? CHƢƠNG