DATN- NGHIÊN CỨU CÁC THUẬT TOÁN NHẬN DẠNG TRÊN ROBOT DỰA VÀO CỬ CHỈ TAY NGƯỜI

TÓM TẮT ĐỒ ÁN Đồ án được nghiên cứu, khảo sát và thực hiện với mục đích trình bày một cách tổng quan về nghiên cứu nhận dạng cử chỉ tay người, bao gồm các giai đoạn chung của nhận dạng cử chỉ tay, phương pháp và kỹ thuật phổ biến của từng giai đoạn, các hướng nghiên cứu và tóm tắt một số mô hình nhận dạng cử chỉ tay thành công đã được công bố. Đồng thời áp dụng những kiến thức đã được học trong nhà trường để phân tích, xây dựng chương trình nhận dạng cử chỉ tay người. Chương trình áp dụng những kỹ thuật xử lý hình ảnh giúp người dùng có thể tương tác được với máy tính bằng những cử chỉ thông dụng. Người dùng sẽ thực hiện tương tác thông qua một camera được kết nối với máy tính bằng các cử chỉ tay, chương trình sẽ phân tích cử chỉ ghi lại được và đưa ra hành động mà người dùng mong muốn. Ứng dụng này phần nào có thể thay thể chuột và bàn phím khi sử dụng máy tính, giúp người dùng có thêm các phương thức tương tác mới, linh hoạt và dễ dàng hơn.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN TỬ - VIỄN THÔNG ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: NGHIÊN CỨU CÁC THUẬT TOÁN NHẬN DẠNG TRÊN ROBOT DỰA VÀO CỬ CHỈ TAY NGƯỜI Sinh viên thực hiện: Giảng viên hướng dẫn: TS NGUYỄN HỮU PHÁT Hà Nội, 06 - 2020 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN TỬ - VIỄN THÔNG ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: NGHIÊN CỨU CÁC THUẬT TOÁN NHẬN DẠNG TRÊN ROBOT DỰA VÀO CỬ CHỈ TAY NGƯỜI Sinh viên thực hiện: Giảng viên hướng dẫn: Cán phản biện: TS NGUYỄN HỮU PHÁT Hà Nội, 06 - 2020 Đánh giá đồ án tốt nghiệp (Dùng cho giảng viên hướng dẫn) Giảng viên đánh giá: TS NGUYỄN HỮU PHÁT Họ tên Sinh viên: MSSV: Tên đồ án: NGHIÊN CỨU CÁC THUẬT TOÁN NHẬN DẠNG TRÊN ROBOT DỰA VÀO CỬ CHỈ TAY NGƯỜI Chọn mức điểm phù hợp cho sinh viên trình bày theo tiêu chí đây: Rất (1); Kém (2); Đạt (3); Giỏi (4); Xuất sắc (5) 10a 10b 10c Có kết hợp lý thuyết thực hành (20) Nêu rõ tính cấp thiết quan trọng đề tài, vấn đề giả thuyết (bao gồm mục đích tính phù hợp) phạm vi ứng dụng đồ án Cập nhật kết nghiên cứu gần (trong nước/quốc tế) Nêu rõ chi tiết phương pháp nghiên cứu/giải vấn đề Có kết mơ phỏng/thực nghiệm trình bày rõ ràng kết đạt Có khả phân tích đánh giá kết (15) Kế hoạch làm việc rõ ràng bao gồm mục tiêu phương pháp thực dựa kết nghiên cứu lý thuyết cách có hệ thống Kết trình bày cách logic dễ hiểu, tất kết phân tích đánh giá thỏa đáng Trong phần kết luận, tác giả rõ khác biệt (nếu có) kết đạt mục tiêu ban đầu đề đồng thời cung cấp lập luận để đề xuất hướng giải thực tương lai Kỹ viết (10) Đồ án trình bày mẫu quy định với cấu trúc chương logic đẹp mắt (bảng biểu, hình ảnh rõ ràng, có tiêu đề, đánh số thứ tự giải thích hay đề cập đến đồ án, có lề, dấu cách sau dấu chấm, dấu phẩy v.v), có mở đầu chương kết luận chương, có liệt kê tài liệu tham khảo có trích dẫn quy định Kỹ viết xuất sắc (cấu trúc câu chuẩn, văn phong khoa học, lập luận logic có sở, từ vựng sử dụng phù hợp v.v.) Thành tựu nghiên cứu khoa học (5) (chọn trường hợp) Có báo khoa học đăng chấp nhận đăng/đạt giải SVNC khoa học giải cấp Viện trở lên/các giải thưởng khoa học (quốc tế/trong nước) từ giải trở lên/ Có đăng ký phát minh sáng chế Được báo cáo hội đồng cấp Viện hội nghị em nghiên cứu khoa học không đạt giải từ giải trở lên/Đạt giải khuyến khích kỳ thi quốc gia quốc tế khác chuyên ngành TI contest Khơng có thành tích nghiên cứu khoa học Điểm tổng 3 4 5 5 5 5 /50 Điểm tổng quy đổi thang 10 Nhận xét thêm Thầy/Cô (giảng viên hướng dẫn nhận xét thái độ tinh thần làm việc em) Ngày: / /2018 Người nhận xét (Ký ghi rõ họ tên) Đánh giá đồ án tốt nghiệp (Dùng cho cán phản biện) Giảng viên đánh giá: Họ tên Sinh viên: MSSV: Tên đồ án: NGHIÊN CỨU CÁC THUẬT TOÁN NHẬN DẠNG TRÊN ROBOT DỰA VÀO CỬ CHỈ TAY NGƯỜI Chọn mức điểm phù hợp cho em trình bày theo tiêu chí đây: Rất (1); Kém (2); Đạt (3); Giỏi (4); Xuất sắc (5) 10a 10b 10c Có kết hợp lý thuyết thực hành (20) Nêu rõ tính cấp thiết quan trọng đề tài, vấn đề giả thuyết (bao gồm mục đích tính phù hợp) phạm vi ứng dụng đồ án Cập nhật kết nghiên cứu gần (trong nước/quốc tế) Nêu rõ chi tiết phương pháp nghiên cứu/giải vấn đề Có kết mơ phỏng/thực nghiệm trình bày rõ ràng kết đạt Có khả phân tích đánh giá kết (15) Kế hoạch làm việc rõ ràng bao gồm mục tiêu phương pháp thực dựa kết nghiên cứu lý thuyết cách có hệ thống Kết trình bày cách logic dễ hiểu, tất kết phân tích đánh giá thỏa đáng Trong phần kết luận, tác giả rõ khác biệt (nếu có) kết đạt mục tiêu ban đầu đề đồng thời cung cấp lập luận để đề xuất hướng giải thực tương lai Kỹ viết (10) Đồ án trình bày mẫu quy định với cấu trúc chương logic đẹp mắt (bảng biểu, hình ảnh rõ ràng, có tiêu đề, đánh số thứ tự giải thích hay đề cập đến đồ án, có lề, dấu cách sau dấu chấm, dấu phẩy v.v), có mở đầu chương kết luận chương, có liệt kê tài liệu tham khảo có trích dẫn quy định Kỹ viết xuất sắc (cấu trúc câu chuẩn, văn phong khoa học, lập luận logic có sở, từ vựng sử dụng phù hợp v.v.) Thành tựu nghiên cứu khoa học (5) (chọn trường hợp) Có báo khoa học đăng chấp nhận đăng/đạt giải SVNC khoa học giải cấp Viện trở lên/các giải thưởng khoa học (quốc tế/trong nước) từ giải trở lên/ Có đăng ký phát minh sáng chế Được báo cáo hội đồng cấp Viện hội nghị em nghiên cứu khoa học không đạt giải từ giải trở lên/Đạt giải khuyến khích kỳ thi quốc gia quốc tế khác chuyên ngành TI contest Khơng có thành tích nghiên cứu khoa học Điểm tổng 3 4 5 5 5 5 /50 Điểm tổng quy đổi thang 10 Nhận xét thêm Thầy/Cô Ngày: / /2018 Người nhận xét (Ký ghi rõ họ tên) Đồ án tốt nghiệp LỜI NÓI ĐẦU Ngày tiến khoa học công nghệ, việc đưa thiết bị điện tử, ứng dụng công nghệ thông tin vào phục vụ đời sống người ngày trở nên rộng rãi Trước đây, người phải dựa vào sức để tạo cải vật chất Song khoa học ngày phát triển, nghiên cứu tìm ra, sản phẩm khoa học chế tạo thành công, việc đưa máy móc vào phục vụ đời sống dần trở nên phổ biến Việc điều khiển máy móc ngày trở nên đa dạng thách thức tương tác người máy dần trở thành vấn đề tập trung nghiên cứu Hiện nay, người điều khiển máy móc thơng qua thiết bị trung gian thường gọi bảng điều khiển bàn phím, chuột… Nhờ tiến khoa học kỹ thuật, người tương tác với máy móc giọng nói hay cử giống tương tác người với người giới thực cách trực tiếp mà không cần qua thiết bị trung gian Việc sử dụng cử mang lại trực quan dễ dàng tương tác người máy Trong cử tay người loại cử sử dụng phổ biến dễ nhận biết giao tiếp Điều khiển máy móc cử tay người hướng nghiên cứu rộng rãi Xuất phát từ lý trên, thân em định chọn đề tài: “Nghiên cứu thuật toán nhận dạng Robot dựa vào cử tay người” để làm để tài đồ án tốt nghiệp Em xin gửi lời cảm ơn đến TS Nguyễn Hữu Phát nhiệt tình giúp đỡ em trình thực đề tài Em xin cam đoan cơng trình nghiên cứu khoa học độc lập riêng em Các số liệu sử dụng phân tích luận án có nguồn gốc rõ ràng, công bố theo quy định Các kết nghiên cứu đồ án em tự tìm hiểu, phân tích cách trung thực, khách quan phù hợp với thực tiễn Việt Nam Các kết chưa công bố nghiên cứu khác Em xin chân thành cảm ơn! Sinh viên kí tên SVTH: Lại Thế Hồng – ĐT9 – K58 Đồ án tốt nghiệp TÓM TẮT ĐỒ ÁN Đồ án nghiên cứu, khảo sát thực với mục đích trình bày cách tổng quan nghiên cứu nhận dạng cử tay người, bao gồm giai đoạn chung nhận dạng cử tay, phương pháp kỹ thuật phổ biến giai đoạn, hướng nghiên cứu tóm tắt số mơ hình nhận dạng cử tay thành công công bố Đồng thời áp dụng kiến thức học nhà trường để phân tích, xây dựng chương trình nhận dạng cử tay người Chương trình áp dụng kỹ thuật xử lý hình ảnh giúp người dùng tương tác với máy tính cử thơng dụng Người dùng thực tương tác thông qua camera kết nối với máy tính cử tay, chương trình phân tích cử ghi lại đưa hành động mà người dùng mong muốn Ứng dụng phần thay thể chuột bàn phím sử dụng máy tính, giúp người dùng có thêm phương thức tương tác mới, linh hoạt dễ dàng SVTH: Đồ án tốt nghiệp Hình 3.43: Hình ảnh trạng thái bắt đầu kết thúc loại cử Trong Hình 3.8 nhận thấy tư bắt đầu cử dừng lại giống với tư bắt đầu cử lùi xuống kết thúc cử tiến lên, tương tự tư bắt đầu cử tiến lên giống với kết thúc cử lùi xuống Tư bắt đầu cử sang trái giống với kết thức sang phải tư bắt đầu sử san phải giống với kết thúc sang trái Do thay nhận dạng tư tay Hình 3.8, cần nhận dạng loại tư Hình 3.44: Minh họa tư tay cần nhận dạng Hình 3.9 minh họa tư tay tư bắt đầu kết thúc cần nhận dạng Các tư tay gán nhãn từ đến hình Các tư 1,2,3,4 lấy từ tập liệu phát hiện, tập mẫu tư em tự xây dựng với ảnh có ngữ cảnh điều kiện ánh sáng khác gồm có 640 ảnh Ngồi tập mẫu nhận dạng cần bổ sung thêm ảnh tư Hình 3.9, điều kiện xây dựng tập mẫu phương pháp học máy nhằm xác định ảnh khơng phải tư tay nói 3.2.3 Huấn luyện phát nhận dạng cử 3.2.3.1 Huấn luyện phát Hình 3.45: Mơ hình huấn luyện phát cử tay SVTH: Trang 60 Đồ án tốt nghiệp Như trình bày mục 1.4, phương pháp phát tay người áp dụng với loại cử xịe bàn tay thể Hình 3.7 tư bắt đầu cử Mục đích giai đoạn huấn luyện tập liệu tay người để thực trình phát hiện, phân vùng tay người Mơ hình huấn lun trình bày Hình 3.10 Chuẩn bị tập mẫu huấn luyện phát hiện: Các ảnh tâp mẫu tư tay chuẩn bị cho bước huấn luyện phát ảnh vùng tay cắt từ tập mẫu tiến hành tiền xử lý để loại bỏ nhiều cải thiện chất lượng ảnh Ngoài ra, bổ sung thêm không chứa cử để phục vụ cho qua trình huấn luyện Tổng cộng tập mẫu huấn luyện phát tư tay gồm có tập mẫu tương ứng với loại tư cần nhận dạng mẫu tập mẫu có 2635 ảnh tư tay 1500 ảnh Hình 3.46: Một vài ảnh phục vụ trình huấn luyện phát [21] Tiến hành huấn luyện: Tiến hành huấn luyện với loại tư tay Quá trình huấn luyện phát gồm bước: Trích trọn đặc trưng Haar-like đưa liệu vào mơ hình học máy để tiến hành huấn luyện sử dụng công cụ huấn luyện có sắn thự viện Opencv Bước 1: Tạo file vector đặc trưng Thực tạo vector đặc trưng opencv_createsamples.exe công cụ hỗ trợ thư viện OpenCV với lệnh: opencv_createsamples.exe -info location.txt -vec positive.vec -w 32 -h 32 Trong tham số: - info: file chứa tên ảnh vị trí vùng ảnh cắt vec: file *.vec chứa vector đặc trưng đầu w, h: Chiều rộng chiều cao ảnh Sau thực xong, công cụ tạo file positive.vec chứa giá trị vector đặc trưng ảnh Bước 2: Thực huấn luyện SVTH: Trang 61 Đồ án tốt nghiệp Sau thực xong việc tạo file vector đặc trưng, tiếp tục sử dụng công cụ opencv_traincascade.exe để thực việc huấn luyện liệu với lệnh: opencv_traincascade.exe -data E:\out -vec pos.vec -bg negative.txt -numPos 1110 -numNeg 2000 -w 32 -h 32 Trong tham số: - data: Thư mục chưa file đầu huấn luyện vec: file *.vec chứa vector đặc trưng đầu vào bg: file *.txt chứa tên vị trí ảnh (ảnh âm) numPos, numNeg: số lượng ảnh dương ảnh âm w, h: Chiều rộng chiều cao ảnh Ngồi cịn có vài tham số khác để thay đổi trình huấn luyện Tuy nhiên để đơn giản không dùng tới, công cụ thực huấn luyện với tham số mặc định Quá trình huấn luyện diễn sau file đầu vào cài đặt xác Thời gian huấn luyện tùy thuộc vào tốc độc xử lý máy tính, độ lớn tập ảnh âm, ảnh dương kích thước (-w, -h) ảnh Sau huấn luyện xong, công cụ tạo file “cascade.xml” chứa liệu huấn luyện Hình 3.12 trình bày vài kết phát vùng bàn tay, vùng bàn tay xác định hình vng màu đỏ Hình 3.47: Một vài kết nhận diện vùng tay sử dụng đặc trưng Haar-like [23] 3.2.3.2 Huấn luyện nhận dạng tư bắt đầu kết thúc cử SVTH: Trang 62 Đồ án tốt nghiệp Ở giai đoạn này, tập mẫu liệu huấn luyện tư bắt đầu kết thúc dạng cử trình bày Hình 3.9 Chuẩn bị tập mẫu huấn luyện: Bước thực tiền xử lý ảnh tập mẫu, thay đổi kích thức, em chọn kích thức 64x64 cho ảnh cuối gán nhãn cho ảnh tập mẫu cử Hình 3.9 Bổ sung thêm ảnh tư nói trên, ảnh mặt người, loại tư tay khác… tập ảnh gọi tập ảnh âm Các ảnh thuộc tập ảnh âm đưa kích thước 64x64 gán nhãn Như tập mẫu huấn luyện gồm có loại ảnh tư đầu cuối cử đước gán nhãn từ đến ảnh thuộc tập ảnh âm đước gán nhãn Tiến hành huấn luyện: Mục đính phần tìm tham so cho mơ hình mạng neural MLP_ANN nhận dạng tư tay đầu vào thuộc nhãn nhãn Giai đoạn gồm bước: Trích chọn đặc trưng HOG xây dụng mạng neural MLP_ANN để huấn luyện Bước 1: Trích xuất đặc trưng Dựa vào kiến thức trích xuất đặc trưng HOG trình bày Mục 2.4.1, tiến hành trích chọn đặc trung với ảnh tập mẫu huấn luyện Sử dụng số hàm hỗ trợ thư viện OpenCV để trích xuất đặc trưng HOG HOGDescriptor(win_size, block_size, block_stride, cell_size) Trong đó, tham số: − − − − − win_size: Kích thước ảnh đầu vào (64, 64) block_size: Kích thước sổ (16, 16) block_stride –Bước nhảy cửa sổ (8,8) cell_size: Kích thước (8,8) n_bin: Số chiều vectơ đặc trưng (9) Sauk hi tiến hành trích xuất đặc trưng, kết thu đượclà vectơ đặc trưng 1764 chiều Tiến hành trích xuất với tưng ảnh tập cử chỉ, kết thu vectơ đặc trưng, lưu trữ duới dạng liệu số để chuẩn bị đầu vào cho bước huấn luyện Bước 2: Huấn luyện mạng neural Giai đoạn sử dụng mạng perceptron nhiều lớp (MPL) với giải thuật lan truyền ngược để thực huấn luyện Với liệu đặc trưng trên, tiến hành SVTH: Trang 63 Đồ án tốt nghiệp huấn luyện mạng thông qua giá trị trọng số lớp ẩn lớp Quá trình huấn luyện hàm hỗ trợ thư viện OpenCV Mạng cấu hình gồm neural đầu vào đầu ra, lớp ẩn gồm 100 neural Sau thực huấn luyện mạng, kết đầu file chưa tham số cấu hình mạng, dựa tham số để xây dựng mạng neural nhận dạng 3.2.4 Phân tích chuyển động Quỹ đạo chuyển động cử xây dựng từ tọa độ vị trí tay thu qua khung hình bước tracking Phân tích chuyển động cử phân tích hướng chuyển động tọa độ vị trí tay từ tư bắt đầu đến tư kết thúc cử Hình 3.48: Hình ảnh hể quỹ đạo chuyển động cử sang trái Xét thực nghiệm với cử sang trái, Hình 3.12 thể quỹ đạo chuyển động cử chỉ, tư tay bắt đầu cử xác định khung hình thứ kết thúc khung hình thứ 23 Các tạo độ phân tích vectơ chuyển động có hướng tính theo cơng thức tính 3.1  (y − y ) / h  ϕn = arctan  n n −1 ÷  ( xn − xn −1 ) / w  Trong tham số: SVTH: φn : Giá trị hướng vectơ chyển động (radian) Trang 64 (3.1) Đồ án tốt nghiệp - xn, yn: Toạ độ vị trí tay khung hình xn-1, yn-1: Tọa độ vị trí tay khung hình w, h: Chiều rộng chiều cao ảnh Bảng 3.1: Hướng chuyển động tư tay cử sang trái Ảnh 10 11 12 13 14 15 16 17 18 19 20 21 22 23 x 167 169 172 176 180 188 198 208 222 238 255 308 309 313 304 303 305 314 320 y 247 246 246 247 248 247 245 242 239 235 233 237 240 235 232 232 235 244 249 φn (radian) 0, 45 0,58 -0,32 -0,32 -0,16 -0,26 -0,38 -0,27 -0,32 -0,15 -0,10 0,02 0,13 0,41 0,12 0,10 0,27 0,37 Bảng 3.1 thể tọa độ vùng tay giá trị hướng vectơ chuyển động dựa quỹ đạo chuyển động Hình 3.13 Từ liệu này, nhận thấy độ lớn hướng vectơ chuyển động khung hình từ đến 23 có giá trị nhỏ sấp sỉ 0, kết luận quỹ đạo chuyển động gần đường thẳng hướng chuyển động cử sang trái Như dựa vào phân tích quỹ đạo chuyển động trên, kết luận loại cử dựa vào độ lớn φ vector chuyển động 3.3 Kết luận SVTH: Trang 65 Đồ án tốt nghiệp Trong chương nội dung bước xây dựng chương trình nhận dạng cử dựa lý thuyết tìm hiểu Vì vài hạn chế camera 2D nên việc phát phân vùng tất tư tay cử khó khăn nên cần phải dựa và0 tư bắt đầu kết thúc cử kết hợp với phân tích chuyển động kết luận loại cử Đây hạn chế phương pháp này, nhiên phương pháp không bị ảnh hưởng điều kiện ngữ cảnh phương pháp trình bày Mục 1.3 người dùng thực xác cử kahr nhận dạng cao Kết trình bày chương SVTH: Trang 66 Đồ án tốt nghiệp CHƯƠNG KẾT QUẢ ĐẠT ĐƯỢC Sau trình thực xây dựng chương trình, huấn luyện tập mẫu phát nhận dạng, tiến hành thử nghiệm chương trình, em cho số kết định Chương em trình bày kết đạt 4.1 Phát tay người Trong phần em tiến hành đánh giá kết phát tay người với tư tay trình bày Mục 1.4 Dữ liệu ảnh đánh giá tập ảnh thử nghiệm đề cập Mục 3.2.2.1 gồm 1000 ảnh ứng với loại cử chứa tư tay bắt đầu cử lấy từ liệu 20bn-jester [23], ảnh chụp ngữ cảnh điều kiện ánh sáng khác nhau, ảnh bao gồm tay người Bảng 4.1 trình bày kết phát với loại tư tay với ảnh đầu vào có kích thước 352x200 Bảng 4.2: Kết thử nghiệm phát với ảnh đầu vào kích thước 352x200 Loại tư bắt đầu cử Số lượng ảnh Phát Không phát Phát sai Thời gian phát (Giây/hình) Tỷ lệ xác Tiến lên 1000 921 58 21 0.027 92,1% Lùi xuống 1000 946 27 27 0.044 94,6% Sang trái 1000 917 51 32 0.045 91,7% Sang phải 1000 921 53 26 0.036 92,1% Kết phát tư tay xác ảnh lớn 90%, thời gian phát thấp xấp xỉ thời gian thực 0,042s (24 hình/s) Tỉ lệ xác phát tư tay phụ thuộc vào số lượng ảnh huấn luyện độ phân giải hình ảnh thử nghiệm Hình 4.1 thể vài hình ảnh khơng phát vùng tay Hình 4.49: Một vài kết khơng phát tư tay SVTH: Trang 67 Đồ án tốt nghiệp Hình 4.2 trình bày số kết phát tư tay, ảnh chụp khác nhau, vùng tay người xác định hình chữ nhật màu xanh dương Hình 4.50: Một vài kết phát tư tay 4.2 Nhận dạng tư bắt đầu kết thúc cử tay Tiến hành nhận dạng với liệu đầu vào ảnh chứa tư bắt đầu kết thúc cử Hình 3.9 Các liệu ảnh thử nghiệm lấy mẫu 20bn-jester [23], gồm 1000 ảnh với loại tư 1,2,3,4 200 ảnh thử nghiệm với tư 0, tập mẫu thử nghiệm tư em tự xây dựng lên hạn chế số lượng Tiến hành nhận dạng với loại tư trên, kết nhận dạng trình bày Bảng 4.2 vài kết nhận dạng thể Hình 4.3 SVTH: Trang 68 Đồ án tốt nghiệp Bảng 4.3: Kết thử nghiệm nhận dạng tư bắt đầu kết thúc cử Loại tư tay Số lượng ảnh Nhận dạng Nhận dạng sai Thời gian nhận dạng (Giây/hình) Tỷ lệ xác 200 195 0.056 96,0% 1000 992 0.062 99,2% 1000 994 0.061 99,4% 1000 988 12 0.059 98,8% 1000 989 11 0.061 98,9 Hình 4.51: Một vài kết nhận dạng tư tay 4.3 Kết chương trình nhận dạng cử đề xuất Tập mẫu thực nghiệm video cử tay người, quy ngữ cảnh điều kiện ánh sáng khác áp dụng kết bước phát tư tay nhận dạng tư bắt đầu, kết thúc cử chỉ, kết hợp kết từ bước phân tích chuyển động để đưa kết luận loại cử cần nhần dạng Tiến hành thực nghiệm với 30 video tự quay cho loại cử chỉ, kết nhận dạng trình bày Bảng 4.3 SVTH: Trang 69 Đồ án tốt nghiệp Bảng 4.4: Kết thử nghiệm nhận dạng cử tay người Loại cử Số lượng video Nhận dạng Nhận dạng sai Thời gian nhận dạng (Giây/hình) Tỷ lệ xác Dừng lại 20 20 0.16 100,0% Tiến lên 20 18 0.21 90,0% Lùi xuống 20 17 0.19 85,0% Sang trái 20 19 0.20 95,0% Sang phải 20 17 0.20 85,0% Tập mẫu cử thử nghiệm hạn chế nên chưa đánh giá hiệu phương pháp đề xuất, nhiên đánh giá thơng qua độ xác bước phát tư tay nhận dạng tu bắt đầu, kết thúc cử Dựa vào kết trên, cho thấy chương trình hoạt động theo yêu cầu đề tài nội dụng thực trình bày đầy đủ báo cáo 4.4 Kết luận Trong đồ án em xây dựng chương trình nhận dạng cử tay người, nhận dạng loại chử bản, hoàn thành mục tiêu đề đồ án Tuy liệu thử nghiệm hạn chế, khơng thể đánh giá xác độ hiệu phương pháp, nhiên cải thiện cách thu thập thêm tập mẫu cử để huấn luyện lại mơ hình nhằm tăng độ xác bước Độ xác sở bước tăng lên giúp độ xác cảu tồn chương trình tăng theo SVTH: Trang 70 Đồ án tốt nghiệp KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI Sau thời gian nghiên cứu, em tìm hiểu hướng tiếp cận toán nhận dạng cử chỉ, dựa vào kiến thức em tự xây dựng chương trình nhận dạng cử cho riêng Chương trình xây dựng nhằm ứng dựng cử tay người điều khiển hoạt động di chuyển robot Những đóng góp đề tài trình bày đây:  Đề xuất tập mẫu sử lệnh điều khiển robot di chuyển Tập mẫu cử không tự nhiên, đơn giản mà cịn thơng dụng thực tế để lệnh điều khiển robot di chuyển  Đề xuất hướng tiếp cận khác dựa vào đặc trưng không gian thời gian cử Mạng neural ứng dụng nhận dạng tư bắt đầu kết thúc cử chỉ, kết hợp phân tích quỹ đạo chuyển động để đưa kết luận xác cho cử Trong trình thực nghiệm, hạn chế phương pháp đề xuất tìm thấy Dưới em xin trình bày số hạn chế phương pháp:  Tập mẫu cử điều khiển trạng thái di chuyển robot, đáp ứng di chuyển robot thực tế Tuy nhiên số lượng ảnh tập mẫu cử hạn chế  Phương pháp nhận dạng dựa vào tư bắt đầu, kết thúc cử phân tích chuyển động cịn đơn giản, kết nhận dạng phụ thuộc nhiều vào việc phát hện tay ảnh Trong vài thực nghiệm, vùng tay không phát dẫn tới kết nhận dạng sai  Độ xác thời gian xử lý phương pháp chưa cao Trong trình nghiên cứu xây dựng chương trình, em tiếp thu thêm kiến thức mới, xây dựng kiến thức tảng cho toán nhận dạng cử nói riêng tốn nhận dạng ảnh nói chung Qua đó, phát triển đề tài tương lai với hướng tiếp cận mới, mà hướng tiếp cận phát triển từ kiến thức tảng em tích lũy thời gian làm đề tài SVTH: Trang 71 Đồ án tốt nghiệp Mặc dù phương pháp đề xuất gặp phải hạn chế trình bày trên, nhiên hướng phát triển đề tài tương lai Với kết đạt phương pháp đề xuất trên, thân em muốn phát triển tiếp đề tài tương lai cách:  Thu thập thêm ảnh tập mẫu cử chỉ, giúp tăng độ xác cho bước phát nhận dạng cử  Ngoài ra, nguyên cứu thêm hướng phát tất tư tay cử chỉ, không dừng lại phương pháp nhận dạng tư bắt đầu kết thúc cử mà nhận dạng chuỗi ảnh tư tay cử  Xử lý liệu đầu vào ảnh độ sâu, kết hợp với phương pháp nhận dạng mạnh mẽ mơ hình mạng neural CNN để giải toán  Ứng dụng thực tế, em kết hợp nhận dạng cử toán điều khiển robot xác định khoảng cách đến chướng ngại vật dựa kết đạt báo [38], để lệnh điều khiển robot di chuyển Với mong muốn tìm hiểu, nhằm nâng cao kiến thức, em cố gắng để hồn thành đề tài cách tốt Một lần nữa, em mong hướng dẫn Thầy Nguyễn Hữu Phát để em hồn thành đề tài tốt Em xin chân thành cảm ơn! TÀI LIỆU THAM KHẢO SVTH: Trang 72 Đồ án tốt nghiệp [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] H Hasan, S.A Kareem, “Human–computer interaction using vision-based hand gestur M.V Lamar, “Hand gesture recognition using T-Comb net a neural network model Institute of Technology, Japan, 2001 S.S Rautaray, A Agrawal, “Vision based hand gesture recognition for human computer TS Đỗ Năng Toàn, TS Phạm Việt Bình, “G Nguyên, tháng 11 năm 2007 Lương Mạnh Bá, Nguyễn Thanh Thủy, “Nhập môn xử lý ảnh số”, nhà xuất khoa họ H Simon, “Neural Networks and Learning Machines Third Edition”, 2009 http://mccormickml.com/2013/05/09/hog-person-detector-tutorial/, truy cập ngày cuối Q.D Smedt, H Wannous, J.P Vandeborre, “Skeleton-based Dynamic hand gesture reco Workshops, 2016 X Chen, H Guo, G Wang, L Zhang, “Motion feature augmented recurrent neural International Conference on Image Processing (ICIP), 2017 X Chen, M Koskela, “Online RGB-D Gesture Recognition with Extreme Learning Ma Analysis, volume 7944 of LNCS, Espoo, Finland, June 2013 H.C Chiung , L.D Hua Liou, “Novel Haar features for real-time hand gesture recognit P Barros, N.T.M Junior, B.J.T Fernandes, B.L.D Bezerra , S.M.M Fernandes, “A approach”, Computer Vision and Image Understanding 155, 2017 S Bilal, R Akmeliawati, M.J.E Salami , A.A Shafie , E.M Bouhabba, “A Hybrid Detection, Recognition and Tracking”, Proceedings of the 2010 IEEE International Con N.V Toi, L.T Lan, T.T.T Hai, M Rémy, C Vincent, “A method for hand detection ba Proceedings of The Fourth International Conference on Communications and Electronic O Kopuklu, N Kose, G Rigoll, “Motion Fused Frames: Data Level Fusion Strategy fo [18] H.G Doan, H Vu, T.H Tran, E Castelli, “Improvements of RGBD hand posture reco International Conference on CIS-RAM 2015, ISSN 2326-8123, ISBN 978-1-4673-7338 Q.D Smedt, H Wannous, J.P Vandeborre, J Guerry, B.L Saux, D Filliat, “3D H Eurographics Workshop on 3D Object Retrieval, Apr 2017 http://www.ieev.org/2010/03/adaboost-haar-features-face-detection_22.html, truy cập ng [19] http://www.tuhoctin.net/lap-trinh/lap-trinh-co-ban/c-cpp, truy cập ngày cuối 1/6/2018 [20] [21] [22] [23] [24] [25] http://www.stdio.vn, truy cập ngày cuối 1/6/2018 http://nhiethuyettre.net/mang-no-ron-nhan-tao-truyen-thang-feedforward-neural-networ https://towardsdatascience.com/how-to-build-a-real-time-hand-detector-using-neural-ne https://medium.com/twentybn/gesture-recognition-using-end-to-end-learning-from-a-lar https://20bn.com/datasets/jester/v1, truy cập ngày cuối 1/6/2018 N Dalal, B Triggs, "Histograms of oriented gradients for human detection", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 D.T.H Giang, “Dynamic hand gesture recognition using rgb-d images for human-machine interaction”, Doctoral thesis of control engineering and automation, 2017 Trần Nguyên Ngọc, "Nhận dạng cử bàn tay ngườii theo thời gian thực", tạp chí tin học điều khiển học, t.29, s.3, 2013, pp 232–240 S Poularakis, I Katsavounidis, “Finger detection and hand posture recognition based on depth information”, In Proceedings of The IEEE [17] [26] [27] [28] SVTH: Trang 73 Đồ án tốt nghiệp [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] SVTH: International Conference on Acoustics, Speech and Signal Processing, 2014, pp 4329-4333 W.C Chih, W.K Chih, Hand Posture Recognition Using Adaboost with SIFT for Human Robot Interaction, Recent Progress in Robotics: Viable Robotic Service to Human: An Edition of the Selected Papers from the 13th International Conference on Advanced Robotics, 2007, pp.317-329 P Viola, M Jones, “Rapid object detection using a boosted cascade of simple featu Computer Vision and Pattern Recognition, CVPR 2001, pp.511-518 X Zhu, J Yang, and AlexWaibel, “Segmenting hands of arbitrary color,” Proceedings Recognition (Cat No PR00580), pp 446-453, 2000 L Dung and M Mizukawa, “Fast Fingertips Positioning Based on Distance-based Fea Electronics (ICCE), pp 184-189, , 2010 P.J Lakshmi, K.R Rekha, K.R Nataraj , “Human Hand Recognition System based on System”, International Journal of Advanced Research in Electrical, Electronics and Instr E Stergiopoulou, K Sgouropoulos, N Nikolaou, N Papamarkos, N Mitianoudis, Applications of Artificial Intelligence, 2014 https://www.neuraldesigner.com/blog/perceptron-the-main-component-of-neural-networ S Athavale, M Deshmukh, "Dynamic Hand Gesture Recognition for Human Computer Research and General Science Volume 2, Issue 2, Feb-Mar 2014 H.C Lin, H.W Yi, “Sign language recognition using modelbased tracking and a 3d 1998, pp 292-307 Phat Nguyen Huu and Hoang Lai The, “Low-Complexity Image Processing Algorithm Conference on Communications and Electronics (ICCE 2018), Hue, Vietnam, pages, J Y Freund, R.E Schapire, “A Short Introduction to Boosting”, Journal of Japanese Socie Trang 74 ... bày cách tổng quan nghiên cứu nhận dạng cử tay người, bao gồm giai đoạn chung nhận dạng cử tay, phương pháp kỹ thuật phổ biến giai đoạn, hướng nghiên cứu tóm tắt số mơ hình nhận dạng cử tay thành... mục tiêu nghiên cứu kỹ thuật nhận dạng cử ứng dụng kiến thức xử lý hình ảnh để xây dựng chương trình nhận dạng cử động tay người, với liệu đầu vào ảnh 2D Chương trình nhận dạng cử tay người em... Hình ảnh minh họa cử tĩnh cử động 1.2.2 Giới thiệu toán nhận dạng cử tay người SVTH: Trang 18 Đồ án tốt nghiệp Mục tiêu nghiên cứu nhận dạng cử tay người tạo hệ thống xác định cử tay cụ thể sử dụng