NHẬN DẠNG CỬ CHỈ TAY TRONG TƢƠNG TÁC NGƢỜI MÁY_2

luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu Luận văn trung thực chƣa đƣợc công bố công trình khác Tơi xin cam đoan giúp đỡ cho việc thực Luận văn đƣợc cảm ơn thơng tin trích dẫn Luận văn đƣợc rõ nguồn gốc Hải Phòng, ngày 15 tháng năm 2015 Học viên thực Luận văn Nguyễn Thị Giang i Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai - luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 LỜI CẢM ƠN Khơng có thành cơng mà không gắn liền với giúp đỡ ngƣời khác dù hay nhiều dù trực tiếp hay gián tiếp, thực tế chứng minh Trong suốt thời gian học tập nghiên cứu nhận đƣợc nhiều giúp đỡ quý thầy cô, bạn bè gia đình Với lòng biết ơn sâu sắc nhất, xin gửi lời cảm ơn đến thầy cô khoa Công nghệ thông tin – Trƣờng Đại học Hàng Hải giảng dạy hƣớng dẫn trình học tập trƣờng Đặc biệt TS Hồ Thị Hƣơng Thơm tận tâm hƣớng dẫn giúp đỡ tơi suốt q trình thực đề tài: “NHẬN DẠNG CỬ CHỈ TAY TRONG TƢƠNG TÁC NGƢỜI MÁY” Tôi xin chân thành cảm ơn thầy cô Viện đào tạo sau Đại học- Đại học Hàng Hải tạo điều kiện tốt cho đƣợc học tập nghiên cứu trƣờng Cuối cùng, muốn gửi lời cảm ơn vơ hạn tới gia đình, bạn bè ngƣời thân yêu bên cạnh, động viên tơi suốt q trình thực Luận văn tốt nghiệp Tơi kính chúc thầy khoa Cơng Nghệ Thơng Tin tồn thể thầy Viện đào tạo sau đại học TS Hồ Thị Hƣơng Thơm luôn mạnh khỏe để tiếp tục thực sứ mệnh cao đẹp truyền đạt kiến thức cho hệ mai sau Xin chân thành cảm ơn! Học viên Nguyễn Thị Giang ii tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 MỤC LỤC Lời cam đoan i Lời cảm ơn ii Mục lục iii Dang mục chữ viết tắt ký hiệu iv Danh mục hình v Mở đầu Chƣơng KHÁI NIỆM TỔNG QUAN 1.1.Tƣơng tác ngƣời máy gì? 1.2.Các phƣơng pháp nghiên cứu HCI 1.3.Tƣơng tác ngƣời máy cử tay CHƢƠNG LÝ THUYẾT CƠ SỞ 15 2.1.Nguyên tắc hoạt động hệ thống nhận dạng cử tay 15 2.2.Phân đoạn ảnh dựa vào màu da 16 2.3.Các phƣơng pháp trích chọn đặc trƣng 18 2.4.Phƣơng pháp đặc trƣng bất biến cục theo tỉ lệ SIFT 21 2.5.Kĩ thuật đối sánh 30 CHƢƠNG MỘT SỐ KỸ THUẬT NHẬN DẠNG CỬ CHỈ TAY VÀ ỨNG DỤNG 34 3.1.Nhận dạng cử tay dựa màu da học 34 3.2.Nhận dạng cử tay dựa tập hợp cử mẫu 36 3.3.Ứng dụng cử tay tƣơng tác ngƣời máy 41 CHƢƠNG CÀI ĐẶT, THỬ NGHIỆM VÀ ĐỀ MƠ CHƢƠNG TRÌNH 44 4.1 Mơi trƣờng cài đặt 44 4.2 Giới thiệu đề mơ chƣơng trình 44 4.3 Thử nghiệm đánh giá 52 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 59 iii tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 DANG MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt HCI Giải thích Human computer Interaction – Tƣơng tác ngƣời máy CSDL Cơ sở liệu SIFT Viết tắt thuật ngữ “Scale Invariant Feature Transform” Keypoint Những điểm đặc trƣng Gaussian Hàm Gauss (Biểu đồ hàm Gauss đƣờng cong đối xứng đặc trƣng) DoG Viết tắt thuật ngữ “Difference-of-Gaussian” COG Trọng tâm lực hấp dẫn MkD Thuật tốn tìm ngƣỡng MK-RoD Algorithm iv tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 DANH MỤC CÁC HÌNH Số hình Tên hình vẽ Trang 1.1 Phim 3D 1.2 Một số sản phẩm bật dùng Haptic 1.3 Các ký hiệu cử tay tƣơng ứng với số ngón tay 1.4 Găng tay cảm biến 1.5 Bàn di cảm ứng (Touchpad) 10 1.6 NailO-bàn rê nhỏ đeo ngón tay-Dùng để điều 10 khiển Smartphone 1.7 Soundwave - Công nghệ cảm biến nhận dạng cử 10 sóng âm (Droppler) 1.8 Màn hình cảm ứng chạm 11 1.9 Hệ thống dịch ngơn ngữ ký hiệu Kinect Translator 11 1.10 Kính 3D theo rõi mắt ngƣời 12 1.11 Webcam Senz3D Creative 12 1.12 Điều khiển Robotbằng cử tay 12 1.13 Mơ hình Virtual reality Viện Fraunhofer 13 2.1 Mơ hình ngun tắc hoạt động hệ thống nhận dạng cử 15 tay 2.2 Q trình tính khơng gian đo (L) hàm sai khác D –Trích 23 dẫn Lowe, D “Distinctive image features from scaleinvariant keypoints” International Journal of Computer Vision, 60, (2004) 2.3 Cực đại cực tiểu hình ảnh khác biệt-of-Gaussian 24 đƣợc phát cách so sánh pixel (đánh dấu X) với 26 điểm láng giềng khu vực 3x3 tỉ lệ liền kề (đánh dấu vòng tròn) 2.4 Mơ sử dụng công thức mở rộng Taylor cho hàm 26 DoG v tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 2.5 (a) ảnh gốc (b) mơ tả điểm hấp dẫn tìm đƣợc, 27 điểm keypoints đƣợc vẽ dạng vector thể thơng tin: vị trí, hƣớng độ dài (c) ảnh sau loại bỏ điểm hấp dẫn có độ tƣơng phản thấp (d) ảnh sau loại bỏ điểm hấp dẫn dọc theo cạnh 2.6 Biểu diễn vector đặc trƣng 29 2.7 Đối sánh hai ảnh quy đối sánh hai tập hợp điểm đặc trƣng 30 2.8 Mơ hình tìm điểm láng giềng gầnnhất 32 2.9 SVM tìm siêu phẳng tối ƣu 33 2.10 SVM tìm siêu phẳng tối ƣu 33 3.1 Các bàn tay sau phân ngƣỡng bị nhiễu 35 3.2 Các bàn tay sau sử dụng Erosion 35 3.3 Bàn tay xòe sử dụng Dilation 35 3.4 Tính khoảng xa đến COG 35 3.5 Đƣờng tròn tâm COG 36 3.6 Hệ thống nhận dạng cử với thuật toán SIFT thuật toán 37 đối sánh mẫu điểm 3.7 Lƣu đồ thuật toán đối sánh mẫu điểm 38 3.8 (a) Hình ảnh từ Cơ sở liệu đào tạo 40 (b) Hình ảnh đầu vào kiểm tra với điểm 3.9 Khởi động ứng dụng office (Cử hai ngón tay => Khởi 42 động Microsoft Excel) 3.10 Dùng cử tay để điều khiển Game 43 4.1 Giao diện chƣơng trình 44 4.2 Cử ngón tay =>Khởi động Microsoft office 45 4.3 Cử hai ngón tay=>Khởi động Microsoft Excel 46 4.4 Cử ba ngón tay=>Khởi động Microsoft Access 46 4.5 Cử bốn ngón tay =>Khởi động Microsoft PowerPoint 47 vi tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 4.6 Cử năm ngón tay =>Khởi động Microsoft Outlook 47 4.7 Điều khiển Game (Cử ngón tay=>Hình cần xếp 48 xuống) 4.8 Điều khiển Game (Cử ba ngón tay => Hình cần xếp 49 sang trái) 4.9 Điều khiển Game (Cử bốn ngón tay => Hình cần xếp 50 sang phải) 4.10 Điều khiển Game (Cử năm ngón tay => Tạm dừng 51 chƣơng trình) 4.11 Form_ tạo tập ảnh sở 52 4.12 Mẫu ảnh cử tập sở liệu 53 4.13 Kết sau thử nghiệm 54 vii tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 MỞ ĐẦU Nhận dạng cử tay ngƣời cách tự nhiên tƣơng tác ngƣời – máy (Human computer Interaction-HCI) Nhiều nhà nghiên cứu học viện ngành công nghiệp quan tâm đến hƣớng nghiên cứu Nó cho phép ngƣời tƣơng tác với máy tính dễ dàng mà khơng phải sử dụng phƣơng pháp tƣơng tác thông thƣờng nhƣ bàn phím hay chuột Với đời thiết bị thông minh, nhiều hoạt động đời thƣờng sử dụng kỹ thuật điều khiển cử chỉ, ví dụ: Ngƣời dùng dùng tay lệnh bật/tắt tivi, thay đổi kênh, tăng/giảm âm lƣợng làm nhiều thứ khác Kỹ thuật đƣợc sử dụng cho thiết bị chơi game hệ nhƣ Microsoft XBox, Sony PS3,…Ngƣời chơi thƣờng điều khiển cách thực chuyển động mà họ muốn nhân vật trò chơi thể hiện, điều giúp ngƣời chơi đƣợc hóa thân vào nhân vật XBox hệ sử dụng camera để giám sát chuyển động xử lý cho nhân vật thực giống y nhƣ Điều khiển dựa cử giúp ích nhiều cho ngƣời khuyết tật việc điều khiển xe lăn Bên cạnh đó, kỹ thuật điều khiển cử đƣợc sử dụng lĩnh vực đặc biệt nhƣ điều khiển cần cẩu, huấn luyện thể thao, phẫu thuật y tế,… Ngày nay, việc điều khiển cử chƣa hẳn thay hoàn toàn “thiết bị nhập” nhƣ: bàn phím hay hình cảm ứng, khơng phải lúc có đủ điều kiện để sử dụng Nhƣng tƣơng tác ngƣời máy việc kết hợp nhiều “kênh giao tiếp” tạo “uyển chuyển” hiệu Xuất phát từ tình hình thực tế xu hƣớng phát triển không ngừng ngành công nghệ thơng tin nói chung lĩnh vực tƣơng tác ngƣời máy (Human computer Interaction-HCI) nói riêng, học viên lựa chọn hƣớng nghiên cứu số phƣơng pháp nhận dạng cử tay từ ảnh tĩnh video dựa số cử đặc trƣng nhƣ giơ ngón tay, hai ngón tay, , năm ngón tay Từ ứng dụng để điều khiển phần mềm Microsoft Office chƣơng trình Game Luận văn gồm bốn chƣơng chƣơng có nội dung sơ nhƣ sau: tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van of 95 Chƣơng Khái niệm tổng quan Trong chƣơng Luận văn trình bày khái niệm tƣơng tác ngƣời máy (HCI), phƣơng pháp nghiên cứu HCI, có phƣơng pháp nhận dạng cử tay ngƣời số khó khăn gặp phải nghiên cứu theo phƣơng pháp Chƣơng Lý thuyết sở Luận văn tìm hiểu nguyên tắc hoạt động hệ thống nhận dạng cử tay, phân đoạn ảnh dựa vào da phƣơng pháp trích chọn điểm đặc trƣng ảnh Chƣơng Một số kỹ thuật nhận dạng cử tay ứng dụng Luận văn tiếp tục sâu tìm hiểu số kỹ thuật nhận dạng cử tay nhƣ: Nhận dạng cử tay dựa màu da học; nhận dạng cử tay dựa tập hợp cử mẫu ứng dụng thực tế kỹ thuật Chƣơng Cài đặt thử nghiệm đề mơ chƣơng trình Dựa sở lý thuyết tìm hiểu đƣợc từ chƣơng trƣớc học viên sử dụng phần mềm MATLAB R2008B để cài đặt thử nghiệm đề mơ chƣơng trình Sau đƣa số đánh giá nhận xét kết tìm đƣợc Cuối kết luận, Phần tổng kết kết Luận văn phƣơng hƣớng nghiên cứu Do vấn đề kiến thức học viên hạn chế nên q trình thực đề tài tránh khỏi thiếu sót Kính mong thầy bạn đóng góp ý kiến để đề tài đƣợc hoàn thiện Xin chân thành cảm ơn! tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 10 of 95 CHƢƠNG KHÁI NIỆM TỔNG QUAN Trong chƣơng Luận văn trình bày khái niệm tƣơng tác ngƣời máy (Human computer Interaction-HCI), phƣơng pháp nghiên cứu HCI, có phƣơng pháp nhận dạng cử tay ngƣời số khó khăn gặp phải nghiên cứu theo phƣơng pháp 1.1 Tƣơng tác ngƣời máy gì? Tƣơng tác ngƣời máy (Human computer Interaction-HCI) nói đơn giản việc nghiên cứu tác động qua lại ngƣời cơng nghệ máy tính HCI lĩnh vực đƣợc quan tâm từ máy tính đời Tuy nhiên năm 50-80 kỷ 20: HCI chƣa đƣợc quan tâm Lý ngƣời sử dụng chủ yếu kỹ sƣ máy tính tƣơng tác để lấy liệu chuyên viên máy tính Hầu nhƣ ngƣời dùng khơng đối thoại trực tiếp với chƣơng trình Dữ liệu sau đánh giá ngƣời dùng mang phân tích đánh giá theo cách riêng Từ năm 80: Khoa học công nghệ phát triển, máy vi tính ngày có nhiều khả mạnh hơn: nhớ dung lƣợng lớn hơn, tốc độ xử lý nhanh thiết bị ngoại vi đa dạng Xuất mạng Internet toàn cầu nhiều phần mềm ứng dụng phong phú đáp ứng nhu cầu ngày cao ngƣời dùng Từ năm 90: Nhu cầu đào tạo học gia tăng dẫn đến nhu cầu đào tạo từ xa qua mạng (Elearning), liên quốc gia  Thành lập hiệp hội Công nghệ phần mềm HCI: SIGHCI (Special Interest Group on Computer Human Interaction)  SIGHCI năm 1992 New York đề xuất khung đào tạo HCI HCI lĩnh vực đa ngành Ngƣời thiết kế hệ thống tƣơng tác phải có kiến thức đa ngành: Hiểu đƣợc cảm nhận thông tin, nhận thức, giải vấn đề, áp dụng khoa học máy tính cơng nghệ để xây dựng công nghệ cần thiết, kỹ đồ họa để thiết kế giao tiếp tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 53 of 95 Nếu ảnh đầu vào trùng với ảnh đƣợc đánh số là: “5” “6” “7” sở liệu kết là: “Cử hai ngón tay” tƣơng ứng với hai ngón tay máy khởi động phần mềm Microsoft Excel Hình 4.3 Cử hai ngón tay =>Khởi động Microsoft Excel Nếu ảnh đầu vào trùng với ảnh đƣợc đánh số là: “8” “9” sở liệu kết là: “Cử ba ngón tay” tƣơng ứng với ba ngón tay máy khởi động phần mềm Microsoft Access Hình 4.4 Cử ba ngón tay =>Khởi động Microsoft Access 46 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 54 of 95 Nếu ảnh đầu vào trùng với ảnh đƣợc đánh số là: “10” “11” sở liệu kết là: “Cử bốn ngón tay” tƣơng ứng với bốn ngón tay máy khởi động phần mềm Microsoft Powerpoint Hình 4.5 Cử bốn ngón tay =>Khởi động Microsoft PowerPoint Nếu ảnh đầu vào trùng với ảnh đƣợc đánh số là: “12” sở liệu kết là: “Cử năm ngón tay” tƣơng ứng với ngón tay máy khởi động phần mềm Microsoft Outlook Hình 4.6 Cử năm ngón tay =>Khởi động Microsoft Outlook 47 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 55 of 95 4.2.2 Ứng dụng để điều khiển Game Tƣơng tự nhƣ chƣơng trình điều khiển ứng dụng Office chƣơng trình điều khiển Game dựa kết hình ảnh ngón tay đối sánh đƣợc dựa quy tắc tập lệnh ngón tay để ứng dụng điều khiển trò chơi Ví dụ: Ta điều khiển trò chơi xếp hình nhƣ sau: Nếu cử ngón tay hình cần xếp xuống phía dƣới Hình 4.7 Điều khiển Game (Cử ngón tay => Hình cần xếp xuống) 48 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 56 of 95 Nếu cử ba ngón tay hình cần xếp di chuyển sang trái Hình 4.8 Điều khiển Game (Cử ba ngón tay => Hình cần xếp sang trái) 49 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 57 of 95 Nếu cử tay bốn hình di chuyển sang phải Hình 4.9 Điều khiển Game (Cử bốn ngón tay => Hình cần xếp sang phải) 50 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 58 of 95 Nếu cử năm ngón tay chƣơng trình tạm dừng Hình 4.10 Điều khiển Game (Cử năm ngón tay => Tạm dừng chương trình) 51 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 59 of 95 4.2.3 Tạo tập ảnh sở Qua kết đề mơ chƣơng trình học viên nhận thấy chƣơng trình đối sánh nhanh xác với điều kiện ảnh thu đƣợc từ camera ảnh tập sở liệu có màu đồng Và chƣơng trình tiến hành thử nghiệm với 12 mẫu cử tay Chính mà học viên xây dựng thêm menu: “Tạo tập ảnh sở” để chủ động cập nhật thêm ảnh vào sở liệu thay đổi ảnh sở liệu cho có màu tƣơng đồng với màu thu đƣợc từ camera vị trí Hình 4.11 Form_ tạo tập ảnh sở 4.3 Thử nghiệm đánh giá 4.3.1 Thử nghiệm Chƣơng trình làm việc với 12 mẫu cử tay tĩnh sở liệu, với màu RGB, kích thƣớc 320x240, ảnh đƣợc chụp đen, cƣờng độ sáng vừa phải Mỗi mẫu ảnh đƣợc đánh số từ tới 12 đƣợc lƣu mảng 26 kí tự 52 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 60 of 95 10 11 12 Hình 4.12 Mẫu ảnh cử tập sở liệu 53 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 61 of 95 Chƣơng trình nhận ảnh từ camera sau đối sánh với tập mẫu cử sở liệu:  Nếu ảnh đƣa vào trùng với ảnh đƣợc đánh số “1” kết là: “Khơng ngón tay”  Nếu ảnh đƣa vào trùng với ảnh đƣợc đánh số “2;3;4” kết là: “Một ngón tay”  Nếu ảnh đƣa vào trùng với ảnh đƣợc đánh số “5;6;7” kết là: “Hai ngón tay”  Nếu ảnh đƣa vào trùng với ảnh đƣợc đánh số “7;8;9” kết là: “Ba ngón tay”  Nếu ảnh đƣa vào trùng với ảnh đƣợc đánh số “10;11” kết là: “Bốn ngón tay”  Nếu ảnh đƣa vào trùng với ảnh đƣợc đánh số “12” kết là: “Năm ngón tay” 4.3.2 Đánh giá Sau xây dựng thành cơng chƣơng trình, chƣơng trình thử nghiệm 10 lần với cử tay vị trí góc độ nhìn khác để xác định khả bất biến 90% 80% 80% 70% 80% 90% Hình 4.13 Kết sau thử nghiệm 54 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 62 of 95 Độ xác trung bình đạt 91.67% Thời gian thực giây sau lần thử Bằng cách sử dụng phƣơng pháp nhận dễ dàng cử ngón tay kể chúng khép hay mở Tuy nhiên thời gian thực vấn đề mà chƣơng trình cần phải khắc phục Nguyên nhân do:  Chƣơng trình cần thời gian chờ ảnh đƣợc chụp từ camera sau lại cần thời gian chờ trích chọn điểm đặc trƣng ảnh sở liệu ảnh cử đƣa vào, sau tiến hành so khớp để tìm điểm đặc trƣơng trùng đƣa kết  Mỗi có hình ảnh đầu vào thuật tốn SIFT lại tiến hành kiểm tra tất ảnh tập ảnh sở liệu để trích rút điểm đặc trƣng (Keypoint) sau tiến hành so khớp tập Keypoint để đƣa kết luận Nhƣ vơ hình dung ta đƣa 10 tín hiệu cử tay chƣơng trình phải kiểm tra 10 lần ảnh tập ảnh sở liệu  Chƣơng trình thử nghiệm với 12 mẫu cử tay Nếu tăng thêm nhiều mẫu cử tay sở liệu độ xác chƣơng trình cao nhƣng tỷ lệ nghịch với thời gian thực chậm Để khắc phục nguyên nhân trên:  Thứ ta phải giảm số lƣợng Keypoint trích xuất ảnh Bởi chi phí thời gian cho việc đối sánh tập keypoint thuật toán SIFT lớn Để giảm số lƣợng Keypoint cần thực bƣớc sau: - Giảm bớt điểm keypoint mà biên độ Gradient biến đổi khơng rõ rệt, tức độ biến thiên màu sắc nhỏ, điểm lân cận có mức xám gần tƣơng tự Khi ta giảm bớt 55 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 63 of 95 điểm khơng làm giảm tính đặc trƣng tập keypoint mà làm cho điểm Keypoint đại diện tăng tính đặc trƣng cục - Những điểm nằm gần biên lại dễ bị ảnh hƣởng nhiễu phép biến đổi thơng thƣờng ta kết hợp với việc dò biên ảnh để hạn chế điểm keypoint nằm gần biên Việc dò biên áp dụng kỹ thuật dò biên Candy cho đƣờng biên mảnh hiệu  Thứ hai ta dùng lƣợt đồ màu để loại trừ ảnh có khả tƣơng đồng: Trƣớc thực tìm kiếm CSDL ảnh ta dùng lƣợt đồ màu để loại ảnh có màu sắc khác so với màu da Các ảnh bị bỏ qua q trình tìm kiếm để giảm chi phí đối sánh  Thứ ba là: Tách đối tƣợng khỏi ảnh theo đối tƣợng mẫu Sau nhận dạng đối tƣợng ảnh theo ảnh mẫu ta điều chỉnh hƣớng cặp keypoint so khớp cho chúng đồng thực dò vết theo chốt keypoint so khớp để lần theo biên đối tƣợng thực tách đối tƣợng khỏi ảnh  Cuối ta khắc phục việc thuật tốn SIFT sau lần nhận tín hiệu ảnh vào lại kiểm tra tồn ảnh CSDL để tìm Keypoint cách sau: Các ảnh tập CSDL đƣợc quyets lần sau tìm đƣợc Keypoint tiến hành tạo mục (index) cho tập keypoint, cụ thể keypoint đƣợc xếp sẵn theo tiêu chí dựa giá trị mơ tả hƣớng Để thêm tập keypoint tự động xếp tạo mục cho Việc thực tìm kiếm thay việc so khớp tập keypoint đƣợc xếp đánh mục Việc tìm kiếm tập keypoint so khớp trở nên đơn giản với chi phí tính tốn thấp nhiều 56 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 64 of 95 KẾT LUẬN Trong Luận văn này, học viên xây dựng hệ thống tƣơng tác ngƣời máy thông qua nhận nhận dạng dáng điệu bàn tay sở thuật toán, lý thuyết tìm hiểu đƣợc Để đạt đƣợc kết trình làm việc nghiên cứu nỗ lực bên cạnh hƣớng dẫn tận tình TS Hồ Thị Hƣơng Thơm Một lần học viên xin chân thành cảm ơn đến thầy cô, gia đình, bạn bè ngƣời hỗ trợ em suốt thời gian thực đề tài Kết đạt đƣợc Dƣới số kết đạt đƣợc trình thực đề tài trên:  Tìm hiểu tƣơng tác ngƣời máy (HCI)  Nắm bắt đƣợc phƣơng pháp, thuật toán xử lý ảnh, máy học liên quan đến nhận dạng cử tay tƣơng tác ngƣời máy: Phƣơng pháp nhận dạng màu da học Phƣơng pháp nhận dạng cử tay dựa tập cử mẫu  Xây dựng chƣơng trình thực thi kết tìm đƣợc Luận văn cài đặt thử nghiệm chƣơng trình theo phƣơng pháp: “Nhận dạng cử tay dƣa tập cử mẫu” dựa phần mềm MATLAB R2008 Với tập ảnh sở 12 ảnh số lần thử 10 thu đƣợc kết sau: “Cử khơng ngón tay” đạt kết quả: 9/10 “Cử ngón tay” đạt kết quả: 8/10 “Cử hai ngón tay” đạt kết quả: 8/10 “Cử ba ngón tay” đạt kết quả: 7/10 “Cử bốn ngón tay” đạt kết quả: 8/10 “Cử khơng năm tay” đạt kết quả: 9/10 57 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 65 of 95 Sau chƣơng trình nhận dạng đƣợc cử tay thực tƣơng tác tƣơng ứng với cử Chẳng hạn ta đƣa cử “một ngón tay” máy tự động khởi động chƣơng trình Microsoft office, sau ta tiếp tục đƣa cử “khơng ngón tay” (Hình bàn tay nắm lại) máy tính tự động khỏi chƣơng trình Microsoft word,… Tƣơng tựng nhƣ kết hợp với quy tắc giao tiếp cử tay để điều khiển Game mà không cần phải sử dụng đến chuột hay bàn phím.Ví dụ: Khi ta đƣa tín hiệu “một ngón tay” đối tƣợng chƣơng trình “tiến” Khi ta đƣa tín hiệu “hai ngón tay” đối tƣợng chƣơng trình “quay” Khi ta đƣa tín hiệu “ba ngón tay” đối tƣợng chƣơng trình “sang trái” Khi ta đƣa tín hiệu “bố ngón tay” đối tƣợng chƣơng trình “sang phải” Khi ta đƣa tín hiệu “năm ngón tay” đối tƣợng chƣơng trình “dừng lại”,… Hƣớng phát triển Những kết đạt đƣợc đề tài mức nghiên cứu thử nghiệm Chƣơng trình nhạy cảm với biến đổi môi trƣờng xung quanh nhƣ: ánh sáng, nền,…Để hoạt động tốt cần có mơi trƣờng tƣơng đối lý tƣởng Vì để ứng dụng đƣợc thực tế nhiều việc phải làm để tăng tốc độ độ xác chƣơng trình Hƣớng phát triển đề tài:  Tìm hiểu thuật toán khác, chẳng hạn nhƣ tiếp cận mơ hình nhận dạng ba chiều  Sử dụng hai camera để lấy độ sâu ảnh từ giảm thiểu sai số  Tìm hiểu phần cứng hỗ trợ nhƣ Camera 3D,… Dựa kết đẵ thử nghiệm chƣơng trình đƣợc nghiên cứu, phát triển để tạo hệ thống điều khiển Robot cử tay, hay xe lăn điều khiển từ xa,… Đó sản phẩm hữu dụng mà hệ thống tƣơng tác ngƣời máy nƣớc hƣớng tới 58 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 66 of 95 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Tương tác người máy, Lƣơng Bá Mạnh- Trƣờng Đại học Bách Khoa Hà Nội [2] Nguyễn Thị Bạch Kim, Giáo trình phương pháp tối ưu, lý thuyết thuật toán, NXB Bách Khoa Hà Nội Tiếng Anh [3] D Chai K N Ngan, “Face segmentation using skin colour map in videophone applications”, IEEE Transactions on Circuits and Systems for Video Technology (4) (1999) 551-564 [4] David M Mount, Sunil Arya, “An Optimal Algorithm for Approximate Nearest Neighbor Searching in Fixed Dimensions”, ACM-SIAM, 1994, pp 573-582 [5] Karin Sobottka and Ioannis Pitas Face localization and facial feature extraction based on shape and color information Proc ICIP 96, pages 483 , 486, Septiembre 1996 11, 18 [6] Francesca Gasparini, Raimondo Schettini, “Skin Detection using Color Pixel Classification with Application” [7] Yanjiang Wang, Baozong Yuan, “A novel approach for human face detection from color images under complex background,” Pattern Recognition, vol 34, pp.1983-1992, Feb 2001 [8] Mathias Kölsch Vision Based Hand Gesture Interfaces for Wearable Computing and Virtual Environments Ph D Dissertation, August 2004 [9] Deval G Patel has completed her Diploma in Engineering (IT) from BBIT V.V.Nagar in 2007 and her Bachelor of Engineering (IT) from GCET V.V.Nagar, S.P University in 2010 Currently she is pursuing her M.E.(Computer Engineering) from B.V.M Engineering College, V.V.Nagar, Gujarat Technological University 59 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- luan van thac si - luan van thac si kinh te - luan an tien - luan van 67 of 95 [10] Lowe, D “Distinctive image features from scale-invariant keypoints” International Journal of Computer Vision, 60, (2004) [11] Lee, David Object Recognition from Local Scale-Invariant Features (SIFT) O319.Sift.ppt [12] Basri, R., andJacobs, D.W.1997 Recognition using region correspondences International Journal ofComputerVision, 25(2) [13] Brown, M And Lowe, D.G 2002 Invariant features from interest point groups In British Machine Vision Conference, Cardiff, Wales [14] Vedrana Andersen, LarsPellarin, RenéeAnderson Scale-Invariant Feature Transform (SIFT): Performance and Application In The IT University of Copenhagen [15] Piotr Indyk Algorithms for Nearest Neighbor Search Slide In MIT Website [16] OpenCV Library, http://sourceforge.net/projects/opencvlibrary/ [17] Approximate Nearest Neighbor Library, http://www.cesti.gov.vn/ [18] Fast Dynamic Time Warping Library, http://code.google.com/p/lbimproved/ 60 tieu luan - khoa luan-tai chinh ngan hang - thuong mai Footer Page - Footer Page - kho luan van - tai lieu - 123doc- ... MỘT SỐ KỸ THUẬT NHẬN DẠNG CỬ CHỈ TAY VÀ ỨNG DỤNG 34 3.1 .Nhận dạng cử tay dựa màu da học 34 3.2 .Nhận dạng cử tay dựa tập hợp cử mẫu 36 3.3.Ứng dụng cử tay tƣơng tác ngƣời máy 41... khó khăn nhận dạng cử tay Tuy có tƣơng lai hứa hẹn nhƣng việc xây dựng hệ thống tƣơng tác ngƣời máy dựa cử tay gặp phải số vấn đề khó khăn nhƣ:  Tốc độ nhận dạng: Để nhận dạng cử bàn tay thực... nhận dạng cử tay, phân đoạn ảnh dựa vào da phƣơng pháp trích chọn điểm đặc trƣng ảnh Chƣơng Một số kỹ thuật nhận dạng cử tay ứng dụng Luận văn tiếp tục sâu tìm hiểu số kỹ thuật nhận dạng cử tay