Phát hiện bàn tay sử dụng đặc trưng internal haar like và thông tin ngữ cảnh trong hệ thống tương tác người robot

LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời cảm ơn sâu sắc đến thầy Nguyễn Văn Tới, người tận tình bảo hướng dẫn em suốt trình học tập thực đồ án tốt nghiệp Thầy giúp đỡ, dạy bảo em không mặt kiến thức, mà kỹ để học tập làm việc Đó học kinh nghiệm quý báu đồng hành em suốt chặng đường học tập, nghiên cứu làm việc sau Em xin gửi lời cảm ơn đến thầy cô giáo trường Đại học Công nghệ Thông tin Truyền thông Thái nguyên giảng dạy, truyền đạt cho em kiến thức tốt nhất, kỹ sống Đó tảng để em vững bước chặng đường sau Cuối em xin gửi lời cảm ơn tới bố mẹ, gia đình, bạn bè, người bên cạnh em hoàn cảnh, tạo cho em điều kiện tốt để em phát huy, tìm hiểu đam mê, sở thích lĩnh vực Thái Nguyên, tháng năm 2016 Người thực Nguyễn Huy Hoàng LỜI CAM ĐOAN Đồ án tốt nghiệp sản phẩm tổng hợp toàn kiến thức mà em học nghiên cứu suốt thời gian học tập trường đại học Ý thức điều đó, với tinh thần làm việc nghiêm túc, tự giác lao động miệt mài thân hướng dẫn nhiệt tình chu đáo thầy giáo Nguyễn Văn Tới, em hoàn thành đồ án tốt nghiệp Em xin cam đoan nội dung đồ án:“Phát bàn tay sử dụng đặc trưng Internal Haar- Like thông tin ngữ cảnh hệ thống tương tác người - Robot” em tự tìm hiểu, nghiên cứu hướng dẫn thầy giáoNguyễn Văn Tới Mọi trích dẫn tài liệu mà em tham khảo ghi rõ nguồn gốc Nếu thông tin sai lệch em xin chịu hình thức kỷ luật trường Đại học Công nghệ thông tin Truyền thông Thái Nguyên, tháng 06 năm 2016 Sinh viên thực Nguyễn Huy Hoàng MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC HÌNH ẢNH LỜI NÓI ĐẦU CHƯƠNG I: TỔNG QUAN VỀ TƯƠNG TÁC NGƯỜI - MÁY 1.1 Giới thiệu chung lĩnh vực tương tác người – máy 1.2 Hệ thống tương tác người máy 1.3 Thị giác máy tính 1.4 Hệ thống phát cử bàn tay 1.4.1 Các bước hệ thống phát bàn tay 12 1.4.2 Các tiêu chí đánh giá hiệu hệ thống phát bàn tay 14 CHƯƠNG 2: CÁC PHƯƠNG PHÁP PHÁT HIỆN BÀN TAY 15 2.1 Giới thiệu chung 15 2.2 Phương pháp phát bàn tay dựa vào đặc trưng Haar- Like 15 2.3 Phân loại sử dụng Adaboost mô hình Cascade 18 2.3.1 Adaboost 18 2.3.2 Mô hình Cascade 23 2.3.3 Áp dụng mô hình cascade cho phân loại AdaBoost 24 2.4 Tích hợp thông tin ngữ cảnh để tăng độ xác xác định vị trí bàn tay 25 2.4.1 Tại phải tích hợp thông tin ngữ cảnh 25 CHƯƠNG 3: XÂY DỰNG CƠ SỞ DỮ LIỆU VÀ THỬ NGHIỆM 34 3.1 Xây dựng sở liệu 34 3.1.1 Cách thức xây dựng sở liệu 34 3.2 Xây dựng chương trình phát bàn tay 45 3.3 Kết thử nghiệm đánh giá 46 3.3.1 Hoạt động nhận dạng cử 46 3.3.2 Một số phát cử tay 49 3.3.3 Đánh giá hệ thống phát bàn tay 52 CHƯƠNG 4: KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 57 DANH MỤC HÌNH ẢNH Hình 1.1 - Sơ đồ tổng quan hệ thống phát bàn tay 12 Hình 2.1a - Các đặc trưng cạnh 16 Hình 2.1b - Các đặc trưng đường 16 Hình 2.1c - Các đặc trưng bao quanh tâm Hình 2.1d - Đặc trưng đường chéo 16 17 Hình 2.2 - Đặc trưng Haar cho bàn tay 17 Hình 2.3 - Cách tính tổng điểm ảnh hình chữ nhật 17 Hình 2.4 - Minh họa thuật toán AdaBoost 19 Hình 2.5 - Bộ phân loại mạnh H(x) xây dựng AdaBoost Hình 3.1 - Giao diện phần mềm ImageLab 34 Hình 3.2 - Cấu trúc thư mục haarkit 35 Hình 3.3 - Ảnh chụp hình trạng tay 36 Hình 3.4-a Vùng đối tượng có nhiều 37 Hình 3.5-b Vùng đối tượng có nhiều 37 Hình 3.6 - Giao diện phần mềm Imagecliper 37 Hình 3.7 - Các chức chương trình Imaglab Hình 3.8 - Ảnh không chứa đối tượng 39 Hình 3.9 - Nội dung file inforfile.txt 39 Hình 3.10 - Vị trí file sample_creation.bat 40 Hình3.11 - Chạy file sample_creation.bat 41 38 20 Hình 3.12 -Vị trí lưu file vector.vec 41 Hình 3.13 - Vị trí file haartraining.bat 42 Hình 3.14 - Chạy chương trình huấn luyện 43 Hình 3.15 - Các thư mục kết huấn luyện 43 Hình 3.16 - Thư mục chuyển sang file xml 44 Hình 3.17 - File kết xml 44 Hình 3.18 - File huấn luyện 45 Hình 3.18 - Giao diện chương trình 45 Hình 3.19a: Các vùng ảnh phát tầng mô hình cascade 47 Hình 3.19b: Các vùng không liên quan bị loại từ tầng (tầng 10) 47 Hình 3.20: Khắc phục trường hợp nhiều vùng ảnh kế cận 48 cách lấy vùng ảnh trung bình 48 Hình 3.21 - Vùng ảnh lồng 49 Hình 3.22: Phát cử bàn tay xòe 49 Hình 3.23: Phát cử bàn tay nắm 50 Hình 3.24: Phát cử bàn tay giơ ngón 50 Hình 3.25: Phát cử bàn tay giơ ngón 51 Hình 3.26: Phát cử bàn tay giơ ngón 51 Hình 3.25: Phát bàn tay 52 LỜI NÓI ĐẦU Sự đời máy tính giúp ích nhiều cho công việc sống người Với máy tính, người soạn thảo văn bản, nghe nhạc, xem phim, thiết kế đồ họa, xử lý ảnh, biên tập phim Tuy nhiên, việc giao tiếp người máy tính phụ thuộc chủ yếu vào bàn phím chuột, người phải ngồi trước máy tính Dần dần, nhà sản xuất thấy bất tiện tạo bàn phím chuột không dây với mong muốn mang lại tự cho người dùng Tuy nhiên,với bàn phím không dây người phải tương tác với máy tính phím học Con người thật thoải mái việc tương tác với máy tính thực thông qua ngôn ngữ cử giọng nói Đó vấn đề đặt cho toán phát cử bàn tay Trong sống hàng ngày, phát cử giúp cho việc giao tiếp người bình thường với người khiếm thính dễ dàng hơn, máy tính chuyển ngôn ngữ cử thành chữ viết Trong công nghiệp sản xuất, cần trang bị cho robot hệ thống camera, việc điều khiển robot trở nênđ ơn giản hết Trong lĩnh vực đồ họa chiều, ta dùng số động tác yêu cầu máy tính xoay mô hình theo ý muốn Trong công việc văn phòng, phát cử giúp ta yêu cầu máy tính thực thi chương trình, mở hát, gửi thư với vài cử hiệu từ xa Trong lĩnh vực giải trí, trò chơi thực tế ảo (Virtual Reallity), người chơi điều khiển hành động nhân vật hành động Với yêu cầu thực tế ứng dụng đem lại lĩnh vực nhận phát cử chỉ, mục tiêu đồ án là tìm hiểu lý thuyết nhận dạng, từ xây dựng mô hình phù hợp cho toán phát bàn tay Bố cục đồ án bao gồm phần sau: Mở đầu Phần mở đầu tập trung phân tích nêu rõ tính cấp thiết đề tài, mục tiêu đối tượng nghiên cứu đề tài giới thiệu lịch sử phát triển vấn đề nghiên cứu trình bày cấu trúc đề tài Chương 1: Tổng quan tương tác người – máy Chương giới thiệu tổng quan nhận dạng bao gồm khái niệm, mô hình ứng dụng thực tế nhận dạng Chương 2:Các phương pháp phát bàn tay Chương giới thiệu toán phát bàn tay, định nghĩa phân loại Hai toán quan trọng phát bàn tay trích chọn đặc trưng thuật toán phân lớp tập trung phân tích Đặc trưng sử dụng để biểu diễn cử bàn tay Haar-like,các thuật toán phân lớp liệu bao gồm Casade, AdaBoost v.v Tích hợp thông tin ngữ cảnh vào hệ thống phát bàn tay Chương 3: Xây dựng sở liệu thử nghiệm Cuối chương phần thử nghiệm đánh giá so sánh kết hệ thống với số phương pháp khác tiêu chí toán phát bàn tay Kết Luận Tóm lại kết nghiên cứu, hướng phát triển đồ án tương lai CHƯƠNG I: TỔNG QUAN VỀ TƯƠNG TÁC NGƯỜI - MÁY 1.1 Giới thiệu chung lĩnh vực tương tác người - máy Tương tác người - máy( Human Computer Interaction – HCI ) nói đơn giản việc nghiên cứu người(người dùng),công nghệ máy tính tác động qua lại đối tượng HCI lĩnh vực quan tâm từ lâu, từ máy tính đời Tuy nhiện, hạn chế công nghệ cách khai thác máy tính nên khoảng từ năm 50 đến năm 80 kỷ 20, HCI chưa quan tâm mức Thực chất, người sử dụng lúc kỹ sư máy tính cách khai thác chương trình theo kiểu lô (batch): chương trình gửi khai thác thông tin qua thao tác viên trung tâm máy tính, kỹ sư đối thoại với chương trình thời gian thực chương trình Sau có kết xử lý, họ mang phân tích đánh giá theo cách riêng Thuật ngữ tương tác người - máy phổ biến khoảng gần hai thập kỉ gần đây, song có nguồn gốc nhiều lĩnh vực: công thái học, yếu tố người.Các nghiên cứu có nguồn gốc từ tương tác máy móc người, sau sang tương tác người - máy tính với quan tâm đặc biệt cho máy tính cộng đồng người dùng HCI lĩnh vực đa ngành Người thiết kế hệ thống tương tác phải có kiến thức đa ngành: tâm lí học, khoa học nhận thức để hiểu cảm nhận thông tin, trình nhận thức,kỹ giải vấn đề, công thái học để hiểu khả vật lý người, khoa học máy tính công nghệ để xây dựng công nghệ cần thiết, kỹ đồ họa thiết kế giao tiếp cách hiệu 10 Hình 3.24: Phát cử bàn tay giơ ngón 71 Hình 3.25: Phát cử bàn tay giơ ngón 72 Hình 3.26: Phát cử bàn tay giơ ngón 73 Hình 3.25: Phát bàn tay 3.3.3 Đánh giá hệ thống phát bàn tay Ta đánh giá độ xác dựa tỉ lệ phát (Hit Rate) tỉ lệ phát sai (False Alarm) “Ví dụ Hit Rate = 0.95 có nghĩa số 100 mẫu đối tượng thử nghiệm, hệ thống nhận 95 đối tượng (5 mẫu lại phân loại cho đối tượng) 74 Tỉ lệ nhận dạng sai tỷ lệ phát nhầm đối tượng đối tượng cần phát Ví dụ False Alarm = 0.01 có nghĩa 100 mẫu đối tượng có mẫu bị hệ thống phát nhầm thành đối tượng” Chuẩn bị liệu để để tiến hành test gồm: 50mẫu đối tượng thử nghiệm chứa đối tượng 50mẫu đối tượng thử nghiệm không chứa đối tượng: Chuẩn bị 50 mẫu không chứa đối tượng 75 Chuẩn bị 50 mẫu chứa đối tượng 76 Tiến hành thử nghiệm đưa kết : Tiến hành thử nghiệm với 50 mẫu không chứa đối tượng kết quả: Ảnh đầu vào Số lượng ảnh Số ảnh nhận dạng Tỉ lệ nhận dạng sai nhầm có đối tượng (False Alarm ) 77 Ảnh không 50 0.04 chứa đối tượng Tiến hành thử nghiệm với 50 mẫu chứa đối tượng đưa kết : Ảnh đầu vào Số lượng ảnh Ảnh chứa đối Số ảnh nhận dạng Tỉ lệ nhận dạng đối tượng (Hit Rate) 40 0.8 50 tượng Qua thử nghiệm rút kết luận Tỉ lệ nhận dạng sai đối tượng bé 50 ảnh thử nghiệm có ảnh nhận dạng nhầm thành đối tượng Tỉ lệ phát hạn chế Tỉ lệ phát bàn tay đơn giản có độ xác cao so với có nhiều họa tiết, đa số ảnh không phát đối tượng phức tạp Tỉ lệ phát hạn chế điều kiện ánh sáng yếu Ở ảnh chứa đối tượng phát nhầm đối tượng 78 CHƯƠNG : KẾT LUẬN Những kết đạt được: Trong trình nghiên cứu em đạt kết sau:  Tìm hiểu vấn đề lý thuyết xử lý ảnh, từ xác định đuợc vấn đề quan trọng cần nghiên cứu để áp dụng vào toán phát cử biểu diễn cử bàn tay thuật toán học phân lớp Cascade  Phân tích đánh giá ưu nhược điểm số đặc trưng biểu diễn đối tuợng ảnh, từ lựa chọn đặc trưng Haar-like sử dụng để phát bàn tay  Tìm hiểu phân tích thuật toán học phân lớp AdaBoost v.v Qua đánh giá ưu nhược điểm cho thấy AdaBoost xây dựng mô hình Cascade thuật toán phân loại nhanh, cho độ xác cao AdaBoost thuật toán áp dụng phù hợp với yêu cầu toán phát cử bàn tay  Tìm hiểu nghiên cứu hệ thống nhận dạng khuôn mặt người phát mặt người Viola - Jones  Tích hợp thông tin ngữ cảnh vào hệ thống để xác định bàn tay Huớng phát triển tiếp theo: Với mục tiêu đề ra, báo cáo đạt kết tương đối khả quan, bên cạnh số vấn đề cần giải thêm Trong phần thực nghiệm tính thích nghi cho thấy hệ thống hoạt động chưa tốt điều kiện thiếu ánh sáng, bên cạnh đó, hệ thống hoạt động tốt với cử tư diện, nhạy cảm với góc quay bàn tay Trong nghiên cứu tiếp theo, tác giả tiếp tục nghiên cứu phương pháp chuẩn hóa ánh sáng trước đưa vào 79 nhận dạng để hệ thống thích nghi tốt với điều kiện ánh sáng thay đổi Ngoài ra, để rút ngắn thời gian nhận dạng em nghiên cứu phương pháp phát điểm ảnh màu da để khoanh vùng ảnh chứa bàn tay Khi hệ thống nhận dạng vùng ảnh có phân bố màu da lớn, điều làm giảm đáng kể thời gian nhận dạng loại bỏ trường hợp nhận dạng nhầm vùng thành bàn tay Một hạn chế hệ thống dừng lại toán phát bàn tay Do toán nhận dạng cử bàn tay để điều khiển chương trình máy tính vấn đề hay Trên kết đạt hướng nghiên cứu báo cáo Tuy báo cáo đạt kết định thời gian thực có hạn nên không tránh khỏi thiếu sót Em mong nhận ý kiến đóng góp từ thầy cô bạn để tác giả tiếp tục hoàn thiện nghiên cứu 80 TÀI LIỆU THAM KHẢO 1] Freeman, W.T and M Roth, Orientation Histograms for Hand Gesture Recognition IEEE Intl Wkshp on Automatic Face and Gesture Recognition, Zurich, June, 1995, 1994 [2] Lowe, D.G., Distinctive Image Features from Scale-Invariant Keypoints International Journal of Computer Vision 2004 [3] Viola, P and M.J Jones, Robust Real-Time Face Detection International Journal of Computer Vision, 2004: p 137–154 [4] Rowley, H.A., S Baluja, and T Kanade, Neural Network-Based Face Detection IEEE Patt Anal Mach Intell., 1998: p 22–38 [5] Vapnik, V., Support-Vector Networks Machine Learning, 1995: p 273297 [6] Osuna, E.E and F Girosi, Reducing the run-time complexity in support vector machines ICPR, 1998 [7] Sung, K.-K and T Poggio, Example-Based Learning for View-Based Human Face Detection TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 1998 20: p 39-51 [8] Llorca, D.F., et al A multi-class svm classifier for automatic hand washing quality assessment in of the British Machine Vision Conference 2007 [9] Freund, Y and R.E Schapire, A Short Introduction to Boosting Journal of Japanese Society for Artificial Intelligence, 1999 14: p 771-780 [10] Schneiderman, H and T Kanade, A statistical method for 3D object detection applied to faces and cars, in InternationalConference on 81 Computer Vision 2000 [11] Ong, E.-J and R Bowden A Boosted Classifier Tree for Hand Shape Detection in IEEE Intl Conference on Automatic Face and Gesture Recognition 2004 [12] Nolker, C and H Ritter, Illumination Independent Recognition on Deictic Arm Postures, in 24th Annual Conf of the IEEE Industrial Electronics Society 1998: Germany p 2006- 2011 [13] Kolsch, M and M Turk Robust Hand Detection in Conference on Automatic Face and Gesture Recognition 2004: IEEE Intl [14] Kolsch, M and M Turk Analysis of Rotational Robustness of Hand Detection with a Viola-Jones Detector in Conference on Pattern Recognition 2004: IEEE Intl [15] W, H.S.J and Y Edan, A Method for Selection of Optimal Hand Gesture Vocabularies Springer Berlin, 2009 [16] Dadgostar, F., A.L.C Barczak, and A Sarrafzadeh, A Color Hand Gesture Database for Evaluating and Improving Algorithms on Hand Gesture and Posture Recognition, R.L.i.t.I.a.M Sciences, Editor 2005 p 127-134 [17] Kim, T.-K., S.-F Wong, and R Cipolla Tensor Canonical Correlation Analysis for Action Classification in Conference on Computer Vision and Pattern Recognition 2007: IEEE [18] Triesch, J and C.v.d Malsburg Robust Classification of Hand Postures against Complex Backgrounds in Second International Conference 1996 [19] http://tutorialhaartraining.googlecode.com/svn/trunk/data/negatives/ 82 [20] Lienhart, R and J Maydt, An Extended Set of Haarlike Features for Rapid Object Detection 2002 1: p 900-903 [21] ETISEO, Video understanding Evaluation [22] Lan, L.T., D.V Thai, and N.V Toi, Hand posture recognition for computer program control SoICT, 2010 [23] Hui-Xing Jia, Y.-J.Z., Human Detection in Static Images 2008: p 227 243 83 NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN 84 Thái Nguyên, ngày tháng năm 2016 Giáo viên hướng dẫn 85 ... VỀ TƯƠNG TÁC NGƯỜI - MÁY 1.1 Giới thiệu chung lĩnh vực tương tác người – máy 1.2 Hệ thống tương tác người máy 1.3 Thị giác máy tính 1.4 Hệ thống phát cử bàn tay 1.4.1 Các bước hệ thống phát bàn. .. tốt nghiệp Em xin cam đoan nội dung đồ án: Phát bàn tay sử dụng đặc trưng Internal Haar- Like thông tin ngữ cảnh hệ thống tương tác người - Robot em tự tìm hiểu, nghiên cứu hướng dẫn thầy giáoNguyễn... bàn tay 12 1.4.2 Các tiêu chí đánh giá hiệu hệ thống phát bàn tay 14 CHƯƠNG 2: CÁC PHƯƠNG PHÁP PHÁT HIỆN BÀN TAY 15 2.1 Giới thiệu chung 15 2.2 Phương pháp phát bàn tay dựa vào đặc trưng Haar- Like