ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THỊ THƯƠNG NHẬN DẠNG CỬ CHỈ TAY TRONG GIAO TIẾP NGƯỜI–MÁY VÀ ỨNG DỤNG HỖ TRỢ CHỌN TRANG PHỤC LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THỊ THƯƠNG NHẬN DẠNG CỬ CHỈ TAY TRONG GIAO TIẾP NGƯỜI–MÁY VÀ ỨNG DỤNG HỖ TRỢ CHỌN TRANG PHỤC Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS HUỲNH HỮU HƯNG Đà Nẵng – Năm 2017 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi hướng dẫn trực tiếp TS Huỳnh Hữu Hưng Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm công bố Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả Nguyễn Thị Thương ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ viii MỞ ĐẦU 1 Lý chọn đề tài Mục đích nhiệm vụ nghiên cứu 2.1 Mục đích nghiên cứu 2.2 Nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết 4.2 Phương pháp thực nghiệm Giải pháp đề xuất Ý nghĩa khoa học thực tiễn đề tài 6.1 Ý nghĩa khoa học đề tài 6.2 Ý nghĩa thực tiễn đề tài Kết dự kiến Cấu trúc luận văn CHƯƠNG - TỔNG QUAN VỀ NHẬN DẠNG CỬ CHỈ TAY TRONG GIAO TIẾP NGƯỜI - MÁY 1.1 NHẬN DẠNG CỬ CHỈ TAY TRONG GIAO TIẾP NGƯỜI-MÁY 1.2 MƠ HÌNH BÀN TAY NGƯỜI 1.3 PHÂN LOẠI CỬ CHỈ TAY 1.3.1 Cử tay tĩnh 1.3.2 Cử tay động 1.4 TIẾN TRÌNH NHẬN DẠNG CỬ CHỈ TAY 1.4.1 Sơ đồ khối hệ thống nhận dạng cử tay 1.4.2 Dữ liệu vào iii 1.4.3 Tiền xử lý 1.4.4 Trích chọn đặc trưng 13 1.4.5 Nhận dạng 13 1.5 NHỮNG THÁCH THỨC TRONG NHẬN DẠNG CỬ CHỈ TAY 14 1.5.1 Bài tốn có q nhiều chiều 14 1.5.2 Hiện tượng bị che khuất 14 1.5.3 Môi trường không kiểm soát 14 1.5.4 Chuyển động nhanh bàn tay 14 1.5.5 Nhận diện thời điểm bắt đầu kết thúc cử 15 1.5.6 Lựa chọn đặc trưng phù hợp 15 1.5.7 Tốc độ xử lý tính xác nhận dạng 15 1.6 MỘT SỐ ỨNG DỤNG DỰA TRÊN NHẬN DẠNG CỬ CHỈ TAY 15 1.6.1 Ứng dụng thực tế ảo 15 1.6.2 Ứng dụng điều khiển robot 16 1.6.3 Điều khiển máy tính 16 1.6.4 Ứng dụng y học 17 1.6.5 Ứng dụng lĩnh vực giải trí 17 1.6.6 Ứng dụng ngôn ngữ ký hiệu 18 CHƯƠNG - MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG VÀ NHẬN DẠNG CỬ CHỈ TAY 19 2.1 MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CỬ CHỈ TAY 19 2.1.1 Kỹ thuật phân tích thành phần - PCA 19 2.1.2 Kỹ thuật HOG 20 2.1.3 Kỹ thuật trích đặc trưng cục bất biến - SIFT 21 2.1.4 Kỹ thuật Haar-Like 23 2.1.5 Kỹ thuật GIST 24 2.1.6 Kỹ thuật trích xương ảnh bàn tay (Skeleton of the Hand) 25 2.2 MỘT SỐ KỸ THUẬT NHẬN DẠNG CỬ CHỈ TAY 27 2.2.1 Kỹ thuật K-láng giềng gần 27 2.2.2 Kỹ thuật sử dụng mạng nơ-ron nhân tạo - ANN 28 2.2.3 Kỹ thuật sử dụng máy vectơ hỗ trợ - SVM 31 2.2.4 Sử dụng mơ hình Markov ẩn - HMM 33 CHƯƠNG – XÂY DỰNG HỆ THỐNG NHẬN DẠNG CỬ CHỈ TAY ỨNG DỤNG HỖ TRỢ CHỌN TRANG PHỤC 36 3.1 MƠ TẢ BÀI TỐN 36 iv 3.2 GIẢI PHÁP ĐỀ XUẤT CỦA HỆ THỐNG 37 3.2.1 Sơ đồ hoạt động hệ thống 37 3.2.2 Tiến trình nhận dạng cử tay hệ thống 37 3.2.3 Phát bàn tay 37 3.2.4 Tiền xử lý 38 3.2.5 Trích chọn đặc trưng 39 3.2.6 Huấn luyện nhận dạng cử tay 40 3.3 XÂY DỰNG CHƯƠNG TRÌNH ỨNG DỤNG 40 3.3.1 Tổng quan chương trình 40 3.3.2 Xây dựng CSDL hình ảnh trang phục 41 3.3.3 Thuật toán 41 3.3.4 Chương trình 42 3.3.5 Thực nghiệm 45 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46 TÀI LIỆU THAM KHẢO 47 v NHẬN DẠNG CỬ CHỈ TAY TRONG GIAO TIẾP NGƯỜI – MÁY VÀ ỨNG DỤNG HỖ TRỢ CHỌN TRANG PHỤC Học viên: Nguyễn Thị Thương Chuyên ngành: Khoa học máy tính Mã số: 102150318 Trường Đại học Bách khoa–ĐHĐN Khóa: 31 Tóm tắt – Kỹ thuật phát nhận dạng cử tay người cách tự nhiên để giao tiếp người-máy Trong luận văn này, xây dựng thành cơng chương trình nhận dạng cử tay ứng dụng hỗ trợ chọn trang phục cho người dùng thông qua thiết bị Kinect Người thực cử tay đứng trước camera hệ thống nhận dạng cử cử Ảnh đầu vào tiền xử lý; tiến hành trích chọn đặc trưng từ liệu khung xương thu thập từ camera Kinect; sau đó, liệu đem huấn luyện mơ hình máy học vectơ hỗ trợ (SVM) Tập cử tay dùng chương trình giới hạn cử điều khiển đơn giản Qua thực nghiệm chương trình với điều kiện môi trường ánh sáng tốt, cử điểu khiển thực thi xác gần tuyệt đối Trong điều kiện ánh sáng không ổn định tỉ lệ bắt cử vào khoảng 93-97% Khảo sát người dùng thử tỏ thái độ hài lịng thao tác điều khiển dễ dàng, giao diện đơn giản, dễ sử dụng Từ khóa – Nhận dạng cử tay, trích chọn đặc trưng; giao tiếp người-máy, tập cử tay, liệu khung xương HAND GESTURE RECOGNITION FOR HUMAN–COMPUTER INTERACTION AND SUPPORTING APPLICATION FOR COSTUME SELECTION Abstract - Techniques to detect and recognize the human hand gesture is a natural way to interact between users and machine In this essay, I have successfully built a program to hand gestures recognition which supports users to choose costumes through camera Kinect One person will a hand gesture in front of the camera and the system will recognize what the gesture is The input image will be preprocessed; then the feature extraction from the skeleton data with data provided by Kinect; after that, this data will be trained by support vector machine (SVM) model Set of hand gestures used in the program is only limited to a simple controlling gesture Through experimental program with good environmental conditions and light, controlling gesture is performed with almost absolute precision In the condition where light is not stable, the rate of capturing gestures is around 93-97% Surveys show that users are quite satisfied because of its easy performance and simple interface Key words – Hand Gesture Recognition, Feature Extraction, Human-Computer Interaction, Hand Gesture Dataset, Skeleton Data vi DANH MỤC CÁC TỪ VIẾT TẮT 2D Two Dimension 3D Three Dimension ANN Artificial Neural Network BPNN Back propagation neural network CSDL Cơ sở liệu DoG Difference of Gaussian HMM Hidden Markov Model HOG Histogram Orientation Gradient K-NN K-Nearest Neighbors MEM Maximum Entropy Model MLP Multi-layer Perceptrons PCA Principal Components Analysis RGB Red-Green-Blue SDK Software Development Kit SIFT Scale Invariant Feature Transforms SV Support Vector SVM Support Vector Machines THPT Trung học phổ thông VR Virtual reality vii DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang 1.1 Giới hạn tham số góc ngón tay 1.2 Giới hạn tham số góc vị trí cổ tay 3.1 Bảng kết thực nghiệm chương trình 45 viii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Số hiệu hình vẽ 1.1 Tên hình vẽ Trang Camera Kinect hãng Microsoft 1.2 Cấu trúc xương mô hình động học bàn tay 1.3 Ví dụ cử tay tĩnh 1.4 Ví dụ cử tay động 1.5 Sơ đồ khối hế thống nhận dạng cử tay 1.6 Một tư tay nhiều hướng nhìn 1.7 1.12 Camera gắn mũ Ví dụ chuyển ảnh RGB sang ảnh nhị phân (a) Ảnh gốc – (b) Ảnh nhị phân biểu biễn Ví dụ trình chuyển đổi ảnh lọc nhiễu (a) Ảnh gốc RGB – (b) Ảnh không gian YcbCr (c) Ảnh nhị phân – (d) Ảnh lọc nhiễu Phân đoạn ảnh dựa ngưỡng lược đồ mức xám Phân đoạn ảnh dựa ngưỡng lược đồ mức xám (a) Ảnh không gian YcbCr (b) Ảnh nhị phân – (c) Phân vùng ảnh dựa vào biên Kết lọc màu da 1.13 Sử dụng cử tay ứng dụng thực tế ảo 16 1.14 Dùng cử tay khác để điều khiển robot 16 1.15 Người dùng điều khiển máy tính cử tay 17 1.16 Bác sĩ sử dụng cử tay phẫu thuật 17 1.17 Sử dụng cử tay để điều khiển âm nhạc 17 1.18 Sử dụng cử tay trị chơi Eye Toy 18 1.19 Ví dụ ngơn ngữ kí hiệu 18 2.1 Giảm số chiều không gian đặc trưng 19 2.2 Ảnh sau tính gradient chia thành cell 20 2.3 Ảnh input gradient theo hai hướng ảnh 20 2.4 Mô tả hàm Gaussian hàm DoG 21 2.5 Phát cực trị hàm DoG 22 2.6 Hướng phân bố ảnh mô tả điểm hấp dẫn 22 2.7 Đặc trưng SIFT ảnh cử tay 23 2.8 Các đặc trưng Haar-Like 23 1.8 1.9 1.10 1.11 10 11 11 12 12 47 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] Huỳnh Hữu Hưng, Nguyễn Trọng Ngun, Võ Đức Hồng Giáo trình xử lý ảnh số, nhà xuất Thông tin Truyền thông, 2015 [2] Đỗ Năng Tồn, Phạm Việt Bình, Giáo trình xử lý ảnh, Khoa công nghệ thông tin Đại học Thái Nguyên, 2007 [3] Đoàn Tấn Phát, Nguyễn Phan Nhật Tân, Nhận dạng cử bàn tay để điều khiển Robot, Khoa công nghệ thông tin, Trường Đại học Lạc Hồng [4] Phạm Nguyên Khang, Huỳnh Nhật Minh, Võ Trí Thức, Phạm Thế Phi, Nhận dạng ngơn ngữ dấu hiệu với camera Kinect đặc trưng GIST, Tạp chí Khoa học Trường Đại học Cần Thơ, Số chuyên đề: Công nghệ Thông tin, 2015, trang 113-120 Tài liệu tiếng Anh [5] Ali Erol, George Bebis, Mircea Nicolescu, Richard D Boyle and Xander Twombly, “Vision-based hand pose estimation: A review”, Computer Vision and Image Understanding 108, 2007, pp 52–73 [6] Michele Saad, Low-Level Color and Texture Feature Extraction for ContentBased Image Retrieval, EE 381K: Multi-Dimensional Digital Signal Processing, 2008 [7] Tee Cheng Siew, Feature selection for content-based image retrieval using statistical discriminant analysis, PhD thesis Faculty of Computer Science and Information System Universiti Teknologi Malaysia, 2008 [8] Panahandeh G., Mohammadiha N., Leijon A., & Handel P., "Continuous Hidden Markov Model for Pedestrian Activity Classification and Gait Analysis", IEEE T Instrumentation and Measurement, Volume 62, Issue 5, 2013, pp 1073-1083 [9] Christopher Kawatsu, Jiaxing Li, and C.J Chung, “Development of a Fall Detection System with Microsoft Kinect”, in Robot Intelligence Technology and Applications, 2012 [10] W T Freeman and M Roth, “Orientation histograms for hand gesture recognition”, Intl Workshop on Automatic Face- and Gesture- Recognition, IEEE Computer Society, Zurich, Switzerland, pp 296-301, June, 1995 [11] Paul Viola and Michael.J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision, 2004, pp 137–154 [12] M Gandy, T Starner, J Auxier and D Ashbrook, “The Gesture Pendant: A Self Illuminating, Wearable, Infrared Computer Vision System for Home 48 [13] [14] [15] [16] [16] [17] [18] [19] [20] [21] [22] [23] Automation Control and Medical Monitoring”, in Fourth International Symposium on Wearable Computers, 2000, pp 87-94 S M Goza, R O Ambrose, M.A Diftler and I M Spain, “Telepresence Control of the NASA/DARPA Robonaut on a Mobility Platform”, in Proceedings of the 2004 Conference on Human Factors in Computing Systems, ACMPress, pp 623–629, 2000 W.T Freeman, K Tanaka, J Ohta and K Kyuma, “Computer Vision for Computer Games”, IEEE 2nd Intl Conf on Automatic Face and Gesture Recognition, Killington, VT, October, 1996 R Sharma, T.S Huang, V I Pavovic, Y Zhao, Z Lo, S Chu, K Schulten, A Dalke, J Phillips, M Zeller and W Humphrey, “Speech/Gesture Interface to a Visual Computing Environment for Molecular Biologists”, in Proc of ICPR’96 II, 1996, pp 964-968 G M Smith and M C Schraefel, “The Radial Scroll Tool: Scrolling Support for Stylus-or Touch-Based Document Navigation”, in Proc 17th ACM Symposium on UserInterface Software and Technology, ACM Press, 2004, pp 53-56 S Ganesh and R Bajcsy, "Recognition of human actions using an optimal control based motor model", 9th IEEE Workshop on Applications of Computer Vision (WACV 2008), January 7-9, 2008, pp 1-6 D Stotts, J M Smith and K Gyllstrom, “Facespace: Endo-and Exo-Spatial Hypermedia in the Transparent Video Facetop”, in Proc of the Fifteenth ACM Conf on Hypertext& Hypermedia, ACM Press, 2004, , pp 48–57 David G Lowe, “Distinctive image features from scale-invariant keypoints”, International Journal of Computer Vision, Volume 60, Issue 2, November 2004, pp 91–110 Yushi Jing, “PageRank for images products search”, Reafered Track: Rich media, Beijing, China, April 21-25, 2008 Kamarul Hawari Ghazali, “Feature Extraction technique using SIFT keypoints descriptors” The International Conference on Electrical and Engineering and Informatics Institut technology Bandung, Indonesia, June 17-19, 2007 Xingdong Chen, Chao Chen and Li Jin, "Principal Component Analyses in Anthropological Genetics", Advances in Anthropology 2011, Vo.1, No.2, 2011, pp 9-14 Corinna Cortes and Vladimir N Vapnik, “Support-Vector Networks”, Machine Learning, Volume 20, Issue 3, September 1995, pp 273–297 Vladimir N Vapnik, Statistical learning theory, New York: Wiley, September 1998 49 [24] Anita Jadhav, Rohit Asnani, Rolan Crasto, Omprasad Nilange and Anamol Ponkshe, “Gesture Recognition using Support Vector Machine”, International Journal of Electrical, Electronics and Data Communication, ISSN: 2320-2084, Volume 3, Issue 5, May 2015 [25] Md Hafizur Rahman and Jinia Afrin, “Hand Gesture Recognition using Multiclass Support Vector Machine”, International Journal of Computer Applications (0975 – 8887), Volume 74, No.1, July 2013 [26] D Fernández, F Vilarino, L Zhao and G Lacey, “A multi-class SVM classifier for automatic hand washing quality assessment”, in of the British Machine Vision Conference, Warwick, UK, 2007 [27] A Oliva and A Torralba, “Modeling the shape of the scence: A holistic representation of the spatial envelope”, International Journal of Computer Vision 42, 2001, pp 145-175 [28] Chieh-Chih Wan and Ko-Chih Wang, Hand Posture Recognition Using Adaboost with SIFT for Human Robot Interaction, National Taiwan University, Taipei, Taiwan [29] S Naidoo, C Omlin and M Glaser, Vision-based static hand gesture recognition using support vector machines, University of Western Cape, Bellville, 1998 [30] Trong-Nguyen Nguyen, Huu-Hung Huynh and Jean Meunier, “Static Hand Gesture Recognition Using Artificial Neural Network”, Journal of Image and Graphics, Volume 1, No.1, March, 2013 [31] Adita K Nimbalkar, R R Karhe and C S Patil, “Face and Hand Gesture Recognition using Principle Component Analysis and kNN Classifier”, International Journal of Computer Applications (0975 – 8887),Volume 99– No.8, August 2014 [32] S Nagarajan and T S Subashini, “Image Based Hand Gesture Recognition using Statistical Features and Soft Computing Techniques”, International Journal of Emerging Technology and Advanced Engineering, ISSN 2250-2459, ISO 9001:2008 Certified Journal, Volume 5, Issue 7, July 2015 [33] Y Chehadeh, D Coquin and Ph Bolon, “A Skeletonization Algorithm using Chamfer Distance Transformation Adapted to Rectangular Grids”, in proceedings of IEEE International Conference on Pattern Recognition, 2, 1996, pp 131-139 [34] B Ionescu, D Coquin, P Lambert and V Buzuloiu, “Static Hand Gesture Recognition System”, U.P.B Sci Bull., Series D, Vol 66, No 2-4, 2004 [35] Bogdan Ionescu, Didier Coquin, Patrick Lambert and Vasile Buzuloiu, “Dynamic Hand Gesture Recognition Using the Skeleton of the Hand”, 50 [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] EURASIP Journal on Applied Signal Processing 2005:13, 2101–2109, © 2005 Hindawi Publishing Corporation Varsha Dixit and Anupam Agrawal, “Real Time Hand Detection & Tracking for Dynamic Gesture Recognition”, I.J Intelligent Systems and Applications, vol.7, no.8, 2015, pp 38-44 Deepak Gurung, Cansen Jiang, Jeremie Deray and Désiré Sidibé, “Hand Gestures Recognition and Tracking”, 2013 Pallavi Gurjal and Kiran Kunnur, “Real Time Hand Gesture Recognition Using Sift”, International Journal of Electronics and Electrical Engineering, ISSN: 2277-7040, Volume 2, Issue 3, March 2012 P.K Srimani and Mrs S Kavitha, “Hand Gesture Recognition Using Gradient Orientation”, International Journal of Current Research, Vol 4, Issue, 02, February 2012, pp.191-195 Mandeep Kaur Ahuja et al, “Hand Gesture Recognition Using PCA”, International Journal of Computer Science Engineering and Technology (IJCSET), Vol 5, Issue 7, July 2015, pp 267-271 Vijay Kumari Thakur and Priyadarshni Fellow, “Robust Hand Gesture Recognition for Human Machine Interaction System”, Journal of Global Research in Computer Science, Volume 5, No 3, March 2014 Pramod Pisharady and Martin Saerbeck, “Recent methods and databases in vision-based hand gesture recognition”, Computer Vision and Image Understanding, December 2015 Tasnuva Ahmed, “A Neural Network based Real Time Hand Gesture Recognition System”, International Journal of Computer Applications (0975 – 8887), Volume 59– No.4, December 2012 Simon Haykin, Neural Networks: A Comprehensive Foundation, 2nd ed Pearson Education Asia, 2001 S.Nagarajan and T.S.Subashini, “Static Hand Gesture Recognition for Sign Language Alphabets using Edge Oriented Histogram and Multi Class SVM”, International Journal of Computer Applications (0975 – 8887), Volume 82, No 4, November 2013 T Starner and A Pentland, “Real-time american sign language recognition using desk and wearable computer based video”, Pattern Analysis and Machine Intelligence, IEEE Transactions, Volume 20, Issue 12, December 1998 Lang, S., M Block and R Rojas, “Sign language recognition using kinect”, in Artificial Intelligence and Soft Computing, Springer, 2012 J Ye, H Yao and F Jiang, “Based on HMM and SVM multilayer architecture classifier for Chinese sign language recognition with large vocabulary”, in 51 IEEE First Symposium on Multi-Agent Security and Survivability, 2004, pp 377-380 Website [49] http://research.microsoft.com/en-us/news/features/touchlesssurgery060712.aspx [Accessed: Dec 25, 2016] [50] https://www.microsoft.com/en-us/kinectforwindows/meetkinect/gallery.aspx? searchv=healthcare [Accessed: Jan 10, 2017] [51] https://en.wikipedia.org/wiki/Support_vector_machine [Accessed: Feb 10, 2017] [52] https://www.researchgate.net/profile/Reza_Rachmadi/publication262917557_ Large- Scale_Scene_Classification_Classification_Using_Gist_Feature [Accessed: Mar 08, 2017] [53] http://www.i.ci.ritsumei.ac.jp/~shimada/papers/vi02-tanibata.pdf [Accessed: Mar 18, 2017]