Ngày nay các nghiên cứu trong lĩnh vực thị giác máy tính hỗ trợ rất nhiều cho cuộc sống Đặc biệt là các nghiên cứu phân tích dáng đi hỗ trợ quan sát chẩn đoán bệnh nhân trong lĩnh vực y tế Trong luận văn này tôi đề xuất giải pháp nhận dạng dáng đi của con người thông qua ảnh chiều sâu thu nhận được từ thiết bị Microsoft Kinect Quá trình xử lý bao gồm các bước 1 thu nhận các đặc trưng về khung xương và vị trí các khớp xương thông qua việc sử dụng Kinect 2 tính toán các thông số đặc trưng gồm vị trí tương đối các khớp và tương quan giữa các khớp 3 so sánh các giá trị thông số đặc trưng đó với các giá trị ngưỡng nếu đặc trưng đó đạt tới ngưỡng xác định một loại dáng đi được quy định trước thì đưa ra kết luận dáng đi đó Kết quả thực nghiệm trong môi trường thực tế và bộ cơ sở dữ liệu tự thu về các khung xương các dáng đi cho thấy giải phải đề xuất mang lại hiệu quả hứa hẹn
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - HỒ THIÊN HỒNG PHÂN TÍCH DỮ LIỆU KHUNG XƯƠNG VÀ ỨNG DỤNG NHẬN DẠNG DÁNG ĐI LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - HỒ THIIÊN HỒNG PHÂN TÍCH DỮ LIỆU KHUNG XƯƠNG VÀ ỨNG DỤNG NHẬN DẠNG DÁNG ĐI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS Huỳnh Hữu Hưng Đà Nẵng – Năm 2017 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi hướng dẫn trực tiếp TS Huỳnh Hữu Hưng Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả Hồ Thiên Hoàng ii MỤC LỤC MỞ ĐẦU 1 LÝ DO CHỌN ĐỀ TÀI MỤC TIÊU VÀ NHIỆM VỤ CỦA ĐỀ TÀI ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU PHƯƠNG PHÁP NGHIÊN CỨU Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN BỐ CỤC LUẬN VĂN TỔNG QUAN VỀ PHÂN TÍCH DÁNG ĐI GIỚI THIỆU CHUNG TRÍCH XUẤT ĐẶC TRƯNG Phân đoạn đối tượng Theo vết đối tượng Biểu diễn đặc trưng 11 NHẬN DẠNG DÁNG ĐI 16 Phương pháp dựa vào đặc trưng 16 Phương pháp dựa vào mơ hình 18 GIỚI THIỆU TỔNG QUAN VỀ KINECT 23 TỔNG QUAN VỀ KINECT 23 CẤU TẠO 24 Hệ thống cảm biến chiều sâu 25 Camera RGB-D 26 Động cơ, máy đo gia tốc, micro 26 Cảm biến đo chiều sâu (depth sensor) 26 Cảm biến hình ảnh (RGB-D) 27 THƯ VIỆN HỖ TRỢ KINECT 29 MỘT SỐ ỨNG DỤNG SỬ DỤNG KINECT 30 PHÂN TÍCH DÁNG ĐI SỬ DỤNG KINECT 34 TỔNG QUAN HỆ THỐNG 34 GIỚI THIỆU ĐẶC TRƯNG KHUNG XƯƠNG 34 TRÍCH XUẤT ĐẶC TRƯNG 36 HUẤN LUYỆN 37 Tách chu kỳ bước 37 Xây dựng mô hình dáng bình thường 38 Phát bất thường 42 iii KẾT QUẢ THỰC NGHIỆM 42 Dữ liệu thử nghiệm 42 Kết thử nghiệm 43 Một số hình ảnh thực nghiệm 43 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46 TÀI LIỆU THAM KHẢO iv PHÂN TÍCH DỮ LIỆU KHUNG XƯƠNG VÀ ỨNG DỤNG NHẬN DẠNG DÁNG ĐI Học viên: Hồ Thiên Hồng Chun ngành: Khoa học máy tính Mã số: 60.48.01 Khóa: 31 Trường Đại học Bách khoa – ĐHĐN Tóm tắt: Ngày nay, nghiên cứu lĩnh vực thị giác máy tính hỗ trợ nhiều cho sống Đặc biệt nghiên cứu phân tích dáng hỗ trợ quan sát, chẩn đoán bệnh nhân lĩnh vực y tế Trong luận văn này, đề xuất giải pháp nhận dạng dáng người thông qua ảnh chiều sâu thu nhận từ thiết bị Microsoft Kinect Quá trình xử lý bao gồm bước: (1) thu nhận đặc trưng khung xương vị trí khớp xương thơng qua việc sử dụng Kinect; (2) tính tốn thơng số đặc trưng gồm vị trí tương đối khớp tương quan khớp; (3) so sánh giá trị thông số đặc trưng với giá trị ngưỡng, đặc trưng đạt tới ngưỡng xác định loại dáng quy định trước đưa kết luận dáng Kết thực nghiệm mơi trường thực tế sở liệu tự thu khung xương dáng cho thấy giải phải đề xuất mang lại hiệu hứa hẹn Từ khóa: thị giác máy tính, phân tích dáng đi, Kinect, khung xương, ảnh chiều sâu Abstract: Nowadays, researching the field of computer vision supports too much for life Especially the gait analysis supports the observation, diagnosis patients in the medical In this dissertation, I propose a way to recognize the gait of human through the depth image from Microsoft Kinect device The process involves the following steps: (1) using Kinect to acquiring skeletal data and joint position; (2) determining characteristic parameters including relative positions of joints and correlations between joints; (3) compare those characteristic values with threshold values, if that characteristic within the threshold’s reach that defined a predetermined gait, concludes that gait The result of experimental in real world environments and self-collect databases of skeletons show that the proposed solution has promising effects Key words: Computer vision, the gait analysis, Kinect, skeleton frame, depth image v DANH MỤC CÁC TỪ VIẾT TẮT API Application Programming Interface CBIR Content-Based Image Retrieval HMM Hidden Markov Model SVM Support Vector Machine vi DANH MỤC CÁC BẢNG Số hiệu Tên bảng Trang 1.1 So sánh số ứng dụng hỗ trợ thư viện OpenNI Microsoft SDK 11 2.1 Tổng hợp đặc trưng dáng nghiên cứu 28 3.1 Bảng mơ tả góc tính đặc trưng 36 3.2 Số chu người 42 3.3 Kết thử nghiệm với trạng thái quan sát 43 vii DANH MỤC CÁC HÌNH Số hiệu 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 1.14 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 3.1 3.2 Tên bảng Camera Kinect hãng Microsoft Camera Kinect Xbox 360 hãng Microsoft Cấu tạo Camera Kinect Sơ đồ khối Phạm vi hoạt động cảm biến Kinect Vùng hoạt động Kinect Cơ chế hoạt động Kinect Ảnh thu từ Kinect Cách tạo ảnh 3D Kinect Hình ảnh chọn trang phục ảo Một tập hệ thống RespondWell Người dùng điều khiển máy tính cử tay Các bác sĩ sử dụng Kinect phòng mổ Người chơi game Kinect Ví dụ phân đoạn đối tượng [20] Các dạng biểu diễn đối tượng khác [21], phục vụ cho mục đích theo vết: điểm, kernel, hình chiếu Các phương pháp theo vết: (a) theo vết điểm, (b) theo vết kernel, (c) theo vết dựa hình chiếu Theo vết xử lý che khuất dựa hình chiếu [28] Tái cấu trúc đối tượng chiều từ chuỗi ảnh hình chiếu [31] Mơ hình đối tượng chuyển động với vị trí đầu chi [37] Một ví dụ MII, với dịng chuỗi ảnh đầu vào, chuỗi hình chiếu đối tượng trước sau canh giữa, cuối MII [40] Ví dụ ảnh chuyển động tích lũy Ví dụ hai hành động có ma trận xếp hạng [41] Các vectơ hướng tương ứng với luồng quang học [42] Một số đặc trưng quan hệ hình học [47] Mẫu mơ hình dáng Tham số xác suất mơ hình Markov ẩn Mơ hình HMM tương ứng với mơ hình HMM Mơ hình mạng nơron dùng nghiên cứu [79] Giải pháp đề xuất Vị trí khớp khung xương Kinect Trang 23 24 24 25 25 26 27 28 28 31 31 32 32 33 7 10 11 12 13 13 14 15 19 20 21 22 34 35 viii 3.3 3.4 3.5 3.6 3.7 3.8 3.9 Chu kỳ bước Đồ thị khoảng cách tương ứng với chu kỳ Mơ hình HMM sử dụng giải pháp đề xuất Dáng bình thường Dáng bất đối xứng Dáng khom lưng Dáng ngã ngữa 37 37 41 44 44 45 45 49 [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] Comaniciu, D., Ramesh, V., & Meer, P (2003), “Kernel-based Object Tracking,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(5), pp 564-577 Cheng, H Y., & Hwang, J N (2009), “Adaptive Particle Sampling and Adaptive Appearance for Multiple Video Object Tracking,” Signal Processing, Elsevier, 89(9), pp 1844-1849 Huttenlocher, D P., Noh, J J., & Rucklidge, W J (1993), “Tracking Non-rigid Objects in Complex Scenes,” In Proceedings of Fourth International Conference on Computer Vision, pp 93-101 Yilmaz, A., Li, X., & Shah, M (2004), “Contour-based Object Tracking with Occlusion Handling in Video Acquired using Mobile Cameras,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(11), pp 15311536 Moeslund, T B., Hilton, A., & Krüger, V (2006), “A Survey of Advances in Vision-based Human Motion Capture and Analysis,” Computer vision and image understanding, Elsevier, 104(2), pp 90-126 Huo, F., Hendriks, E., Paclik, P., & Oomes, A H (2009), “Markerless Human Motion Capture and Pose Recognition,” In 10th Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS'09), pp 13-16 Agarwal, A., & Triggs, B (2006), “Recovering 3D Human Pose from Monocular Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(1), pp 44-58 Lee, M W., & Cohen, I (2006), “A Model-based Approach for Estimating Human 3D Poses in Static Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(6), pp 905-916 Lee, M W., & Nevatia, R (2009), “Human Pose Tracking in Monocular Sequence using Multilevel Structured Models,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(1), pp 27-38 Leong, I F., Fang, J J., & Tsai, M J (2007), “Automatic Body Feature Extraction from a Marker-less Scanned Human Body,” Computer-Aided Design, Elsevier, 39(7), pp 568-582 Rogez, G., Guerrero, J J., & Orrite, C (2007), “View-Invariant Human Feature Extraction for Video-Surveillance Applications,” In Proceedings of IEEE Conference on Advanced Video and Signal Based Surveillance 2007 (AVSS 2007), IEEE, pp 324-329 Sedai, S., Bennamoun, M., & Huynh, D (2009), “Context-based Appearance Descriptor for 3D Human Pose Estimation from Monocular Images,” In Digital Image Computing: Techniques and Applications (DICTA'09), IEEE, pp 484491 50 [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] Ke, S R., Hwang, J N., Lan, K M., & Wang, S Z (2011), “View-Invariant 3D Human Body Pose Reconstruction using a Monocular Video Camera,” In Proceedings of Fifth ACM/IEEE International Conference on Distributed Smart Cameras 2011 (ICDSC'11), IEEE, pp 1-6 Bobick, A F., & Davis, J W (2001), “The Recognition of Human Movement using Temporal Templates,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(3), pp 257-267 Cheng-Hsien, L., Fu-Song, H., & Wei-Yang, L (2010), “Recognizing Human Actions using NWFE-based Histogram Vectors,” EURASIP Journal on Advances in Signal Processing Diaf, A., Benlamri, R., & Boufama, B (2010), “An Effective View-based Motion Representation for Human Motion Recognition,” In International Symposium on Modeling and Implementing Complex Systems, pp 57-64 Kim, W., Lee, J., Kim, M., Oh, D., & Kim, C (2010), “Human Action Recognition using Ordinal Measure of Accumulated Motion,” EURASIP journal on Advances in Signal Processing, vol Ahmad, M., & Lee, S W (2006), “Hmm-based Human Action Recognition using Multiview Image Sequences,” In Proceedings of 18th International Conference on Pattern Recognition 2006 (ICPR 2006), IEEE, vol 1, pp 263266 Danafar, S., & Gheissari, N (2007), “Action Recognition for Surveillance Applications using Optic Flow and SVM,” In Computer Vision–ACCV 2007, Springer Berlin Heidelberg, pp 457-466 Efros, A A., Berg, A C., Mori, G., & Malik, J (2003), “Recognizing Action at a Distance,” In Proceedings of 9th IEEE International Conference on Computer Vision, IEEE, pp 726-733 Somayeh, D., Alessandro, G., & Jürgen, S (2010), “Novel Kernel-based Recognizers of Human Actions,” EURASIP Journal on Advances in Signal Processing Müller, M., Röder, T., & Clausen, M (2005), “Efficient Content-based Retrieval of Motion Capture Data,” ACM Transactions on Graphics (TOG), 24(3), pp 677-685 Roder, T (2006), Similarity, retrieval, and classification of motion capture data, PhD dissertation, Mathematic - Natural Sciences Department, University of Bonn Sankoff, D., & Kruskal, J B (1983), Time warps, string edits, and macromolecules: the theory and practice of sequence comparison, AddisonWesley Publication Sempena, S., Maulidevi, N U., & Aryan, P R (2011), “Human Action 51 [50] [51] [52] [53] Recognition using Dynamic Time Warping,” In Proceedings of 2011 International Conference on Electrical Engineering and Informatics (ICEEI), IEEE, pp 1-5 Yacoob, Y., & Black, M J (1998), “Parameterized Modeling and Recognition of Activities,” In Proceedings of Sixth International Conference on Computer Vision, IEEE, pp 120-127 Aggarwal, J K., & Ryoo, M S (2011), “Human Activity Analysis: a Review,” ACM Computing Surveys (CSUR), 43(3), 16 Wu, Y C., Chen, H S., Tsai, W J., Lee, S Y., & Yu, J Y (2008), “Human Action Recognition based on Layered-HMM,” In Proceedings of 2008 IEEE International Conference on Multimedia and Expo, IEEE, pp 1453-1456 Tao, W., Liu, T., Zheng, R., & Feng, H (2012), "Gait analysis using wearable sensors",Sensors, 12(2),pp 2255-2283 [54] Barnich, O., & Van Droogenbroeck, M ( 2009), "Frontal-view gait recognition by intra-and inter-frame rectangle size distribution",Pattern Recognition Letters, 30(10),pp 893-901 [55] Kam, A H., Ann, T K., Lung, E H., Yun, Y W., & Junxian, W (2004), “Automated Recognition of Highly Complex Human Behavior,” In Proceedings of the 17th International Conference on Pattern Recognition 2004 (ICPR 2004), IEEE, vol 4, pp 327-330 [56] Cho, S H., Park, J M & Kwon, O Y (2004), "Gender differences in three dimensional gait analysis data from 98 healthy Korean adults",Clinical Biomechanics,19(2),pp 145-152 [57] Foroughi, H., Rezvanian, A., & Paziraee, A (2008), “Robust Fall Detection using Human Shape and Multi-class Support Vector Machine,” In Proceedings of Sixth Indian Conference on Computer Vision, Graphics & Image Processing (ICVGIP'08), IEEE, pp 413-420 [58] Liu, C D., Chung, P C., Chung, Y N., & Thonnat, M (2007), “Understanding of Human Behaviors from Videos in Nursing Care Monitoring Systems,” Journal of High Speed Networks, 16(1), pp 91-103 [59] Chen, M., Huang, B., & Xu, Y (2007), “Human Abnormal Gait Modeling via Hidden Markov Model,” In Proceedings of International Conference on Information Acquisition 2007 (ICIA'07), IEEE, pp 517-522 [60] Greene, B R., Donovan, A O., Romero-Ortuno, R., Cogan, L., Scanaill, C N., & Kenny, R A (2010), “Quantitative Falls Risk Assessment using the Timed Up and Go Test,” IEEE [61] Jolliffe, I (2005), Principal Component Analysis, Encyclopedia of Statistics in 52 [62] [63] [64] [65] [66] [67] [68] [69] Behavioral Science , John Wiley & Sons, Ltd Stone, E E., & Skubic, M (2011), “Passive in-home Measurement of Stride-toStride Gait Variability Comparing Vision and Kinect Sensing,” 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, IEEE, Boston, Massachusetts, pp 6491-6494 Dziuban, E (2002), “Human Body Temperature Measurement-Class Program,” In Joint IMEKO TC-1 & XXXIV MKM Conference Xue, Z., Ming, D., Song, W., Wan, B., & Jin, S (2010), “Infrared Gait Recognition based on Wavelet Transform and Support Vector Machine,” Pattern recognition, Elsevier, 43(8), pp 2904-2910 Clark, R A., Pua, Y H., Bryant, A L., & Hunt, M A (2013), “Validity of the Microsoft Kinect for Providing Lateral Trunk Lean Feedback during Gait Retraining,” Gait & posture, Elsevier, 38(4), pp 1064-1066 Nguyen, H A., Auvinet, E., Mignotte, M., de Guise, J A., & Meunier, J (2012), “Analyzing Gait Pathologies using a Depth Camera,” In Proceedings of Annual International Conference of the IEEE on Engineering in Medicine and Biology Society (EMBC), IEEE, pp 4835-4838 Anderson, D., Keller, J M., Skubic, M., Chen, X., & He, Z (2006), “Recognizing Falls from Silhouettes,” In Engineering in Medicine and Biology Society 2006 (EMBS'06), 28th Annual International Conference of the IEEE, IEEE, pp 63886391 Rougier, C., Meunier, J., St-Arnaud, A., & Rousseau, J (2007), “Fall Detection from Human Shape and Motion History using Video Surveillance,” In Proceedings of 21st International Conference on Advanced Information Networking and Applications Workshops 2007 (AINAW'07), IEEE, vol 2, pp 875-880 Gianaria, E., Balossino, N., Grangetto, M., & Lucenteforte, M (2013), "Gait characterization using dynamic skeleton acquisition", Multimedia Signal Processing (MMSP), 2013 IEEE 15th International Workshop on, pp 440445 [70] Milovanovic, M., Minovic, M., & Starcevic, D (2012), "New gait recognition method using Kinect stick figure and CBIR", Telecommun Forum (TELFOR), vol 1, pp 1323-1326 [71] [72] M Machado-Molina, Ingrid Bönninger, Malay Kishore Dutta, Tobias Kutzner, Carlos M Travieso (2014), "Gait-based recognition of humans using Kinect camera", Tenerife, Spain: WSEAS Press, pp 63-71 Dikovski, B., Madjarov, G., & Gjorgjevikj, D (2014), "Evaluation of different feature sets for gait recognition using skeletal data from Kinect", Information 53 and Communication Technology, Electronics and Microelectronics (MIPRO), 2014 37th International Convention on, pp 1304-1308 [73] Vapnik, V N., & Vapnik, V (1998), Statistical learning theory (Vol 1), New York: Wiley [74] Yoo, J H., Hwang, D., & Nixon, M S (2005), "Gender classification in human gait using support vector machine",In Advanced concepts for intelligent vision systems, Springer Berlin Heidelberg, pp 138-145 [75] Begg, R K., Palaniswami, M., & Owen, B (2005), "Support vector machines for automated gait classification",Biomedical Engineering, IEEE Transactions on, 52(5),pp 828-838 [76] Panahandeh, G., Mohammadiha, N., Leijon, A., & Handel, P (2013), "Continuous Hidden Markov Model for Pedestrian Activity Classification and Gait Analysis", IEEE T Instrumentation and Measurement, 62(5), pp 1073-1083 [77] Bae, J., & Tomizuka, M (2011), "Gait phase analysis based on a Hidden Markov Model",Mechatronics, 21(6),pp 961-970 [78] Yoo, J H., Hwang, D., Moon, K Y., & Nixon, M S (2008), "Automated human recognition by gait using neural network",In Image Processing Theory, Tools and Applications, 2008 IPTA 2008 First Workshops on, IEEE, pp 1-6 [79] Sharma, S., Tiwari, R., Shukla, A., & Singh, V (2011), "Identification of People Using Gait Biometrics",International journal of machine learning and computing, 1(4),pp 409-415 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc BÁO CÁO Về việc bổ sung, sửa chữa luận văn Họ tên học viên: Hồ Thiên Hồng Chun ngành: Khoa học máy tính Khóa: 31 Ngày bảo vệ luận văn: 13/08/2017 Tên đề tài luận văn: Phân tích liệu khung xương ứng dụng nhận dạng dáng Các điểm bổ sung, sửa chữa luận văn theo ý kiến đóng góp Hội đồng chấm luận văn: - Cấu trúc luận văn: Chỉnh lại cấu trúc theo đóng góp Hội đồng - Các lỗi tả, in ấn - Trình bày lại số thuật toán theo sơ đồ Đà Nẵng, ngày 06 tháng năm 2017 Học viên (ký, ghi họ tên) Hồ Thiên Hoàng Người hướng dẫn TS Huỳnh Hữu Hưng Phòng Đào tạo ... thư viện hỗ trợ ứng dụng Kinect Chương 2: Tổng quan phân tích dáng Trong chương giới thiệu tổng quan phân tích dáng đi, phương pháp phân tích dáng Chương 3: Phân tích dáng sử dụng Kinect Nội... hình ảnh thực nghiệm 43 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 46 TÀI LIỆU THAM KHẢO iv PHÂN TÍCH DỮ LIỆU KHUNG XƯƠNG VÀ ỨNG DỤNG NHẬN DẠNG DÁNG ĐI Học viên: Hồ Thiên Hồng Chun ngành: Khoa... đề tài ? ?Phân tích liệu khung xương ứng dụng nhận dạng dáng đi? ?? 2 MỤC TIÊU VÀ NHIỆM VỤ CỦA ĐỀ TÀI Mục tiêu đề tài Mục tiêu đề tài dùng camera Kinect ghi lại video dùng giải thuật nhận dạng để