3.5 Kết luận
Dựa vào kết quả đạt được, một mô hình nhận dạng tư thế người có rất nhiều ứng dụng như:
Hướng dẫn tập tập võ, yoga, vv. Các ứng dụng dạng này có thể chấm điểm, kiểm
tra các động tác có tập đúng hay không.
Nhận dạng hành động bạo lực tại các nơi công cộng.
Trong đó đã thực hiện nhận dạng hành động tấn công bằng cả hai phương pháp
cây phân loại và mạng nơ ron LRTM có độ chính xác nhận dạng cao.
Việc áp dụng công thức chấm điểm động tác vào dữ liệu khung xương thu được
từ camera Kinect để xây dựng phần mềm đánh giá động tác võ cổ truyền Việt Nam
đã mở đầu cho việc áp dụng đánh giá tự chấm điểm người học; từ đó người học có thể
tự rèn luyện các động tác võ ban đầu và tự đánh giá mình thông qua camera Kinect
góp phần vào việc bảo tồn và phát triển võ cổ truyền Việt Nam.
Từ nghiên cứu này đã xây dựng được cơ sở dữ liệu mẫu 3-D để chấm điểm các
bài võ cổ truyền dành cho chương trình thể dục giữa giờ được đưa vào chương trình
học của các trường phổ thông từ năm 2016, từ đó có nhiều hướng mở ra cho việc đẩy
mạnh tự rèn luyện và có thể đánh giá tự động qua mạng chỉ cần có camera Kinect.
Người dùng có thể tương tác với hệ thống bằng cách tự thiết lập các thông số theo nhu
cầu cụ thể và làm sao giải quyết được tốc độ thu nhận các động tác nhanh hơn để đáp
ứng nhu cầu của bài võ thực tế là một đòi hỏi còn nhiều hướng để phát triển.
3.6 Tổng kết chương
Chương này đã đề xuất được một mô hình để hướng đến xây dựng hệ thống đánh
giá các bài biểu diễn võ thuật của học sinh phổ thông, giúp các em có thể tự đánh giá
các bài võ được truyền dạy tại nhà mà không cần sự đánh giá định tính của các võ sư.
Sâu hơn thì bằng các phương pháp khác nhau có thể tìm hiểu, nhận dạng các tư thế
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Kết luận
Trong mô hình nghiên cứu, luận án này tiến hành đánh giá ước lượng khung
xương, tư thế người trong không gian 3-D trong các video võ cổ truyền Việt Nam. Đã
thực hiện mô hình kết hợp để ước lượng từ một tập cơ sở dữ liệu bao gồm 24 video về
các tư thế võ khó và phức tạp. Đồng thời cũng cung cấp dữ liệu gốc trong không gian
3-D và dữ liệu đám mây điểm (point cloud) cho xây dựng và tái tạo lại không gian 3-D
của lớp học võ. Từ đó hướng đến xây dựng ứng dụng lưu trữ, bảo tồn và dạy võ thuật
trong thời đại công nghệ 4.0, một cách trực quan và thân thiện nhất. Từ mô hình này
có thể hướng đến xây dựng được các ứng dụng phân tích và đánh giá các bài biểu diễn
võ thuật, các bài thể dục. Luận án đã đạt được những đóng góp sau:
Đóng góp 1: Đề xuất được một mô hình kết hợp giữa ước lượng khung xương,
tư thế trong 2-D tốt để có được một ước lượng tốt hơn trong không gian 3-D.
Đặc biệt là trong trường hợp dữ liệu bị che khuất thì bộ ước lượng 3-D vẫn ước
lượng đầy đủ các khớp xương. Trong đó, bộ ước lượng 2-D được huấn luyện trên
bộ cơ sở dữ liệu tốt hơn với mô hình mạng nơ ron tích chập dự đoán hiệu quả
hơn. Kết quả thể hiện trên một nghiên cứu so sánh việc ước lượng khung xương,
tư thế người trong không gian 2-D và không gian 3-D.
Đóng góp 2: Xây dựng được mô hình cơ bản cho việc đánh giá và chấm điểm
các động tác võ cổ truyền dựa trên một số khớp xương cơ bản trên cơ thể người
trong các video biểu diễn võ thuật cổ truyển của học sinh phổ thông của các lớp
võ. Đồng thời nhận dạng động tác tấn công trên dữ liệu khung xương của người.
Từ đó làm tiền đề cho việc xây dựng hệ thống hoàn chỉnh cho việc tái tạo lại
môi trường 3-D và khung xương, tư thế người trong các video võ thuật cổ truyền
phục vụ cho việc lưu trữ, tự đánh giá và dạy võ thuật trong trường phổ thông.
Hướng phát triển
Một số hướng phát triển đề tài trong thời gian tới như sau:
Đầu tư cơ sở vật chất (camera, hệ thống MOCAP) để thu tập và xây dựng bộ cơ
sở dữ liệu về võ thuật cổ truyền Việt Nam theo cơ sở dữ liệu chuẩn (benchmark)
(cung cấp tập dữ liệu huấn luyện, tập dữ liệu xác thực, tập dữ liệu kiểm tra). Từ
đó có thể công bố bộ cơ sở dữ liệu về võ thuật cổ truyền Việt Nam ra thế giới cho công đồng nghiên cứu đánh giá, thực nghiệm các nghiên cứu.
Đầu tư cơ sở vật chất về cấu hình máy tính như GPU, RAM cho việc chạy các
mạng CNN mới, cải thiện tốc độ của mô hình chấm điểm các động tác võ.
Xây dựng hệ thống tại tạo môi trường 3-D và khôi phục khung xương tư, tư thế
của người trong các tư thế võ thuật cổ truyền Việt Nam cho việc bảo tồn và dạy võ thuật bằng video.
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN
Conference:
[C1 ] Tuong Thanh Nguyen, Dang-Tuyen Nguyen, Dung Le, Thanh-Cong Pham
(2017) Implementation of Technical Data Analysis of Skeleton Extracted from
Camera Kinect in Grading Movements of Vietnamese Martial Arts, IEEE 2017
International Conference on Advanced Technologies for Communications (ATC),pp241- 244, doi 10.1109/ATC.2017.8167625
[C2 ] Van-Hung Le,Tuong-Thanh Nguyen, Thanh-Cong Pham (2019), OpenPose’s
evaluation in The Video Traditional Martial Arts Presentation. 19th International Symposium on Communications and Information Technologies (ISCIT), ISBN 978-1-7281-5008-6, pp76-81.
[C3 Nguyễn Tường Thành] , Lê Thị Kim Nga , Phạm Thành Công, Lê Dũng (2019)
Nhận dạng động tác tấn công trong võ cổ truyền bằng phương pháp cây phân loại, Kỷ yếu Hội thảo khoa học Quốc gia "Ứng dụng công nghệ mới trong Công trình
xanh" - AtiGB2019, pp88-97.
Journal:
[J1 Nguyễn Tường Thành] , Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công, (2016), Ứng dụng camera Kinect trong xây dựng mô hình chấm điểm động tác võ
cổ truyền Việt Nam, Tạp chí Khoa học và Công nghệ. Đại học Đà Nẵng 2016, số 11 tr.221-224.
[J2 Tuong-Thanh Nguyen] , Van-Hung Le, Thanh-Cong Pham (2019), 3-D Human
Pose Estimation by Convolutional Neural Network in The Video Traditional Mar-
tial Arts Presentation, Journal of Science and Technology, No.139/2019, ISSN 2354-1083;pp43-49.
[J3 Tuong-Thanh Nguyen] , Van-Hung Le, Thanh-Cong Pham (2019), An Eval-
uation of Pose Estimation in The Video Traditional Martial Arts Presentation, Research and development on information and communication technology, No2 12/2019 ISSN: 1859-3534;pp114-126.
[J4 Tuong-Thanh Nguyen] , Van-Hung Le, Long Duong, Dung Le, Thanh-Cong
Pham (2019), 3-D Human Pose Estimation in Vietnamese’s Video Traditional
TÀI LIỆU THAM KHẢO
[1] MJ Rantz, TS Banerjee, E Cattoor, SD Scott, M Skubic, and M. Popescu. Auto-
mated fall detection with quality improvement "rewind" to reduce falls in hospital
rooms. J Gerontol Nurs, 40(1):13–17, 2014.
[2] Yury Degtyarev Philip L. Davidson Sean Ryan Fanello Adarsh Kowdle Sergio Orts Christoph Rhemann David Kim Jonathan Taylor Pushmeet Kohli Vladimir Tankovich Shahram Izadi Mingsong Dou, Sameh Khamis. Fusion4D: real-time performance capture of challenging scenes. ACM Transactions on Graphics, 35(4), 2016.
[3] Koldo de Miguel, Alberto Brunete, Miguel Hernando, and Ernesto Gambao.
Home Camera-Based Fall Detection System for the Elderly. Journal of Sensors, 17(12), 2017.
[4] Moiz Ahmed, Nadeem Mehmood, Nadeem Adnan, Amir Mehmood, and Kashif Rizwan. Fall Detection System for the Elderly Based on the Classification of Shimmer Sensor Prototype Data. Healthc Inform Res, 23(3):147–158, 2017. [5] Raul IgualCarlos, Medrano Carlos, and Inmaculada Plaza. Challenges, Is-
sues and Trends in Fall Detection Systems. BioMedical Engineering OnLine, 12(1):147–158, 2013.
[6] Tinh Binh Dinh. Bao ton va phat huy vo co truyen Binh dinh: Tiep tuc ho tro
cac vo duong tieu bieu. http://www.baobinhdinh.com.vn/viewer.aspx?macm=
12&macmp=12&mabb=88043, 2017. [Accessed; April, 4 2019].
[7] Meier. Kung Fu Motion. https://www.djaquet.info/blog/2018/5/20/ ive-been-to-kung-fu-motion-artlab-epfl-april-august-2018, 2018. [Ac-
cessed; April, 4 2019].
[8] Tinh Binh Dinh. Ai ve Binh Dinh ma coi, Con gai Binh Dinh bo roi di quyen. http://www.seagullhotel.com.vn/du-lich-binh-dinh/vo-co-
truyen-binh-dinh-5, 2019. [Accessed; April, 4 2019].
[9] Japanese. 5 Leading Japanese Martial Arts.https://jpninfo.com/10410, 2015.
[Accessed; May, 21 2019].
[10] China. Tai chi v MMA: The 20-second fight that left China reeling. https: //www.bbc.com/news/world-asia-china-39853374, 2017. [Accessed; May, 21 2019].
[11] PRESERVING. PRESERVING LIFE THROUGH THE MARTIAL WAY – AT
MYOFU AN BUJUTSU DOJO, NEW HAMPSHIRE. https://myo-fu-an.
com/tai-chi-chuan/, 2019. [Accessed; May, 21 2019].
[12] Chinese. Chinese Kung Fu (Martial Arts). https://www.travelchinaguide.
com/intro/martial_arts/, 2019. [Accessed; April, 4 2019].
[13] ECCV2018. ECCV 2018 Joint COCO and Mapillary Recognition). http://
cocodataset.org/#home, 2018. [Accessed 18 April 2019].
[14] MSCOCO 2017. MSCOCO Keypoints Challenge 2017). https://places-
coco2017.github.io/, 2017. [Accessed 18 April 2019].
[15] Tinh Binh Dinh. Preserving traditional martial arts). http://www. baobinhdinh.com.vn/culture-sport/2011/8/114489/, 2011. [Accessed 18 April 2019].
[16] Chinese. traditional Chinese martial arts and the transmission of intangi- ble cultural heritage). https://www.academia.edu/18641528/Fighting_ modernity_traditional_Chinese_martial_arts_and_the_transmission_
of_intangible_cultural_heritage., 2012. [Accessed 18 April 2019].
[17] Microsoft. Kinect for Windows SDK v1.8. https://www.microsoft.com/en-
us/download/details.aspx?id=40278, 2012. [Accessed 18 April 2019].
[18] Opencv. Opencv library. https://opencv.org/, 2018. [Accessed 19 April 2019]. [19] MICA. International Research Institute MICA. http://mica.edu.vn/, 2019.
[Accessed 19 April 2019].
[20] Karate. Karate Rules - Kumite Scoring System. https://www.youtube.com/
watch?v=c6r8JwEFowY, 2018. [Accessed 19 April 2019].
[21] openpose. openpose. https://github.com/CMU-Perceptual-Computing-Lab/
openpose, 2019. [Accessed 23 April 2019].
[22] Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime Multi Person Pose Estimation. https://github.com/ZheC/Realtime_Multi-Person_Pose_
Estimation. [Accessed 23 April 2019].
[23] COCO. Observations on the calculations of COCO metrics. https://github.
com/cocodataset/cocoapi/issues/56, 2019. [Accessed 24 April 2019].
[24] Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity field. 2017.
[25] Xu Tao and Zhou Yun. Fall prediction based on biomechanics equilibrium using
Kinect. International Journal of Distributed Sensor Networks, 13(4), 2017. [26] Daphne Koller Sebastian Thrun Varun Ganapathi, Christian Plagemann. Real-
time human pose tracking from range data. In ECCV, 2012.
[27] Umer Rafi, Juergen Gall, and Bastian Leibe. A semantic occlusion model for
human pose estimation from a single depth image. In IEEE Conference on Com- puter Vision and Pattern Recognition Workshops (CVPRW), 2015.
[28] Leonid Pishchulin, Eldar Insafutdinov, Siyu Tang, Bjoern Andres, Mykhaylo An- driluka, Peter Gehler, and Bernt Schiele. Deepcut: Joint subset partition and labeling for multi person pose estimation. In IEEE Conference on Computer
Vision and Pattern Recognition (CVPR 2016) year = 2016,.
[29] Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convo- lutional pose machines. In IEEE Conference on Computer Vision and Pattern
Recognition (CVPR 2016) year = 2016,.
[30] Burrus Nicolas. Calibrating the depth and color camera. http://nicolas. burrus.name/index.php/Research/KinectCalibration, 2018. [Online; ac- cessed 10-January-2018].
[31] Weichen Zhang, Zhiguang Liu, Liuyang Zhou, Howard Leung, and Antoni B.
Chan. Martial Arts, Dancing and Sports dataset: a Challenging Stereo and Multi- View Dataset for 3D Human Pose Estimation. Image and Vision Computing, Volume 61, 2017.
[32] Leonid Sigal, Alexandru O. Balan, and Michael J. Black. HUMANEVA: Synchro- nized Video and Motion Capture Dataset and Baseline Algorithm for Evaluation
of Articulated Human Motion. International Journal of Computer Vision, Vol- ume 87(1), 2010.
[33] Istvan Sarandi, Timm Linder, Kai O. Arras, and Bastian Leibe. How Robust is 3D
Human Pose Estimation to Occlusion. In IEEE/RSJ International Conference on
Intelligent Robots and Systems (IROS’18) - Workshop on Robotic Co-workers 4.0:
Human Safety and Comfort in Human-Robot Interactive Social Environments, 2018.
[34] PCL. How to use random sample consensus model. http://pointclouds.org/ documentation/tutorials/random_sample_consensus.php, 2014.
[35] Jared St. Jean. Kinect hacks. Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472., 2013.
[36] Qifei Wang, Gregorij Kurillo, Ferda Ofli, and Ruzena Bajcsy. Evaluation of pose
tracking accuracy in the first and second generations of microsoft Kinect. In
Proceedings - 2015 IEEE International Conference on Healthcare Informatics, ICHI 2015, pages 380–389, 2015.
[37] Cheng-Shian Lin Hao-Cheng Mo, Jin-Jang Leou. Human Behavior Analysis Using
Multiple 2D Features and Multicategory Support Vector Machine. In Proceedings
Conference on Machine Vision Applications MVA, 2009.
[38] C. Nakajima, M. Pontil, and T. Poggio. People recognition and pose estimation
in image sequences. In Proceedings of the IEEE-INNS-ENNS International Joint
Conference on Neural Networks., number June 2014, pages 189–194 vol.4, 2002. [39] Cem Keskin, Furkan Kirac, Yunus Emre Kara, and Lale Akarun. 3D hand pose
estimation and classification using depth sensors. In 2011 IEEE International
Conference on Computer Vision Workshops (ICCV Workshops), pages 1–4, 2012.
[40] Sijin Li, Weichen Zhang, and Antoni B. Chan. Maximum-Margin Structured Learning with Deep Networks for 3D Human Pose Estimation. International
Journal of Computer Vision, 122(1):149–168, 2017.
[41] Haiyong Zhao and Zhijing Liu. Human Action Recognition Based on Non-linear
SVM Decision Tree, volume = 7, year = 2011. Journal of Computational Infor- mation Systems, (7).
[42] Le Thi-Lan, Nguyen Minh-Quoc, and Nguyen Thi-Thanh-Mai. Human posture recognition using human skeleton provided by Kinect. In 2013 International
Conference on Computing, Management and Telecommunications (ComManTel), 2013.
[43] Patsadu Orasa, Nukoolkit Chakarida, and Watanapa Bunthit. Human gesture recognition using Kinect camera. In 2012 Ninth International Conference on Computer Science and Software Engineering (JCSSE), 2012.
[44] Sriparna Saha, Shreya Ghosh, Amit Konar, and Atulya K. Nagar. Gesture Recog- nition from Indian Classical Dance Using Kinect Sensor. In 2013 Fifth Interna- tional Conference on Computational Intelligence, Communication Systems and Networks, 2013.
[45] A. Agarwal and B. Triggs. 3D human pose from silhouettes by relevance vector
regression. In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004.
[46] Min Sun, Pushmeet Kohli, and Jamie Shotton. Conditional regression forests
for human pose estimation. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012.
[47] Angel Martiez-Gonzalez, Michael Villamizar, Olivier Canevet, and Jean Marc Odobez. Real-time Convolutional Networks for Depth-based Human Pose Esti- mation. In IEEE International Conference on Intelligent Robots and Systems, pages 41–47, 2018.
[48] Wenjuan Gong, Xuena Zhang, Jordi Gonzàlez, Andrews Sobral, Thierry Bouw-
mans, Changhe Tu, and El Hadi Zahzah. Human Pose Estimation from Monocu-
lar Images: A Comprehensive Survey. Sensors (Basel, Switzerland), 16(12):1–39, 2016.
[49] Enrique Martinez Berti, Antonio Jose Sánchez Salmerón, and Carlos Ricolfe Viala. 4-Dimensional deformation part model for pose estimation using Kalman
filter constraints. International Journal of Advanced Robotic Systems, 14(3):1–13, 2017.
[50] Tao Hu, Xinyan Zhu, Wei Guo, and Kehua Su. Efficient Interactions Recogni-
tion through Positive Action based Representation . Mathematical Problems in Engineering, 2013.
[51] Pedro Felzenszwalb, David Mcallester, and Deva Ramanan. A Discriminatively
Trained, Multiscale, Deformable Part Model. In 2008 IEEE Conference on Com- puter Vision and Pattern Recognition, 2008.
[52] Min Sun and Silvio Savarese. Articulated part-based model for joint object detec-
tion and pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, pages 723–730, 2011.
[53] Leonid Pishchulin, Mykhaylo Andriluka, Peter Gehler, and Bernt Schiele. Strong Appearance and Expressive Spatial Models for Human Pose Estimation. In Pro-
ceedings of the 2013 IEEE International Conference on Computer Vision, 2013. [54] Mykhaylo Andriluka, Stefan Roth, and Bernt Schiele. Pictorial Structures Re-
visited : People Detection and Articulated Pose Estimation. In 2009 IEEE Con-
ference on Computer Vision and Pattern Recognition, pages 1014–1021, 2009.
[55] Alex Smola and S.V.N. Vishwanathan. Introduction to machine learning. Cam- bridge University Press, 2010.
[56] Ho Sy Hung. Tom luoc lich su phat trien cua nganh machine learn- ing. https://techmaster.vn/posts/33923/lich-su-phat-trien-machine-
learning, 2016. [Accessed; June, 21 2019].
[57] Maher. Which machine learning model to use. https://towardsdatascience. com/which-machine-learning-model-to-use-db5fdf37f3dd, 2019. [Ac-
cessed; June, 21 2019].
[58] Nguyen Van Hieu. Tong quan ve machine learning. https://nguyenvanhieu.
vn/machine-learning-la-gi/, 2019. [Accessed; June, 21 2019].
[59] wikipedia. Hoc sau. https://vi.wikipedia.org/wiki/H%E1%BB%8Dc_s%C3%
A2u, 2019. [Accessed; June, 21 2019].
[60] Microsoft. Kinect for Windows SDK v1.8. https://www.microsoft.com/en-us/ download/details.aspx?id=40278, 2018. [Online; accessed 10-January-2018].
[61] Christian Plagemann. Real Time Motion Capture Using a Single Time-Of-Flight
Camera. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010.
[62] Jamie Shotton and Toby Sharp. Real-Time Human Pose Recognition in Parts
from Single Depth Images. In CVPR 2011, 2011.
[63] Christian Plagemann and Daphne Koller. Real-time Identification and Localiza-
tion of Body Parts from Depth Images. In 2010 IEEE International Conference on Robotics and Automation, 2010.
[64] Himanshu Prakash Jain and Anbumani Subramanian. Real-Time Upper-Body Human Pose Estimation. In Lecture Notes in Computer Science book series (LNCS, volume 6930), pages 227–238, 2011.
[65] Chaitanya Desai and Deva Ramanan. Detecting actions, poses, and objects with