Trong công việc này, nghiên cứu áp dụng hệ thống chấm điểm động tác tĩnh của con người dựa trên khung xương của camera Kinect của tác giả Linwan Liu [93] để
thực hiện xây dựng chương trình chấm điểm động tác một bài Võ cổ truyền Việt Nam
bằng cảm biến Kinect của MS để lấy được các dữ liệu khung xương để tiến hành đối
chiếu với dữ liệu mẫu và tiến hành chấm điểm. Đóng góp chính của công việc này được
đưa ra dưới đây:
Thực hiện nhận dạng chấm điểm các động tác võ của một bài võ theo cơ sở dữ liệu mẫu 3-D cho trước.
Hình 3.13 Kết quả nhận dạng trên tập Test thế võ công.
Hình 3.14 Kết quả nhận dạng trên tập Test thế thủ.
cho chương trình thể dục giữa giờ được đưa vào chương trình học của các trường
phổ thông từ năm 2016.
Xây dựng chương trình phần mềm để người dùng có thể chọn độ khó của việc
chấm thông qua các thông số nhập vào.
Nghiên cứu đã thu thập 36 động tác được đưa ra bởi một võ sư đó là được cho là có cùng mức hiệu suất (Hình 3.15). Nghiên cứu thiết lập đầu vào của người dùng Dst = 50, Sst = 80, M = 35 và 36 bằng cử chỉ lớp (3.10).
Qua khảo sát thì các thế võ liên tục sẽ có thời gian dừng để chuyển qua thế khác,
tại vị trí dừng này tư thế sẽ được so sánh với mẫu và chấm điểm, như minh họa trong Hình 3.16.
Hình 3.17 cho thấy một số kết quả trong đó các động tác mà người biểu diễn quay
lưng lại với camera thì điểm số không cao như các động tác trực diện. Cũng như một
Hình 3.15 Lấy mẫu chuẩn.kể. kể.
Các hệ thống chấm điểm được phát triển trên nền tảng Visual Studio 2013 sử
dụng C . Người dùng sẽ được yêu cầu nhập các tham số trong hộp chỉnh sửa và chọn#
bộ dữ liệu võ tiêu chuẩn từ thư viện trước khi bắt đầu. Người dùng sẽ thực hiện công
việc hiệu chuẩn để sửa trước khi bắt đầu thực hiện các động tác tiếp theo. Các động
tác tiêu chuẩn sẽ lần lượt hiển thị trên màn hình dưới dạng hình ảnh của khung xương (Hình 3.18).
Các học viên sẽ thực hiện liên tục các động tác của mình và camera sẽ chụp và
so sánh các mẫu để xem nó có biểu diễn chính xác như trên màn hình hiển thị hay
không. Nếu các học viên quên động tác, họ có thể nhìn vào các mẫu trên màn hình để thực hiện cho đúng. Sau khi máy tính thu được dữ liệu của người biểu diễn dữ liệu từ
camera, nó sẽ so sánh và ghi điểm ngay lập tức, cứ sau mỗi điểm dừng nó sẽ đọc tới
hình ảnh tư thế tiếp theo trong bộ dữ liệu sau đó đưa ra hình ảnh tiếp theo trên màn
Hình 3.16 Các vị trí dừng để chấm điểm.
Hình 3.17 Thống kê trung bình điểm chấm 36 động tác võ cổ truyền Việt Nam. điểm của người biểu diễn (Hình 3.19).
Trong công việc này đã thực hiện áp dụng công thức chấm điểm động tác người
sử dụng camera Kinect [93] cho động tác võ cổ truyền Việt Nam, đã xây dựng cơ sở dữ
liệu mẫu 3-D của 36 động tác võ giữa giờ đang được đưa vào dạy tại các trường phổ
thông của Việt Nam và phần mềm chấm điểm động tác tĩnh. Đây là bước mở đầu của
việc thực hiện tự rèn luyện và đánh giá võ cổ truyền Việt Nam, góp phần cho việc bảo
tồn và phát triển tinh hoa dân tộc. Chương trình hứa hẹn có nhiều hướng mở rộng khi
có thể tích hợp kiểm tra đánh giá qua mạng sau này. Thống kê cho thấy chương trình
bước đầu đã đánh giá tương đối chính xác các động tác võ. Hệ thống làm việc hiệu
Hình 3.18 Giao diện chương trình chấm điểm.
3.5 Kết luận
Dựa vào kết quả đạt được, một mô hình nhận dạng tư thế người có rất nhiều ứng dụng như:
Hướng dẫn tập tập võ, yoga, vv. Các ứng dụng dạng này có thể chấm điểm, kiểm
tra các động tác có tập đúng hay không.
Nhận dạng hành động bạo lực tại các nơi công cộng.
Trong đó đã thực hiện nhận dạng hành động tấn công bằng cả hai phương pháp
cây phân loại và mạng nơ ron LRTM có độ chính xác nhận dạng cao.
Việc áp dụng công thức chấm điểm động tác vào dữ liệu khung xương thu được
từ camera Kinect để xây dựng phần mềm đánh giá động tác võ cổ truyền Việt Nam
đã mở đầu cho việc áp dụng đánh giá tự chấm điểm người học; từ đó người học có thể
tự rèn luyện các động tác võ ban đầu và tự đánh giá mình thông qua camera Kinect
góp phần vào việc bảo tồn và phát triển võ cổ truyền Việt Nam.
Từ nghiên cứu này đã xây dựng được cơ sở dữ liệu mẫu 3-D để chấm điểm các
bài võ cổ truyền dành cho chương trình thể dục giữa giờ được đưa vào chương trình
học của các trường phổ thông từ năm 2016, từ đó có nhiều hướng mở ra cho việc đẩy
mạnh tự rèn luyện và có thể đánh giá tự động qua mạng chỉ cần có camera Kinect.
Người dùng có thể tương tác với hệ thống bằng cách tự thiết lập các thông số theo nhu
cầu cụ thể và làm sao giải quyết được tốc độ thu nhận các động tác nhanh hơn để đáp
ứng nhu cầu của bài võ thực tế là một đòi hỏi còn nhiều hướng để phát triển.
3.6 Tổng kết chương
Chương này đã đề xuất được một mô hình để hướng đến xây dựng hệ thống đánh
giá các bài biểu diễn võ thuật của học sinh phổ thông, giúp các em có thể tự đánh giá
các bài võ được truyền dạy tại nhà mà không cần sự đánh giá định tính của các võ sư.
Sâu hơn thì bằng các phương pháp khác nhau có thể tìm hiểu, nhận dạng các tư thế
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Kết luận
Trong mô hình nghiên cứu, luận án này tiến hành đánh giá ước lượng khung
xương, tư thế người trong không gian 3-D trong các video võ cổ truyền Việt Nam. Đã
thực hiện mô hình kết hợp để ước lượng từ một tập cơ sở dữ liệu bao gồm 24 video về
các tư thế võ khó và phức tạp. Đồng thời cũng cung cấp dữ liệu gốc trong không gian
3-D và dữ liệu đám mây điểm (point cloud) cho xây dựng và tái tạo lại không gian 3-D
của lớp học võ. Từ đó hướng đến xây dựng ứng dụng lưu trữ, bảo tồn và dạy võ thuật
trong thời đại công nghệ 4.0, một cách trực quan và thân thiện nhất. Từ mô hình này
có thể hướng đến xây dựng được các ứng dụng phân tích và đánh giá các bài biểu diễn
võ thuật, các bài thể dục. Luận án đã đạt được những đóng góp sau:
Đóng góp 1: Đề xuất được một mô hình kết hợp giữa ước lượng khung xương,
tư thế trong 2-D tốt để có được một ước lượng tốt hơn trong không gian 3-D.
Đặc biệt là trong trường hợp dữ liệu bị che khuất thì bộ ước lượng 3-D vẫn ước
lượng đầy đủ các khớp xương. Trong đó, bộ ước lượng 2-D được huấn luyện trên
bộ cơ sở dữ liệu tốt hơn với mô hình mạng nơ ron tích chập dự đoán hiệu quả
hơn. Kết quả thể hiện trên một nghiên cứu so sánh việc ước lượng khung xương,
tư thế người trong không gian 2-D và không gian 3-D.
Đóng góp 2: Xây dựng được mô hình cơ bản cho việc đánh giá và chấm điểm
các động tác võ cổ truyền dựa trên một số khớp xương cơ bản trên cơ thể người
trong các video biểu diễn võ thuật cổ truyển của học sinh phổ thông của các lớp
võ. Đồng thời nhận dạng động tác tấn công trên dữ liệu khung xương của người.
Từ đó làm tiền đề cho việc xây dựng hệ thống hoàn chỉnh cho việc tái tạo lại
môi trường 3-D và khung xương, tư thế người trong các video võ thuật cổ truyền
phục vụ cho việc lưu trữ, tự đánh giá và dạy võ thuật trong trường phổ thông.
Hướng phát triển
Một số hướng phát triển đề tài trong thời gian tới như sau:
Đầu tư cơ sở vật chất (camera, hệ thống MOCAP) để thu tập và xây dựng bộ cơ
sở dữ liệu về võ thuật cổ truyền Việt Nam theo cơ sở dữ liệu chuẩn (benchmark)
(cung cấp tập dữ liệu huấn luyện, tập dữ liệu xác thực, tập dữ liệu kiểm tra). Từ
đó có thể công bố bộ cơ sở dữ liệu về võ thuật cổ truyền Việt Nam ra thế giới cho công đồng nghiên cứu đánh giá, thực nghiệm các nghiên cứu.
Đầu tư cơ sở vật chất về cấu hình máy tính như GPU, RAM cho việc chạy các
mạng CNN mới, cải thiện tốc độ của mô hình chấm điểm các động tác võ.
Xây dựng hệ thống tại tạo môi trường 3-D và khôi phục khung xương tư, tư thế
của người trong các tư thế võ thuật cổ truyền Việt Nam cho việc bảo tồn và dạy võ thuật bằng video.
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN
Conference:
[C1 ] Tuong Thanh Nguyen, Dang-Tuyen Nguyen, Dung Le, Thanh-Cong Pham
(2017) Implementation of Technical Data Analysis of Skeleton Extracted from
Camera Kinect in Grading Movements of Vietnamese Martial Arts, IEEE 2017
International Conference on Advanced Technologies for Communications (ATC),pp241- 244, doi 10.1109/ATC.2017.8167625
[C2 ] Van-Hung Le,Tuong-Thanh Nguyen, Thanh-Cong Pham (2019), OpenPose’s
evaluation in The Video Traditional Martial Arts Presentation. 19th International Symposium on Communications and Information Technologies (ISCIT), ISBN 978-1-7281-5008-6, pp76-81.
[C3 Nguyễn Tường Thành] , Lê Thị Kim Nga , Phạm Thành Công, Lê Dũng (2019)
Nhận dạng động tác tấn công trong võ cổ truyền bằng phương pháp cây phân loại, Kỷ yếu Hội thảo khoa học Quốc gia "Ứng dụng công nghệ mới trong Công trình
xanh" - AtiGB2019, pp88-97.
Journal:
[J1 Nguyễn Tường Thành] , Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công, (2016), Ứng dụng camera Kinect trong xây dựng mô hình chấm điểm động tác võ
cổ truyền Việt Nam, Tạp chí Khoa học và Công nghệ. Đại học Đà Nẵng 2016, số 11 tr.221-224.
[J2 Tuong-Thanh Nguyen] , Van-Hung Le, Thanh-Cong Pham (2019), 3-D Human
Pose Estimation by Convolutional Neural Network in The Video Traditional Mar-
tial Arts Presentation, Journal of Science and Technology, No.139/2019, ISSN 2354-1083;pp43-49.
[J3 Tuong-Thanh Nguyen] , Van-Hung Le, Thanh-Cong Pham (2019), An Eval-
uation of Pose Estimation in The Video Traditional Martial Arts Presentation, Research and development on information and communication technology, No2 12/2019 ISSN: 1859-3534;pp114-126.
[J4 Tuong-Thanh Nguyen] , Van-Hung Le, Long Duong, Dung Le, Thanh-Cong
Pham (2019), 3-D Human Pose Estimation in Vietnamese’s Video Traditional
TÀI LIỆU THAM KHẢO
[1] MJ Rantz, TS Banerjee, E Cattoor, SD Scott, M Skubic, and M. Popescu. Auto-
mated fall detection with quality improvement "rewind" to reduce falls in hospital
rooms. J Gerontol Nurs, 40(1):13–17, 2014.
[2] Yury Degtyarev Philip L. Davidson Sean Ryan Fanello Adarsh Kowdle Sergio Orts Christoph Rhemann David Kim Jonathan Taylor Pushmeet Kohli Vladimir Tankovich Shahram Izadi Mingsong Dou, Sameh Khamis. Fusion4D: real-time performance capture of challenging scenes. ACM Transactions on Graphics, 35(4), 2016.
[3] Koldo de Miguel, Alberto Brunete, Miguel Hernando, and Ernesto Gambao.
Home Camera-Based Fall Detection System for the Elderly. Journal of Sensors, 17(12), 2017.
[4] Moiz Ahmed, Nadeem Mehmood, Nadeem Adnan, Amir Mehmood, and Kashif Rizwan. Fall Detection System for the Elderly Based on the Classification of Shimmer Sensor Prototype Data. Healthc Inform Res, 23(3):147–158, 2017. [5] Raul IgualCarlos, Medrano Carlos, and Inmaculada Plaza. Challenges, Is-
sues and Trends in Fall Detection Systems. BioMedical Engineering OnLine, 12(1):147–158, 2013.
[6] Tinh Binh Dinh. Bao ton va phat huy vo co truyen Binh dinh: Tiep tuc ho tro
cac vo duong tieu bieu. http://www.baobinhdinh.com.vn/viewer.aspx?macm=
12&macmp=12&mabb=88043, 2017. [Accessed; April, 4 2019].
[7] Meier. Kung Fu Motion. https://www.djaquet.info/blog/2018/5/20/ ive-been-to-kung-fu-motion-artlab-epfl-april-august-2018, 2018. [Ac-
cessed; April, 4 2019].
[8] Tinh Binh Dinh. Ai ve Binh Dinh ma coi, Con gai Binh Dinh bo roi di quyen. http://www.seagullhotel.com.vn/du-lich-binh-dinh/vo-co-
truyen-binh-dinh-5, 2019. [Accessed; April, 4 2019].
[9] Japanese. 5 Leading Japanese Martial Arts.https://jpninfo.com/10410, 2015.
[Accessed; May, 21 2019].
[10] China. Tai chi v MMA: The 20-second fight that left China reeling. https: //www.bbc.com/news/world-asia-china-39853374, 2017. [Accessed; May, 21 2019].
[11] PRESERVING. PRESERVING LIFE THROUGH THE MARTIAL WAY – AT
MYOFU AN BUJUTSU DOJO, NEW HAMPSHIRE. https://myo-fu-an.
com/tai-chi-chuan/, 2019. [Accessed; May, 21 2019].
[12] Chinese. Chinese Kung Fu (Martial Arts). https://www.travelchinaguide.
com/intro/martial_arts/, 2019. [Accessed; April, 4 2019].
[13] ECCV2018. ECCV 2018 Joint COCO and Mapillary Recognition). http://
cocodataset.org/#home, 2018. [Accessed 18 April 2019].
[14] MSCOCO 2017. MSCOCO Keypoints Challenge 2017). https://places-
coco2017.github.io/, 2017. [Accessed 18 April 2019].
[15] Tinh Binh Dinh. Preserving traditional martial arts). http://www. baobinhdinh.com.vn/culture-sport/2011/8/114489/, 2011. [Accessed 18 April 2019].
[16] Chinese. traditional Chinese martial arts and the transmission of intangi- ble cultural heritage). https://www.academia.edu/18641528/Fighting_ modernity_traditional_Chinese_martial_arts_and_the_transmission_
of_intangible_cultural_heritage., 2012. [Accessed 18 April 2019].
[17] Microsoft. Kinect for Windows SDK v1.8. https://www.microsoft.com/en-
us/download/details.aspx?id=40278, 2012. [Accessed 18 April 2019].
[18] Opencv. Opencv library. https://opencv.org/, 2018. [Accessed 19 April 2019]. [19] MICA. International Research Institute MICA. http://mica.edu.vn/, 2019.
[Accessed 19 April 2019].
[20] Karate. Karate Rules - Kumite Scoring System. https://www.youtube.com/
watch?v=c6r8JwEFowY, 2018. [Accessed 19 April 2019].
[21] openpose. openpose. https://github.com/CMU-Perceptual-Computing-Lab/
openpose, 2019. [Accessed 23 April 2019].
[22] Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime Multi Person Pose Estimation. https://github.com/ZheC/Realtime_Multi-Person_Pose_
Estimation. [Accessed 23 April 2019].
[23] COCO. Observations on the calculations of COCO metrics. https://github.
com/cocodataset/cocoapi/issues/56, 2019. [Accessed 24 April 2019].
[24] Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity field. 2017.
[25] Xu Tao and Zhou Yun. Fall prediction based on biomechanics equilibrium using
Kinect. International Journal of Distributed Sensor Networks, 13(4), 2017. [26] Daphne Koller Sebastian Thrun Varun Ganapathi, Christian Plagemann. Real-
time human pose tracking from range data. In ECCV, 2012.
[27] Umer Rafi, Juergen Gall, and Bastian Leibe. A semantic occlusion model for
human pose estimation from a single depth image. In IEEE Conference on Com- puter Vision and Pattern Recognition Workshops (CVPRW), 2015.
[28] Leonid Pishchulin, Eldar Insafutdinov, Siyu Tang, Bjoern Andres, Mykhaylo An- driluka, Peter Gehler, and Bernt Schiele. Deepcut: Joint subset partition and labeling for multi person pose estimation. In IEEE Conference on Computer
Vision and Pattern Recognition (CVPR 2016) year = 2016,.
[29] Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convo- lutional pose machines. In IEEE Conference on Computer Vision and Pattern
Recognition (CVPR 2016) year = 2016,.
[30] Burrus Nicolas. Calibrating the depth and color camera. http://nicolas. burrus.name/index.php/Research/KinectCalibration, 2018. [Online; ac- cessed 10-January-2018].
[31] Weichen Zhang, Zhiguang Liu, Liuyang Zhou, Howard Leung, and Antoni B.
Chan. Martial Arts, Dancing and Sports dataset: a Challenging Stereo and Multi- View Dataset for 3D Human Pose Estimation. Image and Vision Computing, Volume 61, 2017.
[32] Leonid Sigal, Alexandru O. Balan, and Michael J. Black. HUMANEVA: Synchro- nized Video and Motion Capture Dataset and Baseline Algorithm for Evaluation
of Articulated Human Motion. International Journal of Computer Vision, Vol- ume 87(1), 2010.
[33] Istvan Sarandi, Timm Linder, Kai O. Arras, and Bastian Leibe. How Robust is 3D
Human Pose Estimation to Occlusion. In IEEE/RSJ International Conference on
Intelligent Robots and Systems (IROS’18) - Workshop on Robotic Co-workers 4.0:
Human Safety and Comfort in Human-Robot Interactive Social Environments, 2018.
[34] PCL. How to use random sample consensus model. http://pointclouds.org/ documentation/tutorials/random_sample_consensus.php, 2014.
[35] Jared St. Jean. Kinect hacks. Published by O’Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472., 2013.
[36] Qifei Wang, Gregorij Kurillo, Ferda Ofli, and Ruzena Bajcsy. Evaluation of pose
tracking accuracy in the first and second generations of microsoft Kinect. In