Nhiệm vụ của chương trình là trích chọn các đặc trưng khung xương từ bộ dữ liệu khung xương. Các đặc trưng này sẽ được so sánh với tập khung xương (các thế võ) đã biết, từ đó nhận dạng được đó là tư thế phòng thủ hay tấn công.
Quy trình thực hiện gồm hai phần:
- Phần thứ nhất: Trích chọn đặc trưng và đưa vào cơ sở dữ liệu học. Dữ liệu thu thập là bộ dữ liệu khung xương được thu từ camera kinect
- Phần thứ hai: Nhận dạng và hiển thị hình ảnh. Chương trình sẽ phân tích dữ liệu khung xương, cụ thể là sử dụng thuật toán cây quyết định (cây hồi quy) để nhận dạng khung xương đưa ra thông báo trạng thái (phòng thủ hoặc tấn công) và hiển thị hình ảnh
56
3.4 Đánh giá
Trong luận văn tiến hành thử nghiệm với dữ liệu tôi thu thập tại trường Đại học Quy Nhơn. Tập dữ liệu được thu thập trong nhiều hoàn cảnh khác nhau về ánh sáng và nền. Tập dữ liệu bao gồm 15083 mẫu khung xương. Tập dữ liệu chia làm 2 phần: phần học và phần test. Ở luận văn này, tôi sử dụng 14083 mẫu khung xương để học và 1000 mẫu khung xương để test. Kết quả cho ra Thuật toán thực hiện chính xác 980/1000 mẫu khung xương, tỉ lệ 98%.
Một số hình ảnh về thử nghiệm chương trình
Bước 1. Khởi động chương trình, chương trình sẽ thực hiện việc tải dữ liệu. Ở đây dữ liệu mẫu là 15083 mẫu khung xương được lấy từ file 36dongtacvo.json
Hình 3.6. Màn hình khởi động chương trình nhận dạng tư thế võ
57
Hình 3.7 Hộp thoại để nhập tư thế võ cần kiểm tra
Bước 3. Nhập số thứ tự của bộ dữ liệu cần test tư thế võ phòng thủ hay tấn công vào ô Sample index. Sau đó nhấn vào nút Process để chương trình tiến hành nhận dạng. Một hộp thoại sẽ được hiện ra:
- True label: nhãn đã được gán sẵn với tư thế đúng. - Predict label: là kết quả nhận dạng của chương trình.
Nếu kết quả Predict label trùng với True label thì ở tư thế võ đang kiểm tra, chương trình đã cho ra được kết quả nhận dạng thế võ đúng.
58
Hình 3.9 Tư thế tấn công được nhận dạng đúng với sample index = 800
Nếu kết quả Predict label không trùng với True label thì ở tư thế võ đang kiểm tra, chương trình đã cho ra được kết quả nhận dạng thế võ không đúng.
59
60
KẾT LUẬN
Bài toán nhận dạng khung xương đã được đặt ra từ lâu và đi cùng với nó là hàng loạt các đề tài khoa học được xác lập, các công trình nghiên cứu được công bố, các ứng dụng được triển khai. Bài toán này luôn đặt ra nhiều thách thức vì những khó khăn của nó. Các khó khăn chứng tỏ rằng bất cứ phương pháp giải quyết bài tóan xác định khung xương con người sẽ không thể tránh khỏi một số khiếm khuyết nhất định. Mỗi hướng tiếp cận được đưa ra đều đã đạt được những thành quả nhất định, hướng nào cũng có những thành công, những hạn chế. Vì bài toán này là bài toán không có lời giải tối ưu cho mọi trường hợp. Tuy nhiên, do tính cấp thiết từ yêu cầu của thực tế mà đây luôn là một đề tài hấp dẫn các nhà khoa học, các chuyên gia nghiên cứu và ứng dụng. Đặc biệt là ở Việt Nam, nơi mà các hệ thống nhận dạng, các hệ thống giám sát chưa được phát triển mạnh. Những ứng dụng vẫn chủ yếu là các phần mềm đi kèm với các thiết bị chuyên dụng khá đắt tiền.
Trong nội dung nghiên cứu đề tài “Nghiên cứu nhận dạng một số trạng thái khung xương và ứng dụng” bản thân đã tìm hiểu các thuật toán nhận dạng trạng thái khung xương và áp dụng các thuật toán này để giải quyết bài toán đặt ra. Qua nghiên cứu, những kết quả chính mà luận văn đã đạt được như sau:
Khái quát về bài toán nhận dạng khung xương nói chung và bài toán nhận dạng tư thế võ nói riêng, đồng thời hệ thống để lại một số cách tiếp cận trong nhận dạng khung xương.
Trình bày một số kỹ thuật phát hiện khung xương, phương pháp trích chọn đặc trưng dựa vào thuật toán cây hồi quy để nhận dạng khung xương.
Cài đặt thử nghiệm thuật toán nhận dạng khung xương và ứng dụng việc nhận dạng khung xương vào trong nhận dạng tư thế võ. Chương trình thử
61
nghiệm trên bộ dữ liệu thu thập bằng camera Kinect *Kiến nghị và hướng nghiên cứu tiếp theo
Nhận dạng khung xương là đề tài đã, đang và tiếp tục được nhiều nhà nghiên cứu trong và ngoài nước nghiên cứu vì có nhiều ứng dụng to lớn, có tầm quan trọng trong khoa học, thực tiễn. Những hạn chế trong việc nhận dạng chính xác khung xương người vẫn còn khó khăn.
Hướng nghiên cứu tiếp theo của luận văn là sẽ tiếp tục nghiên cứu sâu hơn nữa các thuật toán tiền xử lý, nhận dạng khung xương để nâng cao hiệu quả của thuật toán.
62
DANH MỤC TÀI LIỆU THAM KHẢO
[1]. I. Cohen and H. Li, "Inference of Human Postures by Clasification of 3D Human Body Shape," in IEEE International Workshop on Analysis and Modeling of Faces and Gestures, IOCV 2003, 2003.
[2]. H.-C. Mo, J.-J. Leou and C.-S. Lin, "Human Behavior Analysis Using Multiple 2D Features and Multicategory Support Vector Machine," MVA 2009 APR Conference on Machine Vision Applications, Yokohama, 2009.
[3]. Z. L. Haiyong Zhao, "Human Action Recognition Based on Non-linear SVM Decision Tree," pp. 7: 7 2461-2468, 2011.
[4]. T.-L. Le, M.-Q. Nguyen and T.-T.-M. Nguyen, "Human posture recognition using human skeleton," IEEE, pp. 340-345, 2013.
[5]. O. Patsadu, C. Nukoolkit and B. Watanapa, "Human gesture recognition using Kinect camera," in 2012 Ninth International Joint Conference on Computer Science and Software Engineering, Bangkok, 2012.
[6]. S. Saha, S. Ghosh, A. Konar and A. K. Nagar, "Gesture recognition from Indian classical dance using Kinect," in CICSYN '13 Proceedings of the 2013 Fifth International Conference on Computational Intelligence, Communication Systems and Networks, Kolkata, 2013. [7] J. C. S. Jacques Jr., L. Dihl, C. R. Jung, M. R. Thielo R. Keshet, S. R.
Musse, " HUMAN UPPER BODY IDENTIFICATION FROM IMAGES". Hewlett-Packard Brasil Ltda. using incentives of Brazilian Informatics Law (Law n 8.2.48 of 1991)
[8] Greg Mori, Xiaofeng Ren, Alexei A. Efros and Jitendra Malik, " Recovering Human Body Configurations: Combining Segmentation and Recognition".
63
[9] Richard Yi Da Xu, Michael Kemp, " MULTIPLE CURVATURE BASED APPROACH TO HUMAN UPPER BODY PARTS DETECTION WITH CONNECTED ELLIPSE MODEL FINE-TUNING"
[10] Paul Viola, Michael Jones , " Rapid Object Detection using a Boosted Cascade of Simple Features"
[11] Jean-Yves Bouguet, “Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm”.
[12] Stauffer, C., & Grimson, W. E. L. (1999), “Adaptive Background Mixture Models for Real-time Tracking,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE, vol. 2.
[13] Polana, R., & Nelson, R. (1994), “Low Level Recognition of Human Motion,” In Proceedings of the 1994 IEEE Workshop on Motion of Non-Rigid and Articulated Objects, IEEE, pp. 77-82.
[14] Comaniciu, D., Ramesh, V., & Meer, P. (2003), “Kernel-based Object Tracking,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(5), pp. 564-577.
[15] Cheng, H. Y., & Hwang, J. N. (2009), “Adaptive Particle Sampling and Adaptive Appearance for Multiple Video Object Tracking,” Signal Processing, Elsevier, 89(9), pp. 1844-1849.
[16] Kim, W., Lee, J., Kim, M., Oh, D., & Kim, C. (2010), “Human Action Recognition using Ordinal Measure of Accumulated Motion,”
EURASIP journal on Advances in Signal Processing, vol. 2.
[17] Panahandeh, G., Mohammadiha, N., Leijon, A., & Handel, P (2013), "Continuous Hidden Markov Model for Pedestrian Activity Classification and Gait Analysis", IEEE T. Instrumentation and Measurement, 62(5), pp. 1073-1083.
64
[18] Yoo, J. H., Hwang, D., Moon, K. Y., & Nixon, M. S (2008), "Automated human recognition by gait using neural network",In Image Processing Theory, Tools and Applications, 2008. IPTA 2008. First Workshops on, IEEE, pp. 1-6.
[19] Dikovski, B., Madjarov, G., & Gjorgjevikj, D (2014), "Evaluation of different feature sets for gait recognition using skeletal data from Kinect", Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2014 37th International Convention on, pp. 1304-1308.
[20].TS Lê Thị Kim Nga (2017), “Bài giảng Xử lý ảnh”, Trường Đại học Qui Nhơn.
[21].PGS.TS Đỗ Năng Toàn (2010), “Bài giảng Xử lý ảnh”, Hà Nội: Học viện Công nghệ bưu chính viễn thông.
[22].Nguyễn Tường Thành, Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công(2016), “Ứng dụng Camera Kinect trong xây dựng mô hình chấm điểm động tác võ cổ truyền Việt Nam”, Tạp chí khoa học và công nghệ, Đại học Đà Nẵng.
[23] Hồ Viết Hà, Trần Anh Vũ, Ngô Văn Sỹ, Huỳnh Hữu Hưng, Đặng Văn Đàng(2016), “Phân tích dáng đi dựa trên thông tin độ sâu”, Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX ―Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR'9)‖; Cần Thơ, ngày 4-5/8/2016
[24] Phạm Nguyên Khang, Huỳnh Nhật Minh, Võ Trí Thức, Phạm Thế Phi, “Nhận dạng ngôn ngữ dấu hiệu với camera Kinect và đặc trưng Gist”, Tạp chí Khoa học – Trường Đại học Cần Thơ, Số chuyên đề: Công nghệ thông tin(2015): 113 – 120
[25] Đ. T. Nghị và P. N. Khang, “Phương pháp đánh giá hiệu quả giải thuật học có giám sát,” trong Giáo trình nguyên lý máy học, Cần Thơ, Đại
65 học Cần Thơ, 2012
[26] Trần Công Án, Lữ Minh Phúc, Đỗ Thanh Đức, Ngô Bá Hùng, Lê Đình Chiến, Phạm Thị Xuân Diễm, Sơn Búp Pha và Nguyễn Hữu Vân Long, “Phát hiện té ngã cho người cao tuổi bằng gia tốc kế và mô hình học sâu long short-term memory”, Cần Thơ, Đại học Cần Thơ, 2017
[27] Lê Thị Kim Nga, Huỳnh Lê Anh Vũ, Nguyễn Thị Kim Phượng (2017),
Một kỹ thuật định vị đối tượng không cấu trúc trên ảnh dựa vào tiếp cận hồi quy, Hội thảo Quốc gia về CNTT&TT 2017
[28] Lê Thị Kim Nga, Arist QNU, “Nghiên cứu về nhận dạng hành vi”, Hội thảo Viện nghiên cứu ứng dụng khoa học và công nghệ và tầm nhìn trong cách mạng công nghiệp 4.0, Bình Định, ngày 27 tháng 4 năm 2019.