Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu759

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN TƯỜNG THÀNH VỀ MƠ HÌNH NHẬN DẠNG TƯ THẾ VÕ DỰA TRÊN ẢNH CHIỀU SÂU Ngành: Kỹ thuật điện tử Mã số: 9520203 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội −2020 Cơng trình hồn thành tại: Trường Đại học Bách khoa Hà Nội Người hướng dẫn khoa học: TS Lê Dũng TS Phạm Thành Công Phản biện 1: PGS.TS Bạch Nhật Hồng Phản biện 2: PGS.TS Lê Bá Dũng Phản biện 3: PGS.TS Phan Hữu Huân Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Trường họp Trường Đại học Bách khoa Hà Nội: Vào hồi 30, ngày 07 tháng năm 2020 Có thể tìm hiểu luận án thư viện: Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội Thư viện Quốc gia Việt Nam MỞ ĐẦU Lý chọn đề tài Trong nhiều năm trở lại có nhiều nghiên cứu ước lượng khớp xương, hành động thể người ảnh màu, ảnh độ sâu chuỗi ảnh Hầu hết nghiên cứu sử dụng việc học đặc trưng ảnh màu, độ sâu để học mơ hình người, hành động người sử dụng phân lớp cho việc dự đoán Trước thường sử dụng phân lớp SVM (Support Vector Machine), Random decision forests (RDF) cho việc học dự đoán khớp thể người Ngày với phát triển mạnh mẽ học sâu (Deep Learning) có nhiều mạng thiết kế cho việc ước lượng khớp xương thể người [?], [?] Các phương thức ước lượng khung xương, tư người ảnh màu không gian 3-D thường sử dụng mạng Nơ ron tích chập cho việc huấn luyện mơ hình ước lượng Trong q trình tham gia nghiên cứu giáo viên hướng dẫn nghiên cứu sinh nhận thấy hướng nghiên cứu ước lượng khôi phục khung xương người từ ảnh độ sâu nhiều nhóm nghiên cứu quan tâm Là người quê hương Bình Bình, vùng đất tiếng võ cổ truyền Việt Nam Nghiên cứu sinh nhận thấy võ cổ truyền môn thể thao, nghệ thuật thể sắc dân tộc Võ thuật giúp rèn luyện sức khỏe, tự vệ cho người dân tộc, đất nước Võ cổ truyền có từ lâu đời với quốc gia, đồng thời gắn liền với lịch sử dựng nước giữ nước ; Có thể kể võ cổ truyền Bình Định Việt Nam ; Võ Judo, Karate, Kendo, Kyudo người Nhật Bản ; Võ Kung Fu, TaiChi người Trung Quốc Để bảo tồn trì võ cổ truyền đặc sắc có giá trị văn hóa vấn đề quan trọng nhà quản lý, quốc gia Trước việc lưu trữ truyền miệng, qua hình vẽ võ liên tục đời trước dạy cho đời sau, nên võ bị biến tướng không chuẩn xác Ngày nay, việc ghi lại thành video để lưu trữ hướng tiếp cận tốt Cùng với Việt Nam từ năm 2016, võ cổ truyền đưa vào giảng dạy trường phô thông để rèn luyện sức khỏe tự vệ cho em học sinh Nên việc xây dựng mơ hình chấm điểm võ truyền dạy lớp điều cần thiết Các mơ hình giúp học sinh phổ thơng tự đánh giá tư võ võ mà không cần phải nhờ đến võ sư võ đường Tuy nhiên, võ hành động nhanh, quay bốn hướng mà thiết bị ghi hình thường nằm vị trí nên có nhiều tư bị che khuất Nên thường để lưu giữ võ phải quay từ nhiều góc khác quay nhiều camera đặt từ nhiều hướng Để bảo tồn, truyền, dạy võ cách trực quan việc phát hiện, ước lượng võ cảnh bị che khuất việc làm cần thiết Đồng thời xây dựng môi trường 3-D để trực quan hóa việc đào tạo dạy võ cổ truyền vấn đề cần thiết để giảm thời gian, chi phí, cơng sức võ sư Đặc biệt tăng tính tự giác chủ động tập luyện đánh giá luyện tập học sinh phổ thông Để thu thập video phục vụ cho việc bảo tồn trì võ người ta thường sử dụng cảm biến hình ảnh loại camera gắn điện thoại thông minh, hay loại camera chuyên dụng Đặc biệt, để xây dựng khung cảnh (môi trường) 3-D tư võ người ta thường sử dụng cảm biến có ảnh độ sâu Kinect phiên (Version - V1), Kinect phiên (Version - V2), Real scene D435, vv Tuy nhiên, liệu khung xương thu từ cảm biến MS Kinect v1 bị lấp nhiều Như nghiên cứu Wang cộng [?] cho thấy sai khác thiếu liệu lớn cảm biến MS Kinect v1 MS Kinect v2 Trên ảnh độ sâu chứa thông tin không gian thực (giá trị độ sâu) người nên ước lượng khớp xương trường hợp bị che khuất Do trước thực xây dựng mơ hình đánh giá chấm điểm động tác võ truyền dạy lớp cần thực nghiên cứu ước lượng, khôi phục khung xương người video võ thuật cổ truyền Vì luận án thực kết hợp kết ước lượng ảnh màu chiếu kết ước lượng vào khơng gian 3-D để có kết ước lượng điểm đại diện khớp xương tốt Đặc biệt, ước lượng khung xương, tư người khơng gian 3-D ước lượng khớp xương bị che khuất liệu thu phía nhìn thấy người Từ khớp xương đầy đủ thể đầy đủ động tác võ video võ cổ truyền Đây bước quan trọng việc tái tạo ghi lại tư võ cổ truyền võ sư thực hành động tác truyền dạy em học sinh phổ thông Trong hệ thống chấm điểm động tác võ ứng dụng quan trọng đánh giá việc biểu diễn tư thế, động tác võ chuẩn hay khơng Mục đích, đối tượng phạm vi nghiên cứu Mục đích luận án là: - Đề xuất hướng tiếp cận để ước lượng phục hồi khung xương không gian 3-D để xây dựng hệ thống tái tạo môi trường 3-D video biểu diễn võ thuật ước lượng khung xương, tư người video Phương thức kết hợp ước lượng điểm đại diện khớp nối ảnh màu (không gian 2-D) ước lượng khơng gian 3-D để có kết ước lượng khớp xương tốt, đặc biệt khôi phục khớp xương trường hợp phận người bị che khuất Từ thể xác tư người động tác võ Mơ hình ước lượng điểm đại diện không gian 2-D chọn từ nghiên cứu so sánh cho toán ước lượng điểm đại diện không gian 2-D, sử dụng mạng nơ ron tích chập huấn luyện sở liệu chuẩn (benchmark) Đồng thời việc ước lượng khung xương, tư người không gian 2-D, 3-D đánh giá sở liệu cơng bố võ cổ truyền nước ngồi võ cổ truyền Việt Nam thu thập - Từ khung xương người ước lượng khôi phục đầy đủ khớp, xây dựng mơ hình chấm điểm động tác võ video thu từ lớp võ biểu diễn võ thuật em học sinh phổ thông, giúp em tự đánh giá võ thuật truyền dạy Hơn nhận dạng động tác cơng để phục vụ cho việc phân tích điểm mạnh điểm yếu tư võ thuật cổ truyền Đối tượng: Từ mục đích nêu xác định đối tượng nghiên cứu video võ biểu diễn võ thuật, võ đánh tứ diện xoay 360 độ, nên liệu thu thập từ cảm biến hình ảnh bị che khuất nhiều Đặc biệt, trình xây dựng hệ thống tái tạo môi trường 3-D đánh giá biểu diễn võ thuật cần tái tạo môi trường 3-D, ước lượng khung xương người điều kiện liệu thu thập từ cảm biến MS Kinect có chứa nhiều nhiễu Theo từ khung xương ước lượng khôi phục đầy đủ, xây dựng mơ hình chấm điểm động tác võ video thu từ lớp học võ biểu diễn võ thuật để giúp người học tự đánh giá kết tập luyện Từ nghiên cứu số hóa tư võ cổ truyền lưu giữ để truyền lại cho đời sau Cũng video võ thuật biểu diễn đánh giá chấm điểm máy tính Trong nghiên cứu này, thông tin môi trường người biểu diễn võ thuật môi trường thu thập, trích xuất thơng qua cảm biến hình ảnh Phương pháp nghiên cứu: Nghiên cứu sinh sử dụng phương pháp nghiên cứu lấy mẫu xây dựng sở liệu, điều tra, phân tích kết hợp trích xuất đặc trưng mẫu, đề xuất mơ hình giải pháp, sau mơ để đánh giá giải pháp so sánh với nghiên cứu tin cậy công bố Đây phương pháp nghiên cứu logic đáng tin cậy, thường áp dụng Phạm vi nghiên cứu luận án: tập trung cải tiến kết ước lượng điểm đại diện khớp xương trường hợp bị che khuất sử dụng cảm biến MS Kinect v1 để thu thập liệu từ môi trường Kết kết hợp mơ hình ước lượng tốt khơng gian ảnh 2-D ánh xạ môi trường 3-D để nâng cao kết ước lượng Đây ý tưởng chủ đạo luận án này, mơ hình xây dựng ứng dụng luận án bao gồm số bước: (1) Từ liệu đầu vào thu từ cảm biến MS Kinect (ảnh màu, ảnh độ sâu); (2) Sử dụng mạng nơ ron tích chập thiết kế để huấn luyện mơ hình ước lượng ảnh màu ảnh độ sâu; (3) Kết hợp kết ước lượng không gian 2-D 3-D, biểu diễn kết khơng gian 3-D, khớp xương người video ước lượng khơi phục đầy đủ; (4) từ xây dựng mơ hình chấm điểm động tác võ cổ truyền áp dụng cho em học sinh phổ thơng tự đánh giá võ Trong nội dung bước (2) bước quan trọng Ý nghĩa khoa học đóng góp luận án - Về ý nghĩa khoa học: Luận án tập trung nghiên cứu ứng dụng thị giác máy tính phân tích hình ảnh việc đánh giá chấm điểm động tác võ cổ truyền dựa phát mô 3D sở số khớp xương thể người biểu diễn võ thuật Các phương thức ước lượng khung xương, tư người ảnh màu không gian 3-D quan tâm nhiều năm gần báo thường sử dụng mạng Nơ ron tích chập cho việc huấn luyện mơ hình ước lượng Do luận án theo hướng để giải mục tiêu đặt Luận án đạt đóng góp sau: Đóng góp 1: Đề xuất mơ hình kết hợp ước lượng khung xương, tư 2-D tốt để có ước lượng tốt khơng gian 3-D Đặc biệt trường hợp liệu bị che khuất ước lượng 3-D ước lượng đầy đủ khớp xương Trong đó, ước lượng 2-D huấn luyện sở liệu tốt với mơ hình mạng nơ ron tích chập dự đoán hiệu Kết thể nghiên cứu so sánh việc ước lượng khung xương, tư người không gian 2-D không gian 3-D Đóng góp 2: Xây dựng mơ hình cho việc đánh giá chấm điểm động tác võ cổ truyền dựa số khớp xương thể người video biểu diễn võ thuật cổ truyển học sinh phổ thông lớp võ Đồng thời nhận dạng động tác công liệu khung xương người, làm tiền đề cho việc xây dựng hệ thống hoàn chỉnh cho việc tái tạo lại môi trường 3-D khung xương, tư người video võ thuật cổ truyền phục vụ cho việc lưu trữ, tự đánh giá dạy võ thuật trường phổ thông Cấu trúc nội dung luận án Luận án không giải vấn đề theo cách đơn lẻ mà giải vấn đề thực tế đặt theo trình tự thống nhất, thể Hình Từ mơ hình áp dụng để xây dựng hệ thống thật thời gian tới việc hỗ trợ bảo tồn lưu trữ, đánh giá, dạy võ thuật cổ truyền trường phổ thông Dữ liệu vào (Ảnh màu, ảnh độ sâu) Ước lượng điểm đại diện khớp nối Biểu diễn liệu không gian 3-D Kết ước lượng điểm đại diện khớp nối Kết biểu diễn không gian 3-D Ứng dụng lưu trữ, dạy, đánh giá tư võ MS Kinect sensor version Ảnh màu Ảnh độ sâu Kết khung xương Hình Mơ hình giải vấn đề ước lượng khung xương, tư người không gian 3-D tái tạo lại môi trường thực tế Nội dung luận án gồm: Mở đầu: Trình bày lí thúc đẩy thực nghiên cứu này; mục tiêu luận án; trình bày đối tượng phạm vi nghiên cứu, ý nghĩa khoa học đóng góp cấu trúc luận án Chương 1: Giới thiệu tổng quan học máy, học sâu ứng dụng, khảo sát hệ thống ứng dụng ước lượng khung xương, tư người môi trường 2-D 3-D Đặc biệt, kỹ thuật liên quan đến ước lượng khung xương, tư người không gian 2-D 3-D thảo luận Luận án trình bày thách thức vai trị ước lượng khung xương người không gian 3-D Đồng thời miêu tả giới thiệu cảm biến MS Kinect liệu thu thập từ cảm biến này, sở liệu lớn ước lượng khung xương, tư người không gian 3-D giới thiệu Chương 2: Chương miêu tả đánh giá việc ước lượng khung xương, tư người không gian 2-D (không gian ảnh) 3-D.Các kết ước lượng khung xương, tư không gian 2-D đánh giá 2-D chiếu sang sang không gian 3-D để đánh giá Đặc biệt trình bày chi tiết phương pháp đồng hệ trục tọa độ liệu cho việc đánh giá khung xương, tư ước lượng không gian 3-D Đánh giá ước lượng không gian 3-D với liệu công bố luận án video võ thuật cổ truyền Việt Nam Đặc biệt đánh giá khả ước lượng khớp xương trường hợp liệu bị che khuất Đánh giá ước lượng khung xương, tư người liệu võ cổ truyền khác công bố giới Chương 3: Chương giới thiệu ứng dụng đánh giá, chấm điểm động tác võ cổ truyền nhận dạng động tác công liệu khung xương người Kết luận: Đưa hai kết luận án, đồng thời định hướng nghiên cứu tương lai CHƯƠNG TỔNG QUAN Trong chương này, luận án trước tiên trình bày lại số lý thuyết học máy, học sâu, mạng nơ ron tích chập sử dụng nhiều luận án Tiếp theo luận án hệ thống hóa (survey) lại phương thức ước lượng khung xương (skeleton) thể người Các nghiên cứu thường xuất phát từ ảnh màu, ảnh độ sâu, chuỗi hình ảnh hay ảnh từ nhiều hướng nhìn khác để ước lượng khung xương thể người Đặc biệt phân tích nghiên cứu liên quan cho việc ước lượng khung xương thể người không gian 2-D trình bày Phần 1.2, nghiên cứu liên quan ước lượng khung xương không gian 3-D trình bày Phần 1.3 Cuối cùng, sở liệu kinh điển cho việc đánh giá ước lượng khung xương khơng gian 3-D trình bày phân tích Phần 1.4 1.1 Hệ thống khơi phục hoạt động người không gian 3-D chấm điểm võ thuật 1.1.1 Hệ thống khôi phục hoạt động người không gian 3-D Mingsong cộng [?] để xuất mơ hình theo vết xây dựng lại khung cảnh người không gian 3-D thời gian thực Hệ thống xây dựng lại môi trường người không gian 3-D liệu thu thập từ cảm biến hình ảnh Các liệu thu thập từ cảm biến hình ảnh hiệu chỉnh phân đoạn để tách riêng liệu người liệu khác Để dự đoán theo vết hành động người, nghiên cứu sử dụng mơ hình biến dạng (deformation model) dựa đặc trưng biến dạng ảnh độ sâu Khi có nhiều đặc trưng có biến đổi mạnh vượt qua ngưỡng mơ hình biến dạng nghiên cứu đề xuất hàm lượng bổ sung cho ràng buộc mô hình biến dạng Đặc biệt kỹ thuật sử dụng hình bóng khơi phục liệu sử dụng để khơi phục lại hình trạng người dựa tập liệu thu từ cảm biến hình ảnh Hệ thống phải sử dụng CPU để thu thập liệu khôi phục liệu 3-D Hay Meier cộng xây dựng ứng dụng khôi phục, theo vết hành động người khơng gian 3-D Mơ hình người thể dạng lưới 1.1.2 Hệ thống chấm điểm võ thuật Hiện dựa tìm hiểu nghiên cứu sinh giới chưa có hệ thống chấm điểm công bố để chấm điểm môn võ thuật như: Karate, Judo, Taekwondo,vv Năm 2018, liên đoàn Karate giới đưa quy tắc chấm điểm động tác môn Karate Bộ quy tắc dựa vị trí địn vào đối phương như: Đầu, mặt, cổ, ngực, bụng, đằng trước đằng sau 1.2 Ước lượng khung xương thể người không gian 2-D Ước lượng khung xương (skeleton) tư (pose) người toán áp dụng nhiều lĩnh vực như: An toàn xã hội, bảo tồn giá trị sắc văn hóa (bảo tồn trì võ, múa cổ truyền dân tộc); Sản xuất loại đồ chơi, trò chơi; Tương tác với robot thơng minh; Phân tích thể thao (phân tích chiến thuật mơn thể thao bóng đá, tenis, cầu lông, vv); Bảo vệ sức khỏe (phát kiện ngã bệnh viện cho người già); vv Để giải toán dựa tập hợp phương thức như: phân tích người ảnh, xác định vị trí người ảnh, xác định vị trí điểm đại diện thể người(key points), xác định khớp nối (joints) điểm đại diện thể người (skeleton) Từ đó, vấn đề ước lượng khung xương tư người trở thành vấn đề quan tâm nghiên cứu nhiều thị giác máy tính 1.2.1 Ước lượng khung xương ảnh màu, ảnh độ sâu Như vậy, thấy hầu hết hướng tiếp cận cho việc ước lượng tư người không gian 2-D từ ảnh thực dựa việc học đặc trưng ảnh màu ảnh độ sâu Các đặc trưng đặc trưng tồn thể, từ phận thể, hay biến dạng phận thể Tuy nhiên, việc huấn luyện ước lượng tư người ảnh thường khơng giải tốn số phận người bị che khuất 1.3 Ước lượng khung xương tư người môi trường 3-D Ước lượng tư người chuyển động công việc sử dụng phần lớn kỹ thuật thị giác máy tính Bài tốn thực dựa hình ảnh chuỗi hình ảnh thu từ mơi trường Bài tốn ước lượng tư người hành động áp dụng nhiều lĩnh vực như: Trong tương tác người máy (như nhận dạng ngôn ngữ cử hay nhận dạng cử chỉ), tương tác người với robot, giám sát video (sử dụng để truyền đạt hành động người) Việc ước lượng tư người thực theo hai hướng tiếp cận bản: Ước lượng tư người từ ảnh; Ước lượng tư người từ chuỗi ảnh Thường việc ước lượng tư người không gian 3-D xuất phát từ ước lượng tư người không gian 2-D.nĐặc biệt ước lượng 3-D khung xương tư người kỹ thuật cần thiết việc xây dựng lại môi trường thực tế ước lượng khớp xương trường hợp phận chi người bị che khuất 1.3.1 Phục hồi tư 3-D người từ ảnh, từ chuỗi ảnh Như trình bày trên, việc phục hồi tư 3-D người với ảnh đầu vào chuỗi ảnh đầu vào thường thực ước lượng tư ảnh Với phương thức ước lượng có đầu vào ảnh thực ước lượng tư ảnh sau thực ánh xạ sang không gian 3-D nhờ sở liệu tư người 3-D Q trình huấn luyện ước lượng tư khơng gian 3-D trình tìm kiếm (matching) tư tốt sở liệu tư mà có độ sâu tương ứng Trong hướng tiếp cận với đầu vào chuỗi ảnh từ camera từ nhiều hướng nhìn khác (trên nhiều camera) thực ước lượng tư ảnh, sau sử dụng tham số camera tham số hiệu chỉnh ảnh để ánh xạ điểm đại diện, khớp nối ước lượng không gian 3-D Đặc biệt hướng tiếp cận dựa chuỗi hình ảnh có kết tốt cho việc phát theo vết người (tracking), hướng tiếp cận có tính đến tham số không gian thời gian trình ước lượng Cịn hướng tiếp cận có ảnh đầu vào có lỗi tích lũy thời gian khung hình liên tiếp 1.4 Các sở liệu cho việc đánh giá ước lượng khung xương không gian 3-D 1.4.1 Giới thiệu Kinect Trong trình thu thập liệu người biểu diễn võ thuật (võ sư, học viên võ đường), sử dụng cảm biến Microsfoft (MS) Kinect phiên (version - v1) 1.4.2 Hiệu chỉnh liệu thu từ cảm biến Kinect Dữ liệu ảnh màu ảnh độ sâu thu từ cảm biến Kinect v1 bao gồm cặp ảnh tương ứng với Mặc dù hai loại ảnh kích thước, nhiên tâm chúng bị lệch hai loại liệu thu hai cảm biến hình ảnh khác (cảm biến ảnh màu cảm biến IR (InfraRed camera)) Để chuyển liệu ảnh sang liệu đám mây điểm không gian 3-D, tọa độ thực điểm ảnh (X p , Yp , Z p ) giá trị màu điểm ảnh chiếu từ 2-D sang không gian 3-D tính tốn theo cơng thức sau: Xp = Yp = Zp C (r, g, b) (x a −c x )∗depthvalue(x fx (y a −c y )∗depthvalue(x fy = depthvalue(x = colorvalue(x a ,ya ) a ,ya ) a , ya ) (1.1) a , ya ) depthvalue(x a , ya ) giá trị độ sâu điểm ảnh (x a , ya ) ảnh độ sâu, colorvalue(r, g, b) giá trị màu điểm ảnh (x a , ya ) ảnh màu CHƯƠNG ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D Việc ước lượng tư người nghiên cứu nhiều cịn nhiều thách thức khơng gian 2-D Vì hành động võ thuật thường nhanh phức tạp Đặc biệt có nhiều trường hợp tư chi bị che khuất, tư hướng khác mà cảm biến thu thập liệu nhìn từ hướng liệu khung xương bị nhiều sử dụng cảm biến MS Kinect v1 để thu thập liệu Ước lượng dự đoán hành động thể người vấn đề nghiên cứu nhiều cộng đồng thị giác máy tính công nghệ robot Ước lượng tư thế, khung xương người không gian 2-D việc ước lượng vị trí khớp nối thể người ảnh video Mỗi khớp nối tạo thành từ điểm đại diện Trong tọa độ điểm đại diện có giá trị (x, y ) ảnh Để ước lượng tư thế, khung xương người ảnh video thực theo hai hướng tiếp cận: hướng tiếp cận cổ điển hướng tiếp cận dựa học sâu (deep learning) Do đó, nội dung phần cơng việc này, luận án sử dụng học sâu để ước lượng dự đoán hành động người liệu video biểu diễn võ võ sư học viên Hướng tiếp cận dựa việc học dự đốn điểm đại diện mơ hình khung xương người liệu COCO Human 3.6M 2.1 Uớc lượng khung xương không gian 2-D Như Hình 2.1, CNN bao gồm hai nhánh thực hai công việc khác Từ liệu đầu vào, tập hợp đồ đặc trưng F tạo từ phân tích hình ảnh, sau đồ độ tin cậy phép biến đổi hình học phát giai đoạn Các điểm đại diện liệu huấn luyện hiển thị đồ độ tin cậy hiển thị Những điểm huấn luyện để ước lượng điểm đại diện hình ảnh màu Nhánh (nhánh cùng) sử dụng để ước lượng điểm đại diện, nhánh thứ hai (nhánh cùng) sử dụng để dự đoán khớp tương ứng với nhiều người Để trực quan hóa kết ước lượng khung xương bước trình ước tính tư người 3-D, luận án đề xuất nghiên cứu so sánh ước lượng tư thế, khung xương người không gian 2-D (Nghiên cứu so sánh 2-D), hiển thị Hình 2.2 Trong Hình 2.2, luận án đánh giá theo hai phương thức: Phương thức (Phương thức - Method 1) sử dụng mạng CNN CPM huấn luyện trên sở liệu COCO [?]; Phương thức thứ hai (Phương thức - Method 2) sử dụng mạng CNN CPM huấn luyện trên sở liệu Human 3.6M Kết ước lượng khung xương, tư The number of key points 800 Video Video Video 12 600 400 200 0 0.2 0.4 IOU 0.6 0.8 Hình 2.3 Đồ thị thể xác suất ước lượng điểm đại diện video võ thuật cổ truyền có thứ tự là: th , th , 12th 2-D pose 3-D pose 2-D pose 2-D pose 3-D pose 3-D pose 2-D pose 2-D pose 3-D pose 3-D pose Hình 2.4 Minh họa kết ước lượng khớp nối không gian 2-D 3-D Tư người không gian 3-D thể Matplotlib Python Kết tập liệu VNMA theo độ đo MPJPE(Mean Per Joint Position Error)(mm -milimet) thể Bảng 2.2 Trong đó, Bảng 2.2 đánh giá kết ước lượng khung xương số khung hình thể Bảng 2.3 Các giá trị lỗi MPJPE cặp điểm đại diện thể Hình 2.5 + Kết đánh giá ước lượng khung xương 3-D tập liệu MADS Các kết thể Bảng 2.4 số khung hình sử dụng để đánh giá thể Bảng ?? Bảng 2.4 Hình 2.6, CPM huấn luyện sở liệu COCO (giá trị lỗi trung bình 130.5935083 mm) tốt CPM huấn luyện sở liệu Human 3.6m (giá trị lỗi trung bình 153.7619 mm) 11 Bảng 2.2 Kết ước lượng khung xương ảnh chiếu sang không gian 3-D với 14 điểm xương liệu VNMA Kết đánh giá độ đo MPJPE theo đơn vị milimet (mm) #Video 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Average 2.1.2 MPJPE (mm) Method Method 83.4494 88.9625 102.095 107.6108 101.4525 112.7826 55.9622 65.564 60.4121 59.7409 63.1662 68.2497 63.2878 69.8307 64.4781 70.9096 66.6734 72.5311 67.7575 72.3694 69.1387 74.717 58.6456 63.5139 74.3258 71.0044 78.956 72.2256 78.956 72.2256 80.0844 74.8709 84.5111 77.9019 85.1324 80.2478 92.4574 84.4412 86.1522 82.6295 99.0398 88.3687 101.9936 96.3149 101.8342 102.5956 95.013 99.4776 79.7906 80.37858 Kết luận Việc bảo tồn, lưu trữ giảng dạy võ cổ truyền quan trọng việc giữ gìn sắc văn hóa quốc gia rèn luyện trạng sức khỏe cá nhân tự vệ Tuy nhiên, hành động thể (cơ thể, cánh tay, chân) võ sư dạy võ thuật lúc rõ ràng có nhiều khớp bị che khuất Trong chương này, trước tiên luận án xem xét số phương pháp ước lượng tư người khơng gian 2-D hình ảnh RGB Sau đó, đề xuất liệu võ thuật cổ truyền Việt Nam em học sinh phổ thông biểu diễn Đồng thời đề xuất nghiên cứu so sánh ước lượng khung xương ảnh (khơng gian 2-D) nghiên cứu so sánh sử dụng mơ hình mạng CNN để ước lượng điểm đại điện Cuối cùng, luận án trình bày phương pháp để đánh giá điểm đại diện khớp xương ước lượng Đặc biệt, luận án trình bày đánh kết ước lượng khung xương, tư người ảnh không gian 3-D việc chiếu kết ước lượng không gian 2-D sang không gian 3-D sở liệu võ cổ truyền Việt Nam đề xuất sở liệu võ cổ truyền Nhật Bản, Trung Quốc (MADS) Kết ước lượng cho thấy phương thức với mơ hình huấn luyện mạng CPM 12 Bảng 2.3 Số khung hình đánh giá liệu VNMA #Video 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Tổng Số khung hình đánh giá Method Method 36 36 59 66 58 56 40 36 70 65 98 93 50 45 38 39 66 56 67 65 80 82 51 48 75 80 67 69 65 51 99 98 111 99 88 92 65 59 77 76 84 72 67 55 98 84 1614 1528 Số khung hình liệu gốc 50 89 71 77 98 109 87 79 89 76 79 95 131 71 95 101 108 117 109 112 80 10 96 105 2134 sở liệu COCO tốt (sai số trung bình khoảng cách 79.79mm sở liệu VNMA 130.59 sở liệu MADS) 13 1400 CMP training by COCO CMP training by Human 3.6m The number of key points 1200 1000 800 600 400 200 0 100 200 300 400 500 600 MPJPE (mm) 700 800 900 1000 Hình 2.5 Phân bố khoảng cách lỗi điểm đại diện liệu gốc liệu ước lượng Bảng 2.4 Kết ước lượng khung xương ảnh sau chiếu sang khơng gian 3-D sở liệu MADS với 14 điểm xương #Video Kata_F2 Kata_F3 Kata_F4 Kata_N2 Kata_N3 Kata_P3 Tai_chi_S1 Tai_chi_S2 Tai_chi_S3 Tai_chi_S4 Tai_chi_S5 Tai_chi_S6 Average x 10 MPJPE Method 167.0256 92.8588 169.6934 90.6843 131.483 136.4613 121.4755 107.303 140.8937 137.6644 147.1612 124.4179 130.5935083 (mm) Method 170.9718 122.0557 169.5459 118.5762 166.6152 151.514 145.6657 141.7948 177.942 163.3607 160.3719 156.7291 153.7619 CMP training by COCO CMP training by Human 3.6m The number of key points 0 200 400 600 800 MPJPE (mm) on MADS dataset 1000 1200 Hình 2.6 Phân bố lỗi khoảng cách lỗi MPJPE cặp điểm đại diện liệu gốc liệu ước lượng sở liệu MADS 14 2.2 Phục hồi khung xương, tư người không gian 3-D bị che khuất Luận án thực nghiên cứu ước lượng khôi phục khung xương không gian 3-D chương để khôi phục, ước lượng khung xương 3-D đầy đủ người video võ cổ truyền phục vụ để xây dựng mơ hình đánh giá, chấm điểm động tác võ thuật cổ truyền cho em học sinh phổ thông 2.2.1 Giới thiệu Luận án thể kết ước lượng khung xương bị che khuất không gian 3-D, trường hợp không ước lượng đầy đủ khớp xương không gian 2-D, minh họa Hình 2.7 Hình 2.7 Minh họa việc ước lượng khung xương, tư người không gian 3-D với liệu bị che khuất Bên trái thể kết ước lượng khung xương, tư người 2-D với ước lượng [?] Bên phải kết ước lượng tư thế, khung xương người không gian 3-D sử dụng ước lượng [?] 2.2.2 Phục hồi khung xương, tư người không gian 3-D 2.2.2.1 Nghiên cứu so sánh khôi phục khung xương người khơng gian 3-D Mơ hình thể Hình 2.8 2.2.2.2 Thí nghiệm kết ước lượng khung xương 3-D + Kết ước lượng khung xương không gian 3-D sở liệu VNMA Kết ước lượng khung xương, tư người không gian 3-D sở liệu VNMA thể Bảng 2.5 Hình 2.9 thể phân bố khoảng cách lỗi ước lượng khung xương, tư người không gian 3-D sở liệu VNMA với 15 điểm đại diện cho việc đánh giá khung hình + Kết ước lượng khung xương không gian 3-D sở liệu MADS Kết ước lượng khung xương, tư người không gian 3-D sở liệu MADS thể Bảng 2.6 Hình 2.10 thể phân bố khoảng cách lỗi ước lượng khung xương, tư người không gian 3-D sở liệu MADS với 15 điểm đại diện cho việc đánh giá khung hình Ước lượng khung xương người khơng gian 3-D hướng có nhiều nghiên cứu năm gần Bài toán áp dụng nhiều ứng dụng như: tương tác 15 Ánh xạ sang 3-D nhờ kỹ thuật so sánh Ước lượng khung xương ảnh Ảnh đầu vào Kết ước lượng 3-D Human3.6m 3-D_COCO_Method Ước lượng khung xương 2-D ( trained CPMon COCO dataset) Ước lượng tư 3-D phương thức Tome et al CVPR 2017 3-D_HUMAN3.6_Method Khung xương, tư ước lượng Ước lượng khung xương 2-D ( trained CPMon Human 3.6H dataset) Ảnh RGB đầu vào Ước lượng tư 3-D phương thức Mehta et al SIGGRAPH 2017 3-D_VNECT_Method Ước lượng khung xương 2-D sử dụng mơ hình Mehta et al SIGGRAPH 2017 – trained on MPII, LSP dataset MPI-INF-3DHP Nghiên cứu so sánh 3-D Hình 2.8 Minh họa mơ hình nghiên cứu so sánh ước lượng khung xương, tư không gian 3-D 18000 CMP training by COCO CMP training by Human 3.6m VNECT CNN training by MPII, LSP The number of key points 16000 14000 12000 10000 8000 6000 4000 2000 0 200 400 600 800 1000 1200 1400 MPJPE (mm) in VNMA dataset with 15 points 1600 1800 Hình 2.9 Phân bố khoảng cách lỗi điểm đại diện liệu gốc liệu ước lượng không gian 3-D sở liệu VNMA Trong đó: "CMP training by COCO" "3-D_COCO_Method" , "CMP training by Human 3.6m" "3-D_HUMAN3.6_Method", "VNECT CNN training by MPII, LSP" "3-D_VNECT_Method" 16 Bảng 2.5 Kết ước lượng khung xương ảnh sau chiếu sang khơng gian 3-D sở liệu VNMA với 15 điểm xương #Video MPJPE (mm) 3-D_HUMAN3.6_ Method 114.0716 111.025 91.536 79.9366 101.6908 112.0768 118.3664 292.9947 92.9212 284.8666 91.2715 219.4037 89.3462 262.0707 87.3728 318.4422 101.7892 310.7236 110.9321 241.5342 81.9572 105.8891 292.217 173.7285 3-D_COCO_ Method 114.0716 107.5917 88.5689 78.6414 99.0704 111.0964 114.7642 285.0776 90.6766 280.8594 91.2715 219.4037 89.3462 264.4068 85.9806 318.4422 99.5296 308.1409 110.9321 239.3639 81.9572 103.5087 267.6513 170.866 10 11 12 13 14 15 16 17 18 19 20 21 23 24 Average x 10 CMP training by COCO CMP training by Human 3.6m VNECT CNN training by MPII, LSP The number of key points 3-D_VNECT_ Method 228.8319 332.8037 245.1891 239.818 282.843 292.2822 309.3528 318.6 253.3029 294.9349 249.4076 242.6467 267.3336 271.0392 254.4252 343.7987 271.0186 331.4765 320.2984 271.7371 206.8996 280.5987 282.1385 279.4472 0 200 400 600 800 MPJPE (mm) on MADS dataset 1000 Hình 2.10 Phân bố khoảng cách lỗi điểm đại diện liệu ước lượng khơng gian 3-D sở đó: "CMP training by COCO" "3-D_COCO_Method" , "CMP 3.6m" "3-D_HUMAN3.6_Method", "VNECT CNN training by D_VNECT_Method" 17 1200 liệu gốc liệu MADS Trong training by Human MPII, LSP" "3- Bảng 2.6 Kết ước lượng khung xương ảnh sau chiếu sang khơng gian 3-D sở liệu MADS với 15 điểm xương #Video Kata_F2 Kata_F3 Kata_F4 Kata_N2 Kata_N3 Kata_P3 Tai_chi_S1 Tai_chi_S2 Tai_chi_S3 Tai_chi_S4 Tai_chi_S5 Tai_chi_S6 Average 3-D_COCO_ Method 102.0685 78.0681 105.8182 79.0682 34.7923 101.3404 80.0703 79.3635 99.99 95.3349 99.2752 100.1354 87.94375 MPJPE (mm) 3-D_HUMAN3.6_ Method 147.1236 102.4019 133.6986 113.4793 135.7989 113.9912 106.2125 118.2341 127.516 124.6166 120.4779 123.6235 122.2645 3-D_VNECT_ Method 168.0953 122.2993 152.3534 165.0814 168.1528 129.7044 107.9224 114.8655 161.056 136.334 122.3163 124.6892 139.4058 người với người, tương tác người máy; phân tích thể thao; đánh giá biểu diễn thể thao, thể dụng cụ, vv Trong chương luận án khảo sát thống kê nghiên cứu ước lượng khung xương không gian 3-D theo hai hướng tiếp cận là: Dữ liệu đầu vào ảnh; Dữ liệu đầu vào chuỗi ảnh Đồng thời, luận án đề xuất nghiên cứu so sánh theo ba phương thức: Phương thức thứ "3-D_COCO_Method" kết hợp kết ước lượng khung xương không gian 2-D sử dụng CPM huấn luyện sở liệu COCO ước lượng khung xương 3-D sử dụng hướng tiếp cận Tome CS [?]; Phương thức thứ hai "3-D_HUMAN3.6_Method" kết hợp kết ước lượng sử dụng CPM huấn luyện sở liệu Human 3.6M toàn phương thức thực nghiên cứu Tome CS [?]; Phương thức thứ hai "3-D_VNECT_Method " thực theo nghiên cứu Mehta CS Nghiên cứu so sánh đánh giá sở liệu võ thuật cổ truyền Việt Nam "VNMA" sở liệu công bố MADS Các kết cho thấy phương thức thứ với kết ước lượng khung xương người không gian 2-D (trên ảnh) tốt kết ước lượng khung xương không gian 3-D tốt 2.3 Tổng kết chương Trong chương luận án thể hiệu mạng Nơ ron tích chập ước lượng khung xương không gian 3-D cho việc ước lượng khung xương khớp, phận người bị che khuất Từ áp dụng nghiên cứu vào xây dựng ứng dụng khơi phục, lưu trữ, đánh giá, phân tích dạy võ cổ truyền 18 CHƯƠNG NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ TRUYỀN VIỆT NAM Chương trình bày hai vấn đề: Thứ nhận dạng động tác công video biểu diễn võ thuật cổ truyền Việt Nam; Thứ hai ứng dụng xây dựng mơ hình chấm điểm động tác võ võ cổ truyền Việt Nam 3.1 Giới thiệu Trong phần này, luận án trình bày khả nhận dạng tư công võ 36 tư với liệu thu từ camera Kinect, với liệu công bố có sẵn mạng 3.2 Cơ sở lý thuyết để nhận diện động tác công chấm điểm động tác võ 3.2.1 Nhận diện động tác công 3.2.1.1 Xử lý liệu Chuẩn bị tập mẫu giới thiệu chương 1, Dữ liệu thu sau lấy tọa độ 20 điểm thể xử lý chương sau động tác ghi vào file text, sau gán nhãn cho động tác: động tác công gán nhãn 1, thủ gán nhãn Tập liệu chia thành tập training bao gồm 289 động tác tập test bao gồm 66 động tác Mỗi tư thu khoảng cách 2.5 m ± 0.2 m 3.3 m ± 0.2 m, 3.2.1.2 Trích xuất đặc trưng thể người với camera Kinect Thuật tốn học nút mơ tả 3.2.2 Mơ hình chấm điểm động tác võ cổ truyền 3.2.2.1 Công thức chấm điểm Xem xét thực tế, nghiên cứu quan sát từ thí nghiệm, nghiên cứu sinh gán trọng số khác cho thành viên mảng khoảng cách sử dụng tổng trọng số để bù đắp cho sai lệch thị giác Nghiên cứu đề xuất công thức chấm điểm công thức (3.5) Trước tiên tham số khoảng cách D: D = [f (α + α ) + f (α + α ) + f (α + α ) + f (α + α )] (3.1) Trong đó, để tính góc cho việc chấm điểm chi ước lượng sử dụng công thức (3.2) cosα = xst x re + y st yre + z st zre p x2st + y st2 + z 2st p x 2re + y re2 + z 2re Để tính tốn giá trị trọng số, hệ thống tự động thu thập 10 cặp cử gần xếp loại từ sở liệu mà có số điểm khoảng ± 15% tham khảo trung 19 (3.2) Giải thuật 1: Thuật toán học nút định Input: Tập M , độ cao d Output: Đặc trưng F giá trị trả v nút Các bước: if |M | ≤ OR d ≥ M AX _DEP T H : v = mean_labels(M ) return F = N one best_err = M AX _V ALU E f or each f in F EAT U RE _SET : err = split_error (M, f ) if err < best_err : best_err = err 10 F =f 11 M 0, M = split_data(M, F ) 12 learn_node(M 0, d + 1) 13 learn_node(M 1, d + 1) bình cộng α i Giá trị trọng số tính cơng thức (3.3) fi = Avgi P i=1 Avg i (3.3) Sau nhận giá trị D, mục tiêu nghiên cứu đưa D vào chia phần trăm điểm Cho phép nhập vào giá trị chuẩn D st số điểm tham chiếu S st Hàm giới hạn độ lệch cho phép nhập vào giá trị ngưỡng M (độ) để hạn chế cử độ lệch chấp nhận công thức (3.4) f (α max )= 1− 0.4 α M max (3.4) Khi ta có cơng thức chấm điểm là: Score = f (α max ).[(D st − D) × 100 − S st + S st Dst (3.5) Trong f (α max ) biểu thị hàm giới hạn độ lệch D st tự thiết lập người sử dụng theo nhu cầu họ, D st nhỏ tiêu chuẩn cao phân loại S st cung cấp cho người dùng tùy chọn để kiểm soát điểm phạm vi mong muốn 3.2.2.2 Nhận diện động tác công phân loại Thử nghiệm với liệu K3HI công bố mạng: Bộ K3HI xây dựng với số hành vi cụ thể Từ tập khung xương, nghiên cứu tiến hành gán nhãn trạng thái cho khung xương để làm liệu thử nghiệm Cụ thể, với hành vi kicking K3HI, sau gán nhãn ta thu liệu 3752 mẫu khung xương 20 Thử nghiệm tiến hành theo cách kiểm chứng chéo 10-fold, tức chia liệu làm 10 phần, tiến hành 10 lần thử, lần lấy phần để học thử nghiệm phần lại, tổng kết lại kết xác 3423/3752 ∼ 91.231343% Với số lựa chọn khác chiều cao định xây dựng, biểu đồ cho thấy chiều cao tăng, tức nhiều đặc trưng kết hợp hơn, độ xác tăng theo bên trái Hình 3.1 Từ chứng minh tính hiệu đặc trưng khơng gian sử dụng cách kết hợp Hình 3.1 Thể chiều cao cây, số đặc trưng độ xác liệu Thử nghiệm với liệu 36 võ thu Kinect : Bộ sở liệu sau ước lượng chương với khung xương 20 điểm, 15083 mẫu khung xương gán với nhãn công phòng thủ ta tiến hành thử nghiệm tương tự với liệu K3HI Cách thức kiểm chứng chéo (cross validation) lượt (folds) Lựa chọn khác chiều cao Biểu đồ cho thấy chiều cao tăng, tức nhiều đặc trưng kết hợp hơn, độ xác tăng theo, từ chứng minh tính hiệu đặc trưng không gian sử dụng cách kết hợp bên phải Hình 3.1 3.2.2.3 Nhận diện động tác công mạng nơ ron Cũng sử dụng sở liệu camera Kinect chương trước, sau ước lượng không gian 3D để có tọa độ chuẩn lựa chọn 14 điểm key có khả mơ tả đặc trưng võ nhằm làm giảm kích thước đầu vào mạng nơ ron Tại frame video, chọn đường thẳng qua đầu bụng làm trục tham chiếu cho thay đổi vị trí điểm thể, từ ta tính đươc vị trí điểm thể frame khác Như frame quy đổi thành vector 14 chiều ;tương ứng với 14 vị trí điểm thể Mỗi video chuẩn hóa thành ma trận có kích thước 50x14 (Mỗi video có 50 frame) Ta tiến hành xây dựng mơ hình LSTM sử dụng thư viện: Tensorflow với số lượng hidenlayer : 32, window size (số lượng frame đưa vào lần để dự đoán đầu ra): 50.learning rate : 0,005.Thuật toán tối ưu: Adam.batch size: 100 Kết quả: test tập test võ công hình 3.2 Kết cho thấy hiệu nhận dạng động tác công chạy mạng nơ ron 21 Hình 3.2 Kết nhận dạng tập Test võ cơng LSTM có hiệu cao, số liệu tọa độ điểm ước lượng có hiệu cao độ xác phát động tác 3.2.3 Chấm điểm động tác võ cổ truyền Việt Nam Nghiên cứu thu thập 36 động tác đưa võ sư cho có mức hiệu suất Nghiên cứu thiết lập đầu vào người dùng D st = 50, S st = 80, M = 35 36 cử lớp (3.5) Sau máy tính thu liệu người biểu diễn liệu từ camera, so sánh ghi điểm lập tức, sau điểm dừng đọc tới hình ảnh tư liệu sau đưa hình ảnh hình đến cuối video phát Cuối chương trình, máy tính cho tổng số điểm người biểu diễn (Hình 3.3) Đóng góp cơng việc đưa đây: Thực nhận dạng chấm điểm động tác võ võ theo sở liệu mẫu 3-D cho trước Xây dựng sở liệu mẫu 3-D để chấm điểm võ cổ truyền dành cho chương trình thể dục đưa vào chương trình học trường phổ thơng từ năm 2016 Xây dựng chương trình phần mềm để người dùng chọn độ khó việc chấm thơng qua thông số nhập vào Dựa vào kết đạt được, mơ hình nhận dạng tư người thực nhận dạng hành động cơng hai phương pháp phân loại mạng nơ ron LRTM có độ xác nhận dạng cao Việc áp dụng công thức chấm điểm động tác vào liệu khung xương thu từ 22 Hình 3.3 Giao diện chương trình chấm điểm camera Kinect để xây dựng phần mềm đánh giá động tác võ cổ truyền Việt Nam mở đầu cho việc áp dụng đánh giá tự chấm điểm người học; từ người học tự rèn luyện động tác võ ban đầu tự đánh giá thơng qua camera Kinect góp phần vào việc bảo tồn phát triển võ cổ truyền Việt Nam Từ có nhiều hướng mở cho việc đẩy mạnh tự rèn luyện đánh giá tự động qua mạng cần có camera Kinect Người dùng tương tác với hệ thống cách tự thiết lập thông số theo nhu cầu cụ thể giải tốc độ thu nhận động tác nhanh để đáp ứng nhu cầu võ thực tế đòi hỏi nhiều hướng để phát triển 3.3 Tổng kết chương Việc xây dựng hệ thống trợ giúp truyền dạy võ thuật đánh giá biểu diễn võ em học sinh phổ thông cần thiết Trên sở luận án đề xuất mơ hình để hướng đến xây dựng hệ thống đánh giá biểu diễn võ thuật học sinh phổ thơng, giúp em tự đánh giá võ truyền dạy nhà mà khơng cần đánh giá định tính võ sư Sâu phương pháp khác tìm hiểu, nhận dạng tư công võ cổ truyền thông qua học đặc trưng 23 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Trong mơ hình nghiên cứu, luận án tiến hành đánh giá ước lượng khung xương, tư người không gian 3-D video võ cổ truyền Việt Nam Đã thực mơ hình kết hợp để ước lượng từ tập sở liệu bao gồm 24 video tư võ khó phức tạp Đồng thời cung cấp liệu gốc không gian 3-D liệu đám mây điểm (point cloud) cho xây dựng tái tạo lại khơng gian 3-D lớp học võ Từ hướng đến xây dựng ứng dụng lưu trữ, bảo tồn dạy võ thuật thời đại công nghệ 4.0, cách trực quan thân thiện Từ mô hình hướng đến xây dựng ứng dụng phân tích đánh giá biểu diễn võ thuật, thể dục Luận án đạt đóng góp sau: Đóng góp 1: Đề xuất mơ hình kết hợp ước lượng khung xương, tư 2-D tốt để có ước lượng tốt không gian 3-D Đặc biệt trường hợp liệu bị che khuất ước lượng 3-D ước lượng đầy đủ khớp xương Trong đó, ước lượng 2-D huấn luyện sở liệu tốt với mơ hình mạng nơ ron tích chập dự đốn hiệu Kết thể nghiên cứu so sánh việc ước lượng khung xương, tư người khơng gian 2-D khơng gian 3-D Đóng góp 2: Xây dựng mơ hình cho việc đánh giá chấm điểm động tác võ cổ truyền dựa số khớp xương thể người video biểu diễn võ thuật cổ truyển học sinh phổ thông lớp võ Đồng thời nhận dạng động tác công liệu khung xương người Từ làm tiền đề cho việc xây dựng hệ thống hoàn chỉnh cho việc tái tạo lại môi trường 3-D khung xương, tư người video võ thuật cổ truyền phục vụ cho việc lưu trữ, tự đánh giá dạy võ thuật trường phổ thông Hướng phát triển TÀI LIỆU THAM KHẢO 24 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CƠNG BỐ Conference: [C1 ] Tuong Thanh Nguyen, Dang-Tuyen Nguyen, Dung Le, Thanh-Cong Pham (2017) Implementation of Technical Data Analysis of Skeleton Extracted from Camera Kinect in Grading Movements of Vietnamese Martial Arts, IEEE 2017 International Conference on Advanced Technologies for Communications (ATC),pp241-244, doi 10.1109/ATC.2017.8167625 [C2 ] Van-Hung Le, Tuong-Thanh Nguyen, Thanh-Cong Pham (2019), OpenPose’s evaluation in The Video Traditional Martial Arts Presentation 19th International Symposium on Communications and Information Technologies (ISCIT), ISBN 978-17281-5008-6, pp 76-81 [C3 ] Nguyễn Tường Thành, Lê Thị Kim Nga , Phạm Thành Công, Lê Dũng (2019) Nhận dạng động tác công võ cổ truyền phương pháp phân loại, Kỷ yếu Hội thảo khoa học Quốc gia "Ứng dụng cơng nghệ Cơng trình xanh" - ATiGB2019, pp88-97 Journal: [J1 ] Nguyễn Tường Thành, Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công, (2016), Ứng dụng camera Kinect xây dựng mơ hình chấm điểm động tác võ cổ truyền Việt Nam, Tạp chí Khoa học Cơng nghệ Đại học Đà Nẵng 2016, số 11 tr.221-224 [J2 ] Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), 3-D Human Pose Estimation by Convolutional Neural Network in The Video Traditional Martial Arts Presentation, Journal of Science and Technology, No.139/2019, ISSN 23541083;pp43-49 [J3 ] Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), An Evaluation of Pose Estimation in The Video Traditional Martial Arts Presentation, Research and development on information and communication technology, No2 12/2019; ISSN:18593534,pp114-126 [J4 ] Tuong-Thanh Nguyen, Van-Hung Le, Long Duong, Dung Le, Thanh-Cong Pham (2019), 3-D Human Pose Estimation in Vietnamese’s Video Traditional Martial Arts Presentation Journal of Advanced Engineering and Computation (JAEC), Vol 3, Iss 3, 2019, pp 471-491 ... giá tư võ võ mà không cần phải nhờ đến võ sư võ đường Tuy nhiên, võ hành động nhanh, quay bốn hướng mà thiết bị ghi hình thường nằm vị trí nên có nhiều tư bị che khuất Nên thường để lưu giữ võ. .. xương tư người môi trường 3-D Ước lượng tư người chuyển động công việc sử dụng phần lớn kỹ thuật thị giác máy tính Bài tốn thực dựa hình ảnh chuỗi hình ảnh thu từ mơi trường Bài tốn ước lượng tư. .. Nam; Thứ hai ứng dụng xây dựng mô hình chấm điểm động tác võ võ cổ truyền Việt Nam 3.1 Giới thiệu Trong phần này, luận án trình bày khả nhận dạng tư công võ 36 tư với liệu thu từ camera Kinect,