Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VỀ MƠ HÌNH NHẬN DẠNG TƯ THẾ VÕ DỰA TRÊN ẢNH CHIỀU SÂU LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội − 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VỀ MƠ HÌNH NHẬN DẠNG TƯ THẾ VÕ DỰA TRÊN ẢNH CHIỀU SÂU Ngành: Kỹ thuật điện tử Mã số : 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Lê Dũng TS Phạm Thành Công Hà Nội − 2020 LỜI CAM ĐOAN Tôi xin cam đoan luận án: "Về mô hình nhận dạng tư võ dựa ảnh chiều sâu" cơng trình nghiên cứu riêng tơi Một phần số liệu, kết trình bày luận án trung thực, công bố tạp chí khoa học chuyên ngành, kỷ yếu hội nghị khoa học nước quốc tế Phần lại luận án chưa công bố cơng trình nghiên cứu ngồi nước Hà Nội, ngày 18 tháng 05 năm 2020 NGHIÊN CỨU SINH Nguyễn Tường Thành TẬP THỂ HƯỚNG DẪN TS Lê Dũng TS Phạm Thành Công i LỜI CẢM ƠN Luận án tiến sĩ thực Viện Điện tử Viễn thông, trường Đại học Bách khoa Hà Nội hướng dẫn khoa học TS Lê Dũng TS Phạm Thành Cơng Nghiên cứu sinh xin bày tỏ lịng biết ơn sâu sắc tới thầy định hướng khoa học suốt trình nghiên cứu Nghiên cứu sinh xin trân trọng cảm ơn nhà khoa học, tác giả cơng trình cơng bố trích dẫn cung cấp nguồn tư liệu quý báu q trình hồn thành luận án Nghiên cứu sinh xin trân trọng cảm ơn Viện Điện tử Viễn thơng; Phịng Đào tạo Trường Đại học Bách Khoa Hà Nội; Các thầy cô Viện Điện tử Viễn thông, anh chị bạn nhóm NCS, võ sư Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Phạm Ngọc Dương, Bùi Thị Lành, Nguyễn Quốc Tiễn, Trung tâm Võ thuật cổ tryền Bình Định, TP Quy Nhơn, tỉnh Bình Định quan tâm, động viên giúp đỡ tạo điều kiện thuận lợi thời gian, địa điểm nghiên cứu, trang thiết bị, hỗ trợ mặt nhân lực để NCS thực việc thu thập liệu, thực nghiệm kết nghiên cứu Nghiên cứu sinh xin cảm ơn TS Lê Văn Hùng nghiên cứu Viện nghiên cứu quốc tế MICA, Đại học Bách khoa Hà Nội Đại học Tân Trào hỗ trợ kỹ thuật, đồng tác giả giúp NCS thực nghiên cứu luận án Cuối nghiên cứu sinh xin bày tỏ biết ơn tới Ban giám hiệu Trường Đại học Quy Nhơn; Ban chủ nhiệm Khoa Kỹ thuật Cơng nghệ, gia đình, bạn bè đồng nghiệp động viên khích lệ, tạo điều kiện thuận lợi để NCS yên tâm công tác học tập Hà Nội, tháng 05 năm 2020 NGHIÊN CỨU SINH Nguyễn Tường Thành ii LỜI CAM ĐOAN NỘI DUNG i LỜI CẢM ƠN ii NỘI DUNG v KÝ HIỆU VÀ VIẾT TẮT vi DANH SÁCH BẢNG BIỂU viii DANH SÁCH HÌNH VẼ xiv MỞ ĐẦU Chương 1: TỔNG QUAN 1.1 Học máy, học sâu ứng dụng 1.2 1.3 1.4 1.5 1.6 1.1.1 Học máy 1.1.2 Học sâu Hệ thống khôi phục hoạt động người không gian 3-D chấm điểm võ thuật 1.2.1 Hệ thống khôi phục hoạt động người không gian 3-D 1.2.2 Hệ thống chấm điểm võ thuật Ước lượng khung xương thể người không gian 2-D 1.3.1 Ước lượng khung xương ảnh màu 1.3.2 Ước lượng khung xương ảnh độ sâu 1.3.3 Ước lượng tư dựa đối tượng ngữ cảnh hoạt động 1.3.4 Nhận xét Ước lượng khung xương tư người môi trường 3-D 1.4.1 Phục hồi tư 3-D người từ ảnh 1.4.2 Phục hồi tư 3-D người 1.4.2.1 Phục hồi khung xương, tư người không gian 3-D từ ảnh 1.4.2.2 Phục hồi khung xương, tư người không gian 3-D từ chuỗi ảnh 1.4.3 Nhận xét Các sở liệu cho việc đánh giá ước lượng khung xương không gian 3-D 1.5.1 Giới thiệu Kinect thiết lập thu liệu 1.5.2 Hiệu chỉnh liệu thu từ cảm biến Kinect Tổng kết chương iii 9 11 13 13 13 13 14 15 18 19 20 20 21 22 22 22 28 28 29 35 Chương 2: ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D 2.1 Ước lượng khung xương không gian 2-D 2.1.1 Giới thiệu 2.1.2 Các nghiên cứu liên quan 2.1.3 Sử dụng học sâu cho việc ước lượng hành động võ cổ truyền không gian 2-D 2.1.3.1 Phương thức 2.1.3.2 Cơ sở liệu võ cổ truyền 2.1.3.3 Phương thức đánh giá 2.1.3.4 Xoay dịch liệu không gian 3-D 2.1.3.5 Kết ước lượng nhận xét 2.1.4 Kết luận 2.2 Phục hồi khung xương, tư người không gian 3-D bị che khuất 2.2.1 Giới thiệu 2.2.2 Các nghiên cứu liên quan 2.2.3 Phục hồi khung xương, tư người không gian 3-D 2.2.3.1 Nghiên cứu so sánh khôi phục khung xương người không gian 3-D 2.2.3.2 Thí nghiệm kết ước lượng khung xương 3-D 2.2.4 Ước lượng khung xương, tư người bị che khuất 2.3 Tổng kết chương Chương 3: NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ TRUYỀN VIỆT NAM 36 37 37 38 41 41 45 51 54 59 62 72 72 72 75 76 80 82 90 91 3.1 Giới thiệu 91 3.2 Các nghiên cứu liên quan 3.3 Cơ sở lý thuyết để nhận diện động tác công chấm điểm động tác võ 3.3.1 Nhận diện động tác công 3.3.1.1 Xử lý liệu 3.3.1.2 Trích xuất đặc trưng thể người với camera Kinect 3.3.2 Mơ hình chấm điểm động tác võ cổ truyền 3.3.2.1 Mô tả động tác người 3.3.2.2 Công thức chấm điểm 3.4 Thực nghiệm 3.4.1 Nhận diện động tác công 3.4.1.1 Nhận diện động tác công phân loại 94 95 95 95 95 100 100 103 105 105 105 iv 3.5 3.6 3.4.1.2 Nhận diện động tác công mạng nơ ron 106 3.4.2 Chấm điểm động tác võ cổ truyền Việt Nam 108 Kết luận 113 Tổng kết chương 113 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 115 113 TÀI LIỆU THAM KHẢO 118 PHỤ LỤC 132 v DANH MỤC CÁC KÝ HIỆU VÀ VIẾT TẮT Số Viết tắt Giải nghĩa Nghĩa tiếng Việt AD AP Average deviation Average Precision Độ lệch trung bình Độ xác trung bình APMArticulated Part-based Modeldeviation Mơ hình dựa phần khớp nối CPM CPU Convolutional Pose Machines Central Processing Unit Máy học cử tích chập Đơn vị xử lý trung tâm CNN Convolutional Nerural Network Mạng Nơ ron tích chập CNNs Convolutional Nerural Networks Mạng Nơ ron tích chập nhiều lớp DPM Deformable Part Model Mơ hình phần biến dạng DTW Dynamic Time Warping So khớp chuỗi thời gian động 10 DV Digital Video Video số 11 fps frame per second Khung hình giây 12 GPU Graphics Processing Unit Đơn vị xử lý đồ họa 13 HMMs Hidden Markov Models Mơ hình Markov ẩn 14 HOG Histogram of Oriented Gradients Biểu đồ hướng dốc 15 HRNet High-Resolution Network Mạng độ phân giải cao 16 IR InfraRed camera Máy ảnh hồng ngoại 17 JI Jaccard Index Chỉ số Jaccard 18 LSTM Long Short-Term Memory Mạng nhớ ngắn định hướng 19 MADS Martial Arts, Dancing and Sports dài hạn Võ cổ truyền, khiêu vũ, thể thao 20 MOCAP MOtion CAPture Thu nhận chuyển động 21 MPJPE MeanPerJointPositionError Độ đo sai số trung bình 22 MS MicroSoft khớp nối Microsoft 23 MSE Mean Squared Error Sai số bình phương 24 OCR Optical Character Recognition Nhận dạng ký tự quang học 25 OKS Object Key point Similarity Độ tương tự điểm đại diện 26 OpenCV Open Computer Vision Thư viện mã nguồn mở thị giác 27 OpenNI Open Natural Interaction máy tính Thư viện hỗ trợ đa ngôn ngữ 28 PCA Principal Component Analysis Phân tích nguyên lý thành phần vi 29 PCL 30 RAM Poind Cloud Library Random Access Memory Thư viện đám mây điểm Bộ nhớ truy nhập ngẫu nhiên 31 RDF Random Decision Forests Rừng định ngẫu nhiên 32 RGB Red Green Blue Đỏ Xanh Xanh lơ 33 SDK Software Development Kit Kit phát triển phần mềm 34 SVM Support Vector Machine Học máy hỗ trợ vector 35 TOF Time-Of-Flight sensor Cảm biến TOF 36 V1 Version Phiên 37 V2 Version Phiên 38 VE Vector Estimation Vector dự đoán 39 VG Vector Ground truth Vector đánh dấu thực 40 VNMA VietNam Martial Arts Võ cổ truyền Việt Nam vii DANH SÁCH BẢNG BIỂU Bảng 1.1 Thống kê nghiên cứu ước lượng khung xương người khơng gian 3-D mà có đánh giá cở liệu Human3.6M [85] kết ước lượng Bảng 1.2 Khảo sát ước lượng tư người không gian 3-D sử dụng 24 ảnh Bảng 1.3 Khảo sát ước lượng khung xương người không gian 3-D 26 từ chuỗi ảnh Bảng 2.1 Số khung hình tư võ sở liệu VNMA 27 48 Bảng 2.2 Số khung hình tư võ sở liệu SVNMA 49 Bảng 2.3 Kết trung bình ước lượng khớp nối (AP), góc lệch khớp liệu gốc khớp nối ước lượng (AD) khoảng cách trung bình điểm đại diện ước lượng điểm đại diện liệu gốc, tương ứng với Bảng 2.4 Kết ước lượng khung xương ảnh chiếu sang không gian 3-D với 14 điểm xương liệu VNMA Kết đánh giá độ đo MPJPE theo đơn vị milimet (mm) Bảng 2.5 Số khung hình đánh giá liệu VNMA 59 66 67 Bảng 2.6 Kết ước lượng khung xương ảnh sau chiếu sang khơng gian 3-D sở liệu MADS với 14 điểm xương Bảng 2.7 Số khung hình cho việc đánh giá ước lượng khung xương ảnh 69 sau chiếu sang khơng gian 3-D sở liệu MADS Bảng 2.8 Kết ước lượng khung xương ảnh sau chiếu sang khơng 70 gian 3-D sở liệu VNMA với 15 điểm xương Bảng 2.9 Kết ước lượng khung xương ảnh sau chiếu sang khơng 86 gian 3-D sở liệu MADS với 15 điểm xương Bảng 3.1 Thể tám véc tơ chi viii 87 102