(Luận văn thạc sĩ) nghiên cứu nhận dạng một số trạng thái khung xương và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN ANH TÚ NGHIÊN CỨU NHẬN DẠNG MỘT SỐ TRẠNG THÁI KHUNG XƯƠNG h VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn: TS Lê Thị Kim Nga LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn với đề tài “Nghiên cứu nhận dạng số trạng thái khung xương ứng dụng” thân thực giúp đỡ, hướng dẫn trực tiếp TS Lê Thị Kim Ngatrường Đại học Quy Nhơn Các số liệu, kết thực nghiệm trình bày luận văn hoàn toàn trung thực dựa khảo sát chưa cơng bố cơng trình nghiên cứu khác Trong luận văn có sử dụng số thư viện chuẩn thuật toán tác giả xuất cơng khai miễn phí mạng Internet Những tư liệu tham khảo sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Bình Định, ngày tháng 07 năm 2019 h Học viên Nguyễn Anh Tú LỜI CẢM ƠN Trong trình nghiên cứu luận văn cịn gặp nhiều khó khăn ln nhận quan tâm giúp đỡ quý thầy cô, bạn bè người thân Và nguồn động lực giúp tơi hồn thành đề tài Xin gửi lời cảm ơn chân thành lòng biết ơn sâu sắc đến quý Thầy (Cô) người nuôi dưỡng chắp cánh ước mơ cho thân đến với đường nghiên cứu khoa học đầy đam mê, đặc biệt TS Lê Thị Kim Nga - Trường Đại học Quy Nhơn Với tri thức tâm huyết mình, bảo tận tình chu thân hồn thành tốt cơng việc Và xin cảm ơn cán nhân viên phòng Đào tạo Sau đại học, Trường Đại học Quy Nhơn tạo điều kiện tốt cho suốt trình học tập trường h Cuối cùng, cho gửi lời biết ơn vô hạn đến gia đình, đến bạn bè tất người thân yêu bên cạnh động viên thân suốt thời gian học tập nghiên cứu Kính chúc q Thầy (Cơ), anh chị em lớp cao học ngành Khoa học Máy tính khóa 20 sức khỏe, hạnh phúc thành đạt Xin chân thành cảm ơn! Bình Định, ngày tháng Học viên Nguyễn Anh Tú năm 2019 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH DANH MỤC CÁC BẢNG MỞ ĐẦU 1.1 Lý chọn đề tài 1.2 Tổng quan tình hình nghiên cứu đề tài 1.3 Mục đích nhiệm vụ nghiên cứu 1.4 Đối tượng phạm vi nghiên cứu 1.5 Phương pháp nghiên cứu CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TRẠNG THÁI CỦA CON NGƯỜI h 1.1 Nhận dạng đối tượng 1.2 Bài toán nhận dạng trạng thái thể 1.3 Các liệu mô tả trạng thái người 1.3.1 Haarcascade - Viola Jones 1.3.2 Hình ảnh tích phân tương ứng 10 1.3.3 Phương pháp phát 11 1.3.4 Dòng quang - Lucas Kanade 12 1.4 Phương pháp trích chọn đặc trưng khung xương 14 1.4.1 Phân đoạn đối tượng 15 1.4.2 Theo vết đối tượng 16 1.4.2.1 Theo vết dựa điểm 17 1.4.2.2 Theo vết dựa kernel 18 1.4.2.3 Theo vết dựa hình chiếu 18 1.4.2.4 Ước lượng tư 19 1.4.2.5 Đánh giá 21 1.4.3 Biểu diễn đặc trưng 22 1.4.3.1 Đặc trưng dạng số 22 1.4.3.2 Đặc trưng nhị phân 25 1.4.3.3 Đánh giá 26 1.5 Một số tiếp cận nhận dạng trạng thái khung xương 27 1.5.1 Phương pháp dựa vào đặc trưng 27 1.5.2 Phương pháp dựa vào mơ hình 29 1.5.2.1 Máy vector hỗ trợ (Support Vector Machine -SVM) 29 1.5.2.2 Mô hình Markov ẩn (HMM) 32 1.5.2.3 Mạng nơron nhân tạo (Artificial Neural Network - ANN) 34 1.6 Một số ứng dụng nhận dạng khung xương 35 CHƯƠNG 2: NHẬN DẠNG TRẠNG THÁI KHUNG XƯƠNG 36 2.1 Trích chọn đặc trưng khung xương 36 2.2 Nhận dạng khung xương 38 h 2.2.1 Phân cụm 38 2.2.2 Mơ hình Markov 39 2.2.2.1 Xây dựng mô hình trạng thái khung xương 43 2.2.2.2 Phát bất thường 44 2.2.3 Thuật toán hồi quy [27] 44 2.3 Kết luận chương 47 CHƯƠNG 3: XÂY DỰNG ỨNG DỤNG 48 3.1 Phát biểu toán 48 3.1.1 Vài nét võ cổ truyền Việt Nam võ cổ truyền Bình Định 48 3.1.2 Tổng quan camera Kinect 49 3.1.3 Phân tích toán 50 3.2 Chi tiết thực 52 3.3 Cài đặt thử nghiệm 54 3.3.1 Mô tả liệu 54 3.3.2 Môi trường cài đặt 55 3.3.3 Quy trình thực 55 3.4 Đánh giá 56 KẾT LUẬN 60 DANH MỤC TÀI LIỆU THAM KHẢO 62 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao) h DANH MỤC CÁC TỪ VIẾT TẮT Chữ tắt Dạng đầy đủ API Application Programming Interface CBIR Content-Based Image Retrieval HMM Hidden Markov Model SVM Support Vector Machine h DANH MỤC CÁC HÌNH Hình 1.1 Các đặc điểm haar ánh xạ khn mặt 10 Hình 1.2 Ma trận hình ảnh đầu vào 10 Hình 1.3 Mơ hình thể người sử dụng khớp 11 Hình 1.4 Lade kanade sử dụng kim tự tháp Gaussian 14 Hình 1.5 Ví dụ phân đoạn đối tượng 16 Hình 1.6 Các dạng biểu diễn đối tượng khác nhau, phục vụ cho mục đích theo vết: điểm, kernel, hình chiếu 17 Hình 1.7 Các phương pháp theo vết: (a) theo vết điểm, (b) theo vết Kernel, (c) theo vết dựa hình chiếu 17 Hình 1.8 Theo vết xử lý che khuất dựa hình chiếu 19 Hình 1.9 Tái cấu trúc đối tượng chiều từ chuỗi ảnh hình chiếu 21 Hình 1.10 Mơ hình đối tượng chuyển động với vị trí đầu chi 21 h Hình 1.11 Một ví dụ mii, với dịng chuỗi ảnh đầu vào, chuỗi hình chiếu đối tượng trước sau canh giữa, cuối mii 23 Hình 1.12 Ví dụ ảnh chuyển động tích lũy 24 Hình 1.13 Ví dụ hai hành động có ma trận xếp hạng 24 Hình 1.14 Các vectơ hướng tương ứng với luồng quang học 25 Hình 1.15 Một số đặc trưng quan hệ hình học 26 Hình 1.16 Mẫu mơ hình trạng thái hoạt động 31 Hình 1.17 Tham số xác suất mơ hình Markov ẩn 32 Hình 1.18 Mơ hình hmm tương ứng với mơ hình HMM hoạt động 33 Hình 2.1 Hình vẽ thể tọa độ khung xương [28] 37 Hình 2.2 Hình vẽ thể tương quan đặc trưng hành vi khác 38 Hình 2.3 Mơ hình hmm sử dụng giải pháp đề xuất 43 Hình 3.1 Camera Kinect hãng Microsoft 50 Hình 3.2 Cơ chế hoạt động Kinect 50 Hình 3.3 Tư phòng thủ 51 Hình 3.4 Tư cơng 51 Hình 3.5 Giải pháp đề xuất 52 Hình 3.6 Màn hình khởi động chương trình nhận dạng tư võ 56 Hình 3.7 Hộp thoại để nhập tư võ cần kiểm tra 57 Hình 3.8 Tư phịng thủ nhận dạng với sample index = 50 57 Hình 3.9 Tư công nhận dạng với sample index = 800 58 Hình 3.10 Tư phịng thủ bị nhận dạng khơng với sample index = 4758 Hình 3.11 Tư cơng bị nhận dạng không với sample index = 61959 h DANH MỤC CÁC BẢNG Số bảng 1.1 Tên bảng Trang Tổng hợp đặc trưng trạng thái hoạt động nghiên cứu 28 h