Ứng dụng hidden markov models trong nhận dạng hành động con người dựa trên cấu trúc acclaim

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG ĐẶNG TẤN ĐÔNG ỨNG DỤNG HIDDEN MARKOV MODELS TRONG NHẬN DẠNG HÀNH ĐỘNG CON NGƯỜI DỰA TRÊN CẤU TRÚC ACCLAIM Chun ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT ĐàNẵng – Năm 2015 Cơng trình hồn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS Phạm Minh Tuấn Phản biện 1: TS Đặng Hoài Phương Phản biện 2: PGS.TS Võ Thanh Tú Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Khoa học máy tính họp Đại học Đà Nẵng vào ngày 18 tháng năm 2015 Có thể tìm hiểu luận văn tại:  Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng  Thư viện trường Đại học Bách Khoa, Đại học Đà Nẵng MỞ ĐẦU Tính cấp thiết đề tài Hiện nay, công nghệ thông tin ngày phát triển mạnh mẽ rộng rãi, tương tác người thiết bị trở nên cần thiết quan trọng.Việc tạo hệ thống có khả nhận định thơng tin hướng có nhiều thành công Từ dạng thông tin rời rạc thu nhận được, hệ thống phân tách thành mẫu thông tin riêng biệt, sau biểu diễn, xếp, phân loại dùng kỹ thuật xử lý để nhận ý nghĩa thơng tin đó.Ứng dụng lý thuyết nhận dạng mẫu áp dụng cho lĩnh vực: Nhận dạng tín hiệu, nhận dạng tiếng nói, nhận dạng khuôn mặt, nhận dạng hành động, nhận dạng vân tay Trong nhận dạng hành động người vấn đề nhà khoa học nghiên cứu ứng dụng thực tiễn Những năm 1980, hệ thống nhận dạng hành động gặp phải khơng khó khăn: Cấu hình phần cứng máy tính thấp kém, chất lượng thiết bị thu nhận không cao chưa tập trung nghiên cứu nhiều HMM (Hidden Markov Models) ban đầu nghiên cứu cho lĩnh vực nhận dạng tiếng nói, kỹ thuật nhanh chóng phát triển ứng dụng toán nhận dạng Trong nhận dạng hành động người chiếm vị trí quan trọng lĩnh vực Đã có nhiều kỹ thuật áp dụng để nhận dạng hành động người như: dựa vào hình ảnh Optical flow, lọc Kalman, mơ hình Markov ẩn, mơ hình SVM(Support Vector Machine) … sử dụng liệu khác từ camera, stereo hồng ngoại.Nhưng hạn chế trình nhận dạng thiếu hụt liệu dẫn đến hiệu chưa cao.Và gần cơng nghệ 3D ngày phát triển, việc áp dụng vào việc nhận dạng nhà khoa học tập trung nghiên cứu Trong cấu trúc Acclaim xây dựng đại học Carnegie Mellon (CMU) sở liệu xây dựng đầy đủ tất chuyển động người mơi hình 3D gần hồn chỉnh Chính tơi chọn đề tài “Ứng dụng Hidden Markov Models nhận dạng hành động người dựa cấu trúc Acclaim” với mong muốn phần áp dụng vào toán thực tế Mục tiêu nhiệm vụ nghiên cứu 2.1 Mục tiêu Ứng dụng mô hình Markov ẩn học máy để nhận dạng hành động người dựa cấu trúc Acclaim 2.2 Nhiệm vụ đề tài Tìm hiểu nhận dạng hành động, số phương pháp máy học nhận dạng.Chú trọng đến việc tìm hiểu, phân tích, thiết kế, triển khai xây dựng hệ thống nhận dạng hành động người mơ hình Markov ẩn dựa cấu trúc Acclaim Đối tƣợng phạm vi nghiên cứu 3.1 Đối tƣợng nghiên cứu Đối tượng nghiên cứu đề tài cấu trúc Acclaim, mơ hình Markov ẩn để nhận dạng hành động người 3.2 Phạm vi nghiên cứu - Nghiên cứu nhận dạng hành động sử dụng HMM (Hidden Markov Models) - Phân tích cấu trúc file Acclaim ứng dụng nhận dạng hành động người - Xây dựng chương trình nhận dạng hành động sử dụng HMM (Hidden Markov Models) Phƣơng pháp nghiên cứu Phương pháp nghiên cứu, sử dụng hai phương pháp nghiên cứu lý thuyết nghiên cứu thực nghiệm 4.1 Phƣơng pháp lý thuyết - Tìm hiểu ngơn ngữ lập trình C# mơi trường NET - Tìm hiểu nhận dạng hành động, phương pháp máy học, trọng đến nghiên cứu mơ hình Markov ẩn - Các tài liệu phương phápvà thuật tốn nhận dạng - Tìm hiểu, nghiên cứu HMM (Hidden Markov Models) 4.2 Phƣơng pháp thực nghiệm - Xây dựng chương trình ứng dụng HMM (Hidden Markov Models) để nhận dạng hành động người mơ hình Acclaim Ý nghĩa khoa học thực tiễn đề tài Nghiên cứu xây dựng chương trình nhận dạng hành động người dựa mơ hình Acclaim có độ xác cao 5.1 Về mặt khoa học Thực nghiên cứu tổng quan nhận dạng hành động người bao gồm hướng tiếp cận nhận dạng hành động, mơ hình kỹ thuật nhận dạng, tiếp đến trình bày bước tiền xử lý nhận dạng, phương pháp phân tích tính đặc trưng hành động Đối với toán nhận dạng, nghiên cứu chi tiết, triển khai ứng dụng mơ hình Markov ẩn nhận dạng hành động dựa mô hình Acclaim 5.2 Về thực tiễn - Giúp cho việc nhận dạng hành động người xác hiệu - Triển khai cho nhiều lĩnh vực khác Bố cục luận văn Chương 1: Nghiên cứu tổng quan Chương 2: Ứng dụng mơ hình Markov ẩn nhận dạng hành động ngườidựa cấu trúc Acclaim Chương 3: Thực nghiệm đánh giá kết CHƢƠNG NGH IÊN C ỨU TỔNG QUAN 1.1 TỔNG QUAN VỀ HỌC MÁY 1.1.1 Khái quát học máy Học máy (còn gọi máy học) lĩnh vực trí tuệ nhân tạo liên quan đến việc phát triển kĩ thuật cho phép máy tính “học” 1.1.2 Các vấn đề học máy Các vấn đề thường gặp học máy là: - Các ví dụ huấn luyện có tồn thuật tốn để học hàm đích hay khơng? Thuật tốn tốt nhất? - Bao nhiêu liệu huấn luyện đủ? Ước lượng mức tin cậy nào? Các tri thức biết có tác dụng cho q trình học - Chiến lược thí nghiệm đào tạo tốt nhất, cách chọn chiến lược nào? - Cách tốt để đưa toán học tốn xấp xỉ hàm? Q trình tự động hóa khơng? 1.1.3 Tổng quan phƣơng pháp học máy a Học có giám sát (Supervised Learning) Học có giám sát phương pháp học với tập liệu huấn luyện ban đầu hoàn toàn gán nhãn từ trước, sử dụng cho lớp tốn phân lớp, phân loại (classification) b Học khơng giám sát(Unsupervised Learning) Là q trình mơ hình hóa tập liệu, khơng có sẵn ví dụ gắn nhãn Học không giám sát học với tập liệu huấn luyện ban đầu hoàn toàn chưa gán nhãn Học không giám sát phương pháp học sử dụng cho lớp toán gom cụm, phân cụm (clustering) c Học bán giám sát(Semi-Supervised Learning) Nội dung học bán giám sát hệ thống sử dụng tập liệu huấn luyện (training set) gồm phần: liệu huấn luyện có nhãn, thường với số lượng ít, liệu huấn luyện khơng có nhãn, thường với số lượng nhiều Thực tế cho thấy sử dụng kết hợp liệu khơng có nhãn với lượng định liệu có nhãn tăng độ xác đáng kể d Học tăng cường (Reinforcement Learning) Các thuật tốn học tăng cường cố gắng tìm chiến lược ánh xạ trạng thái giới tới hành động mà agent nên chọn trạng thái Trong học tăng cường khơng có cặp liệu vào kết đúng, hành động gần tối ưu không đánh giá sai cách tường minh Hơn nữa, hoạt động trực tuyến quan tâm, có việc tìm kiếm cân khai phá khai thác 1.2 TỔNG QUAN VỀ NHẬN DẠNG 1.2.1 Giới thiệu Nhận dạng mẫu ngành thuộc lĩnh vực học máy Nó tập phương pháp học có giám sát nhằm phân loại liệu (là mẫu) dựa tiêu chí: kiến thức tiên nghiệm thơng tin thống kê trích rút từ mẫu có sẵn Các mẫu cần phân loại thường biểu diễn thành nhóm liệu đo đạc hay quan sát được, nhóm điểm khơng gian đa chiều phù hợp Đó khơng gian đặc tính để dựa vào ta phân loại 1.2.2 Các phƣơng pháp nhận dạng a Đối sánh mẫu Các kỹ thuật đối sánh nghiên cứu theo ba hướng sau: - Đối sánh trực tiếp - Các mẫu biến dạng đối sánh mềm - Đối sánh giảm nhẹ b K-láng giềng gần (K-Nearest Neighbors) Phương pháp sử dụng vectơ đặc trưng thu thập trình huấn luyện để tìm k láng giềng gần khơng gian nchiều c Máy véc tơ hỗ trợ (Support Vector Machine-SVM) Có thể mô tả SVM sau: Cho trước tập liệu học, tập thuộc lớp cho trước, phân lớp SVM xây dựng mơ hình phân lớp dựa tập liệu Khi có mẫu đưa vào, phân lớp đưa dự đoán xem mẫu thuộc lớp lớp định d Mạng nơ ron (Neuron Network-NN) Mạng nơ ron cấu trúc với nhiều xử lý “nơ ron” kết nối song song chằng chịt với Có nhóm kiến trúc mạng nơ ron: mạng truyền thẳng mạng lan truyền ngược e Mơ hình Markov ẩn (Hidden Markov Model-HMM) HMM q trình Markov với tham số khơng biết trước, nhiệm vụ xác định tham số ẩn Các tham số mơ hình rút sau sử dụng để thực phân tích 1.2.3 Tiêu chí đánh giá hệ thống nhận dạng a Độ xác b Tính thích nghi c Thời gian hoạt động 1.2.4 Mơ hình tổng quát hệ thống nhận dạng hành động Dữ liệu thu nhận Trích chọn đặc trưng Nhận dạng Kết 1.2.5 Khó khăn việc nhận dạng hành động Khó khăn hành động ln biến thiên theo thời gian có khác biệt hành động người tùy độ tuổi, tốc độ chuyển động, môi trường Xác định hành động chính, hành động khơng có ích với nhận dạng hành động 1.3 ỨNG DỤNG CỦA NHẬN DẠNG HÀNH ĐỘNG 1.3.1 Thực tế ảo Các ứng dụng thực tế ảo gia 8ang kiểm nghiệm mức độ hấp dẫn lớn lĩnh vực máy tính Tương tác thực tế ảo sử dụng cử cho phép thao tác đối tượng thực sử dụng bàn tay, cho tương tác 3D, 2D mô 3D 1.3.2 Điều khiển robot Ứng dụng điều khiển robot thường nằm lĩnh vực thăm dị khơng gian dự án nghiên cứu quân 1.3.3 Trò chơi Bàn tay người chơi vị trí thể để điều khiển chuyển động định hướng đối tượng trò chơi tương tác, chẳng hạn 10 nối với 30 khớp thể, tệp thứ hai vị trí khớp xương ứng với mốc thời gian Tệp cấu trúc gọi ASF (Acclaim Skeleton File), tệp chuyển động gọi AMC (Acclaim Motion Capture) 1.6.2 Cấu trúc tập tin ASF Trong tập tin ASF (Acclaim Skeleton File), sở tư xác định cho xương trạng thái khởi đầu cho liệu chuyển động Kết cấu file ASF bao gồm: “version”, “unit”, “documentation”, “root”, “bonedata”, “id”, “name”, “direction”, “length”, “axis”, “dof”, “limits” 1.6.3 Cấu trúc tập tin AMC AMC chứa liệu chuyển động cho xương xác định tập tin ASF Các liệu chuyển động đưa mẫu thời điểm Mỗi mẫu bao gồm số dòng, đoạn dịng, có chứa liệu 11 CHƢƠNG ỨNG DỤNG MƠ HÌNH MARKOV ẨN TRONG NHẬN DẠNG HÀNH ĐỘNG CỦA CON NGƢỜI TRÊN CẤU TRÚC ACCLAIM 2.1 MƠ HÌNH MARKOV ẨN 2.1.1 Mơ hình Markov (Markov Model-MM) Mơ hình Markov cịn gọi mơ hình Markov điển hình, hay mơ hình Markov “hiện” Trong mơ hình này, trạng thái quan sát trực tiếp người quan sát, xác suất chuyển tiếp trạng thái tham số Mơ hình Markov ứng dụng nhiều lĩnh vực như: nhận dạng gene, phân loại protein, dự báo giá, nhận dạng giọng nói, xử lý tín hiệu Tuy nhiên, Markov có hạn chế như: giá trị chuyển trạng thái giá trị áp đặt sẵn, đối tượng liệu quan sát biến đổi theo thời gian Do đó, để khắc phục nhược điểm này, nghiên cứu mơ hình Markov ẩn 2.1.2 Mơ hình Markov ẩn (Hidden Markov Model-HMM) Trong mơ hình Markov điển hình, trạng thái quan sát trực tiếp người quan sát, xác suất chuyển tiếp trạng thái tham số Hình 2.2 Mơ hình Markov ẩn 12 xi: Các trạng thái mơ hình Markov aij: Các xác suất chuyển tiếp bij: Các xác suất đầu yi: Các liệu quan sát Trong hầu hết nghiên cứu ứng dụng mơ hình Markov ẩn, đến việc giải ba toán sau: Bài tốn 1: Cho chuỗi tín hiệu quan sát O = {O1, O2, …, OT} mơ hình Markov ẩn ( ) Tính P(O|λ) xác suất xảy chuỗi tín hiệu quan sát O từ mơ hình λ? Bài tốn 2: Cho chuỗi tín hiệu quan sát O = {O1, O2, …, OT} mơ hình Markov ẩn, tìm chuỗi trạng thái Q = {Q1, Q2, …, QT} cho xác suất tương ứng với chuỗi tín hiệu quan sát O lớn nhất? (với toán này, cung cấp cho mơ hình tham số, tìm dãy trạng thái ẩn có khả lớn mà sinh dãy đầu ta cung cấp, sử dụng thuật toán Virterbi) Bài toán 3: Xây dựng mơ hình Markov ẩn   ( A, B, ) cho P(O|λ) lớn nhất? (với toán này, cung cấp dãy đầu ra, tìm tập hợp có khả chuyển tiếp trạng thái xác suất đầu ra, thực thay đổi λ, sử dụng thuật toán Baum-Welch) 13 2.2 ỨNG DỤNG MƠ HÌNH MARKOV ẨN TRONG NHẬN DẠNG HÀNH ĐỘNG CỦA CON NGƢỜI DỰA TRÊN CẤU TRÚC ACCLAIM 2.2.1 Giới thiệu toán 2.2.2 Hệ thống nhận dạng hành động đề xuất Hình 2.4: Hệ thống nhận dạng đề xuất 14 2.2.3 Dữ liệu đầu vào Dữ liệu đưa vào tập tin hiển thị hành động lưu dạng c3d Các tập tin c3d tạo nên công nghệ Mocap Cấu trúc C3D phức tạp nên đề xuất sử dụng cấu trúc Acclaim Cấu trúc Acclaim bao gồm loại tập tin định dạng asf/.amc Tệp asf chứa thông tin chi tiết khung xương Tập tin amc chứa thông tin chuyển động đoạn xương Dữ liệu dạng văn tệp amc/asf dễ đọc dễ sử dụng nhiều 2.2.4 Trích chọn đặc tính Việc trích chọn đặc tính liệu quan trọng cho việc huấn luyện theo mơ hình, với kích thước liệu chuẩn hóa theo khn dạng, thực việc trích chọn đặc tính để sử dụng cho hệ thống nhận dạng gồm nhiều cách trích chọn khác Trong mơ hình HMM luận văn tơi thực cơng việc trích chọn 11 khớp 30 khớp [hình phụ lục 1] mơ hình Acclaim để thực cơng việc nhận dạng Và đồng thời đưa lựa chọn thích hợp với số khớp trích chọn để kết nhận dạng tốt hơn.Trong luận văn sử dụng 11 khớp: “root”, “thorax”, “head”, “rhumerus”, “lhumerus”, “rfemur”, “lfemur” , “lfoot”, “rfoot”, “rradius”, “lradius” Hình 2.5 Tên danh sách 11 khớp trích chọn 15 2.2.5 Lƣợng tử hóa vector dựa K-mean Để chuyển liệu liên tục thành liệu rời rạc cho HMM rời rạc, luận văn đề xuất sử dụng phương pháp lượng tử hóa vector Q trình lượng hóa vector (VQ) cho phép mơ hình rời rạc biểu diễn quan sát liên tục cách ánh xạ quan sát liên tục thành mẫu tượng nằm bảng ký hiệu rời rạc Cụ thể, vector liên tục m-chiều phân bố thành số tế bào (codebook) ánh xạ quan sát liên tục thành nhãn tế bào mà nằm Tiến trình VQ cho phép mơ hình rời rạc, với liệu huấn luyện không lớn, biểu diễn quan sát liên tục Nhiều độ đo khoảng cách khác hàm tiêu chuẩn khác đề nghị Tuy nhiên luận văn dùng phương pháp phân nhóm thơng thường – thuật tốn k-means Trong luận văn việc lượng tử hóa vector trình lập đồ chuỗi vector rời rạc gồm m chiều liên tục [14] * + ̂ *̂ ̂ +̂ trọng tâm chuỗi kích thước số codebook * codebook + Việc chọn chuỗi liên tục tới codebook tìm khoảng cách tối thiểu codebook ( ̂ Tại d  vi , ck   vi  ck sinh ) , - (2.6) khoảng cách Euclide bình phương Có nhiều cách để tạo codebook Phần mô tả phương pháp để tạo | Cho tập huấn luyện | số lượng mẫu codebook dùng k-means clustering * { +, } tính cách tối giản cơng việc sau: K N T uk ,i ,t d  vi ,t , ck  u ,c k 1 i 1 t 1 Một 16 K s.t u k ,i ,t  , uk ,i ,t 0,1 , (2.7) k 1 Ở d  vi ,t , ck   vi ,t  ck khoảng cách Euclide bình phương kth trọng tâm codebook vector 2.2.6 Nhận dạng Luận văn tập trung vào khả giải toán thứ HMMs rời rạc Nó có nghĩa phương pháp sử dụng DHMMs cho phân loại thứ tự Các DHMMs xác định thiết lập sau tham số: * + Trong đó: A phân bố xác suất chuyển trạng thái đưa hình thức ma trận { } biểu tượng quan sát (index codebook) phân bố xác suất đưa hình thức ma trận { ( )} phân bố trạng thái ban đầu Để * sử dụng DHMMs, quan sát liên tục + vectơ lượng tử hóa nhượng chuỗi quan sát riêng biệt ̂ * ̂ ̂ + ̂ sử dụng codebook Trong trường hợp vấn đề phân loại, ta cần tạo tập mơ hình chun mơ hình để nhận người số lớp học riêng biệt Các thông số mô hình ith trained với thuật tốn Bauch-Welch Sau tất mơ hình trained, xác suất chuỗi khơng rõ lớp tính cho mơ hình Như mơ hình chuyên môn lớp định, kết đầu có xác suất cao sử dụng để xác định lớp học có khả đặt cho chuỗi 17 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 MÔI TRƢỜNG THỰC NGHIỆM Để cài đặt chương trình, thực nghiệm đánh giá kết Chương trình cài đặt chạy thử nghiệm hệ thống máy tính: - Phần cứng : CPU core i3 tốc độ 2,53GHz; RAM 4GB - Phần mềm : Hệ điều hành Windows (32bit); database từ trường đại học Carnegie Mellon; Ngôn ngữ lập trình C# nằm Microsoft Visual Studio 2010, sử dụng số thư viện mã nguồn mở Accord.NET 3.2 DỮ LIỆU THỰC NGHIỆM Để đánh giá kết việc nhận dạng hành động người dựa cấu trúc Acclaim Trong luận văn tiến tiến hành chạy thử nghiệm sở liệu training testing dạng cấu trúc Acclaim đại học Carnegie Mellon Luận văn sử dụng liệu 3D Acclaim [35] với loại hành động sau: + Chạy (run) + Đi (walk) + Jump (nhảy) + Múa (dance) + Đấm bốc (boxing) 3.3 KẾT QUẢ THỰC NGHIỆM Luận văn chia liệu ngẫu nhiên thành loại : loại thứ dùng làm liệu huấn luyện cho giải thuật học máy, loại thứ hai dùng để kiểm thử bảng 3.1 18 Bảng 3.6 Thống kê liệu huấn luyện kiểm thử Hành động Run Walk Jump Dance Boxing Dữ liệu huấn luyện 35 120 62 30 19 Dữ liệu kiểm thử 13 30 23 15 18 Tất 48 150 85 45 37 Tổng 365 Tất frame file bóc tách thuộc tính cách sử dụng hướng quay khớp 11 bone “root”, “thorax”, “head”, “rhumerus”, “lhumerus”, “rfemur”, “lfemur” , “lfoot”, “rfoot”, “rradius”, “lradius”và đưa dạng vector 3∗ = 33 phần tử Sau huấn luyện hành động từ liệu huấn luyện sử dụng HMM rời rạc có lượng tử hóa vector K-mean với tham số : state (số trạng thái ẩn), số symbol HMM số nhóm ( ) K-mean thay đổi để mơ hình nhận dạng tối ưu Luận văn tiến hành thực nghiệm với nhận dạng lớp liệu, lớp liệu lớp liệu - Đối với việc nhận dạng lớp liệu, luận văn tiến hành huấn luyện kiểm thử với loại cặp hành động: + Lớp “chạy” lớp “đi bộ” + Lớp “chạy” lớp “đấm bốc” - Đối với thực nghiệm nhận dạng lớp liệu : lớp “chạy”, lớp “đi bộ”, lớp “nhảy” lớp “múa” - Đối với thực nghiệm nhận dạng lớp liệu : lớp “chạy”, lớp “đi bộ”, lớp “nhảy”, lớp “múa”, lớp “đấm bốc” 3.3.1 Kết nhận dạng phân loại nhị phân - Phân loại “chạy” “đi bộ” 19 Bảng 3.7 Kết nhận dạng nhị phân với giá trị khác run, walk Symbol Frame/s State Tỉ lệ nhận dạng 100 120 97,01% 100 120 95,52% 100 60 95,65% 100 60 94,91% Bảng 3.7 thể tỉ lệ nhận dạng hành độngtương ứng với giá trị tham số symbol, state, frame/s khác Mỗi hàng bảng kết nhận dạng với giá trị tham số symbol, state, frame/s Với nhận dạng hành động “chạy” “đi bộ” cho tỷ lệ nhận dạng cao ta thay đổi thuộc tính Giữa hai hành động “chạy” “đi bộ” ta thấy có nhiều điểm tương đồng giống hành động nhưngtrong suốt thời gian hành động walk lúc phải có chân chạm đất, cịn “chạy” bước chạy có khoảng thời gian hai chân không chạm đất lơ lửng khơng Đồng thời walk thường đánh gót chân đất trước tiên sau gập đầu gối xuống, cịn “chạy” tiếp đất nửa phía trước bàn chân hay đổ người phía trước.Trong khoảng thời gian “chạy” khoảng cách xa “đi bộ” nên việc nhận dạng dễ dàng cho kết cao Việc thay đổi state tỉ lệ nhận dạng ko thay đổi nhiều Tiếp theo ta thử nghiệm loại liệu “chạy” (run) với “ đấm bốc” (boxing) 20 Bảng 3.9 Kết nhận dạng nhị phân với giá trị khác nhaucủa run, boxing Symbol Frame/s State Tỉ lệ nhận dạng 100 120 86,36% 100 120 79,54% 100 60 84,78% 100 60 78,26% Ở việc nhận dạng “chạy” “đấm bốc” ta thấy tỉ lệ nhận dạng giảm xuống so với “chạy” “đi bộ” Vì liệu trích chọn 11 xương hình 2.5 nên việc nhận dạng hành động “đấm bốc” nhiều hạn chế số tư hành động hành động “đấm bốc” bao gồm có hành động “chạy”, “đấm bốc” sử dụng kết hợp với di chuyển chân, đầu thân Đồng thời, hành động “đấm bốc” phức tạp nhiều cử “chạy”, “đấm bốc” đa số cử tay, tốc độ hành động nhanh Nên tỉ lệ nhận dạng “đấm bốc” bị giảm 3.3.2 Kết nhận dạng với lớp liệu Nhận dạng với lớp liệu: lớp “chạy” (run), lớp “đi bộ” (walk), lớp “nhảy” (jump) lớp “múa” (dance) Bảng 3.11 Kết nhận với giá trị khác hành động run, walk, jump, dance Symbol Frame State Run Walk Jump Dance Tỉ lệ nhận dạng 100 120 90,90% 94,64% 91,30% 92% 93,04% 100 120 90,90% 92,85% 91,30% 100% 93,91% 50 120 81,81% 89,28% 60,86% 88% 82,60% 21 50 120 90,90% 89,28% 82,60% 96% 89,56% 100 60 84,61% 92,86% 100% 100% 94,87% 100 60 84,61% 92,85% 96,65% 96% 93,16% 100 60 84,61% 91,07% 69,56% 96% 97,17% 50 60 76,92% 81,14% 82,61% 100% 85,47% Bảng 3.12 kết nhận dạng hành động “chạy”, “đi bộ”, “nhảy”, “múa” với thông số symbol, state frame/s khác Nên ta thấy hành động “múa” “chạy” có tương quan việc nhận dạng Trong hành động ta nhận thấy hành động tương đồng hành động, “múa” kết hợp nhiều hành động khác “chạy”, “đi bộ” Ở việc nhận dạng hành động tỉ lệ nhận dạng cho kết cao 3.3.3 Kết nhận dạng với lớp liệu Nhận dạng với lớp liệu: lớp “chạy” (chạy), lớp walk (đi bộ), lớp jump (nhảy), lớp dance (múa) lớp “đấm bốc” (đấm bốc) Bảng 3.13.Kết nhận với giá trị khác hành động run, walk, jump, dance, boxing Tỉ lệ Symbol Frame State Run Walk Jump Dance Boxing nhận dạng 100 120 100% 92,86% 95,65% 96% 42,11% 87,31% 100 120 81,82% 89,29% 82,60% 100% 52.63% 84,33% 50 120 72,73% 82,14% 69,57 % 92% 52,63% 76,87% 50 120 81,82% 92,86% 73,91 % 92% 36,84% 80,6% 22 100 60 84.62% 89,29% 82,61 % 100% 57,89% 85,29% 100 60 84.62% 92,86% 95,65 % 100% 52,63% 88,24% 50 60 50 60 100% 92,86% 81,82% 72% 36,84% 78,4% 66.67% 80,36% 86.36% 64.00% 26,32% 69,6% Bảng 3.13 kết nhận dạng chi tiết hành động “chạy”, “đi bộ”, “nhảy”, “múa” “đấm bốc” với thông số symbol, state frame/s khác Ở việc nhận dạng ta thấy tỷ lệ nhận dạng “đấm bốc” thấp 26,32% Lý cho việc nhận dạng có tỷ lệ thấp động tác “đấm bốc” có nhiều điểm tương đồng với “chạy” “nhảy”, hành động “đấm bốc” phức tạp nhiều cử hành động lại, “đấm bốc” đa số cử tay, tốc độ hành động nhanh, độ nghiêng khung nhiều, chuỗi hành động ,“đấm bốc” có hành động “chạy”, “nhảy”, “đi bộ” Lý liệu nhận dạng “đấm bốc” số frame hành động file amc lại nhiều Vì để “đấm bốc” có tỷ lệ nhận dạng cao ta cần trích chọn vị trí xương tay cổ tay 3.3 ĐÁNH GIÁ KẾT QUẢ NHẬN DẠNG Bài toán nhận dạng có nhiều yếu tố phụ thuộc, nên độ xác phần ảnh hưởng đến kết tốn, việc trích chọn đặc tính tốt để xây dựng liệu huấn, hệ thống đạt kết tốt Để tìm tham số tốt cho hệ thống, số lần thử nghiệm phải tăng lên nhiều Từ kết thực nghiệm cho thấy, liệu tương đối đồng bộ, kết nhận dạng với độ xác cao Nhưng với hành động có độ tương đồng cao mà liệu để huấn luyện nên tỉ lệ nhận dạng thấp, tiêu biểu hành động “đấm bốc” bảng 3.13 Vì cần phải tăng cường huấn luyện với liệu lớn, 23 hệ thống nhận dạng tốt hơn, nhận dạng hành động phức tạp Với số kỹ thuật chuẩn bị liệu đầu vào phân chia tập huấn luyện hợp lý tốc độ huấn luyện tăng lên đáng kể hệ thống “học” tốt với liệu huấn luyện với đầu vào khác hệ thống cho kết khơng xác 24 KẾT LUẬN Trong luận văn trình bày tổng quát kiến thức tảng lĩnh vực nhận dạng Hiện nay, lĩnh vực nhận dạng nước giới phát triển áp dụng đạt thành tựu đáng kể Luận văn nghiên cứu đặc trưng nhận dạng, thuật toán nhận dạng… lựa chọn kỹ lưỡng Trong thuật tốn nhận dạng mơ hình Markov ẩn lựa chọn phương pháp nhận dạng hành động luận văn tính xác tốc độ nhận dạng cao Từ mơ hình Markov ẩn ứng dụng nhiều nhận dạng ký hiệu ngơn ngữ, tiếng nói, cử tay (là nhận dạng hình ảnh động, âm thanh)…tơi nghiên cứu mơ hình Markov ẩn, sở tốn học biết cách vận dụng nhận dạng hành động dựa cấu trúc Acclaim Trong q trình thực đề tài, có nhiều hạn chế nên kết đạt chưa cao Luận văn tập trung vào nghiên cứu các vấn đề của, số phương pháp nhận dạng học máy, đặc biệt mơ hình HMM Trong thời gian tới cố gắng phát triển thêm nội dung: Xây dựng hệ thống nhận dạng hành động hồn chỉnh theo mơ hình HMM, thực thêm nhiều chức như: nhận dạng hành động liệu từ file ảnh có sẵn (offline), nhận dạng nhiều hành động xảy đồng thời hiển thị hành động sau nhận dạng hoàn tất ... để nhận ý nghĩa thơng tin đó .Ứng dụng lý thuyết nhận dạng mẫu áp dụng cho lĩnh vực: Nhận dạng tín hiệu, nhận dạng tiếng nói, nhận dạng khuôn mặt, nhận dạng hành động, nhận dạng vân tay Trong nhận. .. nhận dạng hành động người 3.2 Phạm vi nghiên cứu - Nghiên cứu nhận dạng hành động sử dụng HMM (Hidden Markov Models) - Phân tích cấu trúc file Acclaim ứng dụng nhận dạng hành động người - Xây dựng... 2.2 ỨNG DỤNG MƠ HÌNH MARKOV ẨN TRONG NHẬN DẠNG HÀNH ĐỘNG CỦA CON NGƢỜI DỰA TRÊN CẤU TRÚC ACCLAIM 2.2.1 Giới thiệu toán 2.2.2 Hệ thống nhận dạng hành động đề xuất Hình 2.4: Hệ thống nhận dạng