Nghiên cứu trích chọn đặc tính trong nhận dạng hành động người trong không gian 3d

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG  UNG NHO DÃI NGHIÊN CỨU TRÍCH CHỌN ĐẶC TÍNH TRONG NHẬN DẠNG HÀNH ĐỘNG NGƯỜI TRONG KHÔNG GIAN 3D Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng – Năm 2015 Cơng trình hồn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS PHẠM MINH TUẤN Phản biện 1: TS NGUYỄN VĂN HIỆU Phản biện 2: TS TRẦN THIÊN THÀNH Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Đại học Đà Nẵng vào ngày 18 tháng năm 2015 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin-Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Bách Khoa Đà Nẵng MỞ ĐẦU Lý chọn đề tài 1.1 Bối cảnh chung Từ năm 80 kỷ trước, nhận dạng hành động người (human activity recognition) thu hút nhiều quan tâm, nghiên cứu nhà khoa học Nó sử dụng rộng rãi nhiều ứng dụng lĩnh vực khác y học, xã hội học, giao tiếp người máy Nhận dạng hành động chia làm hai loại chính: loại thứ sử dụng cảm biến (sensor-based) loại thứ hai sử dụng hình ảnh (vision-based) Hoạt động nhận dạng sử dụng cảm biến kết hợp đa dạng mạng lưới thiết bị cảm biến với việc khai phá liệu học máy để mô hình hoạt động người Cấu hình thiết bị di động đủ mạnh để thu thập liệu từ nhiều loại cảm biến khác xử lý liệu để đưa ước lượng lượng cần thiết cho hoạt động hàng ngày người Các nhà nghiên cứu tin rằng, với phát triển mạnh mẽ loại thiết bị lại cảm biến, việc theo dõi nhận dạng hoạt động người trở nên dễ dàng Vấn đề quan trọng thách thức nhận dạng hành động nhận biết hành động người thông qua hình ảnh từ hệ thống camera Kỹ thuật chủ yếu dùng để nhận dạng từ hình ảnh thị giác máy tính (vision computer) Có nhiều phương pháp áp dụng nhận dạng hành động dựa vào hình ảnh optical flow, lọc Kalman, mơ hình Markov ẩn, sử dụng liệu khác từ camera, sóng âm (stereo) hồng ngoại Gần đây, số nhà nghiên cứu sử dụng camera RGBD (Red, Green, Blue, Depth) Kinect1 để nhận dạng hoạt động người Dữ liệu thu từ thiết bị chuyên dụng liệu chuyển động 3D thể người Những liệu liệu huấn luyện hữu ích cho mơ hình nhận dạng hành động Hình Microsoft Kinect Camera 1.2 Các phương pháp trước Những nghiên cứu gần lĩnh vực nhận dạng hoạt động người chủ yếu tập trung vào nghiên cứu nhận dạng từ video quay camera thơng dụng Khó khăn lớn liệu từ camera thông dụng quay hướng, dẫn đến thiếu hụt liệu, kết hợp nhiều camera khơng đảm bảo thu toàn hoạt động, đồng thời giảm hiệu q trình nhận dạng Mặc dù có nhiều nỗ lực thập kỷ qua, lĩnh vực nhận dạng hoạt động người từ liệu video nhiều khó khăn, thách thức Từ sau đời thiết bị cảm biến chiều sâu (depth sensor), có hướng tiếp cận nhận dạng hành động người, sử dụng liệu chuyển động 3D Trong 20 năm trở lại, số phương pháp để thu thập liệu 3D sử hệ Kinect thiết bị đầu vào,là cảm biến chuyển động hãng Microsoft sản xuất dành cho Xbox 360 máy tính sử dụng hệ điều hành Windows thống chụp chuyển động dựa vào marker2 Mocap3 (Motion Capture) dùng stereo camera4 - chụp hình ảnh 2D từ nhiều hướng khác để dựng thành mơ hình 3D Hình So sánh kết phương pháp trích chọn đặc tính Sau thu thập liệu 3D, có nhiều phương pháp đề xuất để hồn thành q trình nhận dạng Điểm chung phương pháp cố gắng làm giảm số lượng thuộc tính liệu nhận dạng trước xây dựng mơ hình huấn luyện D Gehrig nghiên cứu, thực nghiệm ba phương pháp trích chọn lựa chọn đặc tính khác (Brute Force, SFS, LDA) (xem hình 0.2) giảm đáng kể hiệu trình nhận dạng so với liệu ban đầu L Fengjun phân tích đưa bảy loại đặc tính khác dựa vào tư kết hợp khớp xương, sau dựng mơ hình huấn luyện nhận dạng dùng Markov ẩn (xem hình 0.3) K Marker thiết bị đánh dấu, gắn lên đối tượng cần theo dõi Mocap (Motion Capture) hệ thống chuyên biệt dùng để chụp chuyển động Stereo camera camera cóhai hay nhiều ống kính với cảm biến ảnh khung phim riêng biệt cho ống kính Dana phát triển mơ hình học tăng cường dựa mơ hình Markov ẩn Hình Kết nhận dạng dùng bảy loại đặc tính L Fengjun đề xuất 1.3 Những vấn đề tồn Việc xây dựng mô hình nhận dạng sử dụng liệu chuyển động 3D nhiều điểm chưa tốt hiệu chi phí Các hạn chế là: liệu chuyển động 3D liệu phức tạp, có số lượng thuộc tính lớn dẫn đến chi phí tính tốn lớn hiệu khơng cao tỉ lệ nhận dạng thấp, đặc biệt với hoạt động phức tạp Mục tiêu nhiệm vụ Trước vấn đề tồn phân tích trên, luận văn nghiên cứu, xây dựng mơ hình nhận dạng hành động người từ liệu chuyển động 3D; trọng tâm phương pháp trích chọn lựa chọn đặc tính nhằm làm giảm số chiều độ lớn liệu, góp phần nâng cao độ xác hiệu mơ hình Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu Đối tượng nghiên cứu luận văn mơ hình nhận dạng hành động người, cụ thể liệu chuyển động 3D định dạng Acclaim5 (asf/amc) trường đại học CMU (Carnegie Mellon University) thu thập Mocap họ; phương pháp trích chọn, lựa chọn đặc tính phù hợp 3.2 Phạm vi nghiên cứu Bộ liệu chuyển động 3D CMU cung cấp có nhiều hoạt động khác nhau, luận văn nghiên cứu số loại hoạt động đơn giản (walk), chạy (run, jog), nhảy (jump) khiêu vũ (dance) Ngoài ra, luận văn tập trung nghiên cứu số phương pháp trích chọn đặc tính thơng dụng PCA (Principal Component Analysis), LDA (Linear Discriminant Analysis); dùng máy vectơ hỗ trợ (SVM) học máy Phương pháp nghiên cứu 4.1 Nghiên cứu lý thuyết Về phần lý thuyết, luận văn tập trung nghiên cứu tổng quan nhận dạng hoạt động người không gian 3D, tập trung vào kỹ thuật thu thập liệu chuyển động 3D phương pháp sử dụng hệ thống chụp chuyển động; máy vectơ hỗ trợ (SVM) phương pháp trích chọn, lựa chọn đặc tính Acclaim tên công ty game, đồng thời tên loại định dạng liệu chuyển động 3D, gồm hai tệp tin asf/amc cơng ty đề xuất 4.2 Nghiên cứu thực nghiệm Q trình nghiên cứu thực nghiệm sử dụng ngơn ngữ lập trình C# tảng thư viện học máy mã nguồn mở Accord.NET Framework6 xây dựng mơ hình nhận dạng với phương pháp trích chọn đặc tính khác so sánh kết thu đưa kết luận Ý nghĩa khoa học thực tiễn đề tài 5.1 Về mặt lý thuyết Luận văn củng cố lý thuyết nhận dạng hành động người không gian 3D, liệu chuyển động 3D, phương pháp trích chọn, lựa chọn đặc tính 5.2 Về mặt thực tiễn Đề xuất, xây dựng mơ hình nhận dạng hành động người khơng gian 3D sử dụng phương pháp trích chọn đặc tính học máy Bố cục luận văn Ngoài phần mở đầu kết luận, luận văn gồm có ba chương với nội dung sau: Chương 1: Nghiên cứu tổng quan Chương trình bày tổng quan vấn đề liên quan đến đề tài luận văn Nội dung chủ yếu xoay quanh chủ đề chính: Hoạt động nhận dạng hành động người; mơ hình chụp chuyển động; phương pháp học máy; phương pháp trích chọn lựa chọn đặc tính Accord.NET Framework thư viện mã nguồn mở tổng hợp vấn đề học máy (http://accord-framework.net/) Chương 2: Giải pháp đề xuất Chương tập trung vào trình bày giải thích chi tết mơ hình nhận dạng đề xuất thành phần mơ hình Chương 3: Thực nghiệm đánh giá kết Chương trình bày chi tết trình thực nghiệm bao gồm môi trường thực nghiệm, giai đoạn thực nghiệm kết thực nghiệm qua giai đoạn, từ đưa nhận xét, đánh giá CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 NHẬN DẠNG HÀNH ĐỘNG NGƯỜI TRONG KHÔNG GIAN 3D Từ năm 1980, nhận dạng hành động người lĩnh vực quan trọng nghiên cứu thị giác máy tính Các phương pháp thu thập liệu chuyển động 3D đời phát triển mạnh mẽ thập niên gần Phần khái quát kỹ thuật thu thập liệu chuyển động 3D phương pháp học máy phổ biến nhận dạng hành động người 1.1.1 Các phương pháp thu thập liệu chuyển động 3D Từ sau đời thiết bị cảm biến chiều sâu (depth sensor), hoạt động nghiên cứu liệu 3D có chuyển biến tích cực Nhìn chung có ba phương pháp việc thu thập liệu chuyển động 3D Đầu tiên phương pháp sử dụng hệ thống chụp chuyển động dựa vào marker Mocap (Motion Capture) Kế đến phương pháp sử dụng stereo camera Cuối phương pháp sử dụng range sensor7 Mục trình bày chi tiết phương pháp a Phương pháp sử dụng stereo camera Một stereo camera trang bị hai hay nhiều ống kính với cảm biến ảnh khung phim riêng biệt cho ống kính Điều Range sensor hay range camera loại cảm biến dùng để tạo loại hìn hảnh, giá trị điểm ảnh khoảng cách tới điểm định Ảnh tạo range senor gọi range image 10 a Máy vectơ hỗ trợ Máy vectơ hỗ trợ (Support Vector Machine – SVM) làm giải thuật học máy dựa lý thuyết học thống kê Bài toán SVM toán phân loại hai lớp: Cho trước n điểm không gian d chiều (mỗi điểm thuộc vào lớp kí hiệu +1 1, mục đích giải thuật SVM tìm siêu phẳng (hyperplane) phân hoạch tối ưu cho phép chia điểm thành hai phần cho điểm lớp nằm phía với siêu phẳng b Mơ hình Markov ẩn Mơ hình Markov ẩn (Hidden Markov Model) mơ hình xác suất hữu hạn trạng thái theo kiểu phát sinh tiến trình cách định nghĩa xác suất liên kết chuỗi quan sát Mỗi chuỗi quan sát sinh chuỗi phép chuyển trạng thái, trạng thái khởi đầu thu trạng thái kết thúc Tại trạng thái phần tử chuỗi quan sát phát sinh ngẫu nhiên trước chuyển sang trạng thái 1.2 HỆ THỐNG CHỤP CHUYỂN ĐỘNG – MOCAP Dữ liệu đầu vào trình thực nghiệm luận văn liệu chuyển động 3D (ở định dạng Acclaim - asf/amc) thu thập từ hệ thống chụp chuyển động (Mocap) trường đại học CMU Phần trình bày chi tiết hệ thống chụp chuyển động CMU liệu thu từ hệ thống Cuối chi tiết cấu trúc liệu Acclaim 1.2.1 Mocap Để theo dõi chuyển động đối tượng, nhà nghiên cứu đại học Carnegie Mellon xây dựng hệ thống gồm 12 11 camera hồng ngoại MX-40 lắp đặt xung quanh không gian hình chữ nhật có kích thước 3m x 8m Các chuyển động diễn vùng ghi lại Đối với chuyển động đòi hỏi tỉ mỉ chi tiết chuyển động tay, camera di chuyển vào gần Người ta sử dụng quần áo đặc biệt có gắn 41 marker bên trên, chủ thể phải mặc quần áo di chuyển vùng ghi nhận Các camera định vị marker sóng hồng ngoại Tín hiệu thu từ hệ thống camera xử lý cho kết cuối liệu dạng mơ hình hóa 3D thể người Có nhiều cấu trúc định dạng khác sử dụng asf/amc, vsk/v, c3d, bvh, txt Có số phần mềm hỗ trợ việc chuyển đổi qua lại định dạng này8 1.2.2 Dữ liệu thu từ Mocap Dữ liệu thu từ Mocap liệu dạng mơ hình hóa 3D thể người Có nhiều định dạng khác dùng để lưu trữ loại liệu asf/amc, bvh, c3d, vsk/v, txt 1.2.3 Cấu trúc Acclaim Acclaim gồm hai tệp văn có cấu trúc Tệp thứ lưu trữ cấu trúc tổng quan đối tượng, tiệp thứ hai chứa liệu chuyển động tương ứng đối tượng theo thời gian a Cấu trúc tệp ASF b Cấu trúc tệp AMC http://mocap.cs.cmu.edu/resources.php 12 1.3 TRÍCH CHỌN, LỰA CHỌN ĐẶC TÍNH Một khâu quan trọng q trình xây dựng mơ hình nhận dạng hành động người trích chọn, lựa chọn đặc tính Mục đích chung trích chọn hay lựa chọn đặc tính làm giảm độ lớn liệu, hay nói cách khác làm giảm số chiều liệu Quá trình làm giảm số chiều liệu chia làm hai loại chính: trích chọn đặc tính (feature extraction - FE) lựa chọn đặc tính (feature selection - FS) Sự khác hai phương pháp trích chọn đặc tính sử dụng phương pháp biến đổi tuyến tính phi tuyến tính để biến đổi liệu sang không gian mới, lựa chọn đặc tính chọn tập tập liệu cho trước Một bên biến đổi liệu, bên không biến đổi Đối với tốn nhận dạng, mục đích hai phương pháp giống nên từ đây, luận văn xin dùng “trích chọn đặc tính” làm tên gọi chung cho hai phương pháp Có nhiều phương pháp trích chọn đặc tính khác đề xuất sử dụng nhận dạng hành động Luận văn chọn số phương pháp tiêu biểu để nghiên cứu như: phân tích thành phân (PCA), biệt thức tuyến tính (LDA) Nội dung phương pháp trình bày phần 1.3.1 Phương pháp phân tích thành phần – PCA Phương pháp phân tích thành phần (Principal Components Analysis - PCA) thuật toán thống kê sử dụng phép biến đổi trực giao để biến đổi tập hợp liệu từ khơng gian nhiều chiều sang khơng gian chiều nhằm tối ưu hóa việc thể biến thiên liệu 13 1.3.2 Phương pháp phân tích biệt thức tuyến tính – LDA Phân tích biệt thức tuyến tính (Linear Discriminant Analysis – LDA) phương pháp sử dụng thống kê học máy để giải tốn phân lớp trích chọn đặc tính Trong phân loại hai lớp liệu, LDA tìm kiếm trục đường thẳng cho tất liệu lớp ánh xạ lên trục có độ phân ly lớp cao Độ phân ly lớp liệu định nghĩa tỷ lệ phương sai lớp phương sai liệu lớp 1.3.3 Sử dụng hàm nhân Các phương pháp trích chọn đặc tính trình bày áp dụng hiệu với liệu tuyến tính đơn giản, khơng phù hợp với tốn có liệu phi tuyến, phức tạp Do người ta dùng phép biến đổi để chuyển liệu phi tuyến tính thành tuyến tính Phép biến đổi gọi hàm nhân (kernel) Phương pháp PCA kết hợp hàm nhân gọi KPCA (Kernel Principal Components Analysis), phương pháp LDA kết hợp hàm nhân gọi KDA (Kernel Discriminant Analysis) Các phương pháp trích chọn đặc tính sử dụng luận văn kết hợp với hàm nhân 14 CHƯƠNG GIẢI PHÁP ĐỀ XUẤT Hình 2.1 mơ tả tổng quan hệ thống đề xuất, bao gồm năm khối chức chính: tiền xử lý, trích chọn đặc tính, học máy, mơ hình nhận dạng phương pháp trọng số Có ba phương pháp trích chọn đặc tính: lựa chọn thủ cơng, PCA LDA Mơ hình nhận dạng mơ hình học máy xây dựng từ liệu huấn luyện Mỗi phương pháp trích chọn đặc tính xây dựng mơ hình nhận dạng Hình 2.1 Mơ hình hệ thống đề xuất Dữ liệu đầu vào hệ thống chọn lựa cở sở liệu CMU Mocap phân chia ngẫu nhiên thành ba nhóm: nhóm thứ dùng làm liệu huấn luyện (training data) cho giải thuật học máy, nhóm thứ hai dùng để kiểm định độ mơ hình học máy ứng với phương pháp trích chọn đặc tính khác (gọi nhóm liệu kiểm định - validating data), nhóm liệu cuối liệu kiểm thử (testing data) dùng để kiểm tra đánh giá kết hệ thống 15 Trong hệ thống đề xuất, có tất ba luồng liệu Thứ luồng liệu huấn luyện, thể hình mũi tên nét liền Kết cuối luồng liệu huấn luyện mơ hình nhận dạng xây dựng sau áp dụng giải thuật học máy Thứ hai luồng liệu kiểm định, thể hình mũi tên nét đứt Kết cuối luồng liệu kiểm định tỉ lệ nhận dạng tương ứng với phương pháp trích chọn đặc tính Các tỉ lệ đầu vào cho phương pháp trọng số Thứ ba luồng liệu kiểm thử (hay liệu nào), mơ tả hình mũi tên chấm liền Dữ liệu luồng sau qua khối chức tiền xử lý, trích chọn đặc tính, mơ hình nhận dạng, phương pháp trọng số cho kết nhãn hành động cần nhận dạng Chức học máy sử dụng luồng liệu huấn luyện, luồng liệu lại sử dụng mơ hình nhận dạng xây dựng học máy Các mục sau trình bày chi tiết khối chức hệ thống đồng thời giải thích vai trò chúng với luồng liệu khác 2.1 TIỀN XỬ LÝ Tín hiệu video quay loại camera chuyên dụng MX-40, có tốc độ 120Hz, nghĩa liệu thu bao gồm 120 khung hình (frame) giây Tuy nhiên thời gian thực loại hành động thí nghiệm khác nhau, liệu thu có độ dài ngắn khác ứng với số lượng nhiều hay khung hình 16 Ngồi ra, mơ hình xương 3D người có số lượng lớn đoạn xương, kết hợp với độ tự khớp làm tăng số chiều thuộc tính Trước không đồng liệu độ lớn số lượng thuộc tính, hệ thống cần có chức tiền xử lý để phần giải hai vấn đề 2.2 TRÍCH CHỌN ĐẶC TÍNH Nội dung luận văn nghiên cứu giai đoạn trích chọn đặc tính Luận văn sử dụng số phương pháp trích chọn đặc tính phổ biến kết hợp phương pháp với sử dụng trọng số Hình 2.5 mơ tả q trình trích chọn đặc tính chung cho phương pháp Mục đích chung tìm vectơ biểu diễn liệu với số chiều nhỏ liệu ban đầu đảm bảo thể đầ đủ đặc trưng liệu Hình 2.5 Mơ tả q trình trích chọn đặc tính a Lựa chọn thủ cơng Mơ hình 3D thể người cấu thành từ tất 29 xương khác Tuy nhiên nhiều số khơng phải đặc trưng số loại hành động Đo luận văn tiến hành thực 17 nghiệm với tập xương tổng số 29 xương Quá trình thực nghiệm tiến hành với số xương trước, sau bước thêm vào xương khác để tìm tập thích hợp b PCA PCA phương pháp thích hợp để ứng dụng vectơ liệu có số chiều lớn liệu tốn nhận dạng hành động Vì liệu xử lý giai đoạn trước nên việc áp dụng PCA vào tốn nhận dạng hành động hồn tồn giống áp dụng tốn khác Vấn đề cần giải tìm số lượng vectơ riêng (hay nói cách khác số chiều liệu sau trích chọn) thích hợp cho độ xác mơ hình lớn nhất.Vấn đề đơn giản giải thực nghiệm Chương trình thử lần lược giá trị từ nhỏ đến lớn tìm giá trị thích hợp c LDA Khác với PCA, LDA khơng phương pháp trích chọn đặc tính thơng thường mà thuật tốn phân loại, nghĩa có khả phân loại liệu Do LDA cần liệu huấn luyện (có gán nhãn) cho thuật tốn trích chọn đặc tính Nếu tham số cần tìm PCA số vectơ riêng với LDA số lượng đặc trưng khác liệu Tham số xác định thông qua thực nghiệm 2.3 HỌC MÁY Về bản, SVM dùng cho toán tuyến tính, có nghĩa tồn siêu phẳng tối ưu lề cực đại phân chia hoàn 18 toàn hai lớp liệu Tuy nhiên nhiều trường hợp miền lề tập liệu huấn luyện có số lượng nhỏ điểm, dẫn đến việc hông thể phân chia tập liệu siêu phẳng tuyến tính Để giải tốn phi tuyến tính người ta dùng kỹ thuật để biến đổi siêu phẳng từ phi tuyến tính trở thành tuyến tính, phép biến đổi gọi hàm nhân Một số hàm nhân thường dùng hàm nhân tuyến tính (linear kernel) hàm nhân đa thức (polynomial kernel) Luận văn sử dụng hàm nhân tuyến tính cho thuật tốn SVM 2.4 MƠ HÌNH NHẬN DẠNG Mơ hình nhận dạng mơ hình xây dựng từ liệu huấn luyện sau áp dụng giải thuật học máy Với phương pháp trích chọn đặc tính có mơ hình nhận dạng tương ứng Mơ hình nhận dạng sử dụng luồng liệu kiểm định luồng liệu kiểm thử 2.5 PHƯƠNG PHÁP TRỌNG SỐ Trọng số độ xác mơ hình nhận dạng sau kiểm định liệu kiểm định Ví dụ, với hành động cần nhận dạng, phương pháp cho kết khác kết cuối chọn kết phương pháp có trọng số cao Trong trường hợp khác, có hai hay nhiều phương pháp cho hành động xác suất để chọn hành động làm kết cuối tổng trọng số Phương pháp trọng số nhận đầu vào tỉ lệ nhận dạng thu sử dụng liệu kiểm định kết mơ hình nhận dạng Đầu phương pháp trọng số nhãn hành động cần nhận dạng 19 Cụ thể hàm xác suất cách gán nhãn cho hành động cần nhận dạng mô tả sau: Giả sử ta có tính phương pháp trích chọn đặc loại hành động khác (cụ thể luận văn = 3, = 4) Các phương pháp đánh số thứ tự từ đến ; loại hành động gán nhãn từ đến Gọi nhãn hành động nhận dạng từ mơ hình sử dụng phương pháp trích chọn đặc tính , trọng số phương pháp trích chọn đặc tính , Gọi nhận dạng, Nhãn xác suất để gán nhãn Khi xác suất cho hành động cần đươc xác định sau: cần tìm xác định sau: , 20 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ Quá trình thực nghiệm chia làm hai giai đoạn Giai đoạn thứ xây dựng mơ hình nhận dạng với liệu đầu vào ứng với phương pháp trích chọn đặc tính khác Dữ liệu huấn luyện sử dụng q trình xây dựng mơ hình Bên cạnh sử dụng liệu kiểm định để kiểm tra mức độ xác mơ hình 3.1 MƠI TRƯỜNG THỰC NGHIỆM 3.1.1 Dữ liệu sử dụng Dữ liệu sử dụng giai đoạn thực nghiệm liệu chọn lọc từ sở liệu CMU Mocap Luận văn sử dụng liệu thuộc bốn hành động sau: chạy (run), (walk), nhảy (jump) khiêu vũ (dance) Dữ liệu sau chọn lọc chia ngẫu nhiên thành ba nhóm khác nhau: liệu huấn luyện, liệu kiểm định liệu kiểm thử 3.1.2 Môi trường triển khai 3.2 CÁC GIAI ĐOẠN THỰC NGHIỆM 3.2.1 Giai đoạn thứ Mục đích giai đoạn tìm tham số thích hợp cho phương pháp trích chọn đặc tính để mơ hình nhận dạng xây dựng có độ xác cao Độ xác mơ hình kiểm nghiệm tập liệu kiểm định Sau kết tương ứng cho phương pháp 21 a Lựa chọn thủ công Bảng 3.2 Kết thực nghiệm với phương pháp lựa chọn thủ công Số Trung Run Walk Jump Dance 0.0% 93.3% 14.3% 18.2% 49.4% 0.0% 93.3% 14.3% 13.6% 48.8% 0.0% 94.7% 30.9% 13.6% 53.7% 13 0.0% 96.0% 28.5% 18.2% 54.3% 23 78.3% 98.7% 81.0% 31.9% 82.1% 11 78.3% 98.7% 81.0% 36.4% 82.7% 78.3% 98.7% 81.0% 41.0% 83.3% xương Tất (29) bình b Phương pháp PCA 100.00% 90.00% 80.00% 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 11 14 17 20 34 49 53 69 123 Hình 3.1 Sự biến thiên tỉ lệ nhận dạng PCA 22 c Phương pháp LDA 100.00% 90.00% 80.00% 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 35 117 125 138 145 152 161 163 Hình 3.2 Sự biến thiên tỉ lệ nhận dạng LDA 3.2.2 Giai đoạn thứ hai Bảng 3.25 Kết giai đoạn thực nghiệm thứ hai Hoạt động Run Walk Jump Dance Run 78.3% 17.4% 4.3% 0.0% Walk 0.0% 100% 0.0% 0.0% Jump 0.0% 14.3% 85.7% 0.0% Dance 0.0% 9.1% 9.1% 81.8% 3.3 ĐÁNH GIÁ Với toán nhận dạng hành động khơng gian 3D, với phương pháp trích chọn đặc tính thủ cơng sử dụng nhóm có 11 xương để xây dựng mơ hình huấn luyện nhận dạng 23 Từ kết thực nghiệm với hai phương pháp trích chọn đặc tính PCA, LDA ta thấy: với cở sở liệu độ xác cao PCA 90.1%, độ xác cao LDA 85.8% Như trường hợp này, PCA cho kết tốt LDA Kết thực nghiệm cho thấy PCA hiệu việc tối ưu hóa việc thể biên thiên liệu Còn LDA hiệu việc phân ly liệu dựa vào đo lường đặc trưng So sánh kết áp dụng trích chọn đặc tính khơng áp dụng trích chọn đặc tính thấy khác biệt lớn Vì trích chọn đặc tính ln bước quan trọng việc xây dựng hệ thống nhận dạng hành động người Biểu đồ hình 3.3 so sánh kết phương pháp 120 Thủ Công PCA Walk Jump LDA Kết hợp 100 80 60 40 20 Run Dance Trung bình Hình 3.3 Thống kê kết phương pháp 24 KẾT LUẬN Nhận dạng hành động người ứng dụng rộng rãi nhiều lĩnh vực khác sống Kết hợp hai phương pháp nghiên cứu lý thuyết thực nghiệm, luận văn trình bày tổng quan nhận dạng hành động người không gian 3D Bao gồm phương pháp thu thập liệu chuyển động 3D, giải thuật học máy thường sử dụng đặc biệt phương pháp trích chọn đặc tính Bên cạnh đó, luận văn nghiên cứu đề xuất mơ hình nhận dạng kết hợp có trọng số phương pháp trích chọn đặc tính khác với độ xác cao Kết thực nghiệm cho thấy mơ hình đề xuất cho kết nhận dạng tốt so với mơ hình truyền thống Ngồi q trình thực nghiệm tìm nhóm xương có ảnh hưởng lớn đến việc thể đặc trưng hành động người không gian 3D Tuy nhiên, việc kết hợp sử dụng song song phương pháp làm giảm hiệu mơ hình nhận dạng Do hướng nghiên cứu đề tài nâng cao hiệu hệ thống sử dụng kết hợp nhiều phương pháp khác ... hành động người không gian 3D, liệu chuyển động 3D, phương pháp trích chọn, lựa chọn đặc tính 5.2 Về mặt thực tiễn Đề xuất, xây dựng mơ hình nhận dạng hành động người không gian 3D sử dụng phương... đưa nhận xét, đánh giá 8 CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 NHẬN DẠNG HÀNH ĐỘNG NGƯỜI TRONG KHÔNG GIAN 3D Từ năm 1980, nhận dạng hành động người lĩnh vực quan trọng nghiên cứu thị giác máy tính Các... nghiên cứu 4.1 Nghiên cứu lý thuyết Về phần lý thuyết, luận văn tập trung nghiên cứu tổng quan nhận dạng hoạt động người khơng gian 3D, tập trung vào kỹ thuật thu thập liệu chuyển động 3D phương pháp