Mô hình trọng số kết hợp các phương pháp trích chọn đặc tính trong nhận dạng hành động người

Bài viết tập trung vào nghiên cứu và xây dựng mô hình mới về nhận dạng hành động người, trong đó trọng tâm là phương pháp trích chọn đặc tính PCA, LDA nhằm giảm số chiều và độ lớn của dữ liệu, góp phần nâng cao độ chính xác khi nhận dạng. Trước tiên, từ dữ liệu chuyển động 3D, chúng tôi tiến hành tiền xử lý và trích chọn đặc tính của các đối tượng. Tiếp đến, xây dựng các mô hình nhận dạng ứng với mỗi phương pháp trích chọn đặc tính, sử dụng mô hình SVM để huấn luyện. Mời các bạn cùng tham khảo!

Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thơng Tin (ECIT 2015) MƠ HÌNH TRỌNG SỐ KẾT HỢP CÁC PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TÍNH TRONG NHẬN DẠNG HÀNH ĐỘNG NGƯỜI Nguyễn Năng Hùng Vân, Phạm Minh Tuấn, Ung Nho Dãi Khoa Công nghệ Thông tin, Trường Đại học Bách khoa, Đại học Đà Nẵng Email : nguyenvan@dut.udn.vn, pmtuan@dut.udn.vn, dai.n.ung@gmail.com Tóm tắt – Nhận dạng hành động người (tiếng Anh: Human Activity Recognition - HAR) lĩnh vực nghiên cứu quan trọng thị giác máy tính Khó khăn lớn hệ thống HAR liệu từ camera thông dụng quay hướng, dẫn đến thiếu hụt liệu dẫn đến kết nhận dạng thấp Bài báo này, tập trung vào nghiên cứu xây dựng mô hình nhận dạng hành động người, trọng tâm phương pháp trích chọn đặc tính PCA, LDA nhằm giảm số chiều độ lớn liệu, góp phần nâng cao độ xác nhận dạng Trước tiên, từ liệu chuyển động 3D, chúng tơi tiến hành tiền xử lý trích chọn đặc tính đối tượng Tiếp đến, xây dựng mơ hình nhận dạng ứng với phương pháp trích chọn đặc tính, sử dụng mơ hình SVM để huấn luyện Cuối cùng, sử dụng phương pháp trọng số để kết hợp kết mơ hình nhận dạng đưa kết cuối Bài báo tiến hành thực nghiệm liệu CMU Mocap cho thấy tỷ lệ nhận dạng phương pháp đề xuất cao so với phương pháp trước Từ khóa - Nhận dạng hành động người; Phương pháp phân tích thành phần chính; Phân tích biệt thức tuyến tính; Máy vector hỗ trợ I GIỚI THIỆU Từ năm 80 kỷ trước, nhận dạng hành động người nhận quan tâm, nghiên cứu nhà khoa học khắp giới Các kết nghiên cứu ứng dụng rộng rãi nhiều lĩnh vực khác hệ thống an ninh, y học, giao thông giao tiếp người máy [1] Trong năm gần đây, nghiên cứu lĩnh vực nhận dạng hành động người chủ yếu tập trung vào nghiên cứu nhận dạng từ video quay camera thơng dụng Khó khăn lớn liệu từ camera thông dụng quay hướng, dẫn đến thiếu hụt liệu, kết hợp nhiều camera khơng đảm bảo thu tồn hoạt động, đồng thời giảm hiệu trình nhận dạng Nhằm khắc phục khó khăn trên, năm gần có số nghiên cứu phương pháp thu thập liệu 3D hay sử dụng hệ thống chụp chuyển động dựa vào “marker” Motion Capture [2] sử dụng stereo camera chụp chuyển động 2D từ nhiều hướng khác để dựng thành mô hình 3D, gần dùng thiết bị cảm biến chiều sâu chuyên dụng Microsoft Kinect [3] Từ liệu 3D thu được, báo trình bày số phương pháp trích chọn đặc tính phân tích thành phần (Principal Components Analysis - PCA) [4] phân tích biệt thức đa lớp (Multi-class Linear ISBN: 978-604-67-0635-9 119 119 Discriminant Analysis - Multi-class LDA) [5] nhằm nâng cao kết nhận dạng hành động người Điểm chung hai phương pháp làm giảm số lượng thuộc tính liệu nhận dạng trước xây dựng mơ hình huấn luyện đồng thời tăng hiệu nhận dạng Mỗi phương pháp trích chọn đặc tính khác cho kết nhận dạng khác Bài báo sử dụng phương pháp trọng số để kết hợp phương pháp trích chọn đặc tính nhằm nâng cao hiệu nhận dạng Nội dung báo trình bày nghiên cứu liên quan gồm phương pháp trích chọn đặc tính PCA, LDA phương pháp máy vectơ hỗ trợ (Support Vector Machine – SVM) Sau báo trình bày phương pháp đề xuất Cuối trình bày kết thực nghiệm đánh giá dựa liệu CMU Mocap [2] II NGHIÊN CỨU LIÊN QUAN Trong phần này, báo trình bày vấn đề liên quan đến nghiên cứu PCA, Multi-class LDA phương pháp nhận dạng sử dụng SVM A Phương pháp phân tích thành phần - PCA Phương pháp phân tích thành phần [4] (Principal Components Analysis - PCA) thuật toán thống kê sử dụng phép biến đổi trực giao để biến đổi tập hợp liệu từ không gian nhiều chiều sang khơng gian chiều Phép biến đổi dựa việc tìm trục không gian cho phương pháp liệu chiếu lên trục lớn Thay giữ lại trục tọa độ không gian cũ, PCA xây dựng khơng gian chiều hơn, lại có khả biểu diễn liệu tốt tương đương không gian cũ, mà đảm bảo phương sai liệu chiều lớn Hình minh họa kết việc xây dựng không gian PCA y a x b y z a) Không gian liệu ban đầu b) Khơng gian liệu Hình Minh họa PCA Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Giải sử cho tập liệu huấn luyện 𝐗𝐗 = {𝑥𝑥𝑖𝑖 |𝑥𝑥𝑖𝑖 ∈ 𝑹𝑹𝑑𝑑 }, i ∈ {1 … n} Với 𝒙𝒙𝒊𝒊 vectơ thuộc không gian 𝑑𝑑 chiều, 𝑛𝑛 số lượng vectơ tập 𝐗𝐗 Bước 1: Tiền xử lí Có hai cách tiền xử lí thường dùng cho PCA Centered PCA Normed PCA [4] - Centered PCA phương pháp mang trọng tâm tất vectơ tọa độ gốc: ̂ = {𝑥𝑥̂𝑖𝑖 }, 𝐗𝐗 𝑥𝑥̂𝑖𝑖 = 𝑥𝑥𝑖𝑖 − µ µ trọng tâm tất vectơ tập 𝐗𝐗, tính cơng thức: 𝑛𝑛 µ = ∑ 𝑥𝑥𝑗𝑗 𝑛𝑛 𝑗𝑗𝑗𝑗 - Normed PCA phương pháp mang trọng tâm tất vectơ tọa độ gốc, đồng thời chuẩn hóa liệu độ lệch chuẩn 1: ̃ = {𝑥𝑥̃𝑖𝑖 } 𝐗𝐗 𝒙𝒙̃𝒊𝒊 vectơ n chiều (𝑥𝑥̃ ̃ ̃ ̃ 𝑖𝑖1 … , 𝑥𝑥 𝑖𝑖𝑖𝑖 … , 𝑥𝑥 𝑖𝑖𝑖𝑖 ), 𝑥𝑥 𝑖𝑖𝑖𝑖 tính bởi: 𝑥𝑥𝑖𝑖𝑖𝑖 − µ 𝑥𝑥̃ 𝑖𝑖𝑖𝑖 = 𝜎𝜎𝑘𝑘 với 𝑛𝑛 𝜇𝜇𝑘𝑘 = ∑ 𝑥𝑥𝑗𝑗𝑗𝑗 𝑛𝑛 B Phân tích biệt thức tuyến tính đa lớp – multi-class LDA Phân tích biệt thức tuyến tính đa lớp (Multi-class Linear Discriminant Analysis – multi-class LDA) phương pháp phân tích biệt thức tuyến tính toán phân loại đa lớp xây dựng việc cải tiến phương pháp phân tich biệt thức tuyến tính hai lớp (Liner Discriminant Analysis – LDA) [5] Multi-class LDA tìm trục vectơ 𝒖𝒖 cho tất liệu chiếu trục 𝒖𝒖 có độ phân ly lớn Cho tập liệu huấn luyện có gán nhãn: 𝐗𝐗 𝐗 𝐗𝐗𝐗𝐗𝑖𝑖 , 𝑦𝑦𝑖𝑖𝑖 )|𝒙𝒙𝒊𝒊 ∈ 𝑹𝑹𝑑𝑑 , y ∈ {1 … 𝑙𝑙}}; i ∈ {1 … n} Với 𝒙𝒙𝑖𝑖 vectơ thứ 𝑖𝑖 tập huấn luyện thuộc không gian 𝑑𝑑 chiều, 𝑦𝑦𝑖𝑖 nhãn 𝒙𝒙𝑖𝑖 Khi đó, độ phân ly liệu huấn luyện chiếu trục vectơ 𝒖𝒖 biểu diễn sau: 𝒖𝒖T Sb 𝒖𝒖 𝒖𝒖Sw 𝒖𝒖 đó, Sb ma trận phân tán liên hợp (within class scatter matrix), tính cơng thức: 𝑙𝑙 Sb = ∑ 𝑛𝑛𝑐𝑐 (𝜇𝜇𝑐𝑐 − 𝜇𝜇)(𝜇𝜇𝑐𝑐 − 𝜇𝜇)T ∈ 𝑹𝑹𝑑𝑑×𝑑𝑑 𝑐𝑐=1 đó, 𝜇𝜇𝑐𝑐 trọng tâm lớp 𝑐𝑐 𝑛𝑛𝑐𝑐 số lượng vectơ có lớp 𝑐𝑐 𝜇𝜇 𝑛𝑛 trọng tâm số lượng tất liệu có tập huấn luyện 𝑗𝑗𝑗𝑗 𝑛𝑛 ∑(𝑥𝑥𝑗𝑗𝑗𝑗 − 𝜇𝜇𝑘𝑘 )2 𝜎𝜎𝑘𝑘 = √ 𝑛𝑛 𝑛 𝑛 𝑗𝑗𝑗𝑗 𝜎𝜎𝑗𝑗 phương sai cột thứ 𝑗𝑗 X Trong báo này, phương pháp Centered PCA sử dụng để trích chọn đặc tính nhận dạng Bước 2: Xây dựng khơng gian Tính ma trận hiệp phương sai (covariance) ̂, Gọi 𝐗𝐗 ∗ = [𝑥𝑥𝑥1 … 𝑥𝑥𝑥𝑛𝑛 ] ∈ 𝑅𝑅𝑛𝑛𝑛𝑛𝑛 ma thuộc tính 𝐗𝐗 trận chứa tất vectơ huấn luyện ∗ ∗𝐓𝐓 𝐕𝐕 𝐕𝐕𝐕𝐕 𝐗𝐗 Do tích ma trận 𝐗𝐗 ∗ với chuyển vị nên 𝐕𝐕 𝐕𝐕𝐕𝐕𝑑𝑑𝑑𝑑𝑑𝑑𝑑 ma trận có kích thước 𝑑𝑑 𝑑 𝑑𝑑 Bài tốn xây dựng không gian thực cách giải tốn tìm giá trị riêng sau, với 𝒖𝒖 vectơ riêng 𝐕𝐕: 𝐕𝐕𝐕𝐕𝐕 𝐕𝐕𝐕 Bước 3: Chuyển liệu từ không gian ban đầu sang không gian Thông thường không gian không xây dựng tất 𝑑𝑑 vectơ riêng 𝑅𝑅𝑑𝑑 , mà thông thường sử dụng 𝑘𝑘 vectơ riêng Gọi ma trận 𝐔𝐔𝑃𝑃𝑃𝑃𝑃𝑃 = [ 𝒖𝒖1 ,𝒖𝒖2 … 𝒖𝒖𝑘𝑘 ] ∈ 𝑹𝑹𝑑𝑑×𝑘𝑘 Khi tọa độ điểm hệ tọa độ là: 𝐓𝐓 𝐅𝐅 = 𝐔𝐔𝑃𝑃𝑃𝑃𝑃𝑃 𝐗𝐗 ∗ ∈ 𝑹𝑹𝑛𝑛×𝑘𝑘 120 120 𝜇𝜇𝑐𝑐 = ∑ 𝒙𝒙𝑖𝑖 𝑛𝑛𝑐𝑐 𝑦𝑦𝑖𝑖 =𝑐𝑐 𝑛𝑛 𝜇𝜇 = ∑ 𝒙𝒙𝑖𝑖 𝑛𝑛 𝑖𝑖=1 Sb ma trận phân tán nội lớp (within - class scatter matrix), tính bởi: 𝑛𝑛 T Sb = ∑(𝒙𝒙𝑖𝑖 − 𝜇𝜇𝑦𝑦𝑖𝑖 )(𝒙𝒙𝑖𝑖 − 𝜇𝜇𝑦𝑦𝑖𝑖 ) ∈ 𝑹𝑹𝑑𝑑×𝑑𝑑 𝑖𝑖=1 𝜇𝜇𝑦𝑦𝑖𝑖 là trọng tâm lớp có nhãn 𝑦𝑦𝑖𝑖 Khi vectơ 𝒖𝒖 xác định bởi, 𝒖𝒖T Sb 𝒖𝒖 𝒖𝒖T Sw 𝒖𝒖 𝒖𝒖 Ta tìm vectơ 𝒘𝒘 cách giải tốn tìm giá trị riêng tổng quát sau: ̂ = argmax 𝒖𝒖 Sb 𝒖𝒖 𝒖𝒖𝒖w 𝒖𝒖 Việc chuyển liệu từ không gian ban đầu sang không gian tương tự phương pháp PCA C Máy Vector hỗ trợ Máy vectơ hỗ trợ (Support Vector Machine – SVM) [6] làm giải thuật học máy dựa lý thuyết học thống kê Giả sử cho trước n điểm không gian 𝑑𝑑 chiều (mỗi điểm thuộc vào lớp kí hiệu +1 1, mục đích giải thuật SVM tìm siêu phẳng (hyperplane) phân hoạch tối ưu cho phép chia điểm thành hai phần cho điểm lớp nằm phía với siêu phẳng Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thơng Tin (ECIT 2015) Xét tập liệu mẫu tách rời tuyến tính {(𝒙𝒙1 , 𝑦𝑦1 ), (𝒙𝒙2 , 𝑦𝑦2 ), … , (𝒙𝒙𝑛𝑛 , 𝑦𝑦𝑛𝑛 )} với 𝒙𝒙𝑖𝑖 ∈ 𝑹𝑹𝑑𝑑 𝑦𝑦𝑖𝑖 ∈ {−1, 1} Siêu phẳng phân tập liệu thành hai lớp siêu phẳng tách rời liệu thành hai lớp riêng biệt với lề (margin) lớn Tức là, cần tìm siêu phẳng phân tách liệu H: 𝒘𝒘 ∙ 𝒙𝒙 + b = hai siêu phẳng H1, H2 song song với H có khoảng cách đến H Với điều kiện khơng có phần tử tập mẫu nằm H1 H2, đó: 𝒘𝒘 ∙ 𝒙𝒙 + b ≥ y=1 { 𝒘𝒘 ∙ 𝒙𝒙 + b ≤ y = −1 Kết hợp hai điều kiện ta có 𝑦𝑦𝑦𝑦𝑦𝑦𝑦𝑦 𝑦 𝑦𝑦 𝑦 𝑦 𝑦𝑦 Khoảng cách (còn gọi “lề”) siêu phẳng H1 H2 đến H ‖w‖ Bài tốn đặt tìm siêu phẳng Hsao cho lề lớn nhất, tức cần tìm min‖w‖ với ràng 𝑤𝑤𝑤𝑤𝑤 buộc 𝑦𝑦𝑦𝑦𝑦𝑦𝑦𝑦 𝑦 𝑦𝑦 𝑦 𝑦 𝑦𝑦 Bài tốn chuyển sang tốn tương đương dễ giải ‖w‖2 𝑤𝑤𝑤𝑤𝑤 với ràng buộc 𝑦𝑦𝑦𝑦𝑦𝑦𝑦𝑦 𝑦 𝑦𝑦 𝑦 𝑦 𝑦𝑦 Lời giải cho tốn tối ưu cực tiểu hóa hàm Lagrange: L(𝒘𝒘, 𝑏𝑏, 𝛼𝛼) = 𝑛𝑛 ‖𝒘𝒘‖2 − ∑ 𝛼𝛼𝑖𝑖 [𝑦𝑦𝑖𝑖 (𝒘𝒘 ∙ 𝒙𝒙𝑖𝑖 + 𝑏𝑏) − 1] 𝑖𝑖=1 Trong 𝛼𝛼 hệ số Lagrange, 𝛼𝛼 𝛼 𝛼 Sau người ta chuyển thành tốn đối ngẫu cực đại hóa hàm W(𝛼𝛼): max W(𝛼𝛼) = max (minL(𝒘𝒘, 𝑏𝑏, 𝛼𝛼)) 𝛼𝛼 𝛼𝛼 𝒘𝒘,𝑏𝑏 Giải toán ta 𝒘𝒘𝒘𝒘𝒘 𝛼𝛼 Việc phân lớp việc kiểm tra hàm dấu sign(𝒘𝒘 𝒘𝒘𝒘 + b) Hình minh họa siêu phẳng với lề cực đại không gian hai chiều Các phần tử nằm lề gọi vectơ hỗ trợ Hình Mơ hình đề xuất nhận dạng hành động A Q trình tiền xử lý Mơ hình xương 3D người có số lượng lớn đoạn xương, kết hợp với độ tự khớp làm tăng số chiều thuộc tính Hơn nữa, hành động người có thời gian dài ngắn khác nên trình tiền xử lý giải hai vấn đề:  Giảm số chiều thuộc tính cách giảm số lượng xương lựa chọn q trình trích chọn đặc tính Bài báo tham khảo phương pháp K Adistambha [7] việc lựa chọn nhóm xương thay cho tồn xương q trình nhận dạng mà đảm bảo độ xác mơ hình  Chuẩn hóa thời gian quan trắc liệu hành động người Bài báo chọn phương pháp đơn giản sử dụng thời gian hành động ngắn B Trích chọn đặc tính Mục đích tìm vectơ biểu diễn liệu với số chiều nhỏ liệu ban đầu đảm bảo hiệu nhận dạng hành động người Bài báo sử dụng phương pháp trình trích chọn đặc tính  Phương pháp trích chọn đặc tính thủ cơng [7] cách thực lựa chọn số nhóm xương từ tất xương quan trắc Việc xây dựng vectơ thuộc tính q trình tạo vectơ từ góc quay xương so với khớp quay chúng Nếu sử dụng 11 xương, xương quay tự theo hướng số chiều vectơ 11 × × frame Trong frame số số lượng quan trắc hành động Hình Siêu phẳng với lề cực đại không gian 2D III PHƯƠNG PHÁP ĐỀ XUẤT Bài báo kết hợp phương pháp trích chọn đặc tính sử dụng phương pháp trọng số nhằm nâng cao hiệu nhận dạng Giải pháp đề xuất tổng quát theo Hình bao gồm khối chức chính: Tiền xử lý, trích chọn đặc tính, học máy sử dụng SVM phương pháp trọng số 121  Phương pháp sử dụng PCA Sử dụng tất xương quan trắc được, tạo tất vectơ thuộc tính cho tất hành động người Sau đó, giải tốn tìm vectơ riêng không gian từ vectơ riêng có giá trị riêng lớn  Phương pháp sử dụng mutli-class LDA Tương tự cách sử dụng tất xương phương pháp PCA C Phương pháp trọng số Mỗi phương pháp trích chọn đặc tính cho kết khác có ưu điểm nhược điểm khác Kết hợp phương pháp trích chọn khắc phục nhược điểm 121 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) phương pháp Mỗi phương pháp trích chọn đặc tính thường có tỷ lệ nhận dạng khác nên báo đề sử dụng tỷ lệ nhận dạng việc xác định trọng số gán nhãn phương pháp đề xuất Cụ thể là, báo đề xuất việc xác định trọng số cách gán nhãn cho hành động cần nhận dạng sau: Giả sử ta có 𝑏𝑏 phương pháp trích chọn đặc tính 𝑐𝑐 loại hành động khác (cụ thể báo 𝑏𝑏 = 3, 𝑐𝑐 = 4) Các phương pháp đánh số thứ tự từ đến 𝑏𝑏; loại hành động gán nhãn từ đến 𝑐𝑐 Gọi 𝑓𝑓𝑖𝑖 nhãn hành động nhận dạng từ mơ hình sử dụng phương pháp trích chọn đặc tính 𝑖𝑖, 𝜔𝜔𝑖𝑖 tỷ lệ nhận dạng phương pháp trích chọn đặc tính 𝑖𝑖, 𝑖𝑖 𝑖 𝑖𝑖𝑖 𝑖 𝑖𝑖𝑖, 𝑓𝑓𝑖𝑖 ∈ {1 𝑚𝑚𝑚 điểm Bài báo này, sử dụng góc quay xương lưu trữ cấu trúc AMC Hình biễu diễn cấu trúc ASF Bài báo sử dụng liệu gồm 29 xương thể Hình Hình ví dụ hình ảnh 3D xương người dựng lại từ cấu trúc AMC Gọi 𝑝𝑝𝑗𝑗 trọng số để gán nhãn 𝑗𝑗 cho hành động cần nhận dạng, 𝑗𝑗 𝑗𝑗𝑗𝑗𝑗𝑗𝑗𝑗 Khi 𝑝𝑝𝑗𝑗 đươc xác định công thức sau: 𝑝𝑝𝑗𝑗 = ∑ 𝜔𝜔𝑖𝑖 𝑓𝑓𝑖𝑖 =𝑗𝑗 Nhãn 𝑓𝑓̂ cần tìm xác định sau: 𝑓𝑓̂ = argmax(𝑝𝑝𝑗𝑗 ) 𝑗𝑗 IV KẾT QUẢ THỰC NGHIỆM Hình Mơ hình xương [7] Bài báo sử dụng liệu 3D CMU Mocap việc kiểm chứng kết nhận dạng Quá trình thực nghiệm chia làm hai giai đoạn Giai đoạn thứ tiến hành xây dựng mơ hình nhận dạng với liệu đầu vào ứng với phương pháp trích chọn đặc tính khác Giai đoạn kết hợp phương pháp trích chọn đặc tính sử dụng tỉ lệ nhận dạng thu giai đoạn thứ A Dữ liệu 3D CMU Mocap Để theo dõi chuyển động đối tượng, Đại học Carnegie Mellon (CMU) [2] xây dựng phịng thí nghiệm gồm 12 camera hồng ngoại MX-40 lắp đặt xung quanh khơng gian hình chữ nhật có kích thước 3m×8m Một người mang áo liền quần có gắn marker bên di chuyển tự vùng ghi hình Các camera định vị marker sóng hồng ngoại Tín hiệu thu từ hệ thống camera xử lý cho kết cuối liệu dạng mơ hình hóa 3D thể người Một số cấu trúc định dạng khác sử dụng asf/amc, vsk/v, c3d, bvh, txt Bài báo sử dụng liệu định dạng cấu trúc ASF (Acclaim Skeleton File) AMC (Acclaim Motion Capture)  ASF mô tả gắn kết xương thể độ tự (degrees of freedom - dof) khớp ASF trạng thái ban đầu liệu chuyển động chứa thông tin chiều dài, hướng, độ tự xương  AMC chứa thơng tin thay đổi hệ thống khớp xương Dữ liệu hành động thay đổi theo thời gian nên AMC tạo thành nhiều frame, frame thể liệu gồm vị trí góc quay xương cho thời Hình Xương người 3D dựng lại từ AMC B Kết thực nghiệm Để tiến hành thực nghiệm báo chọn bốn hành động là: chạy (run), (walk), nhảy (jump) khiêu vũ (dance) Dữ liệu chia ngẫu nhiên thành ba nhóm khác Bảng Dữ liệu huấn luyện gồm 165 lượt hành động dùng việc xây dựng mô hình với PCA, multi-class LDA SVM Dữ liệu kiểm định gồm 163 lượt hành động dùng việc tìm tỷ lệ nhận dạng từ phương pháp trích chọn đặc tính liệu kiểm thử gồm 163 lượt hành động dùng để thử nghiệm kết cuối phương pháp đề xuất BẢNG THỐNG KÊ SỐ LƯỢNG DỮ LIỆU Hành động run walk jump dance Tổng Dữ liệu huấn luyện 24 75 43 23 165 Dữ liệu kiểm định 24 75 42 22 163 Dữ liệu kiểm thử 24 75 42 22 163 72 225 127 67 491 Tổng 1) Kết nhận dạng sử dụng phương pháp thủ công 122 122 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) BẢNG KẾT QUẢ CHI TIẾT KHI SỬ DỤNG TẤT CẢ 29 XƯƠNG Bài báo sử dụng phương pháp thủ cơng cách lựa chọn nhóm xương tham khảo từ kết nghiên cứu K Adistambha [7] Việc phân chia nhóm dựa nguyên tắc nhóm sau nhóm trước thêm vào số xương khác, chi tiết Hình 4:  Nhóm xương: root, lowerback, upperback  Nhóm xương = nhóm + thorax  Nhóm xương = nhóm + lowerneck, upperneck, head  Nhóm 11 xương = nhóm + left and right clavicle, left and right humerus  Nhóm 13 xương = nhóm 11+ left and right femur  Nhóm 17 xương = nhóm 13 + left and right radius, left and right tibia  Nhóm 23 xương = nhóm 17 + left and right wrist, left and right hand, left and right foot Việc thực nghiệm theo thứ tự này, có nghĩa bắt đầu với nhóm có xương nhất, sau thêm xương vào để sinh nhóm mới, cuối tìm mơ hình SVM có kết khả quan nhất, chi tiết Bảng run walk jump dance Tỷ lệ 0,0% 93,3% 14,3% 18,2% 49,4% 0,0% 93,3% 14,3% 13,6% 48,8% 0,0% 94,7% 30,9% 13,6% 53,7% 13 0,0% 96,0% 28,5% 18,2% 54,3% 23 78,3% 98,7% 81,0% 31,9% 82,1% 11 78,3% 98,7% 81,0% 36,4% 82,7% Tất (29) 78,3% 98,7% 81,0% 41,0% 83,3% jump dance run 78,3% 21,7% 0,0% 0,0% walk 0,0% 98,7% 1,3% 0,0% jump 0,0% 19,0% 81,0% 0,0% dance 0,0% 50,0% 9,0% 41,0% 2) Kết nhận dạng sử dụng PCA Đối với phương pháp PCA, thông số cần xác định số lượng vectơ riêng (chính số chiều khơng gian mới) để mơ hình nhận dạng có độ chích xác cao Hình biểu diễn biến thiên tỉ lệ nhận dạng số chiều thay đổi sử dụng PCA 100.00% 80.00% 40.00% 20.00% 0.00% 10 13 17 20 23 37 49 53 69 163 Hình Sự biến thiên tỉ lệ nhận dạng PCA Với số chiều tăng dần, độ xác tăng theo hình cưa đến giá trị ngưỡng (90.1% với số chiều 49), sau bắt đầu giảm dần trở thành đường thẳng số chiều lớn Bảng kết nhận dạng chi tiết với số chiều 49 PCA Ta thấy so với phương pháp thủ công, tỷ lệ nhận dạng hành động “dance” tăng đáng kể BẢNG KẾT QUẢ NHẬN DẠNG CHI TIẾT VỚI SỐ CHIỀU BẰNG 49 TRONG PCA BẢNG KẾT QUẢ CHI TIẾT KHI SỬ DỤNG 11 XƯƠNG run walk 60.00% Bảng kết nhận dạng chi tiết sử dụng 11 xương tất 29 xương Tỷ lệ thu thực nghiệm 11 xương trung bình 82,7% tương đối cao thấp so với việc sử dụng tất 29 xương 83.3% Vì sử dụng nhóm liệu gồm 11 xương phương pháp lựa chọn đặc tính việc xây dựng phương pháp trọng số mơ hình đề xuất nhận dạng hành động người Hành động run Tuy kết nhận dạng trung bình phương pháp sử dụng 11 xương cao loại hành động phức tạp “dance”, đặc tính liệu khơng thể rõ không gian tại, dẫn tới tỉ lệ nhận dạng thấp (36.4%) Các đặc tính hành động phức tạp thể rõ áp dụng phương pháp biến đổi để tìm khơng gian mới, mà độ biến thiên liệu cao BẢNG KẾT QUẢ THỰC NGHIỆM VỚI PHƯƠNG PHÁP THỦ CÔNG Số xương Hành động Hành động run walk jump dance run 78,3% 17,4% 4,3% 0,0% 1,3% dance 98,7% 0,0% jump walk 0,0% walk jump 0,0% 14,3% 85,7% 0,0% dance 0,0% 9,1% 9,1% 81,8% run 78,3% 8,7% 13,0% 0,0% walk 0,0% 98,7% 1,3% 0,0% jump 0,0% 19,0% 81,0% 0,0% dance 4,5% 45,5% 13,6% 36,4% 3) Kết nhận dạng sử dụng multi-class LDA Tương tự PCA, phương pháp multi-class LDA cần xác định số chiều liệu sau trích chọn để mơ hình nhận dạng xây dựng có độ xác cao Hình biểu diễn biến thiên tỉ lệ nhận dạng số chiều thay đổi sử dụng multi-class LDA So với PCA, tỷ lệ nhận dạng phương pháp multi-class LDA dễ tăng với số chiều nhỏ dễ học (over fitting) số chiều lựa chọn lớn 123 123 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) 60.00% Khi kết hợp phương pháp trích chọn đặc tính, tỉ lệ nhận dạng có tăng lên Tỉ lệ nhận dạng mơ hình kết hợp 90.7% cao 0.6% so với phương pháp trích chọn đặc tính tốt (90.1%) 40.00% BẢNG KẾT QUẢ NHẬN DẠNG CHI TIẾT CỦA MƠ HÌNH ĐỀ XUẤT 100.00% 80.00% 20.00% 0.00% Hành động run walk jump dance run 78,3% 17,4% 4,3% 0,0% walk 0,0% 100% 0,0% 0,0% jump 0,0% 14,3% 85,7% 0,0% dance 0,0% 9,1% 9,1% 81,8% 35 117 125 138 145 152 161 163 Hình Sự biến thiên tỉ lệ nhận dạng multi-class LDA Với số chiều 138, phương pháp multi-class LDA đạt kết nhận dạng cao 86% Bảng kết nhận dạng chi tiết với số chiều 138 multi-class LDA BẢNG KẾT QUẢ NHẬN DẠNG CHI TIẾT VỚI SỐ CHIỀU BẰNG 138 TRONG MULTI-CLASS LDA Hành động run walk jump dance run 78,3% 13,0% 4,3% 4,4% walk 0,0% 86,7% 10,7% 2,6% jump 0,0% 7,1% 92,9% 0,0% dance 9,1% 4,5% 9,1% 77,3% Từ kết thực nghiệm với hai phương pháp trích chọn đặc tính PCA, multi-class LDA, ta thấy với tập liệu huấn luyện kiểm định độ xác cao PCA 90.1%, độ xác cao multiclass 86.0% PCA cho kết tốt multi-class LDA C Phương pháp trọng số Với kết giai đoạn thực nghiệm trên, báo thu tỷ lệ nhận dạng phương pháp trích chọn đặc tính cho mơ hình phương pháp trọng số biễu diễn Bảng BẢNG TỶ LỆ NHẬN DẠNG THU ĐƯỢC Phương pháp Tham số Tỷ lệ nhận dạng Lựa chọn thủ công 11 83,3% PCA 49 90,1% Multi-class LDA 138 86,0% D Đánh giá kết Với tốn nhận dạng hành động khơng gian 3D, với phương pháp trích chọn đặc tính thủ cơng sử dụng nhóm có 11 xương để xây dựng mơ hình huấn luyện nhận dạng Giai đoạn thực nghiệm sử dụng phương pháp trọng số kết hợp mơ hình nhận dạng xây dựng từ phương pháp trích chọn đặc tính với giai đoạn thứ nhât Cuối cùng, báo sử dụng liệu kiểm thử để kiểm tra tỷ lệ nhận dạng Hình biễu diển tỷ lệ nhận dạng thành cơng mơ hình đề xuất (“Kết hợp”) so với phương pháp trích chọn đặc tính độc lập Bảng kết nhận dạng chi tiết mơ hình đề xuất Ngồi ra, sử dụng phương pháp trọng số kết hợp phương pháp trích chọn đặc tính khác độ xác mơ hình nhận dạng cải thiện (90.7% so với phương pháp tốt 90.1%) V KẾT LUẬN Nhận dạng hành động người ứng dụng rộng rãi nhiều lĩnh vực khác sống Kết hợp hai phương pháp nghiên cứu lý thuyết thực nghiệm, báo trình bày nhận dạng hành động người khơng gian 3D Bài báo trình bày phương pháp trích chọn đặc tính PCA, multi-class LDA phương pháp phân nhận dạng sử dụng SVM Bên cạnh đó, báo nghiên cứu đề xuất mơ hình trọng số kết hợp phương pháp trích chọn đặc tính khác với độ xác cao Kết thực nghiệm cho thấy mơ hình đề xuất cho kết nhận dạng tốt so với mơ hình truyền thống Kết nghiên cứu có ý nghĩa khoa học xã hội cao, góp phần mở hướng nghiên cứu nhận dạng hành động người TÀI LIỆU THAM KHẢO [1] 100.00% 95.00% [2] 90.00% 85.00% [3] 80.00% 75.00% 70.00% [4] Run Thủ công Walk PCA Jump LDA Dance Accuracy Kết hợp [5] [6] [7] Hình Thống kê kết phương pháp 124 124 TS Nguyễn Văn Giáp, KS Trần Việt Hồng “Kỹ thuật nhận dạng Tiếng nói ứng dụng điều khiển” Trường Đại học Bách Khoa TPHCM CMU Graphics Lab Motion Capture Database Carnegie Mellon University, Pennsylvania, United States Trang web: http://mocap.cs.cmu.edu/ Trần Việt Đức – Trương Minh Hiếu “Nghiên cứu ứng dụng Kinect vào việc trình chiếu tài liệu” Trường Đại học Lạc Hồng I.T Jolliffe, “Principal Component Analysis”, 2nd Edn., New York: Springer-Verlag 2002 Alan J.I, “Linear Discriminant Analysis”, Springer 2012 Steinwart, Ingo, Christmann, Andreas, "Support Vector Machines", Springer 2008 Adistambha K, Ritz C H, Burnett I S, “Motion Classification Using Dynamic Time Warping”, ICPR 2008, IEEE  ... xương phương pháp lựa chọn đặc tính việc xây dựng phương pháp trọng số mơ hình đề xuất nhận dạng hành động người Hành động run Tuy kết nhận dạng trung bình phương pháp sử dụng 11 xương cao loại hành. .. Khi kết hợp phương pháp trích chọn đặc tính, tỉ lệ nhận dạng có tăng lên Tỉ lệ nhận dạng mơ hình kết hợp 90.7% cao 0.6% so với phương pháp trích chọn đặc tính tốt (90.1%) 40.00% BẢNG KẾT QUẢ NHẬN... pháp trích chọn đặc tính độc lập Bảng kết nhận dạng chi tiết mơ hình đề xuất Ngồi ra, sử dụng phương pháp trọng số kết hợp phương pháp trích chọn đặc tính khác độ xác mơ hình nhận dạng cải thiện