Tóm tắt luận án: Nghiên cứu biểu diễn và nhận dạng đối tượng chuyển động dựa trên đại số hình học bảo giác và học máy.

Nghiên cứu biểu diễn và nhận dạng đối tượng chuyển động dựa trên đại số hình học bảo giác và học máy.Nghiên cứu biểu diễn và nhận dạng đối tượng chuyển động dựa trên đại số hình học bảo giác và học máy.Nghiên cứu biểu diễn và nhận dạng đối tượng chuyển động dựa trên đại số hình học bảo giác và học máy.Nghiên cứu biểu diễn và nhận dạng đối tượng chuyển động dựa trên đại số hình học bảo giác và học máy.Nghiên cứu biểu diễn và nhận dạng đối tượng chuyển động dựa trên đại số hình học bảo giác và học máy.

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN NĂNG HÙNG VÂN NGHIÊN CỨU BIỂU DIỄN VÀ NHẬN DẠNG ĐỐI TƯỢNG CHUYỂN ĐỘNG DỰA TRÊN ĐẠI SỐ HÌNH HỌC BẢO GIÁC VÀ HỌC MÁY Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 62 48 01 01 TĨM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - 2021 Cơng trình hồn thành tại: ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS.TS Kanta Tachibana TS Phạm Minh Tuấn Phản biện 1: ……………………… …………………… Phản biện 2: ……………………… …………………… Phản biện 3: ……………………… …………………… Luận án bảo vệ trước Hội đồng chấm luận án cấp Đại học Đà Nẵng Vào hồi … ngày tháng …… năm …… Có thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam; - Trung tâm Thông tin Học liệu Truyền thông, ĐH Đà Nẵng MỞ ĐẦU Ngày nay, khoa học công nghệ phát triển tạo khối lượng liệu lớn từ hệ thống giao dịch điện tử, hệ thống lưu trữ liệu đa phương tiện ứng dụng cảm biến internet vạn vật (internet of things) Sự phát triển công nghệ thúc đẩy nhà nghiên cứu chuyển từ thu, nhận liệu mức thấp sang nghiên cứu tích hợp mức cao có khả phân tích, nhận dạng dự báo vấn đề xảy Do đó, ngày nhiều tốn thực tế giải quyết, đặc biệt lĩnh vực nhận dạng đối tượng chuyển động không gian để hỗ trợ cho hệ thống an ninh, nhà thông mình, bệnh viện thơng minh, v.v trí tuệ nhân tạo Dữ liệu sinh hệ thống ngày lớn phức tạp, mơ hình học máy thường sử dụng phép biến đổi tuyến tính để biểu diễn liệu giả sử liệu phân phối mặt phẳng, nên trường hợp liệu phân bố dạng cong siêu cầu đối tượng chuyển động khơng gian kết xử lý khơng cao Vì vậy, luận án đề xuất nghiên cứu biểu diễn đối tượng chuyển động dựa đại số hình học bảo giác (CGA) để nhận dạng hành động người CGA mở rộng từ không gian thực N chiều cách thêm hai vectơ sở sử dụng phép biến đổi để chuyển vectơ không gian thực thành tập hợp điểm không gian CGA Dữ liệu phân bố phức tạp không gian tối ưu phương pháp xấp xỉ liệu dạng siêu phẳng siêu cầu vectơ không gian CGA biểu diễn dạng điểm, mặt phẳng, siêu phẳng siêu cầu Vì vậy, sử dụng CGA để biểu diễn đối tượng chuyển động đơn giản xác Mục tiêu nghiên cứu Mục tiêu luận án nghiên cứu đại số hình học bảo giác để biểu diễn đối tượng chuyển động phức tạp khơng gian Trên sở đó, đề xuất mơ hình kết hợp đại số hình học bảo giác với học máy để nâng cao hiệu nhận dạng đối tượng chuyển động không gian hành động người Đặc biệt, luận án tập trung vào vấn đề nghiên cứu sau đây: - Thứ nhất, luận án nghiên cứu tổng quan biểu diễn liệu không gian phương pháp biểu diễn liệu học máy Tổng quan đại số hình học, đại số hình học bảo giác tìm hiểu số mơ hình học máy sử dụng phổ biến - Thứ hai, luận án nghiên cứu đề xuất kết đại số hình học bảo giác với học máy để phân cụm liệu cho mơ hình Markov ẩn huấn luyện nhận dạng - Thứ ba, từ ưu điểm đại số hình học bảo giác để biểu diễn đối tượng chuyển động không gian, luận án đề xuất sử dụng CGA thay cho PCA để tối ưu hóa liệu mơ hình học máy PCR áp dụng cho nhận dạng hành động người - Thứ tư, luận án đề xuất giảm chiều liệu phương pháp trích chọn đặc trưng sử dụng đại số hình học bảo giác kết hợp với mạng nơ ron hồi quy (RNN) để nhận dạng hành động người - Thứ năm, luận án kiểm chứng mơ hình đề xuất cách xây dựng mơ hình thực nghiệm dựa phương pháp đề xuất để đánh giá chọn mơ hình tốt Nhằm đáp ứng hiệu phương pháp đề xuất, luận án tiến hành thiết lập thử nghiệm liệu chụp chuyển động Trường Đại học Carnegie Mellon, USA (CMU) [95] với nhiều hành động khác người Các thực nghiệm tiến hành với nhiều tham số khác để so sánh, đánh giá phân tích kết thu để từ đưa hướng nghiên cứu phù hợp cho luận án Cấu trúc Luận án Trên sở nhiệm vụ nghiên cứu, để đạt mục tiêu đề đảm bảo tính hợp lý vấn đề nghiên cứu, phần mở đầu, phần kết luận hướng phát triển, luận án cấu trúc với ba chương nội dung chương sau: Chương Phương pháp biểu diễn đối tượng chuyển động học máy Giới thiệu tổng quan phương pháp biểu diễn liệu không gian phương pháp biểu diễn liệu học máy, trọng vào phương pháp biểu diễn đối tượng chuyển động cách sử dụng đại số hình học bảo giác Chương Đề xuất phương pháp biểu diễn đối tượng chuyển động d ựa đại s ố hình học bảo giác Trình bày đại số hình học với toán tử, phép phản xạ phép quay sử dụng để giải vấn đề không gian nhiều chiều; đại số hình học bảo giác giới thiệu phương pháp xấp xỉ siêu phẳng siêu cầu Trình bày đề xuất áp dụng đại số hình học bảo giác để biểu diễn đối tượng chuyển động khơng gian Trong đó, tập trung vào đề xuất kết hợp đại số hình học bảo giác với mơ hình hỗn hợp Gauss lượng tử hóa vectơ để phân cụm liệu, phương pháp kết hợp CGA với PCR để phân lớp liệu phương pháp trích chọn đặc trưng đối tượng dựa vào CGA Cuối phần kết luận đánh giá ưu điểm, nhước điểm mơ hình đề xuất cần thiết việc kết hợp đại số hình học với học máy Chương Triển khai thực nghiệm đánh giá kết Trình bày vi ệc xây d ựng mơ hình thực nghiệm dựa mơ hình đề xuất liệu đối tượng chuyển động Mơ hình phân cụm liệu sử dụng CGA kết hợp với HMM, mơ hình phân lớp PCR sử dụng CGA phương pháp trích chọn đặc trưng CGA kết hợp với RNN Cuối kết luận đánh giá kết thử nghiệm để từ đưa hướng nghiên cứu luận án Đóng góp Luận án Luận án nghiên cứu mặt lý thuyết, xây dựng mô hình đề xuất tiến hành thực nghiệm để có kết định lượng cao mong đợi Các đóng góp luận án bao gồm nội dung sau: Đóng góp thứ luận án đề xuất phương pháp phân cụm liệu cách sử dụng đại số hình học bảo giác kết hợp với mơ hình Markov ẩn để huấn luyện nhận dạng Cụ thể là: - Hàm mật độ xác suất phân phối Gauss biểu diễn liệu cách tối ưu khoảng cách từ điểm đến vectơ trung bình phân phối liệu thường gom cụm với dạng hình chng, tức liệu gần tâm phân bố dày liệu xa tâm phân bố thưa Nên liệu phân bố phức tạp khơng gian hình cong hay siêu cầu hàm mật độ Gauss thường biểu diễn khơng xác Vì vậy, luận án đề xuất phương pháp kết hợp CGA với hàm mật độ Gauss để biểu diễn đối tượng chuyển động có phân bố liệu phức tạp không gian - Phương pháp phân cụm liệu sử dụng thuật toán k-means để phân tách liệu thành k cụm dựa vào toán tối ưu khoảng cách Euclid từ điểm đến trọng tâm cụm, tức khoảng cách từ điểm đến điểm mặt phẳng Luận án đề xuất phân cụm liệu sử dụng đại số hình học bảo giác để tối ưu khoảng cách từ điểm đến trọng tâm (vectơ đại diện) cụm điểm, mặt phẳng siêu cầu khơng gian CGA Vì vậy, trường hợp liệu phân bố phức tạp hình cầu hình cong đề xuất biểu diễn xác Đóng góp thứ hai luận án đề xuất phương pháp sử dụng CGA thay cho PCA để xác định phương sai mơ hình phân lớp liệu sử dụng phương pháp hồi quy thành phần (PCR) Cụ thể là: - Phương pháp hồi quy thành phần tìm tọa độ lớp cho phương sai liệu chiếu lên hệ trục nhỏ nhất, tức PCR giải toán tối ưu cho lớp cách sử dụng thuật toán PCA để tìm phương sai liệu nhỏ lớp Luận án đề xuất phương pháp PCR kết hợp với đại số hình học bảo giác để giải toán tối ưu cách xác định từ điểm đến vectơ khơng gian CGA để tìm phương sai (giá trị riêng) nhỏ lớp liệu Đóng góp thứ ba luận án đề xuất phương pháp gi ảm chi ều d ữ li ệu b ằng cách trích chọn đặc trưng sử dụng đại số hình học bảo giác Cụ thể là: - Phương pháp giảm chiều liệu thông thường sử dụng thuật toán PCA LDA để hệ trục tọa độ xác định phương sai đối tượng hệ trục Tuy nhiên, luận án đề xuất phương pháp trích chọn đặc trưng sử dụng đại số hình học bảo giác xác định phương sai cách tối ưu hàm khoảng cách từ điểm đến vectơ đại diện không gian CGA (vectơ điểm, đường, siêu phẳng siêu cầu) Phương pháp đề xuất phù hợp cho liệu phân bố phức tạp dạng hỗn hợp siêu phẳng siêu cầu khơng gian Đóng góp thứ tư luận án đề xuất phương pháp tiền xử lý liệu đầu vào cho phương pháp trích chọn đặc trưng đối tượng nhằm nâng cao hiệu nhận dạng hành động người Cụ thể là: - Khi người di chuyển khớp di chuyển theo liệu khớp phân bố phức tạp không gian Tuy nhiên, số trường hợp người di chuyển có khớp khơng dịch chuyển dịch chuyển (dịch chuyển khơng đáng kể) Vì vậy, lấy liệu tất khớp để trích chọn đặc trưng huấn luyện liệu lớn, nên luận án đề xuất phương pháp tiền xử lý để chọn khớp có dịch chuyển lớn Phương pháp đề xuất xây dựng ma trận khoảng cách cặp khớp, tiếp đến lựa chọn khớp cách xác định phương sai cặp khớp nằm giá trị ngưỡng chọn - Hành động người không đồng với bộ, chạy hành động dịch chuyển tịnh tiến theo hướng Đối với hành động múa hay nhảy chuyển động diễn vị trí cố định Vì vậy, luận án đề xuất phương pháp tiền xử lý để đồng hành động lại với cách dịch tọa độ khớp để hành động diễn vị trí Kết nghiên cứu mở hướng biểu diễn đối tượng chuyển động khơng gian dựa vào đại số hình học bảo giác kết hợp đại số hình học bảo giác với mơ hình học máy Chương PHƯƠNG PHÁP BIỂU DIỄN ĐỐI TƯỢNG CHUYỂN ĐỘNG TRONG HỌC MÁY Trong chương 1, luận án trình bày vấn đề liên quan đến phương pháp biểu diễn liệu không gian biểu diễn đối tượng chuyển động dựa vào kỹ thuật học máy Đặc biệt khó khăn biểu diễn liệu đối tượng chuyển động không gian mà luận văn tập trung nghiên cứu 1.1 Phương pháp biểu diễn liệu không gian 1.1.1 Phương pháp biểu diễn liệu không gian vectơ Phương pháp biểu diễn liệu không gian vectơ phương pháp ánh xạ tập liệu vào không gian vectơ nhiều chiều phương pháp áp dụng hầu hết lĩnh vực khoa học máy tính Một khơng gian vectơ chứa dãy số, giá trị dãy số gọi phần tử vectơ viết xi để phần tử thứ i vectơ X Trong toán học, vectơ cột x1 x biểu diễn dạng X = [ ] vectơ hàng biểu diễn dạng X x = [x ⋮ xn … xn], x1, …, xn phần tử thứ i đến thứ n vectơ phần tử số thực ký hiệu X = {xi ∈ ℝ}, i∈ { 1, … , n} 1.1.2 Phương pháp biểu diễn liệu ma trận Phương pháp biểu diễn liệu ma trận phương pháp sử dụng phổ biến xử lý ảnh nhận dạng [12, 73] Một ma trận khái quát hóa để biểu diễn liệu hai trục gọi hàng cột Một ma trận A ∈ ℝ N×n gồm N hàng n cột có phần tử giá trị số thực, phần tử aij nằm hàng thứ i ∈ { 1, … , N} cột thứ j ∈ { 1, … , n} ma trận A Trong toán học, ma trận biểu diễn sau, a11 a12 … a1n a21 a22 … a2n A=[ ⋮ ⋮ ⋱ ⋮ ] aN1 aN2 … aNN Trong ma trận A ∈ ℝ N×n có số hàng số cột (N = n) ma trận A gọi ma trận vng Trong tính tốn, hoán đổi hàng cột ma trận A để có ma trận chuyển vị ký hiệu AT , B = AT bij = aji với i j Hai phương pháp biểu diễn liệu đầu vào ma trận kể đến mạng nơron tích chập [85] thuật tốnn P Viola [72] nhận dạng hình ảnh 1.1.3 Phương pháp biểu diễn liệu Ten-xơ Ten-xơ (tensor) [1] khái niệm phổ biến sử dụng để biểu diễn liệu nhiều chiều học máy Ten-xơ số thực với p bậc dạng tổng quát i=1 A ∈ ⊗p ℝNi i ∈ { 1, … , N} không gian Euclid ℝNi , trường hợp vectơ ( p = 1) ma trận ( p = 2) Các phần tử tenxơ xác định số chiều ten-xơ, trường hợp ten-xơ ba chiều ký hiệu A ∈ ℝ N×n×q , phần tử aijk nằm hàng thứ i ∈ { 1, … , N}, cột thứ j ∈ { 1, … , n} chiều sâu k ∈ { 1, … , q} ten-xơ A 1.2 Phương pháp biểu diễn đối tượng chuyển động học máy Học máy (tiếng Anh: Machine Learning) [14] có nhiều phương pháp thuật tốn khác Đồng thời có nhiều cách để phân loại thuật toán học máy, cách phân loại phổ biến chia học máy thành hai loại học có giám sát học khơng giám sát 1.2.1 Biểu diễn liệu dựa mơ hình xác suất Trong mơ hình học máy thơng thường liệu đầu vào lớn, xử lý toàn liệu đầu vào tốn nhiều chi phí tính tốn khơng gian lưu trữ Vì vậy, sử dụng tham số mơ hình xác suất trung bình, phương sai độ lệch chuẩn để thay cho liệu lớn làm giảm chi phí tính tốn lưu trữ 1.2.1.1 Mơ hình hỗn hợp Gauss Mơ hình hỗn hợp Gauss (tiếng Anh: Gaussian Mixture Model - GMM) [25, 40, 43] mơ hình phân phối xác suất quan trọng sử dụng phổ biến nghiên cứu nhận dạng hình ảnh, nhận dạng tiếng nói hành động [51, 89] GMM biểu diễn tổng trọng số hàm mật độ xác suất M phân phối Gauss [1] thành phần P1, P2, … , PM M (1.1) p(x) = Σ niN(x|µi, ∑i ) i=1 đó, x ∈ RD vectơ đặc trưng đối tượng cần biểu diễn không gian D chiều, ni M trọng số hỗn hợp thoả mãn điều kiện ≤ ni ≤ ∑ ni = 1, i ∈{1, … , M} số lượng i thành phần hàm mật độ Gauss 1.2.1.2 Mơ hình Markor ẩn Mơ hình Markov ẩn (tiếng Anh: Hidden Markov Model – HMM) [32, 53] công bố từ năm 1960 (đặt theo tên nhà toán học người Nga Andrei Andreyevich Markov), mơ hình thống kê hệ thống mơ hình hóa liệu theo thời gian trình tự Các tham số HMM trước nhiệm vụ xác định tham số ẩn từ tham số quan sát Do HMM có khả thay đổi cấu trúc dễ dàng độ xác cao huấn luyện, nên HMM ứng dụng phổ biến nhận dạng chữ viết [70], nhận dạng giọng nói [27, 79], nhân dạng hành động người [74], mơ hình nhận dạng ngơn ngữ tự nhiên [63], phân tích trình tự sinh học protein DNA [10, 22] 1.2.2 Phương pháp giảm chiều liệu Giảm số chiều liệu (tiếng Anh: Dimension Reduction) trình biến đổi liệu từ khơng gian có số chiều lớn sang khơng gian có số chiều nhỏ để giảm chi phí tính tốn khơng gian lưu trữ 1.2.2.1 Phân tích thành phần Phương pháp phân tích thành phần [36, 55, 64, 68] (tiếng Anh: Principal Components Analysis - PCA) thuật toán thống kê sử dụng phép biến đổi trực giao để Bởi vì, PCR giả sử liệu phân bố mặt phẳng siêu phẳng, PCR khơng thể biểu diễn xác trường hợp liệu phân bố siêu cầu đối tượng quay không gian Nên luận án đề xuất phương pháp phân lớp sử dụng PCR kết hợp với CGA để biểu diễn xác trường hợp liệu phân bố siêu cầu Hình 2.3 Hình 2.3: Dữ liệu phân bố hai lớp dạng hỗn hợp đối tượng chuyển động không gian Khi đó, thay cơng thức (2.67) cơng thức (2.59) để tính phương sai lớp Cuối cùng, đặc trưng trích chọn lớp xác định từ, ƒPCR_CGỈ;c (x) = (P Sc,k+1 , … , P Sc,N–k+1)T (2.71) N = NIN{n −1 , d} mức độ tự tập Xc vectơ x định nghĩa phân lớp đơn giản sau: ( ) ǁ y^ x = argNIN ƒPCR_CGỈ;c(x)ǁ (2.72) c Luận án đề xuất phương pháp PCR kết hợp với đại số hình học bảo giác để giải tốn tối ưu cách xác định từ điểm đến vectơ khơng gian CGA để tìm phương sai (giá trị riêng) nhỏ lớp liệu 2.3.2.3 Phương pháp PCR kết hợp với CGA để nhận dạng hành động Để nhận dạng hành động, phương pháp PCR sử dụng để phân lớp đối tượng xác định hành động thời điểm quan sát Hình 2.4 mơ hình đề xuất phương pháp PCR kết hợp với CGA để nhận dạng hành động người Trước tiến, liệu huấn luyện tiến hành tiền xử lý cách chọn khớp quan trọng Tiếp đến, xây dựng mơ hình huấn luyện từ kết hợp PCR CGA để phân lớp đối tượng Hình 2.4: Mơ hình đề xuất nhận dạng hành động dựa vào PCR kết h ợp với CGA 2.3.3 Phương pháp trích chọn đặc trưng sử dụng CGA kết hợp với RNN Hình 2.5 mơ hình đề xuất nhận dạng hành động người dựa phương pháp trích chọn đặc trưng sử dụng CGA kết hợp với RNN mơ hình gồm ba bước chính: Bước thứ xây dựng phương pháp tiền xử lý liệu, bước thứ hai trích chọn đặc trưng sử dụng CGA cuối sử dụng mơ hình RNN để huấn luyện nhận dạng hành động Hình 2.5: Phương pháp trích ch ọn đặc trưng sử dụng CGA kết hợp v ới RNN để nhận dạng hành động người 2.3.3.1 Phương pháp tiền xử lý cách dịch chuyển tọa độ 2.3.3.2 Phương pháp trích chọn đặc trưng sử dụng CGA kết hợp với RNN Mục đích trích chọn đặc trưng sử dụng CGA trích chọn thành phần ƒ(xi) từ cơng thức (2.62) sử dụng tập liệu ƒ(xi) để tạo liệu đầu vào cho mơ hình RNN huấn luyện Error! Reference source not found mơ hình biểu diễn liệu RNN, ứng với hình vng gọi trạng thái đầu vào trạng thái đầu trạng thái trước Trong đó, xi vectơ đặc trưng đầu vào CGA, ℎi = {ℎ1, … , nℎ} chuỗi vectơ ẩn y chuỗi vectơ đầu Đầu ℎi định nghĩa RNN là, ℎi = ƒM(Uℎi–1 + Wxi) (2.73) đó, ƒM hàm kích hoạt thường sử dụng hàm sigmoid tanh, U hệ số ma trận xi–1 xi, W ma trận hệ số kết nối ℎi ℎi–1 Bởi có giá trị đầu nên y xác định thơng qua hàm kích hoạt softmax, y = softmax(Vℎn) (2.74) đó, V ma trận hệ số chuyển đổi xn thành y 2.5 Kết luận chương Trong chương này, luận án đề xuất ba phương pháp biểu diễn đối tượng chuyển động dựa đại số hình học bảo giác kết hợp với mơ hình học máy để phân cụm, trích chọn đặc trưng, huấn luyện nhận dạng đối tượng Đóng góp chương bao gồm nội dung sau: - Đóng góp thứ đề xuất phương pháp phân cụm liệu cách sử dụng đại số hình học bảo giác kết hợp với mơ hình hỗn hợp Gauss phương pháp lượng tử hóa vectơ dựa đại số hình học bảo giác cho HMM huấn luyện nhận dạng đối tượng - Đóng góp thứ hai đề xuất kết hợp phương pháp hồi quy thành phần với đại số hình học để xây dựng mơ hình huấn luyện liệu nhận dạng đối tượng chuyển động - Đóng góp thứ ba đề xuất mơ hình nhận dạng đối tượng chuyển động dựa vào phương pháp trích chọn đặc trưng CGA kết hợp với mạng nơron hồi quy Chương TRIỂN KHAI THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ Các thực nghiệm dựa mơ hình đề xuất sau: - Thực nghiệm 1: Nhận dạng hành động người dựa vào phân cụm liệu sử dụng CGA kết hợp với HMM Mục đích thực nghiệm để so sánh tỷ nhận dạng hành động người xác mơ hình đề xuất phân cụm sử dụng CGA kết hợp với HMM mơ hình phân cụm sử dụng k-means kết hợp với HMM - Thực nghiệm 2: Nhận dạng hành động người dựa vào phương pháp PCR kết hợp với CGA Mục đích thực nghiệm để xem xét khả áp dụng CGA học máy so sánh tỷ lệ nhận dạng hành động người mơ hình đề xuất phương pháp PCR kết hợp với CGA phương pháp PCR kết hợp với PCA - Thực nghiệm 3: Nhận dạng hành động người dựa vào phương pháp trích chọn đặc trưng sử dụng CGA kết hớp với RNN Mục đích thực nghiệm để so sánh tỷ lệ nhận dạng xác phương pháp đề xuất trích chọn đặc trưng sử dụng CGA kết hợp với RNN phương pháp trích chọn đặc trưng sử dụng PCA kết hợp với RNN Các thực nghiệm tiến hành liệu CMU [95] để điều chỉnh tham số mơ hình đề xuất chọn mơ hình có khả nhận dạng người tốt 3.1 Dữ liệu thực nghiệm 3.1.1 Đối tượng chuyển động không gian 3.1.2 Bộ liệu chuyển động CMU 3.1.3 Dữ liệu thực nghiệm Luận án sử dụng liệu CMU để tiến hành thực nghiệm mơ hình đề xuất Bảng 3.1 liệu cụ thể với 08 hành động bao gồm: dance, jump, kicking, placingTee, putt, run, swing, walk với tổng cộng 19,862 khung hình, khung hình có 41 kh ớp x ương tọa độ (x, y, )z Trong đó, 60% liệu sử dụng để huấn luyện 40% liệu sử dụng để kiểm tra Bảng 3.1: Bộ liệu CMU hành động người Số khung hình (frame) Hành động (action) Huấn luyện Kiểm tra Tổng cộng Dance 3,305 1,577 4,882 Jump 1,198 846 2,044 Kick 1,605 1,163 2,768 Placing Tee 1,487 1,096 2,583 Putt 1,534 974 2,508 Run 452 322 774 Swing 1,324 977 2,301 Walk 1,074 928 2,002 Tổng cộng 11,979 7,883 19,862 3.2 Nhận dạng hành động dựa phân cụm CGA kết hợp với HMM 3.2.1 Kết thực nghiệm 3.2.1.1 Các tham số mơ hình Trong q trình lượng tử hóa vectơ tạo lỗi lượng tử làm cho tỷ lệ nhận dạng xác giảm xuống Vì vậy, cần phải tối ưu hóa tham số mơ hình lỗi lượng tử nhỏ tốt, vấn đề giải cách tăng dần số phân cụm (k) Trong thực nghiệm này, số phân cụm chọn tăng dần từ k = có kết tốt số trạng thái ẩn chọn N = (states = 5) Để đảm bảo kết xác, ứng với phân cụm (mỗi giá trị k) tiến hành thực thi 200 lần tỷ lệ nhận dạng xác trung bình cộng 200 thực thi 3.2.1.2 Kết thực nghiệm Mục đích thực nghiệm đánh giá tỷ lệ nhận dạng xác mơ hình đề xuất nhận dạng hành động người, có hai thực nghiệm chính: - Thực nghiệm 1: Phương pháp lượng tử hóa vectơ dựa phân cụm liệu kmeans (k- means_HMM) kết hợp với HMM nhận dạng hành động người di chuyển - Thực nghiệm 2: Phương pháp lượng tử hóa vectơ dựa đề xuất phân cụm liệu sử dụng CGA (CGA_Clustering_HMM) kết hợp với HMM để nhận dạng hành động người di chuyển Thực nghiệm tiến hành với số scale tăng dần từ scale = đến scale = 20, số phân cụm tăng dần từ đến (classnum = ÷ 5) Bảng 3.2 kết thực nghiệm Bảng 3.2: Bảng so sánh kết nhận dạng hành động sử dụng CGA clustering thuật toán k-means HMM k-means-HMM CGA clustering-HMM (%) (%) Số cụm Số scale 59,30 65,75 72,57 77,30 49,25 69,75 5 51,75 86,95 10 59,85 54,80 10 61,80 63,75 10 49,75 65,75 10 70,35 63,30 Kết Bảng 3.2 cho thấy, số phân cụm tỉ lệ nhận dạng phương pháp phân cụm k-means đạt ngưỡng cao 72.57% phương pháp đề xuất CGA_Clustering số phân cụm đạt ngưỡng cao 86.95% cao phân cụm kmeans 14,38% 3.2.2 Đánh giá kết Từ phương pháp đề xuất kết thực nghiệm cho thấy, ưu điểm lượng tử hóa vectơ đề xuất sử dụng phương pháp phân cụm liệu với cụm liệu có tâm ck liệu cụm vi tiến tiến hành cách tối ưu khoảng cách từ vi đến trọng tâm ck từ cơng thức (2.45) Trong đó, Thuật tốn k-means tối ưu hàm bình phương khoảng cách vectơ vi, t trọng tâm ck phân cụm thứ k dạng từ điểm đến điểm Trong đó, phương pháp đề xuất CGA_Clustering sử dụng phương pháp xấp xỉ siêu cầu để tối ưu hàm khoảng cách từ điểm pi, tđến vectơ trọng tâm ck điểm, mặt phẳng siêu cầu khơng gian CGA Vì vậy, sử dụng phương pháp CGA_Clustering biểu diễn đối tượng chuyển động xác độ phức tạp hai thuật toán 3.3 Nhận dạng hành động dựa vào phương pháp PCR kết hợp với CGA 3.3.1 Các phương pháp thực nghiệm Kịch thực nghiệm tiến hành cách cho số khớp tăng dần (từ đến 41) để so sánh kết nhận dạng dựa vào mơ hình đề xuất, cụ thể: - Thực nghiệm 1: Sử dụng phương pháp không chọn khớp kết hợp với PCR để huấn luyện (Non marker selection – nosl) - Thực nghiệm 2: Sử dụng phương pháp lựa chọn khớp kết hợp với PCR (Proposed marker selection – sl) - Thực nghiệm 3: Sử dụng phương pháp không chọn khớp kết hợp mơ hình đề xuất PCR CGA (Non marker selection + Proposed feature extraction – nosl_cga_pcr) - Thực nghiệm 4: Sử dụng mơ hình đề xuất lựa chọn khớp kết hợp với PCR CGA (Proposed marker selection + Proposed feature extraction – sl_cga_pcr) Các phương pháp thực nghiệm thực nhằm mục đích so sánh kết trích chọn đặc trưng sử dụng CGA PCR trích chọn đặc trưng sử dụng PCA PCR 3.3.2 Kết thực nghiệm Thực nghiệm tiến hành cách cho tăng dần số khớp từ đến 41 khớp bốn phương pháp đề xuất thực nghiệm kết cụ thể phương pháp sau: - Thực nghiệm 1: Sử dụng phương pháp không chọn khớp kết hợp với PCR để huấn luyện (Non marker selection – nosl) Tức là, sử dụng PCR để huấn luyện liệu không sử dụng phương pháp tiền xử lý lựa chọn khớp Thực nghiệm này, kết nhận dạng thấp đạt 54.3% - Thực nghiệm 2: Sử dụng phương pháp tiền xử lý lựa chọn khớp kết hợp với PCR (Proposed marker selection – sl) Thực nghiệm này, có cải thiện kết nhận dạng nhiên đạt 63.1% - Thực nghiệm 3: Sử dụng phương pháp không chọn khớp kết hợp PCR CGA (Non marker selection + Proposed feature extraction – nosl_cga_pcr) Hình 3.1: Mơ hình khớp xương mật độ phân bố liệu khớp lhumerus Hình 3.1 phân bố liệu phức tạp khớp lhumerus cánh tay trái người thực hành động dance Nếu sử dụng PCA để biểu diễn liệu khơng xác khớp xương thực nhiều hoạt động tạo nhiều vòng quay Nên, sử dụng CGA để biểu diễn liệu xác phân bố liệu Vì vậy, so với thực nghiệm 1, sử dụng để trích chọn đặc trưng CGA làm cho kết thực nghiệm tăng nhiều từ 54.3% lên 81.2% - Thực nghiệm 4: Sử dụng mơ hình đề xuất tiền xử lý lựa chọn khớp kết hợp với PCR CGA (Proposed marker selection + Proposed feature extraction – sl_cga_pcr) Thực nghiệm này, thực chất kết hợp phương pháp thực nghiệm thực nghiệm 3, tức lựa chọn khớp mơ hình kết hợp PCR CGA huấn luy ện nh ận dạng Kết thực nghiệm Hình 3.2 cho thấy phương pháp đề xuất cần 34 khớp kết nhận dạng đạt tỷ lệ cao 88,9% sử dụng hết tất Tỉ lệ nhận dạng khớp kết kết cao 81,2% non ma 147 10 11 ma rke phương pháp đề xuất sử dụng PCR kết hợp với CGA để Hình 3.2: K 12 16t 20 21 ế rke r , 25 26 28 33 nhận dạng hành đồng người r sel 34 36 39 41 sel ec Số khớp 3.3.3 Đánh giá kết0 ect to n , on Từ kết quả6 Hình 3.3 88, cho thấy phương pháp đề xuất PCR kết hợp với CGA có kết 9% nhận dạng tốt nh0ất 88,9%, cao phương pháp khác phương pháp đề xuất cho , 81,vẫn cho kết tốt sử dụng tất khớp thấy sử dụng 34 khớp 2% , Tỉ lệ nhận dạng (%) 8 noslslnosl , , , , _cga_pcrsl 8_cga_pcr Các kết 0phương 2pháp đề 0xuất thực Hình 3.3: So sánh kết 0nghiệm phương pháp đề xuất thực nghiệm 3.4 Nhận dạng hành động dựa vào phương pháp CGA kết hợp với RNN Thực nghiệm thực để kiến chứng so sánh phương pháp trích chọn đặc trưng sử dụng PCA kết hợp với RNN phương pháp trích chọn đặc trưng sử dụng CGA kết hợp với RNN nhận dạng hành động người, mơ hình thực nghiệm trình bày Hình 2.5 3.4.1 Kết thực nghiệm 3.4.1.1 Nhận dạng hành động dựa mơ hình RNN Bảng 3.3: Kết so sánh sử dụng phương pháp tiền xử lý mơ hình huấn luyện RNN Thực nghiệm Kết sử dụng RNN Kết liệu gốc Kết tiền xử lý Train Test Train Test 72.57% 70.97% 87.11% 84.45% Mục đích thực nghiệm so sánh phương pháp tiền xử lý dịch chuyển tọa độ không sử dụng phương pháp tiền xử lý sử dụng mơ hình RNN để huấn luyện Kết từ Bảng 3.3 cho thấy phương pháp dịch chuyển tọa độ có kết nhận dạng 84.45% cao nhiều so với giữ nguyên tọa độ đạt 70,97% Tỉ lệ nhận dạng 3.4.1.2 Kết kết hợp PCA với RNN 0110,97998 0,905216 3P4 5P6 C , 10C11 12 Hình 81314A15 A 16 1718_19 _20 02122Tr23 T24 25 , 2627ai28 e n st Số chiều 3.4: Kết nhận dạng kết hợp PCA RNN Thực nghiệm thực với gian đoạn: Tiền xử lý, trích chọn đặc trưng PCA sử dụng RNN để huấn luyện Khi số chiều tăng lên kết nhận dạng tăng theo số chiều 25 kết huấn luyện (PCA_Train) 97,9% kết nhận dạng (PCA_Test) 90,5% Từ đây, tiếp tục tăng số chiều lên kết khơng tăng có xu hướng giảm dần, xem kết hội tụ số chiều 25 3.4.1.3 Kết kết hợp CGA với RNN Thực nghiệm tiến hành dựa mơ hình đề xuất Hình 2.5 Khi cho số chiều tăng dần kết biểu đồ Hình 3.5 cho thấy tăng theo Tuy nhiên, so với phương pháp trích chọn đặc trưng PCA số chiều kết nhận dạng đạt ngưỡng cao 92,52% Vậy vậy, kết luận việc trích chọn đặc trưng sử dụng CGA kết hội tụ nhanh nhận đầy đủ thuộc tính đối tượng Kết tỉ lệ huấn luyện (CGA_Train) cao đạt 98,1% số chiều tỉ lệ nhận dạng (CGA_Test) cao Tỉ lệ nhận dạng 92,52% số chiều C C 0,9807 01 G G , 0,925296 A 9A 10111213141 , _ _ 51617181920 3.5: Tr Hình T 21222324252 e , 62728 3.4.2 Đánh giá kế4t n st Kết nhận dạng kết hợp CGA RNN Số chiều Kết Bảng 3.4 kết trung bình sau năm lần thực nghiệm, ngồi có số trường hợp kết đạt đến giá trị tuyệt đối Kết phương pháp đề xuất trích chọn đặc trưng sử dụng CGA kết hợp với RNN cao trích chọn đặc trưng sử dụng PCA kết hợp với RNN 2% Bảng 3.4: So sánh kết hai phướng pháp đề xuất Phương pháp đề xuất Kết PCA_RNN CGA_RNN Train Test Train Test 98% 90,5% 98,1% 92,52% 3.5 Kết luận chương Chương tiến hành thực nghiệm tất phương pháp đề xuất để điều chỉnh tham số mơ hình thực nghiệm có đánh giá, so sánh kết với phương pháp trước KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận án Luận án đạt mục tiêu đặc ban đầu, tên luận án “Nghiên cứu biểu diễn nhận dạng đối tượng chuyển động dựa đại số hình học bảo giác học máy” đ ạt số kết sau: - Luận án nghiên cứu vấn đề biểu diễn liệu không gian phương pháp biểu diễn liệu học máy, từ đề xuất áp dụng đại số hình học bảo giác để biểu diễn đối tượng chuyển động không gian - Luận án đề xuất phương pháp phân cụm liệu cách kết hợp đại số hình học bảo giác với hàm mật độ xác suất phân phối Gauss để tạo chuỗi liệu HMM - Luận án đề xuất lượng tử hóa vectơ cách sử dụng đại số hình học bảo giác để tối ưu hàm khoảng cách kết hợp với HMM để nhận dạng hành động người di chuyển - Luận án đề xuất xây dựng mơ hình huấn luyện liệu cách kết hợp PCR với CGA để nhận dạng hành động người - Luận án đề xuất phương pháp trích chọn đặc trưng giảm số chiều liệu cách sử dụng đại số hình học bảo giác kết hợp CGA với RNN để nhận dạng hành động người Cuối cùng, luận án thực nghiệm phương pháp đề xuất liệu giả lập chuyển động MCU Kết thực nghiệm cho thấy phương pháp đề xuất có kết cao áp dụng phương pháp đề xuất luận án để nhận dạng hành động người Bảng 3.5: Tổng hợp kết phương pháp đề xuất STT Phương pháp Độ xác Dữ liệu thực nghiệm Thực nghiệm tiến hành k-means HMM 72,57% CGA HMM 86,95% PCR 63,1 % CGA_PCR 88,9% động có nhiều khung hình PCA_RNN 90,5% khung hình có 41 khớp tọa độ 3D CGA_RNN 92,52% liệu CMU với hành động người (dance, jump, kicking, placingTee, putt, run, swing, walk), hành Đánh giá kết Luận án trình bày kết nghiên cứu sử dụng đại số hình học bảo giác để biểu diễn đối tượng chuyển động kết hợp với mơ hình học máy HMM, PCR RNN để nhận dạng hành đơng người Luận án có tính thực tiễn cao xu hướng tạo video từ thiết bị đơn giản, ứng dụng để giám sát, điều khiển để hệ thống tự động hóa để thay người Luận án đề xuất phương pháp phân cụm liệu trích chọn đặc trưng đối tượng chuyển động mở hướng nghiên cứu thay cho lý thuyết trước k- means, hàm mật độ xác suất Gauss PCA So với mục tiêu đặt ban đầu, đánh giá kết đạt luận án sau: - Nghiên cứu tổng quan trình bày đầy đủ vấn đề liên quan đến đại số hình học, đại số hình học bảo giác số mơ hình học máy khả ứng dụng chúng Từ thấy lý ưu điểm việc ứng dụng đại số hình học bảo giác để biểu diễn đối tượng chuyển động không gian - Đối với hàm mật độ xác suất Gauss tối ưu hàm khoảng cách từ điểm đến điểm phân phối biểu diễn có dạng hình chng nên xấp xỉ liệu gom cụm với nhau, với liệu chuyển động quay hay liệu phân bố dạng siêu cầu hàm mật độ Gauss biểu diễn khơng xác Nên luận án kết hợp hàm mật độ Gauss với CGA để phân cụm liệu đối tượng chuyển động cách sử dụng phương pháp xấp xỉ siêu phẳng siêu cầu để xác định tính phương sai phân cụm - Đối với phương pháp lượng tử hóa vectơ số nghiên cứu trước sử dụng thuật toán k-means để tối ưu khoảng cách sử dụng trọng tâm làm đại diện cho cụm, nên biểu diễn đối tượng chuyển động hay quay cho k ết đạt 72,57% Trong đó, phương pháp đề xuất phân cụm CGA_Clustering trọng tâm cụm vectơ điểm, mặt phẳng hay siêu c ầu, nên biểu diễn đối tượng chuyển chuyển động khơng gian xác kết nhận dạng đạt 86,95% - Phương pháp phân lớp PCR sử dụng thuật toán PCA để giảm số chiều lớp nên gặp hạn chế biểu diễn đối tượng chuyển động quay, nên kết nhận dạng đạt 63,1% Mơ hình đề xuất kết hợp PCR với CGA để phân lớp có kết tốt 88,9% - Việc nhận dạng hành động người tiến hành hành động, luận án đề xuất sử dụng CGA để biểu diễn chuyển động đối tượng sử dụng PCR để làm giảm số chiều liệu Kết thực nghiệm tiến hành 41 khớp xương 123 chiều nhận thấy với số khớp 34 kết nhận dạng tốt 88,9% - Đối với liệu phân phối phức tạp số chiều lớn nghiên cứu trước thường sử dụng phương pháp trích chọn đặc trưng PCA multi-class LDA để giảm số chiều liệu, giảm thời gian tính tốn dung lượng lưu trữ Luận án đề xuất sử dụng CGA để trích chọn đặc trưng đối tượng sau kết hợp với RNN để huấn luyện Kết nhận dạng cao phương pháp đề xuất đạt 92,52%, sử dụng phương pháp trích chọn đặc trưng sử dụng PCA kết hợp với RNN kết cao 90,5% Trong nghiên cứu kết cơng bố có so sánh đánh giá kết quả, ưu điểm chọn phương pháp nghiên cứu Nên cơng trình nghiên cứu có tính khả thi cao kết tốt, nghiên cứu mở hướng xử lý ảnh nhận dạng hành động người Hướng nghiên cứu Ngoài kết đạt luận án, số vấn đề đặt để tiếp tục nghiên cứu: - Luận án nghiên cứu số mơ hình học máy để kết hợp với CGA Nên cần phải tiếp tục nghiên cứu thêm số mơ hình học máy khác tương lai để kết hợp với CGA để có đánh giá kết cụ thể - Luận án tiến hành kiểm chứng thực nghiệm liệu mẫu MCU, nên cần thực nghiệm liệu khác tiếp tục nghiên cứu triển khai hệ thống thực tế để đánh giá mơ hình tương lai - Nghiên cứu áp dụng hành động mức thấp dance, jump, kicking, placingTee, putt, run, swing walk mà chưa áp dụng hành động mức cao với thời gian tồn lớn lau nhà, ngắm cảnh Tóm lại, luận án “Nghiên cứu biểu diễn nhận dạng đối tượng chuyển động dựa đại số hình học bảo giác học máy” đạt mục tiêu đặt ra, mô hình đ ề xuất thực nghiệm liệu CMU cho kết cao Vì vậy, tương lai cần phát triển thêm để ứng dụng vào liệu thực có thêm nhận dạng hành vi cử người buồn ngủ, trạng thái vui, buồn hay hành động trộm cắp, đánh người… BỐ DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CƠNG [1] Nguyễn Năng Hùng Vân, Phạm Minh Tuấn, Tachibana Kanta “Nhận dạng chuyển động quay dựa mơ hình Markov ẩn Conformal Geometric Algebra”, Tạp chí Khoa học Cơng nghệ Đại học Đà Nẵng, số 1(72), 2, năm 2014 [2] Nguyễn Năng Hùng Vân, Phạm Minh Tuấn, Tachibana Kanta, “CGA clustering based vector quantization approach for Human activity recognition using discrete Hidden Markov Model”, Tạp chí Khoa học Cơng nghệ Đại học Đà N ẵng, s ố: 12(85), quy ển 1, năm 2014 [3] Nguyễn Năng Hùng Vân, Phạm Minh Tuấn, Ung Nho Dãi, “Mơ hình tr ọng s ố k ết hợp phương pháp trích chọn đặc tính nhận dạng hành động người”, Kỷ yếu Hội thảo quốc gia Điện tử, Viễn thông Công nghệ Thông tin REV2015, năm 2015 [4] Nang Hung Van NGUYEN, Minh Tuan PHAM, Phuc Hao DO “Marker Selection for Human Activity Recognition Using Combination of Conformal Geometric Algebra and Principal Component Regression”, In Proceedings of the Seventh International Symposium on Information and Communication Technology, papers 274-379, (SoICT 2016), December 08-09, ISBN 978-1-4503-4815-7, DOI: 10.1145/3011077.3011133 (ACM ICPS, ACM Digital Library and DBLP) [5] Nguyen Nang Hung Van, Pham Minh Tuan, Do Phuc Hao, Pham Cong Thang, and Kanta Tachibana, “Human action recognition method based on Conformal Geometric Algebra and Recurrent Neural Network”, Journal of Information and Control Systems, ISSN 1684-8853 (print); ISSN 2541-8610 (online), no (108)/2020, DOI: 10.31799/1684-8853-2020-5-2-11 (Scopus) ... cứu luận án Chương ĐỀ XUẤT PHƯƠNG PHÁP BIỂU DIỄN ĐỐI TƯỢNG CHUYỂN ĐỘNG DỰA TRÊN ĐẠI SỐ HÌNH HỌC BẢO GIÁC Chương 2, luận án đề xuất phương pháp biểu diễn đối tượng chuyển động dựa đại số hình học. .. án Luận án đạt mục tiêu đặc ban đầu, tên luận án ? ?Nghiên cứu biểu diễn nhận dạng đối tượng chuyển động dựa đại số hình học bảo giác học máy” đ ạt số kết sau: - Luận án nghiên cứu vấn đề biểu diễn. .. hành động lại với cách dịch tọa độ khớp để hành động diễn vị trí Kết nghiên cứu mở hướng biểu diễn đối tượng chuyển động khơng gian dựa vào đại số hình học bảo giác kết hợp đại số hình học bảo giác