Nghiên cứu ứng dụng đại số grassmann xây dựng hệ thống nhận dạng dữ liệu đa phương thức trong giao diện não máy tính 1

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM LƯƠNG DUY ĐỨC NGHIÊN CỨU ỨNG DỤNG ĐẠI SỐ GRASMANN ĐỂ XÂY DỰNG HỆ THỐNG NHẬN DẠNG DỮ LIỆU ĐA PHƯƠNG THỨC TRONG GIAO DIỆN NÃO-MÁY TÍNH Chuyên Ngành: Hệ thống Thơng tin Mã số: 848.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ NGÀNH HỆ THỐNG THÔNG TIN Đà Nẵng - Năm 2022 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC SƯ PHẠM - ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học TS Nguyễn Thị Ngọc Anh Phản biện 1: TS Phạm Anh Phương Phản biện 2: PGS.TS Huỳnh Xuân Hiệp Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ ngành Hệ thống thông tin họp Trường Đại học Sư phạm – Đại học Đà Nẵng vào ngày tháng năm 2022 Có thể tìm hiểu luận văn tại: Thư viện Trường Đại học Sư phạm – Đại học Đà Nẵng Khoa Tin học, Trường Đại học Sư phạm – Đại học Đà Nẵng MỞ ĐẦU Lý chọn đề tài Giao diện não – máy tính (BCI - Brain Computer Interface) hệ thống đo lường hoạt động hệ thần kinh trung ương (CNS – Central Nervous System) chuyển tín hiệu vào hệ thống máy tính nhằm mục đích thay thế, phục hồi, tăng cường hay cải thiện tín hiệu CNS để phục vụ cho mục đích nhiều lĩnh vực khác như: y học, tâm lý học, giáo dục quân Chính vậy, BCI có vai trị to lớn sống người với ứng dụng thực tiễn nhiều lĩnh vực khác Các nhà nghiên cứu nỗ lực việc phân tích liệu điện não đồ (EEG), điện từ (MEG) chức chụp cộng hưởng từ (fMRI), liệu thần kinh phổ biến sử dụng hệ thống không xâm lấn não thuộc giao thức BCI để phục vụ cho công trình nghiên cứu khoa học cho mục đích nói Điểm mấu chốt giao diện não-máy tính dựa phải xác định mơ hình hoạt động điện não trạng thái tinh thần khác áp dụng việc phân loại tín hiệu để truyền tải thơng tin Vì vậy, để đạt kết phân loại hiệu hiệu lực phương pháp phân tích tiền xử lý để xác định tính phân biệt có ý nghĩa coi điều kiện tiên -quyết cho hệ thống phân loại Giao diện não - máy tính có đặc điểm quan trọng: Dữ liệu đa phương thức: liệu đa chiều mà hoạt động não ghi lại từ cảm biến khác việc cung cấp thông tin khác Cấu trúc thời gian: xử lý chuỗi thời gian nhiệm vụ khó khăn kêu gọi công cụ cụ thể Những đặc điểm xác định ràng buộc mạnh mẽ giải pháp thu được chuyển giao cho ứng dụng khác Trong cơng trình nghiên cứu khoa học ngày BCI ứng dụng trọng lĩnh vực khoa học y sinh Một đặc điểm liệu BCI liệu đa phương thức ghi nhân thời gian thực EEG loại liệu BCI, đặc tính EEG chủ yếu đa phương thức phương pháp phân tích hầu hết dung ma trận chiều vector nên khai thác hết thông tin từ bên liệu tơi chọn đề tài: “Nghiên Cứu Ứng Dụng Đại Số Grassmann Xây Dựng Hệ Thống Nhận Dạng Dữ Liệu Đa Phương Thức Trong Giao Diện Não – Máy Tính” làm chủ đề nghiên cứu luận văn thạc sĩ Mục tiêu nghiên cứu Đề xuất luận văn quan tâm đến mơ hình khoa hoạc hoạt động não, phân tích hiểu vấn đề sóng não để đề tiến hành phân tích liệu đa phương thức hoạt động não dạng liệu BCI Để đạt điều này, luận văn ập trung vào phân tích liệu đa phương thức điện não đồ (EEG), liệu đặc biệt ghi nhận lượng lớn mảng cảm biến Để phân tích liệu đa phương thức luận văn áp dụng ứng dụng đại số Grassmann hay gòn gọi đại số Tensor, nhằm tối ưu việc để khai thác liệu thu Nghiên cứu tín hiệu điện não đồ (EEG), kỹ thuật trích chọn đặc trưng thơng qua thuật toán Tucker Decomposition thuật toán phục vụ cho việc phân tách phân lớp tính hiệu EEG (Phương pháp đề xuất dựa cải tiến thuật tốn phân rã Tucker để trích chọn đặc trưng cho liệu đa phương thức EEG, áp dụng KNN cho việc phân lớp liệu nhằm phục vụ cho việc giải mã tín hiệu điện não đồ Thách thức: Phân tích liệu đa chiều, chất BCI nên cần bảo toàn nguyên gốc liệu, khơng phá vỡ cấu trúc ngun thủy việc khai thác đặc trưng liệu Đối tượng phạm vi nghiên cứu Trong khuôn khổ luận văn thuộc loại nghiên cứu ứng dụng, đề tài giới hạn nghiên cứu vấn đề sau: − Nghiên cứu tổng quan não người, tính hiệu điện não đồ (EEG) − Nền tảng toán học đại số Grassman (Tensor) − Các phương pháp, thuật toán phân tích giảm số chiều, trích xuất đặc trưng Cải tiến thuật tốn mơ hình phân rã TUCKER dựa việc khai thác sử dụng thông tin lớp thuật tốn dựa tiêu chí phân biệt triển khai Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết − Thu thập nghiên cứu tài liệu có liên quan − Nghiên cứu lý thuyết đại số tensor − Nghiên cứu cấu trúc liệu bậc cao tensor − Nghiên cứu phương pháp xử lý liệu bậc cao gồm: phân rã Tucker để trích chọn đặc trưng cho liệu đa phương thức EEG, phương thức phân lớp liệu 4.2 Phương pháp thực nghiệm − Xây dựng kho liệu huấn luyện − Tiền xử lí liệu − Trích chọn đặc trưng phân lớp liệu − Xây dựng phương pháp trích chọn đặc trưng cho liệu đa phương thức động người Ý nghĩa khoa học thực tiễn luận văn 5.1 Ý nghĩa khoa học Đề xuất hệ thống nhận dạng liệu có cấu trúc bậc cao: phương pháp trích chọn đặc trưng cho liệu giao thức BCI dạng cấu trúc bật cao (cấu trúc Tensor) Sự kết hợp thuật toàn phân rã liệu Tucker Decomplostion liệu đa phương thức để trích chọn đặc trưng liệu 5.2 Ý nghĩa thực tiễn Đứng trước xu phát triển Internet vạn vật, thiết bị đời sống kết nối Internet, cảm biến phục vụ nhu cầu sức khỏe từ đồ dùng gia đình đến thiết bị cá nhân (tai nghe, điện thoại, đồng hồ) Điều góp phần khơng nhỏ việc tạo liệu y tế để góp phần nâng cao chất lượng sống người Điều đặt thách thức việc xử lý phân tích liệu cách xác đắn Đề tài nghiên cứu dựa liệu BCI nhằm mục tiêu đóng góp vào việc phân tích đưa đặc trưng liệu để phục vụ cho việc phân tích khoa đọc, cơng trình nghiên cứu hoạt động não khác Nội dung luận văn Luận văn gồm chương chính: Chương 1: Giới Thiệu Tổng Quan Về Đề Tài, Bộ Não Con Người, Điện Não Đồ Và Giao Diện Não-Máy Tính Trong chương này, luận văn trın ̀ h bày cách tổng quan não người, điện não đồ giao diện não-máy tính Chương 2: Cơ Sở Lý Thuyết Liên Quan Đến Các Vấn Đề Về Dữ Liệu Bậc Cao, Phân Rã Dữ Liệu Và Các Phương Pháp Trích Chọn Đặc Trưng Trong chương này, luận văn trıǹ h bày cách tổng quan sở lý thuyết liên quan đến vấn đề liệu bậc cao, phân rã liệu phương pháp trích chọn đặc trưng Chương 3: Xây dựng mơ hình – Thực nghiệm đánh giá mơ hình Từ sở lý thuyết tìm hiểu chương 2, chương đề xuất phương pháp phân rã Tucker thuật trích chọn đặc trưng áp dụng vào tốn phân tích liệu bậc cao Tensor - EEG Từ mơ hình xây dựng trên, luận văn tiến hành thực nghiệm 02 liệu BCI - EEG thực tế ERP (Event Related Potentials – kiện tiềm não) Graz (bộ liệu đại học Graz) Mơ hình cài đặt chạy thử thơng qua ngơn ngữ lập trình Matlab Chương 4: Kết luận hướng phát triển Sau nhiều lần thực nghiệm chương 3, cuối kinh nghiệm, kết luận, định hướng nghiên cứu phát triển luận văn CHƯƠNG GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI, BỘ NÃO CON NGƯỜI, ĐIỆN NÃO ĐỒ VÀ GIAO DIỆN NÃO-MÁY TÍNH 1.1 Đại số Grassmann liệu đa phương thức Đại số Grassmann biết đến giai đoạn tên gọi đại số ngồi (exterior algebra) hay cịn gọi đại số Tensor Tensor có ứng dụng hữu ích lĩnh vực khác toán học, vật lý, khoa học không gian, học Thế giới xung quanh tập hợp liệu nhiều phương thức, nhìn thấy đồ vật, nghe thấy âm thanh, cảm nhận kết cấu, ngửi mùi Nói cách tổng qt, mơ hình liệu đa phương thức bao gồm tập hợp đặc điểm liệu liệu mô tả cho đặc tính khác Các liệu biểu diễn dạng liệu thời gian thực mơ hình liệu bậc cao 1.2 Giao diện não-máy tính (BCI) Giao diện não máy tính (BCI), hệ thống để dịch hoạt động thần kinh não thành lệnh cho thiết bị bên ngồi Nói cách khác, BCI cung cấp đường giao tiếp cho đối tượng tương tác với môi trường xung quanh mà không cần sử dụng bắp Một hệ thống giúp ích cho người bị khuyết tật việc kiểm soát xe lăn, chân tay giả… Hình 1.1 Sơ đồ hoạt động hệ thống BCI Cấu trúc chung hệ thống BCI chia làm phần chính: − Việc thu thập tín hiệu − Xử lý tín hiệu, biến đổi liệu − Xuất lệnh từ thuật toán 1.2.1 Lịch sử hình thành phát triển giao diện não máy tính BCI 1.2.2 Giao diện não máy tính làm Các lĩnh vực hệ thống BCI thường chia làm ứng dụng chính: − Quan sát hành vi vơ thức người: nghiên cứu hoạt động sâu bên não thường ghi nhận người ngủ sâu để tìm trạng thái tâm thần hoạt động não chi phối thể − Ứng dụng thần kinh học: kết hợp với phương pháp ghi nhận thời gian thực để quan sát tín hiệu thần kinh ghi nhận với hành động tương ứng − Ứng dụng tương tác người máy: cung cấp phương thức giao tiếp người máy móc − Ứng dụng kỹ thuật sinh học: thiết bị điều khiển hoạt động người nhằm hỗ trợ bệnh nhân bị bại liệt 1.2.3 Cách hoạt động giao diện não máy tính Thực tế hệ thống BCI bao gồm ba mơ-đun: máy ghi tín hiệu, tiền xử lý tín hiệu mơ-đun phân loại [4] − Ghi nhận tín hiệu: Phần lớn hệ thống BCI nay, sử dụng tín hiệu hoạt động điện não, gọi điện não đồ EEG làm nguồn đầu vào ghi nhận trích xuất liệu Do phổ biến máy ghi điện não đồ không yêu cầu hoạt động xâm lấn Mục đích việc ghi nhận tín hiệu để đo lường, khuếch đại lọc tín hiệu EEG, trước chuyển đổi thành dạng kỹ thuật số chuyển sang mô-đun tiền xử lý − Tiền xử lý trước tín hiệu: Trong tiền xử lý tín hiệu đầu vào tín hiệu điện kỹ thuật số chuyển đổi thành dạng biểu đồ tín hiệu số Sự chuyển đổi bao gồm phân loại tín hiệu, lọc tín hiệu, phục hồi liệu ngồi cịn có phương pháp kết hợp kênh điện cực khác hình thức xử lý tín hiệu kỹ thuật số khác − Phân loại: Bước cuối chuỗi BCI mơ-đun phân loại Các tín hiệu thu sau trình tiền xử lý xếp phân đoạn tín hiệu danh mục định nghĩa Thông thường phân loại dựa số loại phần mềm tự học, thuật tốn trích chọn nhằm tạo mẫu quan trọng 1.2.4 Một vài vấn đề liên quan đến Giao diện não máy tính Có bốn thách thức đặt hệ thống BCI [5]: − Tỷ lệ truyền thông tin hệ thống thấp − Tỷ lệ lỗi trình thu nhận liệu cao tín hiệu não biến đổi liên tục khơng có tham số cố định − Tự chủ việc truyền nhận liệu khơng cao, cảm biến thường cần hỗ trợ người khác để lắp đặt − Khi có phân tâm não tạo tín hiệu khác nhau, làm cho tín hiệu thu nhận bị nhiễu nhiều Do hệ thống thu nhận BCI cần phải cải thiện nhiều để hoạt động mơi trường bình thường 1.3 Bộ não người điện não đồ Não quan phức tạp thể người Tất hoạt động vật lý thể xử lý điểu khiển não Não bao gồm mạng lưới thần kinh phức tạp có 86 tỷ tế bào Não nơi nhận diện xử lý cảm xúc, đói, khát, chuyển động thể Não kiểm sốt gần tất hoạt động cốt lõi cần thiết cho sống người Não hoạt động cách gửi nhận tín hiệu Não kết hợp với tủy sống để vận hành thể người máy độc lập vô phức tạp Não kết nối với tủy sống thông qua thân não (brain stem) 12 TUCKER xấp xỉ tensor đầu vào 𝑥 lõi tensor có kích thước nhỏ nhân với tích ma trận trải rộng không gian thích hợp mode; phân rã TUCKER tensor 𝑥 mang lại tensor nén cô đọng có kích thước giảm 𝒢 ∈ R 𝐽1 ×𝐽2 ×…×𝐽𝑁 so với tensor đầu 𝑥 vào nhân tố ma trận (𝑛) (𝑛) (𝑛) 𝐀(𝑛) = [𝐚1 , 𝐚2 , ⋯ , 𝐚𝐽𝑛 ] ∈ 𝐑𝐼𝑛 ×𝐽𝑛 với 𝑛 = 1,2, … , 𝑁 đại diện cho factors loadings Về tổng quan, với chế trích xuất đặc trưng đề tài, mục tiêu phương pháp phân rã TUCKER tìm kiếm N nhân tố tối ưu 𝐀(𝑛) không gian đặc trưng con, lõi tensor giảm 𝑔 biểu thị cho không gian không gian 𝐀(𝑛) với 𝐽𝑛 < 𝐼𝑛 [4 − 6] [34] [35] 2.6 Thuật toán K láng giềng gần K-Nearest Neighbor (KNN) 2.6.1 K-NN 2.6.2 Tính khoảng cách khơng gian vector 2.6.3 Một số NORM thường dung CHƯƠNG XÂY DỰNG MƠ HÌNH – THỰC NGHIỆM VÀ ĐÁNH GIÁ Trong chương này, phương pháp phân rã TUCKER cho liệu bậc cao mơ tả Theo đó, phương pháp cải tiến dựa phân rã TUCKER kết hợp việc trích chọn đặc trưng cho liệu thời gian bậc cao EEG cho việc nhận dạng liệu hệ thống BCI 3.1 Phương pháp đề xuất Việc xác định đặc tính phân biệt đặc tính biển diễn tốt dựa vào liệu ghi nhận mục tiêu quan trọng hệ thống học có giám sát chuỗi liệu thời gian bậc cao Đây mối quan tâm cho nghiên cứu hoạt động não để xác minh phương pháp đề xuất khai thác 13 tính ẩn đảm bảo cấu trúc tensor liệu gốc Do đó, phần phương pháp cải tiến dựa thuật toán phân rã TUCKER đồng thời dựa việc khai thác thông tin phân loại để tăng cường khả phân biệt từ thành phần trích xuất từ lớp khác trình bày Thuật tốn phân rã Tucker có hạn chế việc khai thác thơng tin dạng danh mục/nhóm, nhân tố có ảnh hưởng lớn tới việc phân lớp Trong luận văn tơi tập trung vào tìm kiếm liệu tensor cách sử dụng thông tin danh mục từ lớp cách thức khơng gian đặc tính phân biệt huấn luyện Do đó, mục đích phương pháp đề xuất tối ưu hóa liệu thu từ phân tách Tucker để đảm bảo tính tensor lõi phân biệt Giải thuật trích chọn đặc trưng thuật tốn sau: Input: Data concatenated tensor 𝒳 : Set of 𝐾 training samples with labels: 𝑥 (𝑘) ∈ 𝑅𝐼1 ×𝐼2 ×⋯×𝐼𝑁 , with 𝑘 = 1,2, … , 𝐾 Khởi tạo: 𝑨(𝑛) ∈ ℝ𝐼𝑛 ×𝐽𝑛 , 𝑛 ∈ {1,2, ⋯ , 𝑁} Lặp For 𝑛 = to 𝑁 % giả sử tất ma trận thừa số cố định ngoại trừ mode-n 𝑨(𝑛) % tính tốn ma trận phân tán lớp 𝒵˜ −𝑛 = 𝔛˜ ×−(𝑛,𝑁+1) {𝑨𝑇 }, 𝑆𝑤−𝑛 = ⟨𝒁˜−𝑛 , 𝒁˜−𝑛 ⟩ −𝑛 % tính toán ma trận phân tán lớp: ˘ −𝑛 ̅ −𝑛 ⟩ 𝒵˜ −𝑛 = 𝑿˘ ×−(𝑛,𝑁+1) {𝑨𝑇 }, 𝑺−𝑛 𝑏 = ⟨𝒁 , 𝑍 −𝑛 % Tìm hệ số phân biệt 𝑨 (𝑛) cách tối đa hóa tỉ lệ: 14 𝜑 = 𝑎𝑟𝑔 m 𝑨(1) (𝑛) 𝑡𝑟 [𝑨(𝑛)𝑇 𝑺−𝑛 ] 𝑏 𝑨 −𝑛 (𝑛) ] (𝑛)𝑇 [𝑨 𝑡𝑟 𝑺𝑤 𝑨 Kết thúc Cho đến (đạt hội tụ) Đầu ra: Tập hợp N ma trận nhân tố phân biệt 𝑨(𝑛) ∈ 𝑅𝐼𝑛 ×𝐽𝑛 , 𝑛 ∈ {1,2, ⋯ , 𝑁} Tập đào tạo tensor: 𝒢: 𝐽1 × 𝐽2 × ⋯ × 𝐽𝑁 × 𝐾 Trích chọn đặc tính: Trích xuất đặc tính trội bước tìm thấy tensor lõi, theo mẫu liệu thử nghiệm ă R1 ì2 ìì c chiu lờn cỏc khơng gian tính phân biệt ẩn xác định nhân tố A(𝑛) ước tính từ bước huấn luyện Khi mà nhân tố 𝐀(𝑛) trực giao với 𝐀(𝑛)𝑇 𝐀(𝑛) = 𝐈, đặc tính trích xuất mẫu thử nghiệm đạt c bng tensor-matrix products, nh sau: (3.8) ă ă ×1 𝐀(1)𝑇 ×2 𝐀(2)𝑇 ⋯ ×𝑁 𝐀(𝑁)𝑇 Triển khai ứng dụng Để đánh giá hiệu phương pháp đề xuất mặt hiệu thời gian xử lý tối ưu thuật tốn, tơi thực nghiệm 02 liệu chuỗi thời gian bậc cao thuộc lĩnh vực khoa học thần kinh tin sinh học EEG Môi trường thử nghiệm phân loại liệu thông qua chuỗi liệu bậc cao EEG máy tính có cấu Bảng 3.1 cài đặt phần mềm Matlab R2019b [43] 3.2 Bảng 3.1 Thông số thiết bị thực nghiệm Cấu hình Thơng số CPU i5-11500 @ 2.70GHz (12 CPUs) RAM 16 GB OS Windows 10 Pro - 21H1 GPU AMD Radeon RX 640 STT 15 Trong luận văn này, sử dụng liệu EEG: Bộ liệu ERP [44]: Là liệu công bố đại học kỹ thuật Đan Mạch (Technical University of Denmark) Bộ liệu công bố nhằm phục vụ cho nghiên cứu phát triển công cụ ERPWAVELAB (www.erpwavelab.org/) liệu gồm có hai phần “ERP 1” “ERP 2” thuộc nhóm nghiên cứu Morten Morup Lars Kai Hansen thuộc khoa Tin học mơ hình tốn học Bộ liệu Graz [45]: Là liệu cung cấp phịng thí nghiệm Giao diện Não-Máy tính (BCI-Lab) với Gert Pfurtscheller Alois Schlưgl thuộc đại học cơng nghệ Graz Áo (Graz University of Technology) Bộ liệu công bố nhằm phục vụ cho cơng trình nghiên cứu đại học Graz áp dụng vào thi BCI xuất trang web https://www.bbci.de/competition/iii/ với phần IIIa IIIb 3.2.1 Thực nghiệm liệu ERP (Event-related potentials) Kỹ thuật ERP sử dụng rộng rãi nghiên cứu khoa học thần kinh nhận thức Điện não đồ EEG ghi lại hoạt động hàng triệu tế bào thần kinh, kiến cho việc phân tách tín hiệu liên quan đến ERP khơng thể Cách tốt để có liệu ERP theo dõi thay đổi điện áp tổng thể, xuất thay đổi tâm lý cụ thể phần ERP 16 Hình 3.1 Dạng sóng ERP Như Hình 3.1 ta thấy sóng ERP chứa thay đổi điện áp theo dõi theo thời gian từ lúc bắt đầu ghi nhận Biểu đồ bao gồm đỉnh sóng, thành phần ERP Các đỉnh dương âm (P N) đặt tên theo quy ước theo sau số thể khoảng cách tính từ thời điểm bắt đầu kích thích Bộ liệu ERP Wavelab bao gồm: Một tập liệu chứa 64 kênh đo điện não đồ đối tượng nghe âm từ đến 60 Hz 0-1000 ms với tổng cộng khoảng 50 epochs Bộ liệu chứa tín hiệu điện não 14 tối tượng trình vận động tay phải tay trái cách bình thường (tổng cộng 28 tệp liệu) Có 360 epochs cho đối tượng kiện Bộ liệu “ERP” có 𝒄𝒉𝒂𝒏𝒏𝒆𝒍 𝒙 𝒇𝒓𝒆𝒒𝒖𝒆𝒏𝒄𝒊𝒆𝒔 𝒙 𝒕𝒊𝒎𝒆 là: 𝟔𝟒𝒙𝟕𝟏𝒙𝟕𝟐 17 Hình 3.2 64 kênh lấy mẫu liệu ERP Bước thứ nhất, sử dụng phép biến đổi bước sóng Morlet (CMOR) để chuyển tất phân đoạn ERP từ miền thời gian sang miền tần số thời gian Thơng qua đó dải phổ tần số ERP ba chiều, thay đổi theo thời gian sinh [39] Các ERP epochs đa chiều xây dựng thành tensor bậc ba chúng mơ hình hóa theo cℎ𝑎𝑛𝑛𝑒𝑙 𝑥 𝑓𝑟𝑒𝑞𝑢𝑒𝑛𝑐𝑦 𝑏𝑖𝑛 𝑥 𝑡𝑖𝑚𝑒 𝑓𝑟𝑎𝑚𝑒, thể thơng tin đặc tính miền khơng gian-thời gian quang phổ Kết là, tất liệu tensor ERP tạo thành tensor chiều với mode cℎ𝑎𝑛𝑛𝑒𝑙𝑠 𝑥 𝑓𝑟𝑒𝑞𝑢𝑒𝑛𝑐𝑦 𝑏𝑖𝑛𝑠 𝑥 𝑡𝑖𝑚𝑒 𝑓𝑟𝑎𝑚𝑒𝑠 𝑥 𝑡𝑟𝑖𝑎𝑙𝑠 18 Hình 3.3 Trực quan hóa ERP liệu Hình 3.4 Áp dụng phép biến đổi bước sóng để xây dựng liệu ba chiều theo miền thời gian 19 Hình 3.5 Cấu trục bậc bốn tensor tập hợp mẫu bậc ba tensor Bước thứ hai, áp dụng phươg pháp đề xuất trực tiếp đầu vào tensor ERP để tìm kiếm tập tensor lõi phân biệc giảm số chiều Cụ thể phương pháp đề xuất phân rã liệu huấn luyện 𝔁 ≈ 𝓖 ×𝟏 𝐀(𝟏) × 𝟐 𝐀(𝟐) × 𝟑 𝐀(𝟑) Phương pháp đề xuất phân rã liệu huấn luyện 𝒙 với ma trận nhân tố 𝐀(𝟏) ∈ 𝐑𝟏𝟎𝟎×𝑱𝟏 , 𝐀(𝟐) ∈ 𝐑𝟒×𝑱𝟐 , 𝐀(𝟑) ∈ 𝐑𝟓𝟏𝟐×𝑱𝟑 chiếu lên chiều không gian tương ứng: Spatial, Spectral, Temporal Với 𝑱𝟏 ≪ 𝟏𝟎𝟎, 𝑱𝟐 ≪ 𝟒𝟎 𝑱𝟑 ≪ 𝟓𝟏𝟐 Lõi nén tensor chứa đặc tính 𝓖 ∈ 𝐑𝑱𝟏×𝑱𝟐×𝑱𝟑 với giảm số chiều với số chiều nhỏ nhiều so với liệu tensor ban đầu 𝒙 mà chúng chiếu lên không gian định channel, frequency bin time samples Kết quả, việc giảm kích thước thể phép chiếu mẫu tensor gốc 𝑥 lên tensor lõi giảm số chiều với kích thước phù hợp tương ứng 𝑱𝟏 , 𝑱𝟐 𝑱𝟑 Tensor lõi, 𝓖 ∈ 𝐑𝑱𝟏 ×𝑱𝟐×𝑱𝟑 đặc tính huấn luyện với chiều dài 𝑱𝟏 × 𝑱𝟐 × 𝑱𝟑 , vector hóa thành vector đặc tính Việc trích xuất tính đạt cách chiếu liệu thử nghiệm lên không gian theo nhân tố 𝐀(1) , 𝐀(2) , and 20 𝐀(3) lấy từ liệu huấn luyện Tương tự đặc tính huấn luyện, lõi tensor tập thử nghiệm chuyển đổi thành vectơ đặc tính thử nghiệm Khi mà số lượng thành phần 𝑱𝒏 (𝒏 = 𝟏, 𝟐, 𝟑) ma trận nhân tố trực giao 𝐀(𝒏) (𝒏 = 𝟏, 𝟐, 𝟑) lựa chọn số lượng đặc tính mà lõi tensor trích rút từ tập liệu gốc, nên vấn đề cụ thể cách thức mà số lượng thích hợp thành phần 𝑱𝟏 , 𝑱𝟐 , 𝑱𝟑 chọn Để xác định xác số lượng thành phần ẩn 𝐽𝑛 tơi đặt ngưỡng 𝜃 theo tiêu chí 95% lượng để xác định yếu tố bên thuật toán Số lượng tính phân biệt trích xuất phương pháp phân tách đề xuất cho nhân tố (20,10,36) Hình 3.6 Trích xuất liệu tensor đặc trưng lựa chọn tính Tuy nhiên, tốn phân loại thực tế số lượng tính cịn lớn; đó, tơi tiến hành áp dụng phương pháp điểm xếp hạng Fisher [40] để chọn lọc tính bật cách Bước thứ ba, sau lựa chọn từ liệu lượng thích hợp thuộc tính phân biệt, mơ hình phân lớp xác định lớp mẫu thử cách so sánh đặc tính trích xuất tập huấn luyện tập kiểm thử Tất hiệu suất phân loại đánh giá phương pháp xác thực chéo 10-fold cross validation phương pháp kNN 21 áp dụng Hình 3.7 Kết sau phân loại Thuật toán đề xuất chứng minh độ xác trung bình cao 92.45% So với phương pháp dựa ma trận thông thường, mơ hình dựa phương pháp CSP phương pháp PCA thu độ xác 89.12% 85.87% Hơn nữa, thuật toán tensor trước áp dụng nhân tố phân tích phân biệt Laplacian tuyến tính (TLLDA) phân tích phân biệt tenor cục (LTDA) dựa phân tích phân biệt cho thấy độ xác 91.23% 90.64% So với phân tách Tucker nguyên bản, phương pháp đề xuất đạt dự đoán tốt với độ cải thiện so với thuật toán gốc 1.74% Bảng 3.2 So sánh thời gian xử lý thuật toán cho ERP Dataset Comparison processing time (s) ERP Dataset CSP PCA TLLDA LTDA Tucker Đề xuất 27.916s 25.167s 42.083s 46.041s 35.416s 28.966s 22 3.2.2 Thực nghiệm liệu Graz Bộ liệu “Graz - IIIB” có channel x frequencies x time là: 27*23*350 với liệu tưởng động tay phải tay trái Hình 3.8 Thời gian Tỷ lệ lỗi (xanh dương), thông tin tương hỗ (xanh lá) độ dốc thông tin tương hỗ (đỏ) Áp dụng thuật toán đề xuất trường hợp sử dụng liệu ERP ta thu kết thuật tốn đề xuất chứng minh độ xác trung bình cao 91.79% Khi so sánh với thuật toàn khác (CPS, PCA, TLLDA, LTDA, Tucker) ta thấy độ xác thuật tốn đề xuất cao từ 1.74% đến 11% Khi so sánh với Tucker ngun bản, phương pháp đề xuất có độ xác cao 1.74% Như vậy, thuật toàn đề xuất đạt hiệu tối ưu phương pháp lại 23 Bảng 3.3 So sánh thời gian xử lý thuật toàn cho Graz Dataset Comparison processing time (s) Graz Dataset CSP PCA TLLDA LTDA Tucker Đề xuất 24.583s 18.804s 40.041s 44.167s 37.375s 23.334s Sau tổng hợp kết từ hai liệu ERP Garz, ta có so sánh kết phân loại thuật toàn Bảng 3.4 Bảng 3.4 So sánh kết thuật toán đề xuất thuật toán khác Comparison between others EEG tensor Methods and Proposed Method CSP ERP Dataset Graz Dataset PCA TLLDA LTDA Tucker Đề xuất c𝒉𝒂𝒏𝒏𝒆𝒍 𝒙 𝒕𝒊𝒎𝒆 𝒄𝒉𝒂𝒏𝒏𝒆𝒍 𝒙 𝒇𝒓𝒆𝒒𝒖𝒆𝒏𝒄𝒚 𝒙 𝒕𝒊𝒎𝒆 𝒙 𝒕𝒓𝒊𝒂𝒍 89.12% 85.87% 91.23% 90.64% 90.71% 92.45% 82.43% 80.79% 88.84% 84.25% 90.05% 91.79% Vấn đề tốc độ cho thấy lợi phương pháp đề suất, thời gian xử lý thuật toán nhanh so sánh với thuật toán khác Cụ thể áp dụng thuật toán đề xuất liệu ERP, thuật tốn đề xuất có thời gian xử lý nhanh 6.45s kho so sánh với thuật toán Tucker gốc liệu Graz thời gian xử lý nhanh 14.041 so sánh với thuật tốn Tucker gốc Hình 3.9 cung cấp biểu đồ cụ thể thời gian xử lý cho thuật toán đề xuất so sánh 24 Hình 3.9 So sánh thời gian xử lý thuật tốn Hình 3.10 Mơ hình tổng quan cho đề xuất luận văn CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận Luận văn tận dụng mạnh việc phân tích liệu đa phương thức có mở rộng nghiên cứu vào chuỗi thời gian vào phân tích mơ hình tensor bậc cao liệu BCI, cụ thể tập liệu EEG Luận văn tập trung vào chủ đề tìm hiểu khai thác sưu tập chuỗi thời gian bậc cao phát triển thêm, với mục tiêu phát triển thuật tốn dựa tensor để 25 trích xuất tính năng, để phân loại chuỗi thời gian bậc cao, để khai thác chuỗi thời gian có giá trị Như trình bày từ phần giới thiệu, đề tài tập trung nghiên cứu ứng dụng đại số Grassmann việc khai thác chuỗi liệu bậc cao EEG để phục vụ cho việc nhận dạng liệu hệ thống BCI Đề tài dựa phương pháp phân rã Tucker cải tiến phương pháp dựa thuộc tính liệu phân tích Phương pháp đánh giá hai liệu chuỗi thời gian khác bao gồm phân loại ERP EEG thấy tính tổng quát phương pháp đề xuất cấu trúc tensor bảo tồn Kết đạt đề tài việc sử dụng thành công thông tin nhãn lớp để khai thác khơng gian đặc tính phân biệt thứ tự cao tối ưu giúp cải thiện độ xác phân loại, đặc biệt trường hợp cỡ mẫu nhỏ 4.2 Định hướng phát triển Trong luận văn tất phương pháp có thử nghiệm thực Các phương pháp phân rã liệu thời gian bậc cao khác CP nhiều phương pháp khác cần phải kiểm tra thử nghiệm Ngoài ra, phương pháp đề xuất luận văn nên thử nghiệm nghiều liệu EEG khác nhau, với độ phức tạp khác Việc sử dụng lượng lớn liệu khác để xử lý làm thay đổi kết phương pháp Vì vậy, là việc chắn cần quan tâm thực tương lai gần Việc phân tích liệu bậc cao áp dụng nhiều lĩnh vực khoa học khác không bên liệu EEG nói chung liệu BCI nói riêng Phương pháp luận văn cần kiểm chứng liệu BCI khác EEG EEG, MEG, EOG, MRI ECoG Ngoài việc áp dụng 26 phương pháp lên liệu khác nhau, công việc luận vân kết hợp thêm khác phương pháp khai thác chuỗi liệu BCI để phục hồi dự đoán liệu ... định hướng nghiên cứu phát triển luận văn CHƯƠNG GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI, BỘ NÃO CON NGƯỜI, ĐIỆN NÃO ĐỒ VÀ GIAO DIỆN NÃO-MÁY TÍNH 1. 1 Đại số Grassmann liệu đa phương thức Đại số Grassmann. .. Dụng Đại Số Grassmann Xây Dựng Hệ Thống Nhận Dạng Dữ Liệu Đa Phương Thức Trong Giao Diện Não – Máy Tính? ?? làm chủ đề nghiên cứu luận văn thạc sĩ Mục tiêu nghiên cứu Đề xuất luận văn quan tâm đến... khai Phương pháp nghiên cứu 4 .1 Phương pháp lý thuyết − Thu thập nghiên cứu tài liệu có liên quan − Nghiên cứu lý thuyết đại số tensor − Nghiên cứu cấu trúc liệu bậc cao tensor − Nghiên cứu phương