Hệ thống cải tiến nâng cao hiệu năng giao diện não - máy tính thông qua việc giải mã dữ liệu bị mất của tín hiệu điện não đồ không xâm lấn

Bài viết Hệ thống cải tiến nâng cao hiệu năng giao diện não - máy tính thông qua việc giải mã dữ liệu bị mất của tín hiệu điện não đồ không xâm lấn nghiên cứu đề xuất một phương thức mới được xây dựng để tính các giá trị còn thiếu trong chuỗi thời gian EEG để khôi phục dữ liệu bị thiếu một cách tự động.

ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 20, NO 7, 2022 87 HỆ THỐNG CẢI TIẾN NÂNG CAO HIỆU NĂNG GIAO DIỆN NÃO - MÁY TÍNH THƠNG QUA VIỆC GIẢI MÃ DỮ LIỆU BỊ MẤT CỦA TÍN HIỆU ĐIỆN NÃO ĐỒ KHÔNG XÂM LẤN AN IMPROVEMENT FRAMEWORK FOR NONINVASIVE EEG-BASED BRAIN - COMPUTER INTERFACES PERFORMANCE VIA ENCODING MISSING SIGNALS Dương Thanh Linh1, Lương Duy Đức2, Nguyễn Thị Ngọc Anh3* Trường Đại học Bình Dương Học viên cao học ngành Hệ thống Thông tin, Trường Đại học Sư phạm - Đại học Đà Nẵng Trường Đại học Sư phạm - Đại học Đà Nẵng *Tác giả liên hệ: ngocanhnt@ued.udn.vn (Nhận bài: 05/5/2022; Chấp nhận đăng: 25/6/2022) Tóm tắt - Phương pháp đề xuất báo nhằm mục đích nắm bắt mơ hình tối ưu dựa hai đặc điểm chuỗi thời gian điện não đồ (EEG) liên tục: Động lực thông qua khám phá hành vi phát triển theo thời gian mối tương quan cách xác định mối quan hệ tiềm ẩn nhiều tín hiệu não Từ khai thác này, phương pháp đề xuất trích xuất thành cơng khai thác biến ẩn phát động lực chúng để khôi phục tự động giá trị cịn thiếu Các thử nghiệm mơ chứng minh phương pháp đề xuất cung cấp hiệu suất tái tạo tốt lên đến 67% so với phương pháp phân tích suy biến cho giá trị bị (MSVD) phương pháp nội suy Sau đó, thử nghiệm phân loại chuyển động liệu hoàn chỉnh, liệu bị thiếu liệu khôi phục theo phương pháp đề xuất cho kết xác 92,15%, 73,19% 86,18%, điều chứng minh tính khả thi việc ứng dụng phương pháp đề xuất Abstract - The purpose of the proposed method in this article is to capture the optimal patterns that based on two main characteristics in the coevolving Electroencephalogram (EEG) time series including Dynamics via discovering temporal evolving behaviors and correlations by identifying the implicit relationships among multiple brain signals From these exploits, the proposed method successfully identifies a few hidden variables and discovers their dynamics for automatic recovery of the missing values The experimental simulations demonstrate that the proposed method provides a better reconstruction performance up to 67% improvements over Missing value Singular Values Decomposition (MSVD) and interpolation approaches Then, we conducted an experiment for classifying movement based on the complete data, the missing data, and the restored one according to the proposed methods; with the exact results of 92.15%, 73.19%, and 86.18% respectively The results of the experiment proved the feasibility in the application of the proposed method Từ khóa - Điện não đồ (EEG); liệu bị mất; Kalman Filter; phân tích suy biến cho giá trị bị (MSVD) Key words – Electroencephalogram (EEG); missing data; Kalman Filter; Missing value Singular Values Decomposition (MSVD) Đặt vấn đề Điện não đồ (EEG) kỹ thuật ghi lại hoạt động điện não tạo cách sử dụng điện cực Có hai phương pháp để thu tín hiệu điện não đồ: (1) Xâm lấn (2) không xâm lấn Trong phương pháp xâm lấn điện cực đặt bề mặt tiếp xúc não, phương pháp không xâm lấn điện cực đặt dọc theo da đầu Giao diện não - máy tính (BCI) cơng nghệ sử dụng điện cực khác để thu thập tín hiệu điện sinh học hoạt động não tạo ra, sau xử lý phân tích tín hiệu thơng qua máy tính để giải mã tín hiệu chuyển động thị giác, nhằm đạt tương tác người máy tính BCI cung cấp kênh giao tiếp trực tiếp não thiết bị bên ngồi mà khơng liên quan đến hoạt động bắp Các hệ thống sử dụng hoạt động điện não đồ ghi lại từ da đầu hoạt động tế bào thần kinh vỏ não riêng lẻ ghi lại từ điện cực cấy ghép BCI có nhiều ứng dụng điều khiển phận thể giả, điều hướng robot, điều khiển hệ thống tự động hóa nhà, điều khiển ứng dụng điện thoại di động, điều khiển chuyển động xe lăn hệ thống nhận dạng giọng nói Trong hầu hết phân tích liệu chuỗi thời gian, giá trị bị thiếu nhiều lý khác lỗi người lỗi thiết bị dẫn đến giảm hiệu suất chí gây lỗi hệ thống Các kỹ thuật phân tích liệu EEG áp dụng gần khơng áp đặt thống kê truyền thống mà cịn áp dụng phương pháp tổng hợp dựa học máy để xử lý giá trị bị thiếu Tuy nhiên, phương pháp khơng có khả tạo tín hiệu chuỗi thời gian thực tế liên quan đến thông tin tiềm ẩn quan trọng cần thiết để khai thác ứng dụng mục tiêu, chẳng hạn phân loại chuyển động dựa điện não đồ Để có tập liệu EEG hồn chỉnh giới thực điều gần Đặc biệt, lĩnh vực y học chăm sóc sức khỏe, người ta báo cáo phần lớn ghi EEG chứa số lượng lớn giá trị bị thiếu Việc ghi liệu khơng thành cơng cố thiết bị ghi, bị ghi nhầm lẫn việc gắn điện cực Ngồi ra, khó để ghi lại liệu điện não đồ hồn chỉnh, u cầu nghiêm ngặt môi trường ghi đối tượng tham gia Do đó, hầu hết ứng dụng sử dụng liệu bị thiếu giá Binh Duong University (Duong Thanh Linh) Master’s student of Information Systems major, The University of Danang - University of Science and Education (Luong Duy Duc) The University of Danang - University of Science and Education (Nguyen Thi Ngoc Anh) 88 trị đưa kết sai chuẩn đốn khơng xác Để xử lý thách thức trên, báo đề xuất cách tiếp cận phù hợp với liệu có sẵn giá trị bị thiếu Mục tiêu khai thác mối tương quan phát triển hành vi nhiều điện cực cách tự động xác định vài biến ẩn, sau khai thác động lực chúng để giải vấn đề thiếu quan sát Sự tương quan ngụ ý kích thước quan sát nhiều điện cực không phụ thuộc Do đó, giá trị bị thiếu suy từ giá trị khác thông qua biến ẩn Hành vi phát triển biểu thị giá trị cịn thiếu ước tính cách hiệu dựa quan sát “người hàng xóm” lần tích tắc theo xu hướng di chuyển chúng Để đánh giá hiệu phương pháp đề xuất cách xem xét khía cạnh độ xác, độ tin cậy độ phức tạp Bài báo chứng minh hiệu suất việc khôi phục cho liệu bị thiếu liên tiếp hai thực liệu khác tín hiệu EEG Phương pháp đề xuất hiệu để nắm bắt vài biến ẩn cách tự động để minh họa cách ngắn gọn cách tìm hiểu động lực học chúng để tính tốn giá trị bị thiếu liên tiếp Hơn nữa, thời gian tính tốn tăng tuyến tính với thời gian chuỗi Sau đó, so sánh kết phương pháp đề xuất với phương pháp MSVD phương pháp nội suy Mô tả tốn phục hồi liệu EEG bị Thơng thường tín hiệu điện não đồ bị suy giảm lý khác ngắt kết nối điện cực với thể tín hiệu nhiễu Việc khơi phục liệu bị thiếu ứng dụng thực tế cần thiết, có ảnh hưởng tiêu cực đến độ xác việc phân loại, dẫn đến việc ứng dụng đưa kết khơng xác [1-2] Thơng thường liệu bị có hai loại: (1) Khơng có cấu trúc (2) có cấu trúc Dữ liệu bị khơng có cấu trúc nghĩa giá trị liệu bị số ngẫu nhiên liệu quan sát Trong liệu bị có cấu trúc phần liệu từ cảm biến cụ thể bị thiếu Trong ứng dụng thực tế, liệu thường bị theo cách có cấu trúc, nghiên cứu đề xuất thiết lập mơ hình liệu bị thiếu có cấu trúc, liệu EEG xếp theo nhiều chiều tensor [3-4] để bảo tồn tính chất đa chiều liệu Một giải pháp đơn giản có thay giá trị bị thiếu phương pháp tính giá trị trung bình thích hợp Một phương pháp xen kẽ khác để lấp đầy giá trị bị thiếu phương pháp nội suy, có liên quan đến việc xử lý phần tử bị thiếu cách sử dụng khớp nối đường cong, gọi nội suy tuyến tính splines Chi tiết cách tiếp cận khả áp dụng chúng tìm thấy [5-6] Tuy nhiên, phương pháp trở nên không phù hợp gặp thách thức lớn khoảng cách quan sát giá trị bị lớn Hơn nữa, cách tiếp cận loại bỏ hoàn toàn mối quan hệ biến theo thời gian Trong nghiên cứu gần để xử lý giá trị bị Dương Thanh Linh, Lương Duy Đức, Nguyễn Thị Ngọc Anh cách sử dụng mơ hình thống kê gọi hệ thống động lực học tuyến tính, sử dụng để ước tính giá trị cho điểm thời gian bị thiếu Trong [7] chứng minh tính hiệu phương pháp họ cách khám phá mơ hình hệ thống động lực học tuyến tính để biểu gen với giá trị bị thiếu Trong [8] sử dụng lọc Kalman, dự đốn vị trí điểm đánh dấu bị khuyết tập liệu chuyển động người Trong [9-10] cách sử dụng vị trí người tạo trước mơ hình xương để ước tính vị trí điểm đánh dấu bị thiếu cách sử dụng lọc Kalman mở rộng Tuy nhiên, mơ hình trở nên khơng hiệu vị trí bị thiếu điểm đánh dấu giữ thời gian dài Với lý trên, báo nghiên cứu đề xuất phương thức xây dựng để tính giá trị cịn thiếu chuỗi thời gian EEG để khơi phục liệu bị thiếu cách tự động Đề xuất mơ hình 3.1 Hệ thống động lực học tuyến tính EEG liệu đa chiều nhiều điện cực sử dụng để ghi lại hoạt động điện dọc theo bề mặt da đầu Một hệ thống động lực học mơ hình hóa chuỗi tín hiệu EEG đa chiều, ký hiệu 𝑌 = {𝑦1 , 𝑦2 , … , 𝑦𝑇 }, vectơ yt biểu thị liệu thời điểm đánh dấu t = 1, 2, … T chiều m Điều có nghĩa liệu từ chuỗi thời gian EEG trình bày ma trận YmxT với biến m thời gian quan sát T Nhóm tác giả xem liệu chuỗi thời gian EEG thu từ tín hiệu EEG hệ thống động lực học Sau đó, xây dựng mơ hình thống kê để biểu diễn trạng thái biến ẩn phát triển thành phép biến đổi tuyến tính dẫn đến chuỗi thời gian số quan sát Mô hình tìm hiểu động lực liệu chuỗi thời gian [11] Nó nắm bắt mối tương quan nhiều điện cực cách chọn số biến ẩn thích hợp Đặc biệt, hệ thống động lực học tuyến tính (LDS) cho chuỗi thời gian EEG đa chiều mơ hình hóa phương trình sau: 𝑧1 = 𝜇0 + 𝜔0 (1a) 𝑧𝑛+1 = 𝐴 𝑧𝑛 + 𝜔𝑛 (1b) 𝑦𝑛 = 𝐶 𝑧𝑛 + 𝜀𝑛 (1c) Trong đó, 𝜃 = {𝜇0 , 𝑄0 , 𝐴, 𝑄, 𝐶, 𝑅} tập tham số 0 trạng thái ban đầu cho biến ẩn toàn hệ thống Vectơ yn zn biểu thị chuỗi liệu quan sát biến ẩn thời điểm t Ma trận chuyển đổi A liên quan đến chuyển đổi trạng thái từ tích tắc thời gian sang đánh dấu thời gian có nhiễu n Ma trận C phép chiếu quan sát với nhiễu n thời điểm t, nghĩa dãy biến ẩn zn phát triển theo thời gian tích với ma trận chuyển đổi tuyến tính A [12] Hơn nữa, chuỗi liệu quan sát yn tạo từ chuỗi biến ẩn với ma trận chiếu tuyến tính C Tất nhiễu 0, i i(i=1 T) biến ngẫu nhiên có phân phối chuẩn khơng trung bình với ma trận hiệp phương sai Q0, Q R tương ứng Trong mô hình, quan sát hệ thống trình bày, trạng thái tất biến nhiễu bị ẩn Định nghĩa mơ tả tốn học ký hiệu sử dụng hệ thống thể Bảng ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 20, NO 7, 2022 Bảng Định nghĩa mô tả toán học Ký hiệu Y m T W H 0 A C Q Q0 R Z  Định nghĩa mơ tả tốn học Chuỗi quan sát đa chiều, m  T Chiều chuỗi quan sát Khoảng thời gian chuỗi Ma trận dẫn thiếu giá trị, m  T Thứ nguyên biến ẩn Trạng thái ban đầu cho biến ẩn, H 1 Ma trận chuyển đổi, H  H Ma trận chiếu từ trạng thái ẩn sang trạng thái quan sát, m  H Hiệp phương sai chuyển tiếp, H  H Hiệp phương sai ban đầu, H  H Hiệp phương sai phép chiếu, m  m Một chuỗi biến ẩn, z1, z2, , zT  Một tập hợp bao gồm tất thơng số mơ hình cần thiết, 𝜃 = {𝜇0 , 𝑄0 , 𝐴, 𝑄, 𝐶, 𝑅} 3.2 Thiết lập mơ hình đề xuất thiếu giá trị Vấn đề thiếu tích tắc thời gian mơ hình hệ thống đề xuất xây dựng liệu EEG lần Trong thí nghiệm, xem xét tập hợp chuỗi thời gian Y có m chiều độ dài T với số đo bị mất; giá trị bị thiếu quan sát ma trận W Ma trận W quan sát bị thiếu có kích thước với Y xác định đây: 𝟏 Nếu quan sát Y theo chiều 𝒊 thời điểm 𝒕 𝑾(𝒕, 𝒊) = { 𝟎 Nếu không quan sát Y theo chiều 𝒊 thời điểm 𝒕 (2) Trình tự thời gian mơ hình hóa dựa LDS, thấy phương trình 2, với ma trận bị thiếu W [12] Nhóm tác giả sử dụng thuật tốn tối đa hóa kỳ vọng (Expectation Maximization) để đưa vị trí bị thiếu thơng qua ước tính kỳ vọng thuật tốn giá trị bị thiếu, 𝐸[𝑌𝑚𝑖𝑠𝑠 𝑌𝑜𝑏𝑠 ], điều kiện dựa giá trị quan sát, Y miss Yobs tập hợp biến cho giá trị bị thiếu tập hợp giá trị quan sát chuỗi Y 89 tục theo thời gian Để đáp ứng vấn đề này, cần phải mơ hình hóa động lực học dạng ẩn chuỗi thời gian quan sát cách sử dụng chuỗi biến trạng thái ẩn Z Để mơ hình hóa mối tương quan, mơ hình sử dụng chuỗi liệu, bao gồm giá trị quan sát giá trị bị thiếu, tạo từ nhiều biến ẩn thơng qua phép chiếu tuyến tính MxT ma trận chiếu tuyến tính C thời điểm, hiển thị Hình H số biến ẩn Mặt khác, để mơ hình hóa thuộc tính liên tục theo thời gian, biến ẩn phụ thuộc thời gian với giá trị xác định từ lần đánh dấu thời gian trước Điều có nghĩa ma trận A có liên quan đến chuyển đổi trạng thái biến ẩn theo thời gian, mô tả cách trạng thái tiến lên theo thời gian Như vậy, điểm thời gian phụ thuộc vào điểm thời gian Trong trường hợp này, trước tiên đặt trạng thái ban đầu cho biến ẩn thời điểm bắt đầu với tập tham số 𝜃 = {𝜇0 , 𝑄0 , 𝐴, 𝑄, 𝐶, 𝑅} Trong hệ thống, phân phối chung Yobs, Ymiss Z phương trình sau: 𝑇 𝑇 𝑃(𝑌𝑚𝑖𝑠𝑠 , 𝑌𝑜𝑏𝑠 𝑎𝑛𝑑 𝑍) = 𝑃(𝑧1 ) ∏ 𝑃(𝑧 |𝑧 𝑖 𝑖− ) ∏ 𝑃(𝑦𝑖 |𝑧𝑖 ) 𝑖 =2 (3) 𝑖 =1 Để đạt mục tiêu trên, mơ hình đề xuất đưa để tìm giải pháp tối ưu nhằm tối đa hóa khả ghi nhật ký dự kiến chuỗi quan sát liên quan đến tham số mơ hình 𝜃 = {𝜇0 , 𝑄0 , 𝐴, 𝑄, 𝐶, 𝑅}, biến ẩn 𝑧̂𝑛 = 𝐸[𝑧𝑛 ], 𝑛 = … 𝑇, quan sát bị thiếu 𝐸[𝑌𝑚𝑖𝑠𝑠 𝑌𝑜𝑏𝑠 ] Trong thực tế, để đạt ước lượng tham số, cần phải để tìm khả tối đa xảy 𝐿(𝜃) = 𝑃(𝑌𝑜𝑏𝑠 ) Tuy nhiên, người ta biết khó để tối đa hóa khả liệu có giá trị bị thiếu Do đó, mức độ giống ước lượng khả cực đại chuỗi quan sát tham số  tối đa hóa cách sử dụng thuật tốn Expectation-Maximization (EM) [12], lặp lặp lại bước tối đa hóa để dự đốn khả hồn chỉnh phương trình Để đạt ước tính khả xảy tối đa tham số mơ hình, phương pháp EM để học LDS sử dụng Thuật toán lặp lại việc tính tốn kỳ vọng có điều kiện biến ẩn thơng qua thuật tốn tiến lùi (forward-backward) E-step cập nhật tham số mô hình để tối đa hóa khả M-step để ước tính giá trị bị thiếu [12] 𝐿(𝜃; 𝑌) = 𝐸𝑌,𝑍∣𝜃 [−(𝑧1 − 𝜇0 )𝑇 𝑄0−1 (𝑧1 − 𝜇0 ) 𝑇 − ∑   (𝑧𝑡 − 𝐴 ⋅ 𝑧𝑡−1 )𝑇 𝑄−1 (𝑧𝑡 − 𝐴 ⋅ 𝑧𝑛−1 ) (4) 𝑡=2 𝑇 − ∑   (𝑦𝑡 − 𝐶 ⋅ 𝑧𝑡 )𝑇 𝑅−1 (𝑦𝑛 − 𝐶 ⋅ 𝑦𝑛 ) ] 𝑡=1 Hình Kiến trúc thiết lập mơ hình đề xuất Để xử lý vấn đề thiếu giá trị, mục tiêu khai thác mẫu có ý nghĩa thông qua việc tự động xác định vài biến ẩn để động lực học chúng phát để giải vấn đề thiếu quan sát Nghiên cứu tập trung vào việc khai thác khả kết nối động tín hiệu não thơng qua hai đặc tính cụ thể: Tính tương quan tính liên Tóm lại, phương pháp đề xuất thực để đạt thông số tốt 𝜃 = {𝜇0 , 𝑄0 , 𝐴, 𝑄, 𝐶, 𝑅} cho mơ hình Phương pháp áp dụng báo tiến hành ba bước chính: Kỳ vọng, khơi phục giá trị bị thiếu tối đa hóa Chi tiết hơn, thuật toán đoán tập hợp ban đầu tham số mơ hình bước kỳ vọng Sử dụng lọc Kalman làm mịn Kalman để ước tính biến ẩn dựa quan sát tham số cho lần lặp Ý tưởng chung sử dụng thuật toán tiến-lùi Dương Thanh Linh, Lương Duy Đức, Nguyễn Thị Ngọc Anh 90 để tính tốn kỳ vọng sau biến ẩn, E(zn |Y;), đánh dấu tích tắc dựa tính tốn lần trước đánh dấu Với liệu có giá trị bị thiếu, ước lượng tìm phân phối biên cho biến trạng thái ẩn sau khởi tạo giá trị thiếu số ngẫu nhiên phương pháp nội suy Cả hai phân phối trước có điều kiện mơ hình Gaussian, đánh dấu sau tính đến thời điểm p(zn y1, ,yT ), Gaussian đưa bởi: (5) 𝛼̂(𝑧 ) = 𝑁(𝜇 , 𝑉 ) 𝑛 𝑛 Chúng ta thu phương trình suy diễn tiến-lùi sau Các giá trị n , Vn Pn-1, đưa bởi: (6) 𝑃𝑛−1 = 𝐴 𝑉𝑛−1 𝐴𝑇 + 𝑄 𝑇 𝑇 −1 (7) 𝐾𝑛 = 𝑃𝑛−1 𝐶 (𝐶 𝑃𝑛−1 𝐶 + 𝑅) (8) 𝑉𝑛 = (𝐼 − 𝐾𝑛 ) 𝑃𝑛−1 ) (9) 𝜇𝑛 = 𝐴 𝜇𝑛−1 + 𝐾𝑛 (𝑦𝑛 − 𝐶 𝐴 𝜇𝑛−1 ) Các giá trị ban đầu cho phương trình sau: (10) 𝑲 = 𝑸 𝑪𝑻 (𝑮𝑸 𝑪𝑻 + 𝑹)−𝟏 𝟏 𝟎 𝟎 (11) 𝝁𝟏 = 𝝁𝟎 + 𝑲𝟏 (𝒚𝟏 − 𝐂 𝐀 𝝁𝟎 ) (12) 𝑽𝟏 = (𝑰 − 𝑲𝟏 ) 𝑸𝟎 Làm mịn bao gồm đệ quy mở đầu, sau đệ quy lùi Trong bước tiếp theo, giá trị phương trình lọc Kalman lưu trữ Trong bước lùi, giá trị sau sử dụng để khởi tạo phương trình Kalman mượt mà đưa bởi: (13) 𝝁 ̂ 𝒏 = 𝝁𝒏 + 𝑱𝒏 (𝝁 ̂ 𝒏+𝟏 − 𝐀 𝝁𝒏 ) (14) 𝑻 ̂ = 𝑽 + 𝑱 (𝑽 ̂ 𝑽 − 𝑷 ) 𝑱 𝒏 𝒏 𝒏 𝒏+𝟏 𝒏 𝒏 (15) 𝑱𝒏 = 𝑽𝒏 𝑨𝑻 𝑷−𝟏 𝒏 Các kỳ vọng lấy từ phân phối cận biên sau p(zn|y1, ,yT) từ việc quan điểm phổ biến Do đó, kỳ vọng nhận phương trình sau: (16) 𝐸[𝑧 ] = 𝜇̂ 𝑛 𝑛 𝑇 ] 𝐸[𝑧𝑛 𝑧𝑛−1 𝑇 = 𝐽𝑛−1 𝑉̂𝑛 + 𝜇̂ 𝑛 𝜇̂ 𝑛−1 (17) (18) 𝐸[𝑧𝑛 𝑧𝑛𝑇 ] = 𝑉̂𝑛 + 𝜇̂ 𝑛 𝜇̂ 𝑛𝑇 Trong bước khôi phục, giá trị bị thiếu khôi phục cách sử dụng thuộc tính Markov mơ hình đồ họa từ ước lượng biến ẩn, Hình với phương trình sau: 𝑬[𝒀𝒎𝒊𝒔𝒔 |𝒀𝒐𝒃𝒔 , 𝒁; 𝜽] = 𝑪 𝑬[𝒁]{𝒊,𝒋} , {𝒊, 𝒋} ∈ 𝑾 (19) Trong bước tối đa hóa, thuật tốn cập nhật tham số new cách tối đa hóa khả ghi nhật ký dự kiến cách sử dụng số thống kê đầy đủ từ phân phối sau Để ước tính thơng số, số mũ giống nhật ký dự kiến L(;Y) phương trình 4, liên quan đến thành phần  new tối đa hóa Lấy đạo hàm phương trình biến chúng thành cho kết sau: 𝜇0𝑛𝑒𝑤 = 𝐸[𝑧1 ] 𝑄0𝑛𝑒𝑤 𝐴𝑛𝑒𝑤 𝑄 𝑛𝑒𝑤 (20) = 𝐸[𝑧1 𝑧1𝑇 ] = 𝑇 ])(∑𝑇−1 𝑇 −1 (∑𝑇𝑛=2 𝐸[𝑧𝑛 𝑧𝑛−1 𝑛−1 𝐸[𝑧𝑛 𝑧𝑛 ] ) = − 𝐸[𝑧1 ]𝐸[𝑧1𝑇 ] ∑𝑇 (𝐸[𝑧𝑛 𝑧𝑛𝑇 ] 𝑇−1 𝑛=2 𝑇 ](𝐴𝑛𝑒𝑤 )𝑇 −𝐸[𝑧𝑛 𝑧𝑛−1 − 𝐴𝑛𝑒𝑤 𝐸[𝑧𝑛−1 𝑧𝑛𝑇 ] 𝑇 ](𝐴𝑛𝑒𝑤 )𝑇 + 𝐴𝑛𝑒𝑤 𝐸[𝑧𝑛 𝑧𝑛−1 (21) (22) (23) 𝑇 𝑇 𝑇 −1 𝐶 𝑛𝑒𝑤 = (∑𝑁 𝑛=1 𝑦𝑛 [𝑧𝑛 ])(∑𝑛=1 𝐸[𝑧𝑛 𝑧𝑛 ]) 𝑅 𝑛𝑒𝑤 = (24) ∑𝑇 (𝑦 𝑦 𝑇 − 𝐶 𝑛𝑒𝑤 𝐸[𝑧𝑛 ]𝑦𝑛𝑇 − 𝑇 𝑛=1 𝑛 𝑛 𝑦𝑛 𝐸[𝑧𝑛𝑇 ](𝐶 𝑛𝑒𝑤 )𝑇 + 𝐶 𝑛𝑒𝑤 𝐸[𝑧𝑛 𝑦𝑛𝑇 ](𝐶 𝑛𝑒𝑤 )𝑇 ) (25) Về tổng thể, phương pháp đề xuất để giải vấn đề thiếu giá trị chuỗi thời gian EEG tóm tắt sau: - Ước tính biến ẩn Z (E-step): Với tham số cố định,  Y chứa giá trị bị thiếu, quy trình tiến-lùi để ước tính hậu nghiệm 𝑃(𝑍|𝑌; 𝜃) số liệu thống kê đầy đủ 𝐸(𝑧𝑛 |𝑌; 𝜃), 𝐸(𝑧𝑛 𝑧′𝑛 |𝑌; 𝜃), 𝐸(𝑧𝑛 𝑧′𝑛+1 |𝑌; 𝜃) sử dụng - Khôi phục giá trị bị thiếu: Đã cho Z cố định, giá trị bị thiếu 𝑌𝑚𝑖𝑠𝑠 𝐸(𝑌𝑚𝑖𝑠𝑠 |𝑍; 𝜃) sử dụng 𝐸(𝑧𝑛 |𝑌; 𝜃) ước tính Cập nhật thơng số mơ hình (M-step): Với Y Z cố định, thơng số mơ hình mới, 𝜃 𝑛𝑒𝑤 ← 𝑎𝑟𝑔𝑚𝑎𝑥 𝐸[log (𝑌, 𝑍, 𝜃] ước tính Đánh giá thực nghiệm 4.1 Dữ liệu thực nghiệm Trong nghiên cứu này, nhóm tác giả nghiên cứu dựa liệu EEG: - Bộ liệu hình ảnh chuyển động ABSP EEG [13] Các tín hiệu điện não đồ tập liệu ghi lại từ đối tượng khỏe mạnh mặt huyết Mô hình BCI dựa gợi ý bao gồm 2/3 nhiệm vụ hình ảnh vận động, cụ thể tưởng tượng chuyển động tay trái (Left Hand - LH), tay phải (Right Hand - RH) hai chân (feet - F) Một số buổi thí nghiệm vào ngày khác ghi lại cho số thí nghiệm, liệu thí nghiệm lưu trữ tệp liệu tương ứng Có 31 tệp bao gồm tín hiệu EEG cho thí nghiệm riêng biệt; - Bộ liệu hình ảnh chuyển động BCI III (4a) [14] Bộ liệu cung cấp Fraunhofer FIRST, Nhóm Phân tích Dữ liệu Thơng minh (Klaus-Robert Müller, Benjamin Blankertz), Cơ sở Benjamin Franklin Charité - Đại học Y Berlin, Khoa Thần kinh, Nhóm Khoa học Thần kinh (Gabriel Curio) xuất web: https://www.bbci.de/competition/iii/desc_IVa.html 4.2 Mơ hình thực nghiệm Sự xuất giá trị bị liệu thực tế có ảnh hưởng tiêu cực đến kết phân tích thuật tốn Nghiên cứu tập trung vào loại liệu bị có cấu trúc dạng liệu bị tồn thực tế Bài báo đề xuất khơi phục liệu bị có cấu trúc cách sử dụng phương pháp phân tích nhân tử dựa tensor nhằm bảo tồn tính chất đa chiều liệu khôi phục liệu bị cách hiệu Để hình dung cách tổng quan mơ hình thực nghiệm tốn khơi phục liệu EEG bị Quan sát Hình mơ tín hiệu EEG hồn chỉnh (EEG gốc liệu), liệu bị đoạn liệu phục hồi Hình 2(a) cho thấy, tín hiệu EEG hồn chỉnh từ liệu EEG Hình 2(b) cho thấy trường hợp khoảng giá trị từ kênh ngẫu nhiên tín hiệu điện não đồ bị Sau đó, tín hiệu EEG phục hồi thông qua phương pháp đề xuất thể Hình 2(c) ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 20, NO 7, 2022 Hình Mơ tín hiệu EEG gốc, bị phục hồi Mục đích việc phục hồi liệu bị cải thiện độ xác phân loại Để đạt độ xác phân loại cao, tín hiệu nhiễu loại bỏ khỏi điện não đồ Nhóm tác giả đề xuất ba mơ hình để so sánh hiệu suất kết phân loại Mơ hình thứ nhất, sử dụng phương pháp phân loại tập liệu hồn chỉnh mơ Hình Mơ hình thứ hai, cố tình bỏ liệu từ 5% đến 15% sau áp dụng phương pháp phân loại Hình Trong mơ hình thứ ba, khơi phục liệu sau sử dụng phép phân loại Hình Kết lý tưởng hiệu suất phân loại liệu khôi phục phải tốt hiệu suất phân loại liệu hoàn chỉnh Trong đó, hiệu suất phân loại liệu bị thiếu so với hai mô hình cịn lại 4.3 Kết thực nghiệm Để tiến hành thử nghiệm nghiên cứu, hai khía cạnh xem xét để đánh giá hoạt động hiệu phương pháp đề xuất phương pháp MSVD phương pháp nội suy (Interpolation) So sánh thực dựa khả ước tính lượng giá trị khác mục khác có giá trị bị Đối với thiết lập thử nghiệm, báo tạo vị trí quan sát bị liên tiếp khác kênh ngẫu nhiên liệu ABSP BCI III (4a) Các thí nghiệm lặp lại 10 lần để tránh ảnh hưởng ngẫu nhiên Tính tốn trung bình sai số bình phương trung bình (MSE) để đánh giá chất lượng phương pháp đề xuất MSE tính theo cơng thức: ∑‖𝑦̃𝑡 − 𝑦𝑡 ‖2 ⁄∑‖𝑦𝑡 ‖2 , t biểu thị lần đánh dấu, 𝑦̃𝑡 liệu tái tạo y liệu đầu vào Bảng Lỗi cấu trúc lại tỷ lệ khác giá trị bị 5%, 10% 15% Dataset Tệp subA ABSP subB aw BCI III (4a) ay Hình Mơ hình phân loại liệu EEG hồn chỉnh Hình Mơ hình phân loại liệu EEG với 5% đến 15% giá trị bị Hình Mơ hình phân loại liệu điện não đồ phục hồi phương pháp đề xuất 91 Phương pháp Đề xuất MSVD Interpolation Đề xuất MSVD Interpolation Đề xuất MSVD Interpolation Đề xuất MSVD Interpolation Lỗi tái cấu trúc liệu bị so với liệu gốc (MSE) 5% 10% 15% 0,0039 0,00602 0,0807 0,0284 0,0509 0,0934 0,03463 0,07357 0,0926 0,0015 0,00523 0,00738 0,02203 0,03374 0,09193 0,03959 0,08728 0,0966 0,01109 0,0738 0,07459 0,13903 0,22025 0,29322 0,16643 0,28596 0,38245 0,03013 0,17195 0,30328 0,19056 0,29601 0,99752 0,38527 0,60137 0,73021 Trung bình MSE 0,0302 0,0576 0,0669 0,0047 0,0492 0,0745 0,0532 0,2175 0,2783 0,1685 0,4947 0,5723 Đối với tập liệu thử nghiệm, nguyên tắc Fukunaka [15,16] sử dụng cơng cụ để đạt số h thích hợp cho kích thước ẩn mơ hình phương pháp suy biến liệu ban đầu Y=U x S x VT Trong đó, U V ma trận trực chuẩn, S ma trận đường chéo với giá trị kỳ dị đường chéo Để có số h, giá trị số nhỏ thường đặt Do đó, xếp thứ tự giá trị kỳ dị sau chọn h giá trị có phân vị thứ 98 tổng giá trị kỳ dị bình phương Đầu tiên so sánh dựa khác biệt sai số xây dựng lại ba phương pháp giá trị bị thiếu 5%, 10% 15%, thể Bảng Trong tất trường hợp, phương pháp đề xuất phương pháp MSVD sử dụng số biến ẩn với 98% lượng; Độ dài trung bình giá trị thiếu liên tiếp 35 điểm thời gian Bảng chứng minh rằng, tất lượng liệu bị thiếu khác phạm vi 5%, 10% 15%, sai số tái tạo phương pháp đề xuất cho kết tốt nhất, có sai số nhỏ so với phương pháp nội suy phương pháp MSVD Cụ thể, tập liệu ABSP, phương pháp đề xuất đưa 0,0039 0,0105 sai số tái tạo trung bình, thấp so với phương pháp MSVD phương pháp nội suy Trên tập liệu này, cho thấy cải thiện Dương Thanh Linh, Lương Duy Đức, Nguyễn Thị Ngọc Anh 92 khoảng 67% 75% so với phương pháp MSVD nội suy Tương tự, thực nghiệm phục hồi liệu bị với tập liệu BCI III (4a) với tệp aw ay, hiệu suất phương pháp đề xuất cho thấy việc tái tạo cải thiện 69% 74% so với hiệu suất phương pháp MSVD nội suy Để kiểm tra tính hiệu phương pháp đề xuất, Hình cho thấy khả phục hồi liệu kênh 20 liệu BCI III (4a) theo ba cách tiếp cận Trong tất trường hợp, phục hồi tốt thực với điểm thời gian tích liên tiếp Trong hình, đường nét chấm biểu thị tín hiệu ban đầu (Original Signal), đường nét liền ký hiệu dấu () tín hiệu tái tạo phương pháp MSVD, đường nét liền tín hiệu phục hồi phương pháp nội suy (Interpolation Method) đường nét liền ký hiệu dấu trịn () mơ tả tín hiệu phục hồi phương pháp đề xuất Nó cho thấy phương pháp đề xuất (ký hiệu ) đạt tái tạo tốt đạt gần với tín hiệu ban đầu so với phương pháp MSVD phương pháp nội suy Hình Khơi phục tín hiệu so sánh với tín hiệu ban đầu (giả sử khôi phục 100 điểm thời gian liên tiếp) Bảng So sánh kết thực nghiệm phân loại với liệu giả định bị liệu sau phục hồi Dataset ABSP BCI III (4a) Phân loại với liệu bị so với liệu gốc Tệp 5% 10% 15% Trung bình 5% 10% 15% Trung bình subA 78,08 63,46 61,54 67,69 89,71 87,29 86,63 87,88 subB 86,42 70,68 52,47 69,86 90,57 84,78 67,88 81,08 aw 84,40 75,39 71,88 77,22 90,60 85,81 81,61 86,01 ay 84,99 85,32 65,93 78,75 91,7 90,87 86,63 89,73 Tiếp theo, nhóm tác giả thử nghiệm phân loại với liệu ABSP với hai đối tượng: subA_6chan_2LR_s1 (subA) subB_6chan_2LR (subB) Tập liệu subA bao gồm 130 thử nghiệm hình ảnh động BCI EEG cho đối tượng A Tất tín hiệu EEG ghi lại thời gian giây tần số lấy mẫu 256 Hz kênh khuếch đại gTec Mỗi thử nghiệm gán nhãn theo hình ảnh động bên trái bên phải Tập liệu subB bao gồm 162 lần giả định liệu ABSP bị theo cấu trúc 5%, 10% 15%, sau nhận dạng liệu bị giả định bị ta thu kết 78,08%, 63,46% 61,54 cho tệp liệu subA, với trung bình cộng 67,69% Sau đó, tiến hành phục hồi liệu phương pháp đề xuất ta thu kết nhận dạng với trung bình cộng 87,88% cải thiện 20,19% Bảng Độ xác phương pháp phân loại chuyển động với liệu EEG Dataset ABSP BCI III (4a) Phân loại với liệu sau phục hồi Dữ liệu Trungbình Trung bình cộng Tệp EEG hoàn cộng liệu liệu EEG chỉnh EEG bị sau phục hồi subA 90,77 67,69 87,88 subB 92,41 69,86 81,08 aw 91,61 77,22 86,01 ay 93,81 77,98 89,73 Bộ liệu BCI III (4a) chọn kênh (51-57) từ 118 kênh liệu đầy đủ để minh họa hoạt động, tiến hành phân loại theo phương thức CSP (Common Spatial Pattern) thu độ xác 91,61%, 93,81% cho tệp aw, ay hoàn chỉnh Ta thu kết phân loại sau phục hồi liệu EEG bị theo cấu trúc 5%, 10% 15%, với trung bình cộng 86,01% với 89,73% cho tệp aw ay Các thực nghiệm cho kết cải thiện mức độ xác 8,89% thuật toán phân loại áp dụng liệu phục hồi so với liệu bị 100 80 90.77 87.88 92.41 67.69 81.08 69.86 subA subB 91.61 86.01 77.22 93.81 89.73 82.08 60 40 20 Dữ liệu hoàn chỉnh Dữ liệu bị aw ay Dữ liệu phục hồi Hình Hiệu nhận dạng việc phục hồi liệu EEG Hình cho thấy, hiệu nhận dạng việc phục hồi liệu EEG Thuật toán phân loại hoạt động cho kết gần giống với liệu gốc ban đầu liệu EEG khôi phục Điều chứng tỏ khả ứng dụng phương pháp phục hồi liệu đề xuất Kết luận Trong báo này, đề xuất phương pháp để giải vấn đề giá trị bị thiếu liên tiếp cho chuỗi thời gian ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 20, NO 7, 2022 EEG, đặc biệt việc tái tạo phục hồi lại chúng Phương pháp giải giá trị bị thiếu liên tiếp chuỗi thời gian EEG thực đa chiều Trong hầu hết trường hợp, phương pháp cung cấp kết tốt so với kỹ thuật thay nội suy MSVD Việc khôi phục lại liệu EEG cho kết gần giống liệu EEG ban đầu theo phương pháp đề xuất chứng tỏ khả ứng dụng phương pháp đề xuất Lời cảm ơn: Nghiên cứu tài trợ Quỹ Phát triển Khoa học Công nghệ Quốc gia (NAFOSTED) đề tài mã số 102.01-2020.27 TÀI LIỆU THAM KHẢO [1] Dornhege, Guido, et al “Boosting bit rates in noninvasive EEG single-trial classifications by feature combination and multiclass paradigms”, IEEE transactions on biomedical engineering 51.6 (2004): 993-1002 [2] Horst, Reiner, and Panos M Pardalos, eds Handbook of global optimization Vol Springer Science & Business Media, 2013 [3] Kousarrizi, Mohammad Reza Nazari, et al “Feature extraction and classification of EEG signals using Wavelet transform, SVM and artificial neural networks for brain computer interfaces”, 2009 international joint conference on bioinformatics, systems biology and intelligent computing IEEE, 2009 [4] Lacy, Seth L., and Dennis S Bernstein “Subspace identification with guaranteed stability using constrained optimization”, IEEE Transactions on automatic control 48.7 (2003): 1259-1263 [5] Lin, Wei-Chao, and Chih-Fong Tsai “Missing value imputation: a review and analysis of the literature (2006–2017)”, Artificial Intelligence Review 53.2 (2020): 1487-1509 [6] Lin, Wan-Ju, et al “Evaluation of deep learning neural networks for surface roughness prediction using vibration signal analysis”, Applied Sciences 9.7 (2019): 1462 [7] Mehra, Mani, V K Mehra, and V K Ahmad Wavelets theory and its applications Springer Singapore, 2018 93 [8] Mistry, Krupal Sureshbai, et al “An SSVEP based brain computer interface system to control electric wheelchairs”, 2018 IEEE International Instrumentation and Measurement Technology Conference (I2MTC) IEEE, 2018 [9] Ramachandra, K V Kalman filtering techniques for radar tracking CRC Press, 2018 [10] Shivappa, Vinay Kumar Karigar, et al “Home automation system using brain computer interface paradigm based on auditory selection attention”, 2018 IEEE international instrumentation and measurement technology conference (I2MTC) IEEE, 2018 [11] Akmal, Muhammad, Syed Zubair, and Hani Alquhayz “Classification analysis of tensor-based recovered missing EEG data”, IEEE Access (2021): 41745-41756 [12] Campbell, Andrew, et al “NeuroPhone: brain-mobile phone interface using a wireless EEG headset”, Proceedings of the second ACM SIGCOMM workshop on Networking, systems, and applications on mobile handhelds 2010 [13] Cichocki, A., and Q Zhao “EEG motor imagery dataset”, Tech Rep., Laboratory for Advanced Brain Signal Processing, BSI, RIKEN, Saitama, Japan (2011) [14] Dang, Lujuan, et al “Kernel Kalman filtering with conditional embedding and maximum correntropy criterion”, IEEE Transactions on Circuits and Systems I: Regular Papers 66.11 (2019): 4265-4277 [15] K Fukunaga, Introduction to Statistical Pattern Recognition, Academic Press, San Diego, Calif, USA, 1990 [16] L Li, B Aditya Prakash, and C Faloutsos, “Parsimonious linear fingerprint for time series,” Proceedings of the VLDB Endowment, vol 3, pp 385–396, 2010 [17] Phan, A.H NFEA: Tensor Toolbox for Feature Extraction and Applications; Technical Report; Lab for Advanced Brain Signal Processing, Brain Science Institute RIKEN: Hirosawa Wako City, Japan, 2011 [18] Thi, Ngoc Anh Nguyen, Hyung-Jeong Yang, and Sun-Hee Kim “Exploiting patterns for handling incomplete coevolving eeg time series”, International Journal of Contents 9.4 (2013): 1-10 [19] Tong, Hanghang, and Lei Ying “NetDyna: mining networked coevolving time series with missing values”, 2019 IEEE International Conference on Big Data (Big Data) IEEE, 2019  ... nội suy Mô tả tốn phục hồi liệu EEG bị Thơng thường tín hiệu điện não đồ bị suy giảm lý khác ngắt kết nối điện cực với thể tín hiệu nhiễu Việc khơi phục liệu bị thiếu ứng dụng thực tế cần thiết,... liệu khôi phục liệu bị cách hiệu Để hình dung cách tổng quan mơ hình thực nghiệm tốn khơi phục liệu EEG bị Quan sát Hình mơ tín hiệu EEG hồn chỉnh (EEG gốc liệu) , liệu bị đoạn liệu phục hồi Hình... Hình 2(a) cho thấy, tín hiệu EEG hồn chỉnh từ liệu EEG Hình 2(b) cho thấy trường hợp khoảng giá trị từ kênh ngẫu nhiên tín hiệu điện não đồ bị Sau đó, tín hiệu EEG phục hồi thông qua phương pháp