Phương pháp nhận dạng sóng điện não hỗ trợ nhu cầu người bệnh

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP HỒNG THỊ VÂN OANH PHƯƠNG PHÁP NHẬN DẠNG SĨNG ĐIỆN NÃO HỖ TRỢ NHU CẦU NGƯỜI BỆNH LUẬN VĂN THẠC SĨ KHOA HỌC NGÀNH KỸ THUẬT ĐIỆN TỬ THÁI NGUYÊN - 2020 Tai ngay!!! Ban co the xoa dong chu nay!!! ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KỸ THUẬT CƠNG NGHIỆP HỒNG THỊ VÂN OANH PHƯƠNG PHÁP NHẬN DẠNG SÓNG ĐIỆN NÃO HỖ TRỢ NHU CẦU NGƯỜI BỆNH NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 8.52.02.03 LUẬN VĂN THẠC SĨ KHOA HỌC NGÀNH KỸ THUẬT ĐIỆN TỬ KHOA ĐIỆN TỬ NGƯỜI HƯỚNG DẪN TS NGUYỄN PHƯƠNG HUY THÁI NGUYÊN - 2020 TS TRẦN ĐỨC CHUYỂN i LỜI CAM ĐOAN Tên tơi là: Hồng Thị Vân Oanh Sinh ngày: 03/9/1990 Học viên lớp cao học CHK21KTĐT - Trường Đại học Kỹ thuật Công nghiệp - Đại học Thái Nguyên Hiện công tác tại: Trường Cao đẳng Kỹ thuật Công nghệ tỉnh Hà Giang Xin cam đoan: Đề tài “Phương pháp nhận dạng sóng điện não hỗ trợ nhu cầu người bệnh” Thầy giáo TS Nguyễn Phương Huy TS Trần Đức Chuyển hướng dẫn công trình nghiên cứu riêng tơi Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Tác giả xin cam đoan tất nội dung luận văn nội dung đề cương yêu cầu thầy giáo hướng dẫn Nếu sai tơi hồn tồn chịu trách nhiệm trước hội đồng khoa học trước pháp luật Thái Nguyên, ngày 13 tháng 12 năm 2020 Tác giả luận văn Hoàng Thị Vân Oanh ii LỜI CẢM ƠN Sau thời gian nghiên cứu làm việc nghiêm túc, động viên, giúp đỡ hướng dẫn tận tình Thầy giáo hướng dẫn TS Nguyễn Phương Huy TS Trần Đức Chuyển, luận văn với đề tài “Phương pháp nhận dạng sóng điện não hỗ trợ nhu cầu người bệnh” hồn thành Tơi xin bày tỏ lịng biết ơn sâu sắc đến: Các thầy giáo hướng dẫn: TS Nguyễn Phương Huy TS Trần Đức Chuyển tận tình dẫn, giúp đỡ tơi hồn thành luận văn Trường Đại học công nghệ Kỹ thuật công nghệp đặc biệt Thầy, cô Khoa Điện tử giúp đỡ tơi q trình học tập thực luận văn Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ tơi suốt q trình học tập, thực hồn thành luận văn Thái Nguyên, ngày 13 tháng 12 năm 2020 Tác giả luận văn Hoàng Thị Vân Oanh iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU viii MỞ ĐẦU 1 Tính khoa học cấp thiết đề tài Đối tượng phạm vi nghiên cứu đề tài Phương pháp luận nghiên cứu Nội dung bố cục luận văn CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG TÍN HIỆU ĐIỆN NÃO Tởng quan tín hiệu điện não 1.1.1 EEG 1.1.2 Tại phải thu nhận tín hiệu EEG .4 1.1.3 Nguồn gốc tín hiệu EEG 1.1.4 Các dạng sóng EEG Hệ thống tương tác máy não 11 1.2.1 Kiến trúc hệ thống BCI 11 1.2.2 Một số kỹ thuật triển khai hệ thống BCI 12 Cập nhật số kết nghiên cứu nước 18 1.3.1 Nghiên cứu giới .18 1.3.2 Nghiên cứu nước 18 Một số ứng dụng hệ thống nhận dạng tín hiệu điện não 19 Kết luận chương 20 CHƯƠNG MẠNG NƠ RON CNN VÀ ỨNG DỤNG TRONG NHẬN DẠNG TÍN HIỆU EEG .21 Giới thiệu mạng CNN 21 2.1.1 Mạng nơron sinh học 21 2.1.2 Mạng nơron nhân tạo 22 iv 2.1.3 Mạng nơron CNN 24 2.1.4 Kiến trúc mạng CNN 25 2.1.5 Ứng dụng CNN nhận dạng tín hiệu 28 Xây dựng mạng CNN cho phân loại tín hiệu điện não 28 2.2.1 Trường tiếp nhận cục (Local receptive fields) 29 2.2.2 Trọng số chia sẻ độ lệch (Shared weights and biases) 32 2.2.3 Lớp chứa hay lớp tổng hợp (Pooling layer) 33 2.2.4 Cách chọn tham số cho CNN .35 Cập nhật số hướng nghiên cứu tốn phân loại tín hiệu EEG sử dụng mạng nơ ron CNN 35 Kết luận chương 37 CHƯƠNG XÂY DỰNG MƠ HÌNH THỬ NGHIỆM 38 Phát biểu toán 38 Xây dựng phần cứng hệ thống .39 3.2.1 Mũ thu thập tiền xử lý tín hiệu điện não 39 3.2.2 Bộ điều khiển tương tác sóng điện não .39 3.2.3 Các module giao tiếp 40 Xây dựng phần mềm hệ thống .42 3.3.1 Modul phần mềm thu nhận tín hiệu EEG 42 3.3.2 Môdul phần mềm nhận dạng tín hiệu EEG sử dụng mạng nơ ron CNN .43 Kết thảo luận .51 Kết luận chương 53 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 TÀI LIỆU THAM KHẢO .56 v DANH MỤC CÁC TỪ VIẾT TẮT Stt Từ Từ tiếng Anh cụm từ Từ tiếng Việt Trí tuệ nhân tạo AI Artificial Intelligence ANN Artificial Neural Network AR Autoregressive Modeling Mơ hình tự hồi quy BCI Brain-Computer Interface Giao tiếp máy – điện não CNN Convolutional Neural Network Mạng nơron tích chập CSDL Data base Cơ sở liệu CV Computer Vision Thị giác máy tính CWT Continuous Wavelet Transform Biến đổi Wavelet liên tục DL Deep Learning Học sâu 10 DWT Discrete Wavelet Transform Biến đổi Wavelet rời rạc 11 EEG Electro EncephaloGraph Điện não đồ 12 ICA Independent Component Analysis Phân tích thành phần độc lập 13 LDA Linear Discriminant Analysis Phương pháp phân tích khác biệt tuyến tính 14 MCR Miss Classification Rate Tỷ lệ nhận dạng sai 15 MLP Multi Layer Perceptron Mạng nơron Perceptron đa lớp 16 NN Neural Network Mạng Nơron 17 PCA Principal Component Analysis Phương pháp phân tích phần 18 ReLU Rectified Linear Units Hàm tinh chỉnh đơn vị tuyến tính 19 RMSE Root Mean Square Error Sai số bình phương trung bình 20 SVM Support Vector Machine Học máy vectơ hỗ trợ 21 ER Emotion Recognition Nhận dạng cảm xúc 22 ERS Emotion Recognition System Hệ thống nhận dạng cảm xúc Mạng nơron nhân tạo vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Thiết lập ghi tín hiệu EEG Hình 1.2 Một số phương pháp thu thập thông tin não Hình 1.3 Q trình hình thành tín hiệu EEG từ nơ ron hình chóp Hình 1.4 Nhận dạng dạng sóng theo tần số Hình 1.5 Sóng Alpha Hình 1.6 Sóng Beta Hình 1.7 Sóng Theta 10 Hình 1.8 Sóng Delta 10 Hình 1.9 Kiến trúc hệ thống BCI 11 Hình 1.10 Ví dụ minh họa q trình xử lý tín hiệu hệ thống BCI 12 Hình 1.11 Thu thập tín hiệu EEG 12 Hình 1.12 Vị trí đặt điện cực EEG hệ thống 10-20 14 Hình 1.13 Một số cách xếp vị trí điện cực EEG 16,32,64 kênh .14 Hình 1.14 Một kênh sau xử lí loại bỏ artifact 15 Hình 1.15 Một số phương pháp phân lớp nhận dạng tín hiệu EEG[8] 16 Hình 2.1 Cấu trúc nơron sinh học 21 Hình 2.2 Nơron nhân tạo 23 Hình 2.3 Cách máy tính “nhìn” hình 24 Hình 2.4 Mạng nơ-ron thơng thường (trái) CNN (phải) .25 Hình 2.5 Kiến trúc mạng CNN 26 Hình 2.6 Max pooling kích thước 2×2 .27 Hình 2.7 Lớp kết nối đầy đủ 28 Hình 2.8 Lớp input gồm 28x28 nơ ron cho nhận dạng liệu EEG với 28 điện cực lấy thành 28 mẫu theo thời gian 29 Hình 2.9 Kết nối vùng 5x5 nơ ron input với nơ ron lớp ẩn .30 Hình 2.10 Vị trí bắt đầu trường tiếp nhận cục 30 Hình 2.11 Vị trí thứ trường tiếp nhận cục nơ ron lớp ẩn 31 Hình 2.12 Trường tiếp nhận cục với ba đồ đặc trưng 31 vii Hình 2.13 Trường tiếp nhận cục với 20 đồ đặc trưng 32 Hình 2.14 Ví dụ Max pooling 2x2 33 Hình 2.15 Max pooling với ba đồ đặc trưng .34 Hình 2.16 VDí dụ kiến trúc mạng CNN cho nhận dạng tín hiệu EEG 35 Hình 3.1 Sơ đồ khối hệ thống điều khiển thiết bị thơng qua sóng điện não 38 Hình 3.2 Mũ Emotiv Epoc+ vị trí 16 điện cực 39 Hình 3.3 Bộ điều khiển tương tác sóng điện não 40 Hình 3.4 Module Bluetooth (HC-05) + Hồng ngoại (IR-T940) dùng cho điều khiển tivi 40 Hình 3.5 Module Relay dùng cho điều khiển bật tắt bóng đèn 41 Hình 3.6 Module phát tiếng nói gọi người chăm sóc .41 Hình 3.7 Module SIM900A dùng cho giao tiếp với điện thoại di động 42 Hình 3.8 Thu nhận tín hiệu EEG Emotiv SDK software 42 Hình 3.9 Kiến trúc mạng nơ ron CNN cho luyện lệnh 43 Hình 3.10 Phân bở thời gian cho việc lấy mẫu tín hiệu EEG 44 Hình 3.11 Giao diện thiết kế mạng CNN 46 Hình 3.12 Mạng CNN 46 Hình 3.13 Tiến trình luyện mạng với kernel x and đồ đặc trưng 47 Hình 3.14 Giao diện chương trình luyện mạng CNN 49 Hình 3.15 Kiến trúc thực tế hệ thống 51 Hình 3.16 Giao diện huấn luyện mạng 52 viii DANH MỤC BẢNG BIỂU Bảng 3.1 Các tham số hoạt động mạng CNN 49 Bảng 3.2 Các tham số hoạt động mạng CNN ba lớp ẩn 50 Bảng 3.3 Một số kết thử nghiệm .52 43 cấp hữu ích cho việc thiết kế thí nghiệm, chuẩn bị định cấu hình đa phương tiện Cơng cụ giúp thu thập liệu EEG theo cách có cấu trúc có hệ thống, kết nối với cơng cụ luyện mạng CNN chương trình điều khiển thiết bị ngoại vi Matlab 3.3.2 Môdul phần mềm nhận dạng tín hiệu EEG sử dụng mạng nơ ron CNN 3.3.2.1 Kiến trúc chung mạng CNN việc thu thập liệu luyện mạng Hệ thống dự kiến cho phép người dùng sử dụng 10 lệnh điều khiển thơng qua sóng não Do đó, để phân loại lệnh điều khiển, luận văn sử dụng mạng nơ ron CNN với kiến trúc Hình 3.9 Hình 3.9 Kiến trúc mạng nơ ron CNN cho luyện lệnh Trong giai đoạn luyện mạng, liệu EEG gắn nhãn, tức liệu từ yêu cầu người điều khiển biết, ghi lại gửi đến mạng nơ ron CNN để huấn luyện mơ hình nhận dạng suy nghĩ Trong giai đoạn nhận dạng, liệu EEG không xác định đưa vào mạng CNN luyện để đưa định lệnh phù hợp Để chuẩn bị mẫu luyện mạng đánh giá kết nhận dạng mạng CNN, người dùng yêu cầu nhìn vào hình ảnh giao diện, tập trung suy nghĩ 8s để phần mềm thu thập tín hiệu EEG Trong 8s 2s đầu cuối dành cho chuẩn bị nghỉ ngơi, liệu thực ghi nhận 4s (Hình 3.10) Các mẫu sau tính tốn tương quan so với mẫu trước, đưa khuyến nghị cho người dùng để định việc lựa chọn làm mẫu chuẩn cho nhận dạng 44 Hình 3.10 Phân bổ thời gian cho việc lấy mẫu tín hiệu EEG Dựa Hình 3.10 thấy, mũ Emotiv có 14 điện cực sử dụng Tần số lấu mẫu tín hiệu mơ tả (Hình 3.8) 128 Hz thực 4s (tổng cộng 512 mẫu) Như vậy, mẫu liệu mảng hai chiều có kích thước 14 x 512 Mỗi lệnh suy nghĩ 10 lệnh (ăn, uống, bật ti vi, tắt tivi, bật đèn, tắt đèn…) luyện 250 lần người Các liệu ghi lại chia thành tập gồm 80% cho luyện mạng 20% cho kiểm thử Theo đó, ứng với lệnh có 200 mẫu cho luyện mạng 50 mẫu dùng để kiểm tra độ xác việc nhận dạng Như vậy, tổng mẫu dành cho huấn luyện mạng CNN 2000 Các mẫu kiểm tra 500 3.3.2.2 Tìm kiếm cấu trúc mạng nơ ron CNN tối ưu cho nhận dạng tín hiệu EEG Trong phần này, luận văn sử dụng Hộp cơng cụ Deep Learning Toolbox Matlab 2019b để tìm kiếm cấu trúc mạng CNN phù hợp cho tốn nhận dạng suy nghĩ bệnh nhân thoogn qua tín hiệu EEG Công cụ cung cấp nhiều tùy chọn để huấn luyện mạng CNN Các tùy chọn cho thuật toán huấn luyện bao gồm giảm độ dốc ngẫu nhiên với động lượng, lan truyền bình phương trung bình gốc ước lượng mơ men thích ứng Tất thuật toán huấn luyện áp dụng trọng số ban đầu mặc định, phân phối Gaussian với giá trị trung bình độ lệch chuẩn 0,01 Giá trị bias ban đầu mặc định đặt thành Tuy nhiên, cần, giá trị ban đầu đặt lại thủ công thông qua thiết lập mạng Mạng CNN mô luận văn huấn luyện sử dụng thuật toán độ dốc ngẫu nhiên với động lượng, trọng số ban đầu giá trị sai lệch, tỷ lệ học ban đầu đặt thành 0,01 Số epoch tối đa 30 với số lượng epoch 45 tăng lên, kết ổn định dự kiến Như thấy từ mã bên dưới, việc đào tạo thực GPU tiến trình hiển thị dạng đồ thị options = trainingOptions('sgdm', 'MaxEpochs',epoch, 'InitialLearnRate',1e-2, 'Shuffle','every-epoch', 'Verbose',false, 'Plots','training-progress', 'ExecutionEnvironment','gpu'); Để tính tốn độ xác nhận dạng, lệnh classify sử dụng sau: tep = classify(convnet,teds); tev = teds.Labels; acc = sum(tep== tev)/numel(tev); fprintf('accuracy: %2.2f%%,error rate: %2.2f%%\n',acc*100,100acc*100); Trong convnet mạng huấn luyện teds liệu kiểm tra định dạng kho liệu Hai dòng mã cuối so sánh khác biệt liệu thử nghiệm dự đoán với nhãn thực chúng hiển thị tỷ lệ lỗi Trong trình thử nghiệm mô phỏng, luận văn thực đánh giá kết theo hai cấu hình mạng nơ ron Đó cấu hình mạng nơ ron cấu hình mạng CNN với ba lớp chập a Mạng nơ ron CNN Một CNN bao gồm lớp đầu vào, lớp chập, lớp chuẩn hóa, lớp kích hoạt, lớp gộp, lớp kết nối đầy đủ lớp softmax đầu để dự đoán nhãn đầu vào Mã thực mạng CNN vậy: imageInputLayer([28 28 1]) convolution2dLayer(5,3) %C1 batchNormalizationLayer reluLayer maxPooling2dLayer(2,'Stride',2) %S2 fullyConnectedLayer(10) %F3 softmaxLayer classificationLayer]; Để minh họa rõ lớp CNN, luận văn sử dụng thực chức deepNetworkDesigner cửa sổ lệnh tạo không gian làm việc minh họa 46 Hình 3.11 cột bên trái thư viện lớp, cung cấp lớp có sẵn Bên phải thuộc tính nơi giá trị tham số định Dưới thuộc tính tởng quan mạng Ta sử dụng ctrl cuộn để phóng to thu nhỏ chi tiết mạng Hình 3.12 Một lớp xây dựng, mạng kiểm tra cách nhấp vào biểu tượng Analyze Nếu khơng có lỗi cảnh báo, mạng sẵn sàng để xuất sang khơng gian làm việc Hình 3.11 Giao diện thiết kế mạng CNN Hình 3.12 Mạng CNN Về mặt ký hiệu, Ci đại diện cho lớp chập, Bi đại diện cho lớp chuẩn hóa hàng loạt, Ai đại diện cho lớp kích hoạt, Si đại diện cho lớp mẫu phụ Fi đại diện cho lớp kết nối đầy đủ, i biểu thị số lớp Lớp chuẩn 47 hóa hàng loạt lớp kích hoạt thường khơng coi lớp CNN, đếm số lớp, chúng khơng tính Với mạng CNN bản, lớp đầu vào EEG có kích thước 14 x512 Trong mạng CNN này, có lớp chập (C1) sử dụng, kích thước cục trường tiếp nhận (giống hạt nhân chập) x lớp tạo ba đồ đặc trưng, lớp theo sau lớp chuẩn hóa hàng loạt (B) để chuẩn hóa đầu lớp chập Vì hộp cơng cụ Deep Learning Toolbox khơng có lớp sigmoid tích hợp, nên lớp ReLU (A) sử dụng Lớp lớp gộp tối đa (S2) để thực lấy mẫu xuống x kích thước bước Các đồ đặc trưng suy giảm sau kết nối đầy đủ với lớp 10 nơ-ron (F3), sau lớp softmax lớp đầu (phân loại) Hình 3.13 Tiến trình luyện mạng với kernel x and đồ đặc trưng Để kiểm tra hiệu suất mạng, kích thước trường tiếp nhận cục LRF đặt thành x 3, x x với kích thước đệm phù hợp, trường hợp, lớp chập tạo 3, đồ đặc trưng FM Hình 3.13 minh họa tiến trình trường hợp luyện mạng với kernel x and đồ đặc trưng b Mạng nơ ron CNN ba lớp ẩn 48 Để cải thiện mạng CNN bản, luận văn xem xét thêm lớp chập thứ hai (C3) lớp chập thứ ba (C5) lớp gộp tương ứng vào mạng Kích thước đệm đặt thành chiều dài stride đặt thành Mã hiển thị thực CNN với ba lớp chập: layers = [ imageInputLayer([28 28 1]) convolution2dLayer(lrf1,fm1,'Padding',1) batchNormalizationLayer %C1 reluLayer maxPooling2dLayer(2,'Stride',s) %S2 convolution2dLayer(lrf2,fm2,'Padding',1) %C3 batchNormalizationLayer reluLayer maxPooling2dLayer(2,'Stride',s) %S4 convolution2dLayer(lrf3,fm3,'Padding',1) %C5 batchNormalizationLayer reluLayer fullyConnectedLayer(10) %F6 softmaxLayer classificationLayer]; Trong lrf1, lrf2, lrf3 trường tiếp nhận cục thứ 1, 3, fm1, fm2, fm3 đồ đặc trưng thứ 1, và s biểu thị độ dài Stride Để thuận tiện theo dõi, học viên tiến hành xây dựng phần mềm luyện mạng, qua cho phép thay đổi số thông số số lớp ẩn CNN, Kích thước trường tiếp nhận cục bộ, Bản đồ đặc trưng hiển thị kết đạt độ thị sai số RMSE, tỷ lệ nhận dạng sai (Xem Hình 3.14) 49 Hình 3.14 Giao diện chương trình luyện mạng CNN c Một số kết đạt Bảng 3.1 Các tham số hoạt động mạng CNN Kích thước trường tiếp nhận cục Bản đồ đặc trưng Độ xác (%) 3x3 3x3 Thời gian thực Thời gian huấn luyện (Phút) Thời gian kiểm tra (Giây) 96.62 50.21 3.03 97.01 50.79 3.30 3x3 97.10 50.83 3.27 5x5 96.80 50.29 3.25 5x5 97.25 50.77 3.08 5x5 97.39 51.10 3.22 7x7 97.02 50.40 3.14 7x7 97.58 50.63 2.94 7x7 97.61 61.08 3.11 Để tìm cấu trúc mạng CNN phù hợp cho nhận dạng tín hiệu EEG, luận văn kiểm tra ban đầu với cấu trúc mạng đề xuất Trong đó, kích thước trường tiếp nhận cục lựa chọn thay đổi (3x3, 5x5, 7x7), số lượng đồ đặc 50 trưng kiểm tra qua ba giá trị (3, 6, 8) Kích thước đệm đặt thành kích thước spike đặt thành Số lượng Epoch 30 Bảng 3.1 tổng hợp hiệu suất mạng trường hợp, thể độ xác nhận dạng thời gian thực Từ Bảng 3.1, ta thấy mạng CNN cung cấp hiệu suất tốt với độ xác dự đoán 97,61% 61,08 phút LRF đặt thành x 7, FM đặt thành 8, kích thước đệm đặt thành kích thước stride đặt thành Số lượng Epoch 30 Tuy nhiên, trường hợp cho thời gian luyện mạng lâu so với trường hợp khác Tiếp theo, luận văn tiếp tục huấn luyện đánh giá với cấu trúc mạng ba lớp chập Trong đó, kích thước trường tiếp nhận cục ba lớp chập lựa chọn thay đổi (5x5, 7x7), số lượng đồ đặc trưng lớp ẩn kiểm tra qua ba giá trị (9, 18, 36) Kích thước đệm đặt thành kích thước stride đặt thành Số lượng Epoch 30 (Bảng 3.2) Bảng 3.2 Các tham số hoạt động mạng CNN ba lớp ẩn Kích thước trường tiếp nhận cục Bản đồ đặc trưng Thời gian thực Độ xác (%) 3 Thời gian huấn luyện (Phút) Thời gian kiểm tra (Giây) 5 9 98.14 51.14 3.86 5 9 18 98.13 50.78 4.33 5 9 36 98.12 50.76 3.97 7 9 98.27 50.45 3.91 7 9 18 98.15 50.40 4.00 7 9 36 98.32 50.53 4.66 5 18 98.26 50.44 4.94 5 18 18 98.28 50.45 4.86 5 18 36 98.35 50.62 4.11 7 18 98.16 50.62 3.97 7 18 18 98.29 50.67 3.94 51 7 18 36 98.32 50.82 4.19 7 9 98.19 50.55 3.92 7 9 18 98.18 50.56 4.00 7 9 36 98.32 50.58 4.13 7 9 98.29 50.57 4.13 7 9 18 98.22 50.67 3.98 7 9 36 99.34 50.64 4.72 7 18 99.20 50.70 4.01 7 18 18 98.29 50.71 4.77 7 18 36 98.27 50.76 4.08 7 18 98.27 50.73 3.96 7 18 18 98.37 50.86 4.18 7 18 36 98.43 51.07 4.25 Từ Bảng 3.2, thấy CNN đạt hiệu suất tốt với độ xác dự đốn 98,43% 51,07 phút sử dụng ba lớp chập, lớp có  LRF FM C1, 18 FM C2 36 FM C3 Kết thảo luận Hình 3.15 Kiến trúc thực tế hệ thống 52 Như trình bày trên, học viên tiến hành xây dựng phần cứng phần mềm cho hệ thống hỗ trợ giao tiếp bệnh nhân qua sóng não Hệ thống cho phép xác định 10 yêu cầu người bệnh như: ăn, uống, ngủ, vệ sinh, bật đèn, tắt đèn, bật ti vi, tắt tivi, gọi người chăm sóc, nghỉ (neutral) Trong khâu nhận dạng, người dùng nhìn vào hình ảnh giao diện, tập trung suy nghĩ 4s để tạo mẫu liệu phục vụ cho qua trình luyện mạng nơ ron Các mẫu tính tốn tương quan so với mẫu trước, đưa khuyến nghị cho người dùng để định việc lựa chọn làm mẫu chuẩn cho nhận dạng Sau luyện đủ 200 mẫu cho lệnh, người dùng thử nghiệm 50 lần đánh giá kết Hình 3.16 Giao diện huấn luyện mạng Các kết thực 50 mẫu liệu kiểm chứng lệnh cho Bảng 3.3 Qua đó, thấy hệ thống hoạt động với độ xác 80% có khả triển khai thực tế Bảng 3.3 Một số kết thử nghiệm Lệnh Số mẫu kiểm tra Số mẫu xác Tỷ lệ Ăn 50 44 88 Uống 50 43 86 Ngủ 50 44 88 53 Vệ sinh 50 46 92 Bật đèn 50 43 86 Tắt đèn 50 43 86 Bật TV 50 44 88 Tắt TV 50 43 86 Gọi người thân 50 45 90 Nghỉ 50 47 94 Hệ thống hoạt động có độ xác cao Tuy nhiên, kết thử ngiệm đối tượng Với đối tượng khác, ta phải thực lấy mẫu nhận dạng lại từ đầu Điều gây ảnh hưởng đến kết hoạt động hệ thống thực tế khó để người bệnh thực tốt việc luyện mạng Trong tương lai, chúng tơi tìm cách để lấy đặc trưng suy nghĩ dùng chung cho tất mội đối tượng Bên cạnh đó, q trình thử nghiệm, chúng tơi nhận thấy hệ thống cịn gặp khó khăn độ trễ lệnh điều khiển Kết luận chương Nội dung chương tập trung vào việc xây dựng mơ hình mơ hệ thống nhận dạng suy nghĩ qua sóng điện não để hỗ trợ nhu cầu người bệnh cách chi tiết (cả phần cứng lẫn phần mềm) Quá trình bao gồm xây dựng phần cứng, xây dựng phần mềm thu thập tín hiệu EEG, phần mềm luyện mạng CNN đánh giá kết đạt Nhìn chung, hệ thống nhận dạng có độ xác cao (trên 86%) Tuy nhiên, kết nhận dạng kết luyện người Do đó, chưa thể kết luận độ xác sử dụng cho nhiều người khác Đây hạn chế hướng phát triển luận văn 54 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Nhận dạng tín hiệu EEG lĩnh vực nghiên cứu hấp dẫn áp dụng nhiều toán thực tế Đây toán phức tạp giải ta biết ứng dụng thành tựu nghiên cứu lĩnh vực xử lý tín hiệu số số, trí tuệ nhân tạo…Trong đó, việc ứng dụng thành mạng CNN nhận dạng cho ta kết thực ấn tượng việc xây dựng ứng dụng hỗ trợ sinh hoạt người bệnh thơng qua sóng não Sau thời gian tìm hiểu nghiên cứu, luận văn đã trình bày vấn đề sau: - Nghiên cứu lý thuyết chung tín hiệu EEG, tập trung phân tích tốn nhận dạng tín hiệu EEG, làm rõ bước nhận dạng - Nghiên cứu lý thuyết mạng CNN, xây dựng kiến trúc mạng CNN ứng dụng nhận dạng tín hiệu EEG - Xây dựng mơ hình minh họa (phần cứng phần mềm) cho toán hỗ trợ sinh hoạt người bệnh thơng qua sóng não Trong q trình thử nghiệm mơ hình mơ phỏng, kết nhận dạng lệnh điều khiển tương đối tốt Tuy nhiên, toán nhận dạng dừng lại phạm vi nghiên cứu luận văn với số lệnh ít, áp dụng người Vì vậy, theo quan điểm học viên, đề tài cịn có sớ hướng phát triển sau: - Nghiên cứu kiến trúc mạng DeepLearning khác hiệu cho tốn trích chọn đặc trưng phân lớp tín hiệu EEG Mạng nơ ron Wavelet (Wavelet neural network - WNN, mạng nhớ dài-ngắn (Long short-term memory - LSTM), Deep Belief Networks (DBNs), Autoencoders (AEs) - Triển khai thử nghiệm cho số toán tương tự điều khiển xe lăn điện, điều khiển nhà thông minh… Do giới hạn thời gian nghiên cứu kiến thức thân, luận văn khó tránh khỏi số sai sót định Học viên mong nhận đóng góp ý kiến thầy cô, bạn đọc quan tâm để luận văn hoàn thiện Một lần học viên xin cảm ơn Thầy giáo TS Nguyễn Phương Huy TS Trần Đức Chuyển tận tình giúp đỡ, hướng dẫn thời gian thực 55 đề tài, cảm ơn giúp đỡ gia đình, bạn bè đồng nghiệp thời gian qua Thái Nguyên, ngày 13 tháng 12 năm 2020 Tác giả luận văn Hoàng Thị Vân Oanh 56 TÀI LIỆU THAM KHẢO I Tài liệu tiếng Việt [1] Nguyễn Văn Chiến (2011), Một số đề xử lý thực tế cho tín hiệu EEG, Luận văn thạc sỹ, Trường ĐH công nghệ, ĐH Quốc gia Hà nội [2] Nguyễn Linh Trung (2014), Nghiên cứu xử lý tín hiệu điện não phục vụ phân tích chuẩn đốn bệnh động kinh, Báo cáo đề tài cấp đại học , Đại học Quốc gia Hà nội [3] Ngô Quốc Trung (2018), Ứng dụng mạng nơ-ron hệ thống nhận dạng cảm xúc dựa tín hiệu điện não, Luận văn thạc sỹ, Trường ĐH Kỹ thuật Công nghiệp, ĐH Thái Nguyên [4] Hồng Tiến Thêm (2018), Ứng dụng biến đởi wavelet cho trích chọn đặc trưng tín hiệu điện não hệ thống nhận dạng cảm xúc, Luận văn thạc sỹ, Trường ĐH Kỹ thuật Công nghiệp, ĐH Thái Nguyên [5] Nguyễn Thế Hoàng Anh (2019), Nghiên cứu phát triển số phương pháp dựa học máy phục vụ phân tích xử lý tín hiệu điện não hướng tới xây dựng hệ giao diện não -máy tính, Luận án tiến sĩ khoa học máy tính, Trường ĐH cơng nghệ, ĐH Quốc gia Hà nội [6] Nguyễn Thanh Hà (2019), Xây dựng hệ thống trợ giúp giao tiếp sinh hoạt cho người khuyết tật thơng qua sóng điện não, Đề tài NCKH cấp bộ, Đại Học Thái Nguyên [7] Lưu Văn Toàn (2020), Điều khiển thiết bị nhà thơng minh thơng qua sóng điện não, Luận văn thạc sỹ, Trường ĐH Kỹ thuật Công nghiệp, ĐH Thái Nguyên II Tài liệu tiếng Anh [8] R.Padmavathi, V.Ranganathan, A Review on EEG Based Brain Computer Interface Systems, International Journal of Emerging Technology and Advanced Engineering, Volume 4, Issue 4, April 2014, pp 683-696 [9] Shilpa Bharti, Sukhman Preet Singh, An Enhanced Feature Extraction Method and Classification Method of EEG Signals using Artificial Intelligence, International Journal of Computer Applications (0975 – 8887), Volume 126 – No.10, September 2015 57 [10] Vaishali Kadam, R R Deshmukh, Challenges in Design and development of EEG based BCI: A Review, (IJCSIT) International Journal of Computer Science and Information Technologies, Vol (3) , 2015, pp 2794-2796 [11] G Xu et al., "A Deep Transfer Convolutional Neural Network Framework for EEG Signal Classification," in IEEE Access, vol 7, pp 112767-112776, 2019.Craik, Alexander & He, Yongtian & Contreras-Vidal, José (2019) Deep learning for Electroencephalogram (EEG) classification tasks: A review Journal of Neural Engineering 16 10.1088/1741-2552/ab0ab5 [12] Emmert-Streib Frank, Yang Zhen, Feng Han, Tripathi Shailesh, Dehmer Matthias (2020), An Introductory Review of Deep Learning for Prediction Models With Big Data, Frontiers in Artificial Intelligence, Vol [13] P P Shinde and S Shah, "A Review of Machine Learning and Deep Learning Applications," 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), Pune, India, 2018, pp 1-6, doi: 10.1109/ICCUBEA.2018.8697857 [14] Craik, Alexander & He, Yongtian & Contreras-Vidal, José (2019) Deep learning for Electroencephalogram (EEG) classification tasks: A review Journal of Neural Engineering 16 10.1088/1741-2552/ab0ab5