Thuật toán tìm ngưỡng xác định các hoạt động của mắt dựa vào tín hiệu EEG

v TịMăTT Nưo ngời đóng vai trò quan trọng trong hot đng ca con ngời. Dựa trên tín hiệu điện nưo ta có ngời ta có th xác định những thay đổi trong hot đng ca nưo b phc v cho việc chuẩn đoán bệnh tật cũng nh khôi phc li kh năng vận đng ca con ngời. Trong đề tài này, thuật toán ngỡng và mng nơron truyền thẳng nhiều lớp đc sử dng đ xác định các hot đng ca mắt dựa trên tín hiệu EEG. Trớc khi phân tích tín hiệu EEG, tín hiệu gốc đc loi bỏ nhiu và lọc lấy tín hiệu delta bằng b lọc thông di. Đặc tính ca tín hiệu EEG đc trích xuất bởi các hệ số ca mô hình AR. Các hệ số này là ngõ vào ca mng nơron truyền thẳng nhiều lớp đ phận loi các hot đng ca mắt. Bên cnh đó thuật toán ngỡng cũng đc áp dng đ xác định các hot đng ca mắt. Nghiên cu này hữu ích cho việc chuẩn đoán các bệnh về mắt nh khô mắt và to ra mt hệ thống BCI đ điều khin xe lăn điện hoặc kim soát đèn trong nhà. vi ABSTRACT The human brain plays an important role in human activities. Based on electrical brain signals, one can identify changes in brain activity for the diagnosis of disease as well as rehabilitate human functions. In this thesis, the threshold algorithm and multi-layer neural networks were proposed to detect eye activities using the ElectroEncephaloGraphy (EEG) technique. Before analyzing the EEG signal, the original signals were filtered to remove noise and then extracted the delta signal with a band-pass filter. Characteristics of the EEG signals were extracted by the coefficients of the AR model. The coefficients are the input layer of the neural networks to classify the activities of the eye. In addition, the threshold algorithm was also applied to determine the activities of the eye. This study can be useful for diagnosing eye diseases such as dry eye and creating a Brain-Computer Interface (BCI) system such as the electrical wheelchair control or the home lamp control. vii MCăLC LụăLCHăKHOAăHC i LIăCAMăĐOAN iii LIăCMăT iv TịMăTT v ABSTRACT vi MCăLC vii DANHăSỄCHăCỄCăCHăVITăTT x DANH SÁCH CÁC HÌNH xi DANHăSỄCHăCỄCăBNG xiv Chngă1 TNGăQUAN 1 1.1ăTngăQuan 1 1.2ăMcăĐíchăCaăĐăTƠi 2 1.3ăPhmăViăCaăĐăTƠi 2 1.4ăPhngăPhápăNghiênăCu 2 1.5ăNiăDungăCaăLunăVĕn 3 Chngă2 CăSăLụăTHUYT 5 2.1ăngăDngăHăThngăBCIăĐiuăKhinăThităB 5 2.2ăngăDngăThutăToánăNgngăĐăNhnăDng 5 viii 2.3ăTríchăĐcăTínhăEEGăSăDngăHăSăMôăHìnhăARăVƠăNhnăDngăBằngă MngăNron 6 2.4ăLcăNhiuăTínăHiuăEEG 6 Chngă3 HăTHNGăGIAOăTIPăMỄYăTệNHăNÃOăVÀăTHUăTHPăDăLIUăEEG 7 3.1ăHăThngăGiaoăTipăMáyăTínhăNƣo 7 3.1.1ăKháiănim 7 3.1.2ăăHăThngăBCIăCaăĐăTƠi 8 3.2ăThuăThpăTínăHiuăĐinăNƣoăBằngăCôngăNghăEEG 10 3.2.1ăCácăPhngăPhápăThuăTínăHiuăĐinăNƣo 10 3.2.1.1ăĐoăTínăHiuăDùngăPhngăPhápăĐinăNƣoăĐ 10 3.2.1.2ăĐoăTínăHiuăĐinăNƣoăDùngăPhngăPhápăHngăNgoiăGần 13 3.2.1.3ăĐoăTínăHiuăNƣoăDùngăPhngăPhápăCngăHngăT 14 3.2.1.4ăĐoăTínăHiuăNƣoăSăDngăPhngăPhápăTăNƣo 15 3.2.2ăThuăThpăDăLiuăDùngăMáyăActiveăTwo 16 3.2.2.1ăăGiiăThiuăMáyăActiveăTwo 16 3.2.2.2ăCácăBcăThuăTínăHiuăBằngăMáyăActiveăTwo 17 3.2.2.3ăăThuăThpăDăLiuăThíăNghimăBằngăMáyăActiveăTwo 18 Chngă4 TINăXăLụăTệNăHIUăEEGăDỐNGăBăLCăTHỌNGăDIăHAMMING 23 4.1ăLỦăThuytăVăBăLcăS 23 4.2ăLcăNhiuăTínăHiuăEEGăBằngăBăLcăHamming 27 ix Chngă5 TRệCHă ĐCă TệNHă CAă TệNă HIUă EEGă DAă TRểNă CỄCă Hă S MÔ HÌNH AR 34 5.1ăTríchăCácăĐcăTínhăCaăTínăHiuăDaăTrênăCácăHăS Mô Hình AR 34 5.2ăTríchăCácăĐcăTínhăCaăTínăHiuăEEGăDaăTrênăCácăHăSăMôăHìnhăAR 35 Chngă6 THUTăTOỄNăNGNGăXỄCăĐNHăCỄCăHOTăĐNGăCAăMT 40 6.1ăThutăToánăNgng 40 6.2ăThutăToánăNgngăXácăĐnhăCácăHotăĐngăCaăMt 41 6.3ăDùngăThutăToánăNgngăXácăĐnhăCácăHotăĐngăCaăMtăOnline 47 Chngă7 NHNăDNGăCỄCăHOTăĐNGăCAăMTăDỐNGăMNGăLANăTRUYNă NGC 50 7.1ăMngăLanăTruynăNgc 50 7.2ăNhnăDngăCácăHotăĐngăCaăMtăDùngăMngăLanăTruynăNgc 53 Chngă8 KTăLUNăVÀăHNGăPHỄTăTRINăCAăĐăTÀI 58 8.1ăKtăLun 58 8.2ăHngăPhátăTrinăCaăĐăTƠi 58 TÀIăLIUăTHAMăKHO 59 x ANHăSỄCHăCỄCăCHăVITăTT AR – Autoregresion EEG – Electroencephalogram BCI – Brain Computer Interface fNIRS – function Near - Infrared Spectroscopy fMRI – function Magnetic Resonance Imaging MEG – Magnetoencephalography MLP – Multi - Layer Perceptron xi DANH SÁCH CÁC HÌNH Hình 3.1: Hệ thống giao tiếp máy tính nưo 8 Hình 3.2: Sơ đồ khối xác định các hot đng ca mắt sử dng thuật toán ngỡng 9 Hình 3.3: Sơ đồ khối xác định các hot đng ca mắt sử dng mng nơron 10 Hình 3.4: Đo tín hiệu điện nưo dùng phơng pháp EEG 11 Hình 3.5: Đo tín hiệu điện nưo dùng fNIRS 13 Hình 3.6: Đo tín hiệu điện nưo bằng phơng pháp fMRI 15 Hình 3.7: Đo tín hiệu sử dng phơng pháp MEG 16 Hình 3.8: Máy Active Two đặt ti phòng A104 16 Hình 3.9: Sơ đồ khối ca máy Active Two 17 Hình 3.10: Gắn nón vào ngời làm thí nghiệm 18 Hình 3.11: Cho gel vào l giữ điện cực 18 Hình 3.12: Gắn các điện cực vào l cha điện cực 18 Hình 3.13: Giao diện phần mềm Actiview 18 Hình 3.14: Vị trí các điện cực 19 Hình 3.14: Điện cực đc gắn trên đối tng 19 Hình 3.15: Protocol cho đối tng thực hiện mở và chớp mắt 19 Hình 3.16: Tín hiệu EEG thu đc ti Fp1, F7, F8 khi thí nghiệm mở mắt 20 Hình 3.17: Tín hiệu EEG thu đc ti Fp1, F7, F8 khi thí nghiệm chớp mắt 21 Hình 3.18: Tín hiệu EEG thu đc ti Fp1, F7, F8 khi thí nghiệm liếc trái 21 Hình 3.19: Tín hiệu EEG thu đc ti Fp1, F7, F8 khi thí nghiệm liếc phi 22 Hình 4.1: Đáp ng tần số ca b lọc lý tởng 24 xii Hình 4.2: Cửa sổ Hamming với L=71 26 Hình 4.3: Đáp ng biên đ và pha ca b lọc Hamming 27 Hình 4.4: Sơ đồ khối ca hệ thống lọc nhiu 27 Hình 4.5: Đáp ng biên đ và pha ca b lọc Hamming có L=11 28 Hình 4.6: Tín hiệu gốc (F8) và tín hiệu đc lọc nhiu với L=11 28 Hình 4.7: Tín hiệu gốc (F8) và tín hiệu đc lọc nhiu với L=3 29 Hình 4.8: Tín hiệu gốc (F8) và tín hiệu đc lọc nhiu với L=17 29 Hình 4.9: Tín hiệu gốc (F8) và tín hiệu đc lọc nhiu với L=23 30 Hình 4.10: Tín hiệu gốc (F8) và tín hiệu đc lọc nhiu với L=27, N=26 30 Hình 4.11: Tín hiệu mở mắt ti Fp1, F7, F8 sau khi đc lọc nhiu 31 Hình 4.12: Tín hiệu chớp mắt ti Fp1, F7, F8 sau khi đc lọc nhiu 31 Hình 4.13: Tín hiệu liếc mắt trái ti Fp1, F7, F8 sau khi đc lọc nhiu 32 Hình 4.14: Tín hiệu liếc mắt phi ti Fp1, F7, F8 sau khi đc lọc nhiu 32 Hình 5.1: Sơ đồ trích các đặc tính ca tín hiệu EEG 35 Hình 5.2 : Tín hiệu mở mắt 36 Hình 5.3: Các hệ số AR 36 Hình 5.4: Tín hiệu chớp mắt 37 Hình 5.5: Các hệ số AR 37 Hình 5.6: Tín hiệu liếc trái 37 Hình 5.7: Các hệ số AR 37 Hình 5.8: Tín hiệu liếc phi 38 Hình 5.9: Các hệ số AR 38 Hình 5.10: Bốn vectơ hệ số ca thì nghiệm chớp mắt, mở mắt, liếc trái và liếc phi . xiii 39 Hình 6.1: Sơ đồ xác định giá trị ngỡng 41 Hình 6.2: Kết qu phân loi 45 Hình 6.3: Kết qu xác định hot đng chớp mắt ti Fp1 46 Hình 6.4: Kết qu xác định hot đng liếc phi ti F7 46 Hình 6.5: Kết qu xác định hot đng liếc trái ti F8 47 Hình 6.6: Đối tng đang tiến hành mô phỏng online 47 Hình 6.7: Các hớng di chuyn và góc quay ca đối tng 49 Hình 6.8: Đối tng điều khin xe lăn điện 49 Hình 7.1: Cấu trúc ca mng truyền thẳng nhiều lớp 51 Hình 7.2: Hình dng ca hàm sigmoid 51 Hình 7.3: Cấu trúc mng nơron nhiều lớp có 1 lớp ẩn 53 Hình 7.4: Cấu trúc ca mng nơron nhiều lớp có 2 lớp ẩn 54 xiv DANHăSỄCHăCỄCăBNG Bngă3.1: Thông tin ca đối tng làm thí nghiệm 20 Bngă5.1: Vectơ hệ số AR cho 4 thí nghiệm 36 Bngă5.2: Các hệ số AR cho 4 thí nghiệm 38 Bngă6.1: Kết qu thí nghiệm trên đối tng 1 ti Fp1 43 Bngă6.2: Kết qu thí nghiệm trên đối tng 1 ti F7 43 Bngă6.3: Kết qu thí nghiệm trên đối tng 1 ti F8 44 Bngă6.4: Kết qu tính toán ngỡng các đối tng còn li 44 Bngă6.5: Bng kim tra kết qu phân loi 45 Bngă6.6: Mô t trng thái ca đèn 48 Bngă6.7: Các lệnh điều khin 48 Bngă7.1: Mô t việc phân loi tín hiệu EEG và ngõ ra mong muốn 54 Bngă7.2: Vectơ hệ số AR cho 4 thí nghiệm 55 Bngă7.3: Kết qu huấn luyện mng khi có 1 lớp ẩn 56 Bngă7.4: Kết qu huấn luyện mng khi có 2 lớp ẩn 56 [...]... hình AR bậc 2 Các hệ số c a mô hình AR chính là đặc tính c a tín hiệu EEG M ng nơron với ngõ vào là các hệ số c a mô hình AR sẽ xác định các ho t đ ng c a mắt (hình 3.3) Hình 3.2: Sơ đồ khối xác định các ho t đ ng c a mắt sử d ng thuật toán ng ỡng 9 3 Hệ Thống Giao Tiếp Máy Tính Nưo Và Thu Thập Dữ Liệu EEG Hình 3.3: Sơ đồ khối xác định các ho t đ ng c a mắt sử d ng m ng nơron 3.2 ThuăTh p Tín Hi uăĐi... lăn dựa trên tín hiệu EEG và EOG [17] Trong bài báo này, tác gi đư sử d ng thuật toán ng ỡng đ xác định các ho t đ ng c a mắt đ xác định h ớng di chuy n c a xe lăn điện Tín hiệu EOG đ c sử d ng đ điều khi n các h ớng bên trái và bên ph i Và tín hiệu EEG đ c 5 2 Cơ Sở Lý Thuyết sử d ng đ đ ki m soát h ớng tiến, lùi, ngừng Bằng cách sử d ng 2 kênh tín hiệu, đ chính xác phân lo i đ t 95% Đ phân biệt các. .. luyện…đ tìm ra những đặc tính c a tín hiệu điện nưo Từ các ng d ng c a tín hiệu điện nưo, thiết bị đang có và sự g i ý c a TS Nguy n Thanh H i Vì vậy tên đề tài đ c chọn là: “Thu t toán tìm ng ng xác đ nh các ho tăđ ngăc a m tăd aăvƠo tín hi u EEG 1.2 M căĐíchăC aăĐ ăTƠi M c đích nghiên c u c a đề tài là xây dựng đ c thuật toán ng ỡng và m ng nơron truyền thẳng nhiều lớp đ xác định các ho t đ ng c a mắt. .. sánh kết qu c a hai thuật toán Đồng thời xây dựng hệ thống BCI đ điều khi n thiết bị (đèn hoặc xe lăn) 1.3 Ph măViăC aăĐ ăTƠi Ph m vi c a đề tài là tìm hi u tín hiệu EEG và các ng d ng dựa trên tín hiệu EEG Xây dựng thuật toán ng ỡng và huấn luyện m ng nơron đ xác định các ho t đ ng c a mắt Ki m ch ng kết qu qua các ng d ng mô phỏng hoặc điều khi n xe lăn điện 1.4 Ph ngăPhápăNghiênăC u Các ph ơng pháp... đặc tính c a tín hiệu EEG Các hệ số này sẽ đ c đ a vào m ng nơron đ nhận d ng Kết qu phân lo i chính xác đ t 80% đến 100% M ng nơron đ c sử d ng đ phân biệt bệnh nhân thành 2 nhóm: bị đ ng kinh và không bị đ ng kinh Tín hiệu EEG thu đ c sẽ đ c trích đặc tính bởi các hệ số mô hình AR Các hệ số này là ngõ vào m ng nơron đ nhận d ng Và kết qu phân lo i chính xác đ t 91% [11] 2.4ăL căNhi u Tín Hi u EEG Tín. .. Tiền xử lý tín hiệu EEG dùng b lọc Hamming Ch ơng này trình bày ng d ng c a b lọc Hamming đ lo i bỏ các thành phần nhi u và tín hiệu không mong muốn Ch ngă5:ăTrích đặc tính tín hiệu EEG dựa trên hệ số mô hình AR Tín hiệu sau khi đ c lo i bỏ nhi u sẽ đ c đ a qua mô hình AR (Autoregresion) đ tìm các hệ số c a mô hình AR, các hệ số này sẽ đ c đ a vào m ng nơron truyền thẳng nhiều lớp nhận d ng các ho t... xử lý tín hiệu Khâu này sẽ chuy n đổi các tín hiệu điện nưo thành lệnh điều khi n đ điều khi n các thiết bị: xe lăn, đèn, máy l nh… 7 3 Hệ Thống Giao Tiếp Máy Tính Nưo Và Thu Thập Dữ Liệu EEG Hình 3.1: Hệ thống giao tiếp máy tính nưo [20] 3.1.2 H ăTh ngăBCIăC aăĐ ăTƠi Đ xây dựng m t hệ thống BCI sử d ng tín hiệu EEG, trong luận văn này sử d ng thuật toán ng ỡng và huấn luyện m ng đ xác định các ho... di chuy n c a trỏ chu t trong m i miền đ c a tín hiệu EEG Dữ liệu đ c xác định 10 lần/s dựa trên các đặc tính c thu thập offline và sử d ng ba ph ơng pháp khác nhau đ tăng đ chính xác c a việc di chuy n con trỏ chu t Bằng cách chọn lựa các đặc tính c a tín hiệu EEG và chuy n đổi chúng thành các lệnh điều khi n, tác gi đư c i tiến đ c tốc đ và đ chính xác c a việc di chuy n trỏ chu t [15 - 17] Bệnh nhân... a mắt Sau đó dùng các ho t đ ng này đ điều khi n các thiết bị trong nhà hoặc xe lăn điện - Thuật toán ng ỡng: tín hiệu EEG thu thập sẽ đ Hamming Thuật toán ng ỡng sẽ đ c lo i bỏ nhi u bằng b lọc c áp d ng đ phân lo i các ho t đ ng c a mắt (hình 3.2) 8 3 Hệ Thống Giao Tiếp Máy Tính Nưo Và Thu Thập Dữ Liệu EEG - Dùng m ng nơron: b lọc Hamming sẽ đ sau khi đ c lọc nhi u sẽ đ c sử d ng đ lọc nhi u Tín hiệu. .. Butterworth bậc 4 đ 25Hz) từ tín hiệu EEG thu đ c sử d ng [21] đ tách tín hiệu alpha (8 - c [13] sử d ng b lọc thông d i Hamming đ chia tín hiệu EEG thành các d i tần khác nhau 6 3 Hệ Thống Giao Tiếp Máy Tính Nưo Và Thu Thập Dữ Liệu EEG Ch ngă3 H ăTH NGăGIAOăTI PăMỄYăTệNHăNÃOăVÀăTHU TH PăD LI U EEG Ch ơng này trình bày về hệ thống giao tiếp máy tính nưo, các ph ơng pháp thu tín hiệu điện nưo và phần cuối . đề tài là tìm hiu tín hiệu EEG và các ng dng dựa trên tín hiệu EEG. Xây dựng thuật toán ngỡng và huấn luyện mng nơron đ xác định các hot đng ca mắt. Kim chng kết qu qua các ng dng. tính ca tín hiệu EEG. Mng nơron với ngõ vào là các hệ số ca mô hình AR sẽ xác định các hot đng ca mắt (hình 3.3). Hình 3.2: Sơ đồ khối xác định các hot đng ca mắt sử dng thuật toán. Trong đề tài này, thuật toán ngỡng và mng nơron truyền thẳng nhiều lớp đc sử dng đ xác định các hot đng ca mắt dựa trên tín hiệu EEG. Trớc khi phân tích tín hiệu EEG, tín hiệu gốc đc