thuật toán tìm ngƣỡng xác định các hoạt động của mắt dựa vào tín hiệu eeg

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN VĂN TRUNG THUẬT TOÁN TÌM NGƯỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT DỰA VÀO TÍN HIỆU EEG S K C 0 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 Tp Hồ Chí Minh, 2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN VĂN TRUNG THUẬT TOÁN TÌM NGƢỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT DỰA VÀO TÍN HIỆU EEG NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học: TS NGUYỄN THANH HẢI Tp Hồ Chí Minh, tháng 10/2012 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC Họ & tên: Nguyễn Văn Trung Giới tính: Nam Ngày, tháng, năm sinh: 20/10/1987 Nơi sinh: Bà Rịa – Vũng Tàu Quê quán: Quảng Trị Dân Tộc: kinh Chỗ riêng địa liên lạc: Tổ 15, thôn Sông Cầu, xã Nghĩa Thành, huyện Châu Đức, tỉnh Bà Rịa – Vũng Tàu Điện thoại quan: Điện thoại nhà riêng: 0934.924.981 Fax: E-mail: nguyenvantrung201087@yahoo.com II QUÁ TRÌNH ĐÀO TẠO Đại học: Hệ đào tạo: quy Thời gian đào tạo từ 10/2005 đến 2/2010 Nơi học (trường, thành phố): Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM Ngành học: Kỹ Thuật Điện – Điện Tử Tên đồ án, luận án môn thi tốt nghiệp: Máy Khoan Mạch In Tự Động Người hướng dẫn: Nguyễn Đình Phú, Đại Học Sư Phạm Kỹ Thuật TP.HCM Cao học Hệ đào tạo: quy Thời gian đào tạo: từ 8/20010 đến 8/2012 Nơi học (trường, thành phố): Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM Ngành học: Kỹ Thuật Điện Tử Tên luận án: Thuật toán tìm ngƣỡng xác định hoạt động mắt dựa vào tín hiệu EEG i Ngày nơi bảo vệ: tháng 10/2012 trường Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM Người hướng dẫn: TS Nguyễn Thanh Hải, Đại Học Quốc Tế, Đại Học Quốc Gia TP.HCM III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 8/2010 – 3/2012 Trường CĐ Kỹ Thuật Cao Thắng Giảng Viên 4/2012 - Công ty cáp Taihan Sacom Kỹ sư quản lý chất lượng IV CÁC BÀI BÁO ĐÃ CÔNG BỐ TT Thời gian Tên báo Nơi công bố A Mean Threshold Algorithm For Đại Học Quốc Tế, 3/2012 Human Eye Blinking Detection Using Đại Học Quốc Gia EEG TP.HCM A Mean Threshold Algorithm For 9/2012 Detection Of Human Eye Activities Using EEG Technique Trường ĐH Sư Phạm Kỹ Thuật TP.HCM Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012 Người khai ký tên Nguyễn Văn Trung ii LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu với hướng dẫn TS Nguyễn Thanh Hải Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012 (Ký ghi rõ họ tên) Nguyễn Văn Trung iii LỜI CẢM TẠ Đầu tiên, xin gởi lời cám ơn sâu sắc đến TS Nguyễn Thanh Hải – người trực tiếp hướng dẫn cách tận tình chu đáo từ lúc nhận đề cương lúc hoàn thành đề tài Trong trình làm đề tài, Thầy Nguyễn Thanh Hải theo sát tiến trình thực đề tài, có gợi ý dẫn khoa học giúp giải khó khăn trình làm đề tài Tôi xin cảm ơn quý Thầy Cô tham gia giảng dạy lớp cao học khóa 2010 – 2012, người mang đến cho kiến thức quý báu khoa học kỹ thuật Tôi xin chân thành cảm ơn lãnh đạo Trường Cao Đẳng Cao Thắng, nơi công tác tạo điều kiện thuận lợi cho hoàn thành đề tài Tôi gửi lời biết ơn sâu sắc đến gia đình, người ủng hộ động viên để yên tâm học tập nghiên cứu Cuối cùng, xin gởi lời cám ơn đến quý Thầy Cô môn Điện Tử Y Sinh, trường Đại Học Quốc Tế TP.HCM sinh viên trường hỗ trợ trình thu thập liệu Xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012 Học viên Nguyễn Văn Trung iv TÓM TẮT Não người đóng vai trò quan trọng hoạt động người Dựa tín hiệu điện não ta có người ta xác định thay đổi hoạt động não phục vụ cho việc chuẩn đoán bệnh tật khôi phục lại khả vận động người Trong đề tài này, thuật toán ngưỡng mạng nơron truyền thẳng nhiều lớp sử dụng để xác định hoạt động mắt dựa tín hiệu EEG Trước phân tích tín hiệu EEG, tín hiệu gốc loại bỏ nhiễu lọc lấy tín hiệu delta lọc thông dải Đặc tính tín hiệu EEG trích xuất hệ số mô hình AR Các hệ số ngõ vào mạng nơron truyền thẳng nhiều lớp để phận loại hoạt động mắt Bên cạnh thuật toán ngưỡng áp dụng để xác định hoạt động mắt Nghiên cứu hữu ích cho việc chuẩn đoán bệnh mắt khô mắt tạo hệ thống BCI để điều khiển xe lăn điện kiểm soát đèn nhà v ABSTRACT The human brain plays an important role in human activities Based on electrical brain signals, one can identify changes in brain activity for the diagnosis of disease as well as rehabilitate human functions In this thesis, the threshold algorithm and multi-layer neural networks were proposed to detect eye activities using the ElectroEncephaloGraphy (EEG) technique Before analyzing the EEG signal, the original signals were filtered to remove noise and then extracted the delta signal with a band-pass filter Characteristics of the EEG signals were extracted by the coefficients of the AR model The coefficients are the input layer of the neural networks to classify the activities of the eye In addition, the threshold algorithm was also applied to determine the activities of the eye This study can be useful for diagnosing eye diseases such as dry eye and creating a Brain-Computer Interface (BCI) system such as the electrical wheelchair control or the home lamp control vi MỤC LỤC LÝ LỊCH KHOA HỌC i LỜI CAM ĐOAN iii LỜI CẢM TẠ iv TÓM TẮT v ABSTRACT vi MỤC LỤC vii DANH SÁCH CÁC CHỮ VIẾT TẮT x DANH SÁCH CÁC HÌNH xi DANH SÁCH CÁC BẢNG xiv Chƣơng TỔNG QUAN 1.1 Tổng Quan 1.2 Mục Đích Của Đề Tài 1.3 Phạm Vi Của Đề Tài 1.4 Phƣơng Pháp Nghiên Cứu 1.5 Nội Dung Của Luận Văn Chƣơng CỞ SỞ LÝ THUYẾT 2.1 Ứng Dụng Hệ Thống BCI Điều Khiển Thiết Bị 2.2 Ứng Dụng Thuật Toán Ngƣỡng Để Nhận Dạng vii 2.3 Trích Đặc Tính EEG Sử Dụng Hệ Số Mô Hình AR Và Nhận Dạng Bằng Mạng Nơron 2.4 Lọc Nhiễu Tín Hiệu EEG Chƣơng HỆ THỐNG GIAO TIẾP MÁY TÍNH NÃO VÀ THU THẬP DỮ LIỆU EEG 3.1 Hệ Thống Giao Tiếp Máy Tính Não 3.1.1 Khái niệm 3.1.2 Hệ Thống BCI Của Đề Tài 3.2 Thu Thập Tín Hiệu Điện Não Bằng Công Nghệ EEG 10 3.2.1 Các Phƣơng Pháp Thu Tín Hiệu Điện Não 10 3.2.1.1 Đo Tín Hiệu Dùng Phƣơng Pháp Điện Não Đồ 10 3.2.1.2 Đo Tín Hiệu Điện Não Dùng Phƣơng Pháp Hồng Ngoại Gần 13 3.2.1.3 Đo Tín Hiệu Não Dùng Phƣơng Pháp Cộng Hƣởng Từ 14 3.2.1.4 Đo Tín Hiệu Não Sử Dụng Phƣơng Pháp Từ Não 15 3.2.2 Thu Thập Dữ Liệu Dùng Máy Active Two 16 3.2.2.1 Giới Thiệu Máy Active Two 16 3.2.2.2 Các Bƣớc Thu Tín Hiệu Bằng Máy Active Two 17 3.2.2.3 Thu Thập Dữ Liệu Thí Nghiệm Bằng Máy Active Two 18 Chƣơng TIỀN XỬ LÝ TÍN HIỆU EEG DÙNG BỘ LỌC THÔNG DẢI HAMMING 23 4.1 Lý Thuyết Về Bộ Lọc Số 23 4.2 Lọc Nhiễu Tín Hiệu EEG Bằng Bộ Lọc Hamming 27 viii Thuật Toán Ngưỡng Xác Định Các Hoạt Động Của Mắt Hình 6.6: Đối tượng tiến hành mô online Đối tượng thực 10 lần cho hoạt động, kết chớp mắt đạt độ xác 90%, liếc trái đạt 90% liếc phải đạt 90% Từ kết điều khiển đèn ý tưởng dùng hoạt động mắt điều khiển xe lăn điện thực tế nên thí nghiệm thứ 2, tác giả tiến hành mô điều khiển xe lăn điện di chuyển theo hướng: chạy tới, chạy lùi, qua trái qua phải Bảng 6.7 miêu tả hướng chạy xe tương ứng với hoạt động mắt: Bảng 6.7: Các lệnh điều khiển Trạng thái vật Hoạt động mắt Chạy tới Chớp mắt Ngừng lại Chớp mắt Chạy lùi Chớp mắt Quay trái Liếc trái Quay phải Liếc phải 48 Thuật Toán Ngưỡng Xác Định Các Hoạt Động Của Mắt Hình 6.7 miêu tả hướng di chuyển đối tượng, hình 6.8 mô tả đối tượng điều khiển xe lăn điện Trong thí nghiệm độ xác trung bình khoảng 80% Hình 6.7: Các hướng di chuyển góc quay đối tượng Hình 6.8: Đối tượng điều khiển xe lăn điện 49 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Chƣơng NHẬN DẠNG CÁC HOẠT ĐỘNG CỦA MẮT DÙNG MẠNG LAN TRUYỀN NGƢỢC Phân loại bước quan trọng để xác định hoạt động mắt Tín hiệu sau trích đặc tính hệ số mô hình AR, hệ số đưa vào mạng nơron truyền thẳng nhiều lớp để huấn luyện 7.1 Mạng Lan Truyền Ngƣợc Bộ não người gồm khoảng 1011 tế bào thần kinh, tế bào thần kinh kết nối với hàng ngàn tế bào thần kinh khác tạo thành mạng lưới thần kinh Thông qua kết nối mà tế bào giao tiếp với thông qua mạng thần kinh mà người có kiểm soát phận thể Mạng thần kinh nhân tạo bắt nguồn từ mong muốn bắt chước hoạt động não người Nó xem mô hình toán học đơn giản não người Không giống mô hình tính toán thông thường, hầu hết mạng thần kinh phải huấn luyện mối quan hệ đầu đầu vào trước sử dụng Các nghiên cứu mạng thần kinh nhân tạo thập niên 1940 Năm 1944, McCulloch Pitts công bố công trình nghiên cứu liên kết tế bào thần kinh Năm 1949, Hebb công bố nghiên cứu tính thích nghi mạng thần kinh Cuối năm 1950, Rosenblatt đưa mạng perceptron Năm 1985, mạng Hopfield đời sau năm mạng lam truyền ngược [1] Khác với mạng truyền thẳng lớp, mạng truyền thẳng nhiều lớp (hình 7.1) với luật học lan truyền ngược có khả giải toán không khả phân tuyến tính nên sử dụng rộng rãi việc xử lý tín hiệu, nhận dạng mẫu, chuẩn đoán y tế, phân loại điều khiển 50 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Hình 7.1: Cấu trúc mạng truyền thẳng nhiều lớp Mạng lan truyền ngược cực tiểu hóa hàm sai số không gian trọng số phương pháp suy giảm gradient Bởi phương pháp tính toán gradient hàm sai số vòng lặp nên đòi hỏi hàm sai số phải liên tục khả phân Do mạng lan truyền ngược sử dụng hàm kích hoạt khác với hàm bước sử dụng mạng perceptron Một hàm kích hoạt sử dụng nhiều hàm sigmoid biểu diễn công thức (7.1) hình dạng hàm sigmoid hình 7.2: S ( x)  1  ex (7.1) Hình 7.2: Hình dạng hàm sigmoid Xét mạng lan truyền ngược có n ngõ vào, m ngõ ra, có chứa số nơron lớp ẩn để có tập mẫu liệu huấn luyện ( vào - ra) mong muốn {(x1, t1), (x2, t2),… (xp, tp)} chứa p cặp vectơ mxn Các trọng số chọn ngẫu nhiên Khi tập 51 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược liệu xi huấn luyện tạo tập ngõ oi khác với ti, lúc hàm sai số E tính theo công thức [5]: p E   (oi  ti ) 2 i 1 (7.2) Thuật toán lan truyền ngược sử dụng để tìm cực tiểu cục hàm sai số Do gradient hàm sai số tính toán để thay đổi giá trị trọng số ban đầu Các trọng số thông số thay đổi để giảm sai số trọng số tăng thêm lượng [5]: w   E w Với w vectơ trọng số mạng,  tốc độ học (hằng số), (7.3) E đạo hàm w hàm sai số theo w Công thức (7.3) cho ta thấy rằng, trọng số mạng di chuyển theo hướng âm gradient hàm sai số Các trọng số cập nhật dựa vectơ đầu vào vectơ mục tiêu tương ứng dùng để huấn luyện mạng Sau vòng lặp giá trị trọng số cặp nhật thỏa mãn sai số yêu cầu Mặc dù có nhiều quy tắc để tối ưu mạng nơron phát triển kiến trúc mạng bắt nguồn từ việc thử sai Việc xác định số lớp ẩn thích hợp nhiệm vụ quan trọng việc thiết kế mạng nơron Một mạng có số nút lớp ẩn khả phân biệt mô hình phức tạp Ngược lại, mạng có nhiều nút ẩn dẫn đến tính tổng quát nghèo cho liệu chưa huấn luyện Với việc tăng số lượng lớp ẩn dẫn đến tốn nhiều thời gian huấn luyện Một yếu tố khác ảnh hưởng tới tính hộ tụ thuật toán lan truyền ngược tốc độ học  Giá trị  lớn làm tăng tốc độ học, lớn làm thuật toán không hôi tụ, ngược lại giá trị  nhỏ đảm bảo thuật toán hội tụ tốc độ học lại chậm Phương pháp vừa đảm bảo thuật toán lan truyền ngược vừa hội tụ vừa huấn luyện nhanh dùng hệ số học thích nghi Sau bước lặp ta kiểm tra trọng 52 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược số vừa cặp nhật có làm giảm tiêu chuẩn huấn luyện mạng không, nghĩa xảy vọt lố, cần giảm  Ngược lại vài bước lặp liên tiếp mà tiêu chuẩn huấn luyện mạng điều giảm  nhỏ, trường hợp cần tăng  Thuật toán hệ số học thích nghi mô tả biểu thức [1]:  (k  1)   (k )   (7.4) a (k )     b (k ) 0  (7.5) với a tỉ lệ tăng tốc độ học, b tỉ lệ giảm tốc độ học,  (k ) tốc độ học vòng lặp thứ k 7.2 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngƣợc Trong luận văn mạng nơron truyền thẳng nhiều lớp với luật học lan truyền ngược sử dụng thuật toán suy giảm gradient với tốc học thích nghi sử dụng Tốc độ học 0.001 (tốc độ học nhỏ thời gian huấn luyện lâu kết xác) số lần lặp lại 1000 (số lần lặp lại lớn tốt sai số ngõ mạng ngõ thực tế nhỏ), tỉ lệ tăng tốc độ học a=1.07 tỉ lệ giảm tốc độ học b=0.7 Hình 7.3: Cấu trúc mạng nơron nhiều lớp có lớp ẩn 53 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Hình 7.4: Cấu trúc mạng nơron nhiều lớp có lớp ẩn Để đánh giả khả phân loại mạng huấn luyện, số lượng nơron lớp ẩn số lớp ẩn thay đổi Hình 7.3 mạng truyền thẳng nhiều lớp với lớp ẩn, hình 7.4 mạng truyền thẳng gồm lớp ẩn Ngõ mạng mang giá trị để biểu diễn cho loại tín hiệu nhận dạng số lượng nơron ngõ để biểu diễn trạng thái mắt: mở mắt, chớp mắt, liếc trái liếc phải Bảng 7.1 mô tả loại tín hiệu EEG ngõ mong muốn Bảng 7.1: Mô tả việc phân loại tín hiệu EEG ngõ mong muốn Loại tín hiệu EEG Ngõ mong muốn Mở mắt 0 Chớp mắt 0 Liếc trái 0 Liếc phải 0 54 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Tín hiệu EEG thu thập kênh Fp1, F7, F8, kênh có hệ số AR Do trạng thái mắt tạo thành vectơ có hệ số AR Với thí nghiệm chớp mắt, mở mắt, liếc trái liếc phải tạo vectơ, vectơ có hệ số AR bảng 7.2 Bảng 7.2: Vectơ hệ số AR cho thí nghiệm Mở mắt Chớp mắt Liếc trái Liếc phải Fp1 F7 F8 Fp1 F7 F8 Fp1 F7 F8 Fp1 F7 F8 ao11 ao71 ao81 ac11 ac71 ac81 at11 at71 at81 ap11 ap71 ap81 ao12 ao72 ao82 ac12 ac72 ac82 at12 at72 at82 ap12 ap72 ap82 Các đối tượng thực 20 lần chớp mắt, 15 lần liếc trái, 15 lần liếc phải 20 lần mở mắt Như vậy, có tổng cộng 70 vectơ mẫu 50 mẫu (15 mẫu chớp mắt, 10 mẫu liếc trái, 10 mẫu liếc phải 15 mẫu mở mắt) sử dụng để huấn luyện mạng, 20 mẫu vectơ lại sử dụng để kiểm tra kết huấn luyện Với thử nghiệm sử dụng cấu trúc mạng có lớp ẩn hàm sigmoid , ngõ mạng hàm tuyến tính Số lượng nơron lớp ẩn thay đổi để đánh giá mức độ xác phân loại mạng Với nơron lớp ẩn kết huấn luyện đạt khoảng 62% Khi tăng số lượng lớp ẩn lên thành 10, 20, 30, 40, 60 (như bảng 7.3) độ xác tăng lên khả phân loại thấp Ví dụ trường hợp lớp ẩn có 10 nơron khả phân loại chớp mắt đạt 98%, nhiên trường hợp mở mắt liếc trái đạt 73% 70% Các kết bảng 7.3 việc tăng số lượng nơron lớp ẩn cải thiện không đáng kể kết nhận dạng hoạt động mắt Kết phân phân loại cao cho tín hiệu EEG ứng với số nơron lớp ẩn 30 Trong trường hợp 55 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược này, độ xác trung bình tín hiệu đạt khoảng 87% Do tăng số lượng lớp ẩn phương pháp thử nghiệm để tăng độ xác nhận dạng Bảng 7.3: Kết huấn luyện mạng có lớp ẩn Độ xác Số nơron lớp ẩn Mở mắt Chớp mắt Liếc trái Liếc phải 60% 72% 55% 57% 10 73% 98% 70% 80% 20 70% 87% 69% 80% 30 97% 80% 80% 85% 40 80% 97% 75% 60% 60 90% 97% 70% 60% Với thử nghiệm sử dụng cấu trúc mạng có lớp ẩn làm sigmoid, ngõ hàm tuyến tính Trong thử nghiệm này, số lượng nơron lớp ẩn thứ chọn 15, số lượng nơron lớp ẩn thứ thay đổi Tương tự trường thử nghiệm trên, tăng số nơron lớp ẩn thứ 2, độ xác tăng lên Từ bảng 7.4 ta thấy với 25 nơron lớp ẩn thứ độ xác trung bình cao 93% Bảng 7.4: Kết huấn luyện mạng có lớp ẩn Độ xác Số nơron lớp ẩn Mở mắt Chớp mắt Liếc trái Liếc phải 15*10 95% 95% 78% 85% 15*20 95% 90% 90% 85% 15*25 90% 97% 92% 95% 15*30 90% 95% 90% 90% 56 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Kết luận: Với mạng truyền thẳng nhiều lớp có lớp ẩn, số nơron lớp ẩn 30 độ xác mở mắt, chớp mắt, liếc trái, liếc phải tương ứng là: 97%, 80%, 80% 85% Trong trường hợp mạng có lớp ẩn (số nơron lớp ẩn 15, lớp ẩn 25) độ xác mở mắt, chớp mắt, liếc trái, liếc phải tương ứng là: 90%, 97%, 92% 95% Do mạng nơron truyền thẳng nhiều lớp gồm lớp ẩn sử dụng để xác định hoạt động mắt: chớp mắt, mở mắt, liếc trái liếc phải 57 Kết Luận Và Hướng Phát Triển Của Đề Tài Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 8.1 Kết Luận Luận văn sử dụng thuật toán ngưỡng mạng nơron truyền thẳng nhiều lớp để nhận dạng hoạt động mắt Tín hiệu EEG thu thập đưa qua lọc thông dải Hamming để loại bỏ nhiễu lọc lấy tín hiệu delta Các đặc tính tín hiệu trích xuất hệ số mô hình AR Mạng nơron truyền thẳng sử dụng với ngõ vào hệ số AR có khả phân loại đạt độ xác 94% Bên cạnh thuật toán ngưỡng sử dụng để xác định hoạt động mắt với độ xác đạt 87% Với kết đạt được, xác định trạng thái mắt số lần chớp mắt Kết đạt được: - Tiến hành thu liệu EEG sử dụng máy Active Two: mở mắt, chớp mắt, liếc trái liếc phải - Loại bỏ nhiễu lọc lấy tín hiệu delta lọc thông dải Hamming - Tìm giá trị ngưỡng để xác định hoạt động mắt - Xây dựng mạng nơron để nhận dạng hoạt động mắt - Ứng dụng thuật toán ngưỡng để xây dựng ứng dụng mô điều khiển đèn, xe lăn điện 8.2 Hƣớng Phát Triển Của Đề Tài Đề tài sử dụng phương pháp xử lý liệu offline nên hướng nghiên cứu đề tài xây dựng hệ thống xử lý liệu online Bên cạnh đó, kết đạt cở sở để nghiên cứu hướng điều khiển thiết bị theo suy nghĩ 58 Tài Liệu Tham Khảo TÀI LIỆU THAM KHẢO [1] Huỳnh Hoàng Thái, Hệ Thống Điều Khiển Thông Minh, NXB Đại Học Quốc Gia TPHCM, 2006 [2] Nguyễn Thanh Nghĩa, “Ứng Dụng Wavelet Trong Xử Lý Tín Hiệu Não”, 2012 [3] Georg E Fabiani, Dennis J McFarland, Jonathan R Wolpaw, and Gert Pfurtscheller, Conversion of EEG Activity into cursor movement by a Braincomputer interface, IEEE, transactions on neural systems and rehabilitation engineering, vol 12, no 3, september 2004 [4] Christoph Guger, Werner Harkam, Carin Hertnaes, Gert Pfurtscheller, Prosthetic Control by an EEG-based Brain-Computer Interface (BCI), Institute of Biomedical Engineering, Department of Medical Informatics Ludwig-Boltzmann Institute for Medical Informatics and Neuroinformatics University of Technology Graz Inffeldgasse 16a, 8010 Graz, Austria [5] R Rojas, “Neural Networks”, Springer-Verlag, Berlin, 1996 [6] Gelareh Mohammadi, Parisa Shoushtari, Behnam Molaee Ardekani and Mohammad B Shamsollahi, “Person Identification by Using AR Model for EEG Signals”, World Academy of Science, Engineering and Technology 11 2005 [7] Steve Winder, Analog And Digital Filter Design, second Edition, 2002 [8] Kay, S.M., Marple, “Spectrum Analysis - A Modern Perspective", Proceeding IEEE Vol 69, No 11, Nov pp 1380 – 1417 [9] Alan V.Oppenheim, Ronald W.Schafer, John R.Buck, “Discrete – time Signal processing”, Prentice Hall Upper Saddle River Jersey 07458 [10] ActiveTwo Operating Guidelines, Rev 6, Printed: January 31, 2007 [11] Abdulhamit Subasi, M Kemal Kiymik, Ahmet Alkan, Etem Koklukaya, “NEURAL NETWORK CLASSIFICATION OF EEG SIGNALS BY USING AR 59 Tài Liệu Tham Khảo WITH MLE PREPROCESSING FOR EPILEPTIC SEIZURE DETECTION”, Mathematical and Computational Applications, Vol 10, No 1, pp 57-70, 2005 [12] Robert Leeb, Hesam Sagha, Ricardo Chavarriaga and Jose del R Millan, Multimodal Fusion of Muscle and Brain Signals for a Hybrid-BCI, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 September 4, 2010 [13] D K Ravish, S Shenbaga Devi, “Automated Seizure Detection and Spectral Analysis of EEG Seizure Time Series”, European Journal of Scientific Research ISSN 1450-216X Vol.68 No.1 (2012), pp 72-82 [14] Kazuo Tanaka, Kazuyuki Electroencephalogram-Based Control Matsunaga, of an and Electric Hua O Wheelchair, Wang, IEEE TRANSACTIONS ON ROBOTICS, VOL 21, NO 4, AUGUST 2005 [15] Jonathan R Wolpaw, Dennis J McFarland, Theresa M Vaughan, and Gerwin Schalk, The Wadsworth Center Brain–Computer Interface (BCI) Research and Development Program, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL 11, NO 2, JUNE 2003 [16] Dennis J McFarland and Jonathan R Wolpaw, EEG-Based Communication and Control:Speed–Accuracy Relationships, Applied Psychophysiology and Biofeedback, Vol 28, No 3, September 2003 [17] Yunyong Punsawad, Student Member, IEEE, Yodchanan Wongsawat, Member, IEEE, and Manukid Parnichkun, Member, IEEE, Hybrid EEG-EOG Brain-Computer Interface System for Practical Machine Control, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 September 4, 2010 [18] Tamura, H., M Fuchigami, and A Okada, "Neuro-NIRS: Analysis of Neural Activities Using NIRS ," Springer-Verlag Berlin Heidelberg, 2009: p 543–552, 60 Tài Liệu Tham Khảo [19] Khoa, T and M Nakagawa, "Recognizing brain activities by functional near infrared spectroscope signal analysis," Nonlinear Biomedical Physics, 2008 [20] J.N Mak and J.R Wolpaw, “Clinical Applications of Brain Computer Interfaces: Current State and Future Prospects”, IEEE reviews in biomedical engineering, vol 2, 2009, pp 187-199 [21] H G Tan, K H Kong, C Y Shee, C C Wang, C T Guan and W T Ang, Post-Acute Stroke Patients Use Brain-Computer Interface to Activate Electrical Stimulation, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 [22] H G Tan, K H Kong, C Y Shee, C C Wang, C T Guan and W T Ang, “Post-Acute Stroke Patients Use Brain-Computer Interface to Activate Electrical Stimulation”, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 [23] Carlos Escolano, Ander Ramos Murguialday, Tamara Matuz, Niels Birbaumer, and Javier Minguez, A Telepresence Robotic System operated with a P300-based Brain-Computer Interface: Initial Tests with ALS patients, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 [24] Zheng Yang Chin, Kai Keng Ang, Chuanchu Wang, Cuntai Guan, Online Performance Evaluation of Motor Imagery BCI with Augmented-Reality Virtual Hand Feedback, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 61 [...]... TÍNH CỦA TÍN HIỆU EEG DỰA TRÊN CÁC HỆ SỐ MÔ HÌNH AR 34 5.1 Trích Các Đặc Tính Của Tín Hiệu Dựa Trên Các Hệ Số Mô Hình AR 34 5.2 Trích Các Đặc Tính Của Tín Hiệu EEG Dựa Trên Các Hệ Số Mô Hình AR 35 Chƣơng 6 THUẬT TOÁN NGƢỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT 40 6.1 Thuật Toán Ngƣỡng 40 6.2 Thuật Toán Ngƣỡng Xác Định Các Hoạt Động Của Mắt 41 6.3 Dùng Thuật Toán. .. sử dụng các thuật toán như lọc nhiễu, nhận dạng mô hình, huấn luyện…để tìm ra những đặc tính của tín hiệu điện não Từ các ứng dụng của tín hiệu điện não, thiết bị đang có và sự gợi ý của TS Nguyễn Thanh Hải Vì vậy tên đề tài được chọn là: Thuật toán tìm ngƣỡng xác định các hoạt động của mắt dựa vào tín hiệu EEG 1.2 Mục Đích Của Đề Tài Mục đích nghiên cứu của đề tài là xây dựng được thuật toán ngưỡng... để tìm các hệ số của mô hình AR, các hệ số này sẽ được đưa vào mạng nơron truyền thẳng nhiều lớp nhận dạng các hoạt động của mắt Chƣơng 6: Thuật toán ngưỡng để phân biệt các hoạt động của mắt Chương này trình bày thuật toán ngưỡng để phân biệt các hoạt động của mắt Chƣơng 7: Nhận dạng các hoạt động của mắt dùng mạng nơron Mạng nơron truyền thẳng nhiều lớp được sử dụng để nhận dạng các hoạt động của. .. truyền thẳng nhiều lớp để xác định các hoạt động của mắt So sánh kết quả của hai thuật toán Đồng thời xây dựng hệ thống BCI để điều khiển thiết bị (đèn hoặc xe lăn) 1.3 Phạm Vi Của Đề Tài Phạm vi của đề tài là tìm hiểu tín hiệu EEG và các ứng dụng dựa trên tín hiệu EEG Xây dựng thuật toán ngưỡng và huấn luyện mạng nơron để xác định các hoạt động của mắt Kiểm chứng kết quả qua các ứng dụng mô phỏng hoặc... Liệu EEG - Dùng mạng nơron: bộ lọc Hamming sẽ được sử dụng để lọc nhiễu Tín hiệu sau khi được lọc nhiễu sẽ được đưa qua mô hình AR bậc 2 Các hệ số của mô hình AR chính là đặc tính của tín hiệu EEG Mạng nơron với ngõ vào là các hệ số của mô hình AR sẽ xác định các hoạt động của mắt (hình 3.3) Hình 3.2: Sơ đồ khối xác định các hoạt động của mắt sử dụng thuật toán ngưỡng 9 3 Hệ Thống Giao Tiếp Máy Tính... sử dụng tín hiệu EEG, trong luận văn này sử dụng thuật toán ngưỡng và huấn luyện mạng để xác định các hoạt động của mắt Sau đó dùng các hoạt động này để điều khiển các thiết bị trong nhà hoặc xe lăn điện - Thuật toán ngưỡng: tín hiệu EEG thu thập sẽ được loại bỏ nhiễu bằng bộ lọc Hamming Thuật toán ngưỡng sẽ được áp dụng để phân loại các hoạt động của mắt (hình 3.2) 8 3 Hệ Thống Giao Tiếp Máy Tính Não... cánh tay giả di chuyển 2.2 Ứng Dụng Thuật Toán Ngƣỡng Để Nhận Dạng Một hệ thống BCI lai được sử dụng để điều khiển xe lăn dựa trên tín hiệu EEG và EOG [17] Trong bài báo này, tác giả đã sử dụng thuật toán ngưỡng để xác định các hoạt động của mắt để xác định hướng di chuyển của xe lăn điện Tín hiệu EOG được sử dụng để điều khiển các hướng bên trái và bên phải Và tín hiệu EEG được 5 2 Cơ Sở Lý Thuyết sử... điều khiển con trỏ máy tính di chuyển trong 2 miền trên màn hình máy tính [3] Sự di chuyển của trỏ chuột trong mỗi miền được xác định 10 lần/s dựa trên các đặc tính của tín hiệu EEG Dữ liệu được thu thập offline và sử dụng ba phương pháp khác nhau để tăng độ chính xác của việc di chuyển con trỏ chuột Bằng cách chọn lựa các đặc tính của tín hiệu EEG và chuyển đổi chúng thành các lệnh điều khiển, tác... hình AR để ước lượng tín hiệu EEG Các hệ số của mô hình được xem như đặc tính của tín hiệu EEG Các hệ số này sẽ được đưa vào mạng nơron để nhận dạng Kết quả phân loại chính xác đạt 80% đến 100% Mạng nơron được sử dụng để phân biệt bệnh nhân thành 2 nhóm: bị động kinh và không bị động kinh Tín hiệu EEG thu được sẽ được trích đặc tính bởi các hệ số mô hình AR Các hệ số này là ngõ vào mạng nơron để nhận... Mắt 41 6.3 Dùng Thuật Toán Ngƣỡng Xác Định Các Hoạt Động Của Mắt Online 47 Chƣơng 7 NHẬN DẠNG CÁC HOẠT ĐỘNG CỦA MẮT DÙNG MẠNG LAN TRUYỀN NGƢỢC 50 7.1 Mạng Lan Truyền Ngƣợc 50 7.2 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngƣợc 53 Chƣơng 8 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 58 8.1 Kết Luận 58 8.2 Hƣớng Phát Triển Của Đề Tài 58 TÀI