(Luận văn thạc sĩ) thuật toán tìm ngưỡng xác định các hoạt động của mắt dựa vào tín hiệu EEG

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN VĂN TRUNG THUẬT TỐN TÌM NGƯỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT DỰA VÀO TÍN HIỆU EEG S K C 0 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 Tp Hồ Chí Minh, 2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN VĂN TRUNG THUẬT TOÁN TÌM NGƢỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT DỰA VÀO TÍN HIỆU EEG NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học: TS NGUYỄN THANH HẢI Tp Hồ Chí Minh, tháng 10/2012 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC Họ & tên: Nguyễn Văn Trung Giới tính: Nam Ngày, tháng, năm sinh: 20/10/1987 Nơi sinh: Bà Rịa – Vũng Tàu Quê quán: Quảng Trị Dân Tộc: kinh Chỗ riêng địa liên lạc: Tổ 15, thôn Sông Cầu, xã Nghĩa Thành, huyện Châu Đức, tỉnh Bà Rịa – Vũng Tàu Điện thoại quan: Điện thoại nhà riêng: 0934.924.981 Fax: E-mail: nguyenvantrung201087@yahoo.com II QUÁ TRÌNH ĐÀO TẠO Đại học: Hệ đào tạo: quy Thời gian đào tạo từ 10/2005 đến 2/2010 Nơi học (trường, thành phố): Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM Ngành học: Kỹ Thuật Điện – Điện Tử Tên đồ án, luận án môn thi tốt nghiệp: Máy Khoan Mạch In Tự Động Người hướng dẫn: Nguyễn Đình Phú, Đại Học Sư Phạm Kỹ Thuật TP.HCM Cao học Hệ đào tạo: quy Thời gian đào tạo: từ 8/20010 đến 8/2012 Nơi học (trường, thành phố): Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM Ngành học: Kỹ Thuật Điện Tử Tên luận án: Thuật toán tìm ngƣỡng xác định hoạt động mắt dựa vào tín hiệu EEG i Ngày nơi bảo vệ: tháng 10/2012 trường Đại Học Sư phạm Kỹ Thuật TP.HCM, TPHCM Người hướng dẫn: TS Nguyễn Thanh Hải, Đại Học Quốc Tế, Đại Học Quốc Gia TP.HCM III QUÁ TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 8/2010 – 3/2012 Trường CĐ Kỹ Thuật Cao Thắng Giảng Viên 4/2012 - Công ty cáp Taihan Sacom Kỹ sư quản lý chất lượng IV CÁC BÀI BÁO ĐÃ CÔNG BỐ TT Thời gian Tên báo Nơi công bố A Mean Threshold Algorithm For Đại Học Quốc Tế, 3/2012 Human Eye Blinking Detection Using Đại Học Quốc Gia EEG TP.HCM A Mean Threshold Algorithm For 9/2012 Detection Of Human Eye Activities Using EEG Technique Trường ĐH Sư Phạm Kỹ Thuật TP.HCM Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012 Người khai ký tên Nguyễn Văn Trung ii LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi với hướng dẫn TS Nguyễn Thanh Hải Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tp Hồ Chí Minh, ngày 10 tháng 10 năm 2012 (Ký ghi rõ họ tên) Nguyễn Văn Trung iii MỤC LỤC LÝ LỊCH KHOA HỌC i LỜI CAM ĐOAN iii LỜI CẢM TẠ iv TÓM TẮT v ABSTRACT vi MỤC LỤC vii DANH SÁCH CÁC CHỮ VIẾT TẮT x DANH SÁCH CÁC HÌNH xi DANH SÁCH CÁC BẢNG xiv Chƣơng TỔNG QUAN 1.1 Tổng Quan 1.2 Mục Đích Của Đề Tài 1.3 Phạm Vi Của Đề Tài 1.4 Phƣơng Pháp Nghiên Cứu 1.5 Nội Dung Của Luận Văn Chƣơng CỞ SỞ LÝ THUYẾT 2.1 Ứng Dụng Hệ Thống BCI Điều Khiển Thiết Bị 2.2 Ứng Dụng Thuật Toán Ngƣỡng Để Nhận Dạng vii 2.3 Trích Đặc Tính EEG Sử Dụng Hệ Số Mơ Hình AR Và Nhận Dạng Bằng Mạng Nơron 2.4 Lọc Nhiễu Tín Hiệu EEG Chƣơng HỆ THỐNG GIAO TIẾP MÁY TÍNH NÃO VÀ THU THẬP DỮ LIỆU EEG 3.1 Hệ Thống Giao Tiếp Máy Tính Não 3.1.1 Khái niệm 3.1.2 Hệ Thống BCI Của Đề Tài 3.2 Thu Thập Tín Hiệu Điện Não Bằng Công Nghệ EEG 10 3.2.1 Các Phƣơng Pháp Thu Tín Hiệu Điện Não 10 3.2.1.1 Đo Tín Hiệu Dùng Phƣơng Pháp Điện Não Đồ 10 3.2.1.2 Đo Tín Hiệu Điện Não Dùng Phƣơng Pháp Hồng Ngoại Gần 13 3.2.1.3 Đo Tín Hiệu Não Dùng Phƣơng Pháp Cộng Hƣởng Từ 14 3.2.1.4 Đo Tín Hiệu Não Sử Dụng Phƣơng Pháp Từ Não 15 3.2.2 Thu Thập Dữ Liệu Dùng Máy Active Two 16 3.2.2.1 Giới Thiệu Máy Active Two 16 3.2.2.2 Các Bƣớc Thu Tín Hiệu Bằng Máy Active Two 17 3.2.2.3 Thu Thập Dữ Liệu Thí Nghiệm Bằng Máy Active Two 18 Chƣơng TIỀN XỬ LÝ TÍN HIỆU EEG DÙNG BỘ LỌC THÔNG DẢI HAMMING 23 4.1 Lý Thuyết Về Bộ Lọc Số 23 4.2 Lọc Nhiễu Tín Hiệu EEG Bằng Bộ Lọc Hamming 27 viii Chƣơng TRÍCH ĐẶC TÍNH CỦA TÍN HIỆU EEG DỰA TRÊN CÁC HỆ SỐ MƠ HÌNH AR 34 5.1 Trích Các Đặc Tính Của Tín Hiệu Dựa Trên Các Hệ Số Mơ Hình AR 34 5.2 Trích Các Đặc Tính Của Tín Hiệu EEG Dựa Trên Các Hệ Số Mơ Hình AR 35 Chƣơng THUẬT TOÁN NGƢỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT 40 6.1 Thuật Toán Ngƣỡng 40 6.2 Thuật Toán Ngƣỡng Xác Định Các Hoạt Động Của Mắt 41 6.3 Dùng Thuật Toán Ngƣỡng Xác Định Các Hoạt Động Của Mắt Online 47 Chƣơng NHẬN DẠNG CÁC HOẠT ĐỘNG CỦA MẮT DÙNG MẠNG LAN TRUYỀN NGƢỢC 50 7.1 Mạng Lan Truyền Ngƣợc 50 7.2 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngƣợc 53 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 58 8.1 Kết Luận 58 8.2 Hƣớng Phát Triển Của Đề Tài 58 TÀI LIỆU THAM KHẢO 59 ix Tổng Quan Chƣơng TỔNG QUAN 1.1 Tổng Quan Não người đóng vai trò quan trọng hoạt động người [1] Nó có cấu trúc phức tạp gồm khoảng 100 tỉ tế bào thần kinh liên kết với Các tế bào thu thập truyền tải tín hiệu điện với cho dù có hay khơng có kích thích bên ngồi Dựa tín hiệu điện não người ta xác định thay đổi hoạt động não phục vụ cho việc phát hiện, chuẩn đoán chứng rối loạn não, rối loạn giấc ngủ, chấn thương đầu, viêm não, đột quỵ… Một ứng dụng quan trọng khác dựa tín hiệu EEG để khơi phục lại chức người Do bệnh tật tai nạn gây ra, số người khơng có khả lại, cử động…,những người khả tương tác với giới bên Hệ thống giao tiếp máy tính não (BCI) đóng vai trị quan trọng nhằm hỗ trợ thay người tương tác với giới bên ngồi Hệ thống chuyển tín hiệu điện não thành tín hiệu điều khiển mong muốn điều khiển xe lăn điện, điều khiển thiết bị (tivi, máy lạnh, đèn…), điều khiển cử động (cánh tay giả người bênh nhân) Hiện có nhiều phương pháp thu tín hiệu điện não sử dụng cho việc chuẩn đoán xây dựng hệ thống BCI Phương pháp điện não đồ (EEG) từ não sử dụng điện cực gắn trực tiếp da đầu Còn phương pháp cộng hưởng từ (fMRI), hồng ngoại gần (fNIR) đo nồng độ oxy máu não người Với phát triển khoa học kỹ thuật, nghiên cứu gần tập trung vào nâng cao độ xác tốc độ hệ thống việc nghiên cứu đặc tính hoạt động não, cải tiến thiết bị thu thập liệu tối ưu hóa kỹ thuật xử lý tín hiệu hệ thống 1 Tổng Quan Tại Việt Nam, việc xây dựng thuật tốn xử lý tín hiệu điện não xây dựng hệ thống BCI ứng dụng hướng nghiên cứu nhiều người quan tâm Để xây dựng hệ thống BCI, đòi phải sử dụng thuật toán lọc nhiễu, nhận dạng mơ hình, huấn luyện…để tìm đặc tính tín hiệu điện não Từ ứng dụng tín hiệu điện não, thiết bị có gợi ý TS Nguyễn Thanh Hải Vì tên đề tài chọn là: “Thuật tốn tìm ngƣỡng xác định hoạt động mắt dựa vào tín hiệu EEG” 1.2 Mục Đích Của Đề Tài Mục đích nghiên cứu đề tài xây dựng thuật toán ngưỡng mạng nơron truyền thẳng nhiều lớp để xác định hoạt động mắt So sánh kết hai thuật toán Đồng thời xây dựng hệ thống BCI để điều khiển thiết bị (đèn xe lăn) 1.3 Phạm Vi Của Đề Tài Phạm vi đề tài tìm hiểu tín hiệu EEG ứng dụng dựa tín hiệu EEG Xây dựng thuật toán ngưỡng huấn luyện mạng nơron để xác định hoạt động mắt Kiểm chứng kết qua ứng dụng mô điều khiển xe lăn điện 1.4 Phƣơng Pháp Nghiên Cứu Các phương pháp nghiên cứu sử dụng đề tài: - Phương pháp nghiên cứu tài liệu: thu thập tài liệu, báo khoa học liên quan đến lĩnh vực nghiên cứu Nghiên cứu lý thuyết để xây dựng thuật toán cho đề tài - Phương pháp thực nghiệm: tiến hành đo tín hiệu não từ máy Active Two Áp dụng thuật tốn để xử lý tín hiệu đo - So sánh: so sánh kết đạt phương pháp Thuật Toán Ngưỡng Xác Định Các Hoạt Động Của Mắt Hình 6.6: Đối tượng tiến hành mô online Đối tượng thực 10 lần cho hoạt động, kết chớp mắt đạt độ xác 90%, liếc trái đạt 90% liếc phải đạt 90% Từ kết điều khiển đèn ý tưởng dùng hoạt động mắt điều khiển xe lăn điện thực tế nên thí nghiệm thứ 2, tác giả tiến hành mô điều khiển xe lăn điện di chuyển theo hướng: chạy tới, chạy lùi, qua trái qua phải Bảng 6.7 miêu tả hướng chạy xe tương ứng với hoạt động mắt: Bảng 6.7: Các lệnh điều khiển Trạng thái vật Hoạt động mắt Chạy tới Chớp mắt Ngừng lại Chớp mắt Chạy lùi Chớp mắt Quay trái Liếc trái Quay phải Liếc phải 48 Thuật Toán Ngưỡng Xác Định Các Hoạt Động Của Mắt Hình 6.7 miêu tả hướng di chuyển đối tượng, hình 6.8 mơ tả đối tượng điều khiển xe lăn điện Trong thí nghiệm độ xác trung bình khoảng 80% Hình 6.7: Các hướng di chuyển góc quay đối tượng Hình 6.8: Đối tượng điều khiển xe lăn điện 49 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Chƣơng NHẬN DẠNG CÁC HOẠT ĐỘNG CỦA MẮT DÙNG MẠNG LAN TRUYỀN NGƢỢC Phân loại bước quan trọng để xác định hoạt động mắt Tín hiệu sau trích đặc tính hệ số mơ hình AR, hệ số đưa vào mạng nơron truyền thẳng nhiều lớp để huấn luyện 7.1 Mạng Lan Truyền Ngƣợc Bộ não người gồm khoảng 1011 tế bào thần kinh, tế bào thần kinh kết nối với hàng ngàn tế bào thần kinh khác tạo thành mạng lưới thần kinh Thông qua kết nối mà tế bào giao tiếp với thông qua mạng thần kinh mà người có kiểm sốt phận thể Mạng thần kinh nhân tạo bắt nguồn từ mong muốn bắt chước hoạt động não người Nó xem mơ hình tốn học đơn giản não người Khơng giống mơ hình tính tốn thông thường, hầu hết mạng thần kinh phải huấn luyện mối quan hệ đầu đầu vào trước sử dụng Các nghiên cứu mạng thần kinh nhân tạo thập niên 1940 Năm 1944, McCulloch Pitts cơng bố cơng trình nghiên cứu liên kết tế bào thần kinh Năm 1949, Hebb cơng bố nghiên cứu tính thích nghi mạng thần kinh Cuối năm 1950, Rosenblatt đưa mạng perceptron Năm 1985, mạng Hopfield đời sau năm mạng lam truyền ngược [1] Khác với mạng truyền thẳng lớp, mạng truyền thẳng nhiều lớp (hình 7.1) với luật học lan truyền ngược có khả giải tốn khơng khả phân tuyến tính nên sử dụng rộng rãi việc xử lý tín hiệu, nhận dạng mẫu, chuẩn đốn y tế, phân loại điều khiển 50 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Hình 7.1: Cấu trúc mạng truyền thẳng nhiều lớp Mạng lan truyền ngược cực tiểu hóa hàm sai số không gian trọng số phương pháp suy giảm gradient Bởi phương pháp tính tốn gradient hàm sai số vòng lặp nên đòi hỏi hàm sai số phải liên tục khả phân Do mạng lan truyền ngược sử dụng hàm kích hoạt khác với hàm bước sử dụng mạng perceptron Một hàm kích hoạt sử dụng nhiều hàm sigmoid biểu diễn công thức (7.1) hình dạng hàm sigmoid hình 7.2: S ( x)  1  ex (7.1) Hình 7.2: Hình dạng hàm sigmoid Xét mạng lan truyền ngược có n ngõ vào, m ngõ ra, có chứa số nơron lớp ẩn để có tập mẫu liệu huấn luyện ( vào - ra) mong muốn {(x1, t1), (x2, t2),… (xp, tp)} chứa p cặp vectơ mxn Các trọng số chọn ngẫu nhiên Khi tập 51 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược liệu xi huấn luyện tạo tập ngõ oi khác với ti, lúc hàm sai số E tính theo cơng thức [5]: p E   (oi  ti ) 2 i 1 (7.2) Thuật tốn lan truyền ngược sử dụng để tìm cực tiểu cục hàm sai số Do gradient hàm sai số tính tốn để thay đổi giá trị trọng số ban đầu Các trọng số thông số thay đổi để giảm sai số trọng số tăng thêm lượng [5]: w   E w Với w vectơ trọng số mạng,  tốc độ học (hằng số), (7.3) E đạo hàm w hàm sai số theo w Công thức (7.3) cho ta thấy rằng, trọng số mạng di chuyển theo hướng âm gradient hàm sai số Các trọng số cập nhật dựa vectơ đầu vào vectơ mục tiêu tương ứng dùng để huấn luyện mạng Sau vòng lặp giá trị trọng số cặp nhật thỏa mãn sai số yêu cầu Mặc dù có nhiều quy tắc để tối ưu mạng nơron phát triển kiến trúc mạng bắt nguồn từ việc thử sai Việc xác định số lớp ẩn thích hợp nhiệm vụ quan trọng việc thiết kế mạng nơron Một mạng có số nút lớp ẩn q khơng có khả phân biệt mơ hình phức tạp Ngược lại, mạng có nhiều nút ẩn dẫn đến tính tổng quát nghèo cho liệu chưa huấn luyện Với việc tăng số lượng lớp ẩn dẫn đến tốn nhiều thời gian huấn luyện Một yếu tố khác ảnh hưởng tới tính hộ tụ thuật toán lan truyền ngược tốc độ học  Giá trị  lớn làm tăng tốc độ học, q lớn làm thuật tốn khơng tụ, ngược lại giá trị  nhỏ đảm bảo thuật toán hội tụ tốc độ học lại chậm Phương pháp vừa đảm bảo thuật toán lan truyền ngược vừa hội tụ vừa huấn luyện nhanh dùng hệ số học thích nghi Sau bước lặp ta kiểm tra trọng 52 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược số vừa cặp nhật có làm giảm tiêu chuẩn huấn luyện mạng khơng, khơng có nghĩa xảy vọt lố, cần giảm  Ngược lại vài bước lặp liên tiếp mà tiêu chuẩn huấn luyện mạng điều giảm  nhỏ, trường hợp cần tăng  Thuật tốn hệ số học thích nghi mô tả biểu thức [1]:  (k  1)   (k )   (7.4) a (k )     b (k ) 0  (7.5) với a tỉ lệ tăng tốc độ học, b tỉ lệ giảm tốc độ học,  (k ) tốc độ học vòng lặp thứ k 7.2 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngƣợc Trong luận văn mạng nơron truyền thẳng nhiều lớp với luật học lan truyền ngược sử dụng thuật toán suy giảm gradient với tốc học thích nghi sử dụng Tốc độ học 0.001 (tốc độ học nhỏ thời gian huấn luyện lâu kết xác) số lần lặp lại 1000 (số lần lặp lại lớn tốt sai số ngõ mạng ngõ thực tế nhỏ), tỉ lệ tăng tốc độ học a=1.07 tỉ lệ giảm tốc độ học b=0.7 Hình 7.3: Cấu trúc mạng nơron nhiều lớp có lớp ẩn 53 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Hình 7.4: Cấu trúc mạng nơron nhiều lớp có lớp ẩn Để đánh giả khả phân loại mạng huấn luyện, số lượng nơron lớp ẩn số lớp ẩn thay đổi Hình 7.3 mạng truyền thẳng nhiều lớp với lớp ẩn, hình 7.4 mạng truyền thẳng gồm lớp ẩn Ngõ mạng mang giá trị để biểu diễn cho loại tín hiệu nhận dạng số lượng nơron ngõ để biểu diễn trạng thái mắt: mở mắt, chớp mắt, liếc trái liếc phải Bảng 7.1 mô tả loại tín hiệu EEG ngõ mong muốn Bảng 7.1: Mơ tả việc phân loại tín hiệu EEG ngõ mong muốn Loại tín hiệu EEG Ngõ mong muốn Mở mắt 0 Chớp mắt 0 Liếc trái 0 Liếc phải 0 54 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Tín hiệu EEG thu thập kênh Fp1, F7, F8, kênh có hệ số AR Do trạng thái mắt tạo thành vectơ có hệ số AR Với thí nghiệm chớp mắt, mở mắt, liếc trái liếc phải tạo vectơ, vectơ có hệ số AR bảng 7.2 Bảng 7.2: Vectơ hệ số AR cho thí nghiệm Mở mắt Chớp mắt Liếc trái Liếc phải Fp1 F7 F8 Fp1 F7 F8 Fp1 F7 F8 Fp1 F7 F8 ao11 ao71 ao81 ac11 ac71 ac81 at11 at71 at81 ap11 ap71 ap81 ao12 ao72 ao82 ac12 ac72 ac82 at12 at72 at82 ap12 ap72 ap82 Các đối tượng thực 20 lần chớp mắt, 15 lần liếc trái, 15 lần liếc phải 20 lần mở mắt Như vậy, có tổng cộng 70 vectơ mẫu 50 mẫu (15 mẫu chớp mắt, 10 mẫu liếc trái, 10 mẫu liếc phải 15 mẫu mở mắt) sử dụng để huấn luyện mạng, 20 mẫu vectơ lại sử dụng để kiểm tra kết huấn luyện Với thử nghiệm sử dụng cấu trúc mạng có lớp ẩn hàm sigmoid , ngõ mạng hàm tuyến tính Số lượng nơron lớp ẩn thay đổi để đánh giá mức độ xác phân loại mạng Với nơron lớp ẩn kết huấn luyện đạt khoảng 62% Khi tăng số lượng lớp ẩn lên thành 10, 20, 30, 40, 60 (như bảng 7.3) độ xác tăng lên khả phân loại cịn thấp Ví dụ trường hợp lớp ẩn có 10 nơron khả phân loại chớp mắt đạt 98%, nhiên trường hợp mở mắt liếc trái đạt 73% 70% Các kết bảng 7.3 việc tăng số lượng nơron lớp ẩn cải thiện không đáng kể kết nhận dạng hoạt động mắt Kết phân phân loại cao cho tín hiệu EEG ứng với số nơron lớp ẩn 30 Trong trường hợp 55 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược này, độ xác trung bình tín hiệu đạt khoảng 87% Do tăng số lượng lớp ẩn phương pháp thử nghiệm để tăng độ xác nhận dạng Bảng 7.3: Kết huấn luyện mạng có lớp ẩn Độ xác Số nơron lớp ẩn Mở mắt Chớp mắt Liếc trái Liếc phải 60% 72% 55% 57% 10 73% 98% 70% 80% 20 70% 87% 69% 80% 30 97% 80% 80% 85% 40 80% 97% 75% 60% 60 90% 97% 70% 60% Với thử nghiệm sử dụng cấu trúc mạng có lớp ẩn làm sigmoid, ngõ hàm tuyến tính Trong thử nghiệm này, số lượng nơron lớp ẩn thứ chọn 15, số lượng nơron lớp ẩn thứ thay đổi Tương tự trường thử nghiệm trên, tăng số nơron lớp ẩn thứ 2, độ xác tăng lên Từ bảng 7.4 ta thấy với 25 nơron lớp ẩn thứ độ xác trung bình cao 93% Bảng 7.4: Kết huấn luyện mạng có lớp ẩn Độ xác Số nơron lớp ẩn Mở mắt Chớp mắt Liếc trái Liếc phải 15*10 95% 95% 78% 85% 15*20 95% 90% 90% 85% 15*25 90% 97% 92% 95% 15*30 90% 95% 90% 90% 56 Nhận Dạng Các Hoạt Động Của Mắt Dùng Mạng Lan Truyền Ngược Kết luận: Với mạng truyền thẳng nhiều lớp có lớp ẩn, số nơron lớp ẩn 30 độ xác mở mắt, chớp mắt, liếc trái, liếc phải tương ứng là: 97%, 80%, 80% 85% Trong trường hợp mạng có lớp ẩn (số nơron lớp ẩn 15, lớp ẩn 25) độ xác mở mắt, chớp mắt, liếc trái, liếc phải tương ứng là: 90%, 97%, 92% 95% Do mạng nơron truyền thẳng nhiều lớp gồm lớp ẩn sử dụng để xác định hoạt động mắt: chớp mắt, mở mắt, liếc trái liếc phải 57 Kết Luận Và Hướng Phát Triển Của Đề Tài Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 8.1 Kết Luận Luận văn sử dụng thuật toán ngưỡng mạng nơron truyền thẳng nhiều lớp để nhận dạng hoạt động mắt Tín hiệu EEG thu thập đưa qua lọc thông dải Hamming để loại bỏ nhiễu lọc lấy tín hiệu delta Các đặc tính tín hiệu trích xuất hệ số mơ hình AR Mạng nơron truyền thẳng sử dụng với ngõ vào hệ số AR có khả phân loại đạt độ xác 94% Bên cạnh thuật toán ngưỡng sử dụng để xác định hoạt động mắt với độ xác đạt 87% Với kết đạt được, xác định trạng thái mắt số lần chớp mắt Kết đạt được: - Tiến hành thu liệu EEG sử dụng máy Active Two: mở mắt, chớp mắt, liếc trái liếc phải - Loại bỏ nhiễu lọc lấy tín hiệu delta lọc thơng dải Hamming - Tìm giá trị ngưỡng để xác định hoạt động mắt - Xây dựng mạng nơron để nhận dạng hoạt động mắt - Ứng dụng thuật toán ngưỡng để xây dựng ứng dụng mô điều khiển đèn, xe lăn điện 8.2 Hƣớng Phát Triển Của Đề Tài Đề tài sử dụng phương pháp xử lý liệu offline nên hướng nghiên cứu đề tài xây dựng hệ thống xử lý liệu online Bên cạnh đó, kết đạt cở sở để nghiên cứu hướng điều khiển thiết bị theo suy nghĩ 58 Tài Liệu Tham Khảo TÀI LIỆU THAM KHẢO [1] Huỳnh Hoàng Thái, Hệ Thống Điều Khiển Thông Minh, NXB Đại Học Quốc Gia TPHCM, 2006 [2] Nguyễn Thanh Nghĩa, “Ứng Dụng Wavelet Trong Xử Lý Tín Hiệu Não”, 2012 [3] Georg E Fabiani, Dennis J McFarland, Jonathan R Wolpaw, and Gert Pfurtscheller, Conversion of EEG Activity into cursor movement by a Braincomputer interface, IEEE, transactions on neural systems and rehabilitation engineering, vol 12, no 3, september 2004 [4] Christoph Guger, Werner Harkam, Carin Hertnaes, Gert Pfurtscheller, Prosthetic Control by an EEG-based Brain-Computer Interface (BCI), Institute of Biomedical Engineering, Department of Medical Informatics Ludwig-Boltzmann Institute for Medical Informatics and Neuroinformatics University of Technology Graz Inffeldgasse 16a, 8010 Graz, Austria [5] R Rojas, “Neural Networks”, Springer-Verlag, Berlin, 1996 [6] Gelareh Mohammadi, Parisa Shoushtari, Behnam Molaee Ardekani and Mohammad B Shamsollahi, “Person Identification by Using AR Model for EEG Signals”, World Academy of Science, Engineering and Technology 11 2005 [7] Steve Winder, Analog And Digital Filter Design, second Edition, 2002 [8] Kay, S.M., Marple, “Spectrum Analysis - A Modern Perspective", Proceeding IEEE Vol 69, No 11, Nov pp 1380 – 1417 [9] Alan V.Oppenheim, Ronald W.Schafer, John R.Buck, “Discrete – time Signal processing”, Prentice Hall Upper Saddle River Jersey 07458 [10] ActiveTwo Operating Guidelines, Rev 6, Printed: January 31, 2007 [11] Abdulhamit Subasi, M Kemal Kiymik, Ahmet Alkan, Etem Koklukaya, “NEURAL NETWORK CLASSIFICATION OF EEG SIGNALS BY USING AR 59 Tài Liệu Tham Khảo WITH MLE PREPROCESSING FOR EPILEPTIC SEIZURE DETECTION”, Mathematical and Computational Applications, Vol 10, No 1, pp 57-70, 2005 [12] Robert Leeb, Hesam Sagha, Ricardo Chavarriaga and Jose del R Millan, Multimodal Fusion of Muscle and Brain Signals for a Hybrid-BCI, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 September 4, 2010 [13] D K Ravish, S Shenbaga Devi, “Automated Seizure Detection and Spectral Analysis of EEG Seizure Time Series”, European Journal of Scientific Research ISSN 1450-216X Vol.68 No.1 (2012), pp 72-82 [14] Kazuo Tanaka, Kazuyuki Electroencephalogram-Based Control Matsunaga, of an and Electric Hua O Wheelchair, Wang, IEEE TRANSACTIONS ON ROBOTICS, VOL 21, NO 4, AUGUST 2005 [15] Jonathan R Wolpaw, Dennis J McFarland, Theresa M Vaughan, and Gerwin Schalk, The Wadsworth Center Brain–Computer Interface (BCI) Research and Development Program, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL 11, NO 2, JUNE 2003 [16] Dennis J McFarland and Jonathan R Wolpaw, EEG-Based Communication and Control:Speed–Accuracy Relationships, Applied Psychophysiology and Biofeedback, Vol 28, No 3, September 2003 [17] Yunyong Punsawad, Student Member, IEEE, Yodchanan Wongsawat, Member, IEEE, and Manukid Parnichkun, Member, IEEE, Hybrid EEG-EOG Brain-Computer Interface System for Practical Machine Control, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 September 4, 2010 [18] Tamura, H., M Fuchigami, and A Okada, "Neuro-NIRS: Analysis of Neural Activities Using NIRS ," Springer-Verlag Berlin Heidelberg, 2009: p 543–552, 60 Tài Liệu Tham Khảo [19] Khoa, T and M Nakagawa, "Recognizing brain activities by functional near infrared spectroscope signal analysis," Nonlinear Biomedical Physics, 2008 [20] J.N Mak and J.R Wolpaw, “Clinical Applications of Brain Computer Interfaces: Current State and Future Prospects”, IEEE reviews in biomedical engineering, vol 2, 2009, pp 187-199 [21] H G Tan, K H Kong, C Y Shee, C C Wang, C T Guan and W T Ang, Post-Acute Stroke Patients Use Brain-Computer Interface to Activate Electrical Stimulation, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 [22] H G Tan, K H Kong, C Y Shee, C C Wang, C T Guan and W T Ang, “Post-Acute Stroke Patients Use Brain-Computer Interface to Activate Electrical Stimulation”, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 [23] Carlos Escolano, Ander Ramos Murguialday, Tamara Matuz, Niels Birbaumer, and Javier Minguez, A Telepresence Robotic System operated with a P300-based Brain-Computer Interface: Initial Tests with ALS patients, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 [24] Zheng Yang Chin, Kai Keng Ang, Chuanchu Wang, Cuntai Guan, Online Performance Evaluation of Motor Imagery BCI with Augmented-Reality Virtual Hand Feedback, 32nd Annual International Conference of the IEEE EMBS Buenos Aires, Argentina, August 31 - September 4, 2010 61 ... mắt, liếc trái liếc phải 39 Thuật Toán Ngưỡng Xác Định Các Hoạt Động Của Mắt Chƣơng THUẬT TOÁN NGƢỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT Tín hiệu EEG sau lọc nhiễu đưa qua phân loại để xác định hoạt. .. 40 6.2 Thuật Toán Ngƣỡng Xác Định Các Hoạt Động Của Mắt 41 6.3 Dùng Thuật Toán Ngƣỡng Xác Định Các Hoạt Động Của Mắt Online 47 Chƣơng NHẬN DẠNG CÁC HOẠT ĐỘNG CỦA MẮT DÙNG MẠNG LAN TRUYỀN... Trích Các Đặc Tính Của Tín Hiệu EEG Dựa Trên Các Hệ Số Mơ Hình AR 35 Chƣơng THUẬT TOÁN NGƢỠNG XÁC ĐỊNH CÁC HOẠT ĐỘNG CỦA MẮT 40 6.1 Thuật Toán Ngƣỡng 40 6.2 Thuật Toán