ứng dụng sóng não phát hiện dấu hiệu buồn ngủ và đưa ra tín hiệu cảnh báo đối với người lái xe

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH QUÂN ỨNG DỤNG SÓNG NÃO PHÁT HIỆN DẤU HIỆU BUỒN NGỦ VÀ ĐƯA RA TÍN HIỆU CẢNH BÁO ĐỐI VỚI NGƯỜI LÁI XE NGÀNH: KỸ THUẬT CƠ KHÍ ĐỘNG LỰC - 60520116 S K C0 Tp Hồ Chí Minh, tháng 03/2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH QUÂN ỨNG DỤNG SÓNG NÃO PHÁT HIỆN DẤU HIỆU BUỒN NGỦ VÀ ĐƯA RA TÍN HIỆU CẢNH BÁO ĐỐI VỚI NGƯỜI LÁI XE NGÀNH KỸ THUẬT CƠ KHÍ ĐỘNG LỰC – 520116 Hướng dẫn khoa học: PGS.TS ĐỖ VĂN DŨNG Tp Hồ Chí Minh, tháng 03 năm 2015 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ & tên: Nguyễn Đình Quân Giới tính: Nam Ngày, tháng, năm sinh: 24/01/1986 Nơi sinh: Bảo Lộc, Lâm Đồng Quê quán: An Nhơn, Bình Định Dân tộc: Kinh Chỗ riêng địa liên lạc: 833 Trần Phú, P B’Lao, Bảo Lộc, Lâm Đồng Điện thoại quan: Điện thoại nhà riêng: Fax: Email: dinhquan2010@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ …/… đến …/ …… Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: Chính Quy Thời gian đào tạo từ 09/2004 đến 05/2009 Nơi học (trường, thành phố): ĐH Sư Phạm Kỹ Thuật Tp.HCM Ngành học: Cơ Khí Động Lực Tên đồ án, luận án môn thi tốt nghiệp: Nghiên cứu, thiết kế phục hồi trợ huấn cụ phục vụ cho công tác giảng dạy Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 3/2009, trường ĐH Sư Phạm Kỹ Thuật Tp.HCM Người hướng dẫn: Ths Huỳnh Phước Sơn III QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 5/2009 ÷ 5/2012 Công Ty TNHH GM Việt Nam Kỹ sư quản lý đại lý 6/2012 ÷ 11/2012 Công Ty CP Liên Á Quốc Tế Cố vấn kỹ thuật 12/2012  Công Ty CP Ô Tô UK Trưởng phòng phụ tùng i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tp Hồ Chí Minh, ngày … tháng 03 năm 2015 (Ký tên ghi rõ họ tên) NGUYỄN ĐÌNH QUÂN ii LỜI CẢM ƠN Trong suốt trình học tập hoàn thành luận văn này, đã nhận hướng dẫn, giúp đỡ quý báu thầy cô bạn lớp Với lòng kính trọng biết ơn sâu sắc xin bày tỏ lời cảm ơn chân thành tới: Ban giám hiệu, Phòng đào tạo sau đại học, Khoa Cơ Khí Động Lực trường Đại Học Sư Phạm Kỹ Thuật Tp.HCM đã tạo điều kiện thuận lợi giúp đỡ trình học tập hoàn thành luận văn Phó giáo sư - Tiến sĩ Đỗ Văn Dũng, người thầy kính mến đã hết lòng giúp đỡ, dạy bảo, động viên tạo điều kiện thuận lợi cho suốt trình học tập hoàn thành luận văn tốt nghiệp Xin chân thành cảm ơn thầy cô hội đồng chấm luận văn đã cho những đóng góp quý báu để hoàn chỉnh luận văn Kính chúc ban giám hiệu, thầy cô mạnh khỏe, thành công đuốc soi đường cho hệ đàn em chúng em tiến bước thành công hơn, vững chắc đường khoa học có khó khăn, thử thách đầy thù vị Xin chân thành cảm ơn chúc thầy cô sức khỏe thành đạt iii TÓM TẮT Giao diện não máy tính (BCI: Brain Computer Interface) lĩnh vực nghiên cứu tương tác giữa não người với máy tính Một hệ thống BCI thông thường dựa vào tín hiệu mang tính chất điện thu thập từ não thông qua hệ thống điện cực, máy tính lập trình phân tích, xử lý dữ liệu thu thập đưa những phản ứng đáp lại suy nghĩ, tưởng tượng, hoạt động thần kinh người Một hệ thống BCI giúp người có thể sử dụng những hoạt động não để tương tác, điều khiển thiết bị ngoại vi Trong nội dung luận văn này, tác giả thiết kế hệ thống BCI hoàn chỉnh, đáp ứng theo thời gian thực Cụ thể xây dựng mô hình mô phỏng “Ứng dụng sóng não phát dấu hiệu buồn ngủ đưa tín hiệu cảnh báo người lái xe” Một thiết bị Emotiv EPOC Headset sử dụng để thu thập tín hiệu điện não EEG cần thiết để nhận dạng cảnh báo ABSTRACT Brain Computer Interface (BCI) is a specific area of study the interaction between the human brain with computers The BCI system will rely on the conventional nature of electrical signals collected from the brain through the electrode system The computer is programmed to analyze and process the data collected and make responsive thinking, imagining, as well as the neural activity of people The BCI system will enable people to use their brain activity to interact and control of peripheral devices The main objective of this thesis is to design a complete BCI system in real-time Specifically, the application will build an applied brain wave simulation model to detect signs of sleep and give a warning signal for the driver An Emotiv EPOC headset is used to collect EEG signals needed to identify and warn the user iv MỤC LỤC Trang tựa TRANG Quyết định giao đề tài Lý lịch khoa học i Lời cam đoan ii Lời cảm ơn iii Tóm tắt iv Mục lục v Danh sách chữ viết tắt/ký hiệu khoa học viii Danh sách hình ix Danh sách bảng xii CHƯƠNG TỔNG QUAN 1.1 Tổng quan hướng nghiên cứu 1.1.1 Giới thiệu 1.1.2 Tổng quan kết nghiên cứu nước 1.1.2.1 Các đề tài nghiên cứu nước 1.1.2.2 Các đề tài nghiên cứu nước 1.2 Lý chọn đề tài 1.3 Tính cấp thiết của đề tài 1.4 Ý nghĩa khoa học của đề tài 1.5 Thực tiễn của đề tài 1.6 Mục đích nghiên cứu của đề tài 1.7 Khách thể đối tượng nghiên cứu 1.8 Nhiệm vụ nghiên cứu 1.9 Giới hạn của đề tài 1.10 Phương pháp nghiên cứu 1.11 Kế hoạch thực CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Tổng quan vùng chức của não người: 2.2 Các phương pháp thu thập thông tin hoạt động của não 10 2.2.1 Tổng quan phương pháp thu thập thông tin hoạt động của não 10 v 2.2.2 Phương pháp điện não đồ EEG 11 2.2.2.1 Khái quát 11 2.2.2.2 Hệ thống đặt điện cực quốc tế 10-20 để ghi điện não 13 2.2.2.3 Đo tín hiệu dùng phương pháp điện não đồ EEG 17 2.3 Kiến thức y sinh giấc ngủ 20 2.3.1 Khái niệm giấc ngủ 20 2.3.2 Các giai đoạn của giấc ngủ thay đổi của sóng não 20 2.3.3 Bản chất y sinh của buồn ngủ 22 2.4 Mô hình của phân tích xử lý tín hiệu sóng não 24 2.5 Các phương pháp thường dùng để xử lý nhận dạng tín hiệu EEG 24 2.5.1 Các phương pháp dùng cho tiền xử lý 25 2.5.2 Các phương pháp trích đặc trưng tín hiệu EEG 26 2.5.3 Phân loại nhận dạng tín hiệu sóng não mạng Nơron nhân tạo 30 2.5.3.1 Mạng lan truyền ngược 30 2.5.3.2 Kiến trúc mạng lan truyền ngược nhiều lớp 32 2.6 Các phương thức xử lý tín hiệu 34 2.6.1 Phương thức xử lý tín hiệu offline 34 2.6.2 Phương thức xử lý tín hiệu online 35 CHƯƠNG TIẾN TRÌNH NGHIÊN CỨU VÀ BỐ TRÍ THÍ NGHIỆM 36 3.1 Tiến trình nghiên cứu 36 3.2 Thiết kế thí nghiệm bắt buồn ngủ của tài xế lái xe đường dài 37 3.3 Xây dựng mô hình mô việc lái xe 38 3.3.1 Khoan lái mô 38 3.3.2 Vô lăng lái xe mô 39 3.3.3 Chương trình mô lái xe đường dài Euro Truck Simulator 39 3.4 Lựa chọn thiết bị thu sóng não 41 3.4.1 Thiết bị thu chuyên dụng 41 3.4.2 Thiết bị thu di động Emotiv EPOC 43 3.5 Lựa chọn vùng thu thập tín hiệu điện não 45 3.6 Bố trí thí nghiệm thu thập tập mẫu offline 46 3.6.1 Bố trí thí nghiệm 46 3.6.2 Thí Nghiệm thu thập tập mẫu offline 48 vi CHƯƠNG MÔ HÌNH NHẬN DẠNG CƠN BUỒN NGỦ OFFLINE 49 4.1 Tổng kết thống kê kết thử nghiệm 49 4.1.1 Tổng kết 49 4.1.2 Thống kê kết 49 4.2 Xây dựng Module xử lý Matlab 53 4.2.1 Module tiền xử lý tín hiệu 53 4.2.2 Module trích đặc trưng 58 4.2.3 Module mạng nơ ron nhân tạo 64 4.3 Kết thử nghiệm Offline với mô hình 67 CHƯƠNG MÔ HÌNH NHẬN DẠNG CƠN BUỒN NGỦ ONLINE 68 5.1 Phần cứng mô hình thử nghiệm Online 68 5.1.1 Tổng quan thiết kế 68 5.1.2 Nguyên tắc hoạt động 71 5.2 Xây dựng chương trình điều khiển nhận dạng buồn ngủ Online 71 5.2.1 Nguyên tắc chuyển đổi offline sang online 71 5.2.2 Xây dựng thuật toán Online 73 5.2.3 Xây dựng lọc CAR LabVIEW 74 5.2.4 Xây dựng đệm liệu LabVIEW 76 5.2.5 Xây dựng trích đặc trưng PSD LabVIEW 77 5.2.6 Xây dựng mạng nơron nhân tạo LabVIEW 77 5.3 Thử nghiệm thực tế kết thử nghiệm 78 5.4 Đánh giá kết 80 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 81 6.1 Kết Luận 81 6.2 Hướng phát triển của đề tài 82 TÀI LIỆU THAM KHẢO 83 vii DANH SÁCH CÁC CHỮ VIẾT TẮT/KÝ HIỆU KHOA HỌC ABS – Antilock Braking System AES – Advanced Encryption Standard AR – Autoregresion ANN – Artificical Neural Network BCI – Brain Computer Interface CAR – Common Average Reference CSP – Common Spatial Pattern DSP – Digital Signal Processing ECG – Electrocardiogram EEG – Electroencephalogram ECOG – ElectroCorticoGraphy FMRI – Function Magnetic Resonance Imaging FFT – Fast Fourier Transform FPGA – Field Programmable Gate Array LFPs – Local Field Potentials LabVIEW – Laboratory Virtual Instrumentation Engineering Workbench LDA – Linear Discriminant Analysis Matlab – Matrix Laboratory MEG – Magnetoencephalography ME – Mocro-Electrode MEA – Micro-Electrode Array NIRS – Near - Infrared Spectroscopy SRS – Supplemental Restraint System SL – Small Laplacian SVM – Support Vector Machines PSD – Power Spectral Density PCA – Principal Component Analysis viii thập Nguồn dữ liệu cho xử lý tín hiệu phương thức offline những tập mẫu, còn phương thức online nguồn đệm dữ liệu (Data queue), hay còn gọi “cửa sổ mẫu trượt” Đây điểm khác biệt lớn giữa hai phương thức xử lý tín hiệu online offline Hình 5.6a 5.6b bên minh họa khác biệt giữa hai phương thức xử lý tín hiệu online offline: Hình 5.6a: Phương thức xử lý tín hiệu offline Hình 5.6b: Phương thức xử lý tín hiệu online Bộ đệm dữ liệu (Data queue) hoạt động theo nguyên tắc FIFO (First In, First Out) tức mẫu thu thập, nó lưu vào đệm, đồng thời có mẫu khứ đẩy theo nguyên tắc phần tử vào đệm trước phần tử khỏi đệm trước Hình 5.7 bên minh họa nguyên tắc hoạt động đệm dữ liệu 72 Hình 5.7: Nguyên tắc hoạt động đệm dữ liệu 5.2.2 Xây dựng thuật toán Online Như tìm hiểu phần trên, về mặt xử lý theo phương thức online offline không khác nhiều, khác về chế vận hành Điểm khác biệt mấu chốt đệm dữ liệu phương thức online phải thiết kế cho phù hợp, để có thể thay tập mẫu phương thức offline Tại mục 4.1 trình bày về thí nghiệm thu thập dữ liệu cho phần xử lý offline, phần phương pháp thử nghiệm thu tập mẫu có độ dài giây 10 điện cực, tốc độ lấy mẫu Emotiv 128 mẫu/giây Vậy tập mẫu chứa 128 mẫu/kênh Để có thể thay tập mẫu phương thức offline, đệm phương thức online phải có kích cỡ tương đương đảm bảo việc hoạt động xử lý tín hiệu đã thiết kế trước đó Vì vậy, thử nghiệm tác giả định xây dựng 10 đệm dữ liệu hoạt động độc lập dùng để lưu trữ cho 10 kênh tín hiệu, đệm có kích cỡ 128 mẫu (tương ứng với giây thu thập dữ liệu) 73 Hình 5.8: Lưu đồ thuật toán online cho mô hình nhận dạng buồn ngủ 5.2.3 Xây dựng lọc CAR LabVIEW Bộ lọc CAR LabVIEW xây dựng theo lưu đồ sau: Hình 5.9: Lưu đồ thuật toán lọc CAR 74 Dựa vào lưu đồ trên, lọc CAR triển khai LabVIEW theo code sau: Hình 5.10: Chương trình lọc CAR triển khai LabVIEW Để tiện cho việc sử dụng để làm gọn chương trình, lọc CAR đóng gói hình bên dưới: Hình 5.11: Đóng gói lọc CAR chương trình 75 Trong đó, subVI có 10 input tín hiệu kênh: F3, F4, FC5, FC6, T7, T8, P7, P8, O1, O2 có 10 output là: F3’, F4’, FC5’, FC6’, T7’, T8’, P7’, P8’, O1’, O2’ (đây tín hiệu đã qua xử lý lọc CAR) 5.2.4 Xây dựng đệm liệu LabVIEW Trong phần mềm LabVIEW đã có sẵn công cụ để xây dựng đệm dữ liệu Công cụ có tên Data Queue NI_PtbyPt.lvlib Để lấy công cụ ta vào mục: Signal Processing  Point By Point  Other Function PtByPt  Data Queue PtByPt.vi Sơ đồ chân đóng gói công cụ sau: Hình 5.12: Sơ đồ chân đóng gói đệm dữ liệu Cách sử dụng công cụ sau: Các input:  Initialize: TRUE, khởi tạo hoạt động hàm, khởi tạo đệm xóa trắng  Input data point: mẫu dữ liệu đầu vào  Sample length: kích thước dữ liệu Mặc định 100 Kích thước phải lớn zero Các output:  Eliminated element: mẫu vừa bị loại khỏi đệm  Current Queue: đệm dữ liệu  Previous Queue: đệm dữ liệu trước đó vòng lặp  Error: trả về lỗi hay cảnh báo từ VI  Current length: kích thước đệm hành 76 5.2.5 Xây dựng trích đặc trưng PSD LabVIEW Bộ trích đặc trưng PSD xây dựng theo lưu đồ sau đây: Hình 5.13: Lưu đồ thuật toán trích đặc trưng PSD Theo đó, dữ liệu đệm xử lý song song Trong đó, dữ liệu đệm đưa đến hàm lọc thông dãi có độ rộng 4Hz trải dài từ 444Hz Sau đó đưa vào phép chuyển đổi FFT Hay nói cách khác, với 10 đệm có 110 phép tính toán lọc thông dãi chuyển đổi FFT thực lúc để cho 110 đặc trưng tín hiệu sóng não Trong LabVIEW đã có sẵn hàm hỗ trợ để thiết kế lọc thông dãi chuyển đổi FFT phần Control Panel – Signal Processing 5.2.6 Xây dựng mạng nơron nhân tạo LabVIEW Với trọng số số lượng nơron lớp ẩn đã tối ưu phần thử nghiệm offline, tác giả xây dựng mạng nơron nhân tạo phần mềm LabVIEW dựa vào công cụ Neural Network and Fuzzy Logic trang web https://decibel.ni.com 77 Vì sử dụng trọng số số nơron lớp ẩn (hay nói cách khác việc học mạng nơron diễn quy trình offline) nên mô hình xây dựng có thể đáp ứng xác suy nghĩ ba đối tượng mời làm thí nghiệm thu thập mẫu offline Đây nhược điểm lớn mô hình, chưa có khâu trainning online (mạng nơron tự học cập nhật trọng số theo đối tượng sử dụng) 5.3 Thử nghiệm thực tế kết thử nghiệm Trong thử nghiệm này, có năm đối tượng người dùng tham gia thử nghiệm đánh giá, những người đã tham gia thử nghiệm offline trước đó Các đối tượng yêu cầu tham gia thí nghiệm tương tự thí nghiệm offline, cụ thể trình thí nghiệm diễn tiến sau:  Trước tham gia thí nghiệm đối tượng yêu cầu ngủ thiếu giấc, trầm trọng lúc làm thí nghiệm offline (chỉ ngủ tiếng trước tham gia thí nghiệm) để tạo điều kiện cho buồn ngủ xuất  Sau đó, bước vào phòng thí nghiệm mô phỏng lái, đối tượng ngồi vào bàn thử nghiệm, đeo Headset vào vị trí điện cực Tín hiệu EEG thu đồng thời 10 kênh: F3, F4, FC5, FC6, T7, T8, P7, P8, O1, O2 thực thử nghiệm (4 kênh AF3, AF4, F7, F8 không sử dụng tín hiệu kênh bị nhiễu đáng kể với hành vi nháy mắt)  Sau công tác chuẩn bị đã sẵn sàng, đối tượng tiến hành lái mô phỏng cung đường dài tương tự thử nghệm offline Người tham gia yêu cầu tập trung lái, không gây tai nạn lỗi giao thông đường  Toàn trình thí nghiệm ghi hình tương tự thử nghiệm offline để sau đó đánh giá lại Giám sát viên ghi nhận mốc thời gian mà hệ thống cảnh báo tình xảy va chạm lỗi mô phỏng Từ đó thống kê lại số lần mà hệ thống cảnh báo kịp thời, giúp lái xe tránh những lỗi tai nạn xảy 78  Tổng cộng có ba mươi thí nghiệm chia đều cho đối tượng để đánh giá hoạt động hệ thống Sau thí nghiệm kết thúc, kết ghi nhận đánh sau Tổng cộng năm đối tượng thực ba mươi thí nghiệm, có trăm mười tám tình (118 tình huống) xảy va chạm, tình ghi nhận có yếu tố tập trung tác động Trong đó tổng cộng hệ thống nhận biết cảnh báo trăm linh tám lần (108 lần) với độ xác tám mươi lăm lần (85 lần), có hai mươi ba lần (23 lần) hệ thống nhận diện cảnh báo không thực tế Việc thống kê đánh giá dựa hai tiêu chí là:  Tỷ lệ xác hữu ích của hệ thống: Được tính toán dựa vào tỷ số giữa số lần nhận diện tổng số tình ghi nhận tập trung Tỷ lệ đặc trưng cho tính hiệu quả, hữu ích hệ thống Tỷ lệ cao độ hữu ích hệ thống cao  Tỷ lệ không tin cậy: Được tính toán dựa vào tỷ số giữa số lần cảnh báo sai tổng số tình cảnh báo Tỷ lệ đặc trưng cho độ không tin cậy cảnh báo Tỷ lệ cao cảnh báo mang tính không tin cậy cao Bảng bên thống kê lại kết thí nghiệm Số lần ghi Số lần Số lần Tỷ lệ xác nhận lỗi cảnh báo cảnh báo Hữu ích/Tỷ lệ tập trung nhầm không tin cậy Đối tượng 18 lần 14 lần lần 78% / 25% Đối tượng 38 lần 25 lần lần 65% / 13% Đối tượng 23 lần 19 lần lần 82% / 9% Đối tượng 29 lần 20 lần lần 68% / 25% Đối tượng 10 lần lần lần 70% / 41% 72% 21% Thí nghiệm Đối tượng Tổng kết tỷ lệ xác hữu ích - tỷ lệ không tin cậy trung bình Bảng 5.1: Thống kê kết thử nghiệm mô hình nhận diện buồn ngủ online 79 5.4 Đánh giá kết Sau tiến hành thử nghiệm, tác giả rút những nhận xét sau đây:  Độ xác hữu ích mức chấp nhận có vẻ thấp phương thức offline Điều có thể dễ dàng lý giải phương thức online có dữ liệu phương thức offline  Tỷ lệ không tin cậy cảnh báo còn cao, điều có thể lý giải thu emotiv còn chưa chuẩn xác so với thiết bị thu chuyên dụng khâu nhận dạng còn chưa tốt  Độ xác tùy thuộc vào yếu tố cá nhân, có lẽ đặc tính cá nhân dạng sóng Alpha đã trình bày phần 4.1  Vấn đề về độ xác có thể cải thiện tốt người sử dụng huấn luyện có thời gian làm quen với mô hình nhiều Đồng thời còn tùy thuộc vào trạng thái sức khỏe người tham gia thí nghiệm  Khâu nhận dạng cần thời gian nghiên cứu thử nghiệm nhiều với phương án thiết kế khác để tăng độ xác cho mô hình 80 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 6.1 Kết Luận Luận văn đã hoàn thành việc thu thập xử lý tín hiệu EEG từ thiết bị Emotiv EPOC Headset Xây dựng thành công mô hình hệ thống nhận diện cảnh báo buồn ngủ hoàn chỉnh có giá thành hợp lý Tạo tiền đề cho những nghiên cứu sau về lĩnh vực cảnh báo an toàn, thông qua theo dõi sinh lý người lái xe trường Đại Học Sư Phạm Kỹ Thuật TPHCM Như vậy, luận văn đã đạt mục tiêu nghiên cứu đề ban đầu Các kết cụ thể mà luận văn đã đạt sau:  Xây dựng mô hình mô phỏng công việc lái xe, phục vụ cho công tác thu thập dữ liệu sinh lý người điều khiển phương tiện tham gia giao thông Điều đã giúp việc thu thập dữ liệu trở nên đơn giản an toàn  Xây dựng quy trình nghiên cứu sóng não chuyên nghiệp khoa học Tạo tiền đề tham khảo cho những đề tài nghiên cứu sau về lĩnh vực cảnh báo sớm an toàn, thông qua việc theo dõi dấu hiệu sinh lý người điều khiển phương tiện giao thông  Xây dựng thành công mô hình nhận diện cảnh báo sớm buồn ngủ hoàn chỉnh, dù độ xác tin cậy chưa đạt mức có thể triển khai vào thực tế Tuy nhiên, đó minh chứng cho hướng phương pháp nghiên cứu Việc không có chuyên gia hay người đã sử dụng qua Headset trước hướng dẫn, những người có kiến thức chuyên sâu về não giúp đỡ trình thực luận văn Điều trở ngại vô lớn tác giả Bên cạnh đó còn có khó khăn về mặt tài Không có nhà tài trợ hỗ trợ về mặt kinh phí cho những ý tưởng đề tài Chính những khó khăn làm cho những kết mà luận văn đã đạt thực có ý nghĩa Có thể nói công nghệ BCI dành riêng cho những muốn khám phá tìm hiểu về lĩnh vực Các ứng dụng BCI đã bắt đầu phát triển 81 kinh doanh đời thực, không còn khái niệm minh chứng phòng thí nghiệm Trong đó, ứng dụng cảnh báo buồn ngủ đã thương mại hóa đầu đề tài đã dẫn chứng Nhưng việc nghiên cứu về lĩnh vực tiềm BCI còn hạn chế Việt Nam, việc đạt thành công không lớn đề tài nguồn cổ vũ cho nghiên cứu sau về lĩnh vực BCI Việt Nam nói chung Đại Học Sư Phạm Kỹ Thuật TP HCM nói riêng 6.2 Hướng phát triển của đề tài Do hạn chế về mặt thời gian tài chính, nên luận văn dừng lại mức xây dựng hệ thống nhận diện buồn ngủ cảnh báo sớm theo phương thức online có thể hoạt động Hướng phát triển đề tài tiếp tục hoàn thiện những nội dung sau:  Chế tạo thiết bị thu có kiểu dáng nhỏ tạo êm dễ chịu cho người sử dụng, đồng thời đảm bảo độ xác Từng bước hướng đến việc ứng dụng thực tế xe  Hướng tới xây dựng hệ thống nhận dạng hệ thống nhúng FPGA, nhằm loại bỏ máy tính cồng kềnh khỏi hệ thống, tăng tính di động hướng tới ứng dụng thực tế  Hoàn thiện thuật toán nhận dạng, tăng độ xác đáp ứng cảnh báo sớm hệ thống bằng cách ứng dụng thuật toán trí tuệ nhân tạo vào khâu nhận dạng (AI)  Xây dựng quy mô thí nghiệm lớn với nhiều đối tượng tham gia hơn, nhằm tăng tính xác hệ thống để đánh giá khách quan về hiệu nhận dạng hệ thống  Bổ sung tính học dữ liệu online để tăng tính ứng dụng thực tế cho mô hình 82 TÀI LIỆU THAM KHẢO [1] Tatum, W O., Husain, A M., Benbadis, S R,: Handbook of EEG Interpretation Demos Medical Publishing, 2008 [2] Acar, Erman, “Classification of motor imagery tasks in eeg signal and its application to a brain-computer interface for controlling assistive environmental devices”, Vol PhD 2011 [3] Lotte, Fabien, “Study of Electroencephalographic Signal Processing and Classification Techniques towards the use of Brain-Computer Interfaces in Virtual Reality Applications”, Vol.PhD 2009 [4] Dandan Huang, “EEG-Based Online Two-Dimensional Cursor Control”, 31st Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Minneapolis, Minnesota, USA, pp 4547-4550, September 3-6, 2009 [5] Iturrate, J Antelis and J Minguez, “Synchronous EEG Brain-Actuated Wheelchair with Automated Navigation”, IEEE International Conference on Robotics and Automation Kobe International Conference Center Kobe, Japan, pp 2318-2325, May 12-17, 2009 [6] Robert Leeb, Hesam Sagha, Ricardo Chavarriaga and Jose del R Millan, “Multimodal Fusion of Muscle and Brain Signals for a Hybrid-BCI”, 32nd Annual International Conference of the IEEE EMBS, Buenos Aires, Argentina, August 31 - September 4, 2010 [7] Mandeep Kaur, P Ahmed, M Qasim Rafiq, “Analyzing EEG based Neurological Phenomenon in BCI Systems”, International Journal of Computer Applications (0975 – 8887), Volume 57– No.17, November 2012 [8] Ripley B.D.: Pattern Recognition and Neural Networks, Cambridge university Press,1996 [9] Nguyễn Văn Trung: Thuật toán tìm ngưỡng xác định hoạt động mắt dựa váo tín hiệu EEG Luận văn thạc sĩ - Đại Học Sư Phạm Kỹ Thuật TP.Hồ Chí Minh, 2012 83 [10] Ngô Quốc Cường: Nhận dạng hoạt động gõ tay thông qua phân tích quang phổ cận hồng ngoại (NIRS) dùng giải thuật hồi quy Luận văn thạc sĩ - Đại Học Sư Phạm Kỹ Thuật TP.Hồ Chí Minh, 2012 [11] Shyh Y.C; Hong T.H, “Mental Fatigue Measurement Using EEG”, Risk Management Trends, pp 205 [12] Sinan C.: Lectures in Medical Physiology: Motor Cortex YILDIRIM BEYAZIT UNIVERSITY [13] Mohammed, J., “Common Average Reference (CAR) Improves P300 Speller”, International Journal of Engineering and Technology Volume No 3, March, 2012 [14] Dennis J., Lynn M., Stephen V., Jonathan R.: Spatial filter selection for EEGbased communication, Electroencephalography and clinical Neurophysiology 103 (1997), pp386-394 [15] Peiyang Li, Peng Xu, Rui Zhang, Lanjin Guo, Dezhong Yao: L1 Norm based common spatial patterns decomposition for scalp EEG BCI BioMedical Engineering OnLine 2013, 12:77 [16] Walter J Freeman, Mark D Holmes, Brian C Burke, Sampsa Vanhatalo: Spatial spectra of scalp EEG and EMG from awake humans Clinical Neurophysiology Volume 114, Issue 6, June 2003, pp 1053–1068 [17] Djuric, P., Kay S.: Spectrum Estimation and Modeling, Digital Signal Processing Handbook.1999 [18] N Kwak: Principal component analysis based on L1-norm maximization, IEEE Trans Pattern Anal Mach Intell., vol 30, no 9, pp 1672–1680, 2008 [19] Huỳnh Hoàng Thái: Hệ Thống Điều Khiển Thông Minh, NXB Đại Học Quốc Gia TPHCM, 2006 [20] R Rojas: Neural Networks, Springer-Verlag, Berlin, 1996 [21] Kaastra, I., Boyd, M.: Designing a neural network for forecasting financial and economic time series - Neurocomputing 10 (1996), pp 215-236 [22] Nguyễn Hữu Công: Điện não đồ bản, NXB Y học, 1998 84 [23] J.N Mak and J.R Wolpaw, “Clinical Applications of Brain Computer Interfaces: Current State and Future Prospects”, IEEE reviews in biomedical engineering, vol 2, 2009, pp 187-199 [24] P Y Xu Lei, Peng Xu, Tie-Jun Liu, and De-Zhong Yao: Common Spatial Pattern Ensemble Classifier and Its Application in Brain-Computer Interface, JOURNAL OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA, vol 7, pp 1721, 2009 [25] C G Quadrianto Novi, Tran Huy Dat, and Ping Xue: Sub-band Common Spatial Pattern (SBCSP) for Brain-Computer Interface, IEEE EMBS Conference on Neural Engineering, 2007, pp 204-207 [26] C.C Kuo, J L Knight, C A Dressel, and A W L Chiu, "Non-Invasive BCI for the Decoding of Intended Arm Reaching Movement in Prosthetic Limb Control," American Journal of Biomedical Engineering, vol 2, pp 155-162, 2012 [27] http://smartcap.com.au/using-the-smartcap-system/ [28] http://www.gizmag.com/toyota-wheelchair-powered-brain-waves/12121/ [29] http://technologyreporting.blogspot.com/2013/04/touchless-tablet-interfacewith.html 85 S K L 0 [...]... nhận diện cơn buồn ngủ online 79 xii CHƯƠNG 1 TỔNG QUAN 1.1 Tổng quan về hướng nghiên cứu 1.1.1 Giới thiệu Ứng dụng sóng não phát hiện dấu hiệu cơn buồn ngủ của người điều khiển xe và đưa ra tín hiệu cảnh báo đối với người lái xe, là một hệ thống thu thập tín hiệu điện phát ra từ não bộ của người lái xe, những tín hiệu điện này được gọi là tín hiệu “sóng não” Dựa trên những tín hiệu thu thập... nghệ giao tiếp não người với máy tính Các ứng dụng này đặc biệt được áp dụng rộng rãi trong lĩnh vực y tế và giải trí Ứng dụng thu thập tín hiệu sóng não và phân tích xử lý, giúp ta phát hiện được một cách chính xác trạng thái buồn ngủ Từ đó, áp dụng đối với người điều khiển phương tiện giao thông nhằm đưa ra tín hiệu cảnh báo kịp thời khi họ rơi vào trạng thái mệt mỏi và buồn ngủ Điều này giúp... và đối chiếu xem những tín hiệu này có phải do cơn buồn ngủ gây ra hay không? Nếu hệ thống phát hiện được dấu hiệu của cơn buồn ngủ gây ra, ngay lập tức hệ thống sẽ gửi tín hiệu cảnh báo đến cho người điều khiển xe, nhờ điều này giúp người điều khiển xe có thể tỉnh táo hơn để quyết định tiếp tục chuyến hành trình hay chủ động dừng xe để nghỉ ngơi tránh tai nạn đáng tiếc xảy ra Tín hiệu cảnh. .. thiểu tổn thất về con người và của cải Điều này đặc biệt hữu ích cho những người thường xuyên phải điều khiển xe đi chặng đường dài về đêm như các tài xế xe khách, tài xế xe vận tải ứng trước những vấn đề bức xúc của xã hội về tai nạn giao thông Việc lựa chọn đề tài Ứng dụng sóng não phát hiện dấu hiệu buồn ngủ và đưa ra tín hiệu cảnh báo đối với người lái xe là nguyện vọng của... Tín hiệu cảnh báo này có thể phát ra dưới dạng đèn cảnh báo trên màn hình hiển thị thông tin xe, hay là tín hiệu cảnh báo dạng âm thanh phát ra loa hoặc cũng có thể cùng lúc phát ra cả hai dạng tín hiệu trên Ngoài ra, còn có nhiều dạng cảnh báo khác như tạo rung động trên ghế người điều khiển hay rung động vô lăng để đánh thức người lái, siết chặt dây đai an toàn của người lái Hệ thống... thần của người điều khiển phương tiện và đưa ra những cảnh báo thích hợp cho người lái xe Trong nội dung đề tài này sẽ tiến hành đo tín hiệu sóng não từ thiết bị Headset Emotive EPOC, áp dụng các thuật toán ngưỡng và mạng nơron truyền thẳng nhiều lớp để nhận dạng các hoạt động của não bộ Tín hiệu EEG thu thập được sẽ được đưa qua bộ lọc thông dải Hamming để loại bỏ nhiễu và lọc lấy tín hiệu Các... khả năng nhận biết dấu hiệu của cơn buồn ngủ của con người và đưa ra tín hiệu cảnh báo Trong phạm vi đề tài, học viên sẽ tiến hành nghiên cứu và thử nghiệm thu thập các dạng sóng não của con người khi xuất hiện cơn buồn ngủ, qua đó trích lọc các đặc trưng của các dạng sóng trên Từ đó, sẽ tiến hành xây dựng một thuật toán có khả năng nhận dạng các dạng sóng não của cơn buồn ngủ Giai đoạn cuối... về ứng dụng sóng não trên điều khiển ô tô còn đang trong quá trình tìm hiểu, nghiên cứu và phát triển Cùng chung mục đích cảnh báo nguy hiểm và gia tăng tính năng an toàn khi người lái xe mệt mỏi và dẫn đến hiện tượng ngủ gật xảy ra Gần đây, có nhóm nghiên cứu trường Đại Học Sư Phạm Kỹ Thuật TP.HCM đã ứng dụng công nghệ xử lý ảnh phân tích nét mặt và trạng thái mắt của người lái xe, ... buồn ngủ và đưa ra tín hiệu cảnh báo đối với người lái xe để giải quyết vấn đề này và tích lũy kinh nghiệm phục vụ cho nhiều dự án nghiên cứu tiếp theo được hoàn thiện hơn 1.2 Lý do chọn đề tài - Nghiên cứu, khai thác và ứng dụng công nghệ sóng não sử dụng trên ô tô - Từng bước ứng dụng này sẽ là thiết bị không thể thiếu trong hệ thống an toàn trên ô tô - Giúp cảnh báo kịp thời cho người điều... giản ứng dụng thuật toán trên để nhận dạng cơn buồn ngủ và đưa ra những tín hiệu cảnh báo cho người dùng 1.7 Khách thể và đối tượng nghiên cứu Đề tài nghiên cứu dựa trên các kiến thức sau: - Lý thuyết về các giai đoạn của giấc ngủ - Tài liệu sóng não cơ bản - Lý thuyết xử lý tín hiệu số DSP - Lý thuyết kỹ thuật nhận dạng tín hiệu với mạng nơron nhân tạo - Lý thuyết kỹ thuật giao tiếp máy tính