Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM II-O-1.18 ĐIỀU KHIỂN THIẾT BỊ BẰNG TÍN HIỆU SÓNG NÃO Đặng Toàn Khoa, Huỳnh Văn Tuấn Khoa Vật lý - Vật lý Kỹ thuật, Trường ĐH KHTN, ĐHQG-HCM Email: dangtoankhoa@gmail.com TÓM TẮT Điện não đồ (Electroencephalography - EEG) nhà khoa học nghiên cứu 80 năm trước đây, lĩnh vực ứng dụng điện não đồ thường nằm phạm vi y học Ngày nay, công nghệ giao tiếp não người - máy tính (Brain Computer Interface - BCI) ngày phát triển rộng rãi quan tâm nhiều Trong báo này, nghiên cứu việc ứng dụng thiết bị thu thập sóng não để nhận dạng đặc trưng tín hiệu chớp mắt phương pháp nhận dạng tĩnh mạng nơ-ron nhân tạo, phương pháp nhận dạng động ngưỡng tín hiệu Sau nhận dạng tín hiệu chớp mắt, xây dựng hệ thống điều khiển thiết bị thông qua tín hiệu chớp mắt Kết báo mở thêm nhiều hướng nghiên cứu tín hiệu sóng não Từ khóa: EEG, BCI, mạng nơ ron nhân tạo, giao tiếp não – máy GIỚI THIỆU Giao tiếp não người máy tính (BCI) hướng nghiên cứu thách thức quan trọng lĩnh vực nghiên cứu tự động hóa giao tiếp người – máy (Human Computer Interface - HCI), phương pháp tìm hiểu ý nghĩ hành động Mục đích BCI cung cấp phương pháp cho phép người giao tiếp với giới bên mà không cần tương tác vật lý (chạm, cầm, nắm, di chuyển,…) Trong hệ thống BCI, người sử dụng lệnh điều khiển không thông qua những tín hiệu não Vì vậy, hệ thống BCI sử dụng tín hiệu điện não từ tế bào nơ-ron, tín hiệu chuyển thành tín hiệu điều khiển thiết bị ngoại vi mà mong muốn Các lĩnh vực hệ thống BCI thường chia thành loại [10]: - Ứng dụng kỹ thuật sinh học: thiết bị điều khiển hoạt động người, đem lại niềm hi vọng cho bệnh nhân bại liệt - Quan sát hành vi vô thức người: lĩnh vực chủ yếu nghiên cứu hoạt động sâu não, thường nghiên cứu người ngủ sâu, để tìm hoạt động vốn có não chi phối thể, nghiên cứu trạng thái tâm thần học - Ứng dụng thần kinh học: sử dụng phương pháp thời gian thực cho phép quan sát tín hiệu thần kinh ghi lại với hành động tương ứng - Ứng dụng tương tác người máy: cung cấp phương thức tương tác người máy máy tính Tín hiệu đầu vào Xử lý tín hiệu Tìm đặc trưng tín hiệu Tương tác máy Hình Quá trình giao tiếp não - máy Việc kết hợp EEG BCI đem lại ứng dụng phục vụ tốt cho sống người Công nghệ BCI thiết bị thu thập sóng não ngày phát triển, đặc biệt hệ thống thu thập sóng não di động xuất ngày phổ biến thị trường tiêu dùng Trong báo này, nghiên cứu tín hiệu sóng não, cụ thể nhận dạng đặc trưng tín hiệu chớp mắt sử dụng thuật toán tĩnh động, để từ ứng dụng vào điều khiển thiết bị Sơ đồ trình tương tác người máy hình MÔ HÌNH HỆ THỐNG Mô hình tổng quan Trong này, đưa mô hình tổng quan gồm bước để giải toán Mô hình tổng quan tương tác người máy hình a) Tín hiệu đầu vào: bao gồm thiết bị thu thập tín hiệu sóng não kết nối với máy tính, tín hiệu sóng não thu thập theo chu kỳ b) Xử lý tín hiệu: sau thu thập sóng não, tín hiệu đưa vào thuật toán xử lý tín hiệu, từ xử lý tín hiệu đặc trưng lưu vào hệ sở liệu ISBN: 978-604-82-1375-6 76 Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM Tìm đặc trưng tín hiệu: tín hiệu sau rút trích đặc trưng tổng hợp từ nhiều nguồn, tiến hành trình nhận dạng tín hiệu, báo tín hiệu chớp mắt d) Tương tác máy: thông qua tín hiệu nhận dạng được, ứng dụng vào việc điều khiển thiết bị thông qua server UDP bo mạch Arduino c) Thu thập sóng não (DAQ) Phân tích EEG Nhận diện đặc trưng tín hiệu Hiển thị kết & Điều khiển thiết bị Hình Mô hình tổng quan Mô hình nhận dạng đặc trưng tín hiệu Thuật toán phân tích miền tần số Một cách chuyển tín hiệu từ miền thời gian sang miền tần số sử dụng phép biến đổi Fourier phổ biến phép biến đổi Fourier rời rạc với phương trình sau [6]: 𝑁−1 𝑛 𝐹𝑘 = ∑ 𝑓𝑛 𝑒 −𝑖2𝑘𝜋𝑁 (𝑘 = 0, 1, … , 𝑁 − 1) (1) 𝑛=0 Với kết F số phức, tương đương giá trị tần số khoảng đến ½ tần số lấy mẫu fs (tần số Nyquist) Từ đây, lượng tần số tính theo: 𝑃𝐹𝑘 = 𝐹𝑘 ∗ 𝐹′𝑘 𝑁 (2) Từ lượng tần số này, tính tiếp giá trịnh lượng trung bình khoảng băng tần đặc trưng sóng não Đen – ta , Tê – ta,…,Ga – ma Lọc đỉnh đáy sóng Một đặc trưng tín hiệu chớp mắt đỉnh đáy trình sinh điện kiện, tạo đỉnh cao đáy thấp bất thường Sử dụng tính chất này, lọc đỉnh cao đáy thấp mẫu Bộ mẫu Lọc đỉnh nhiễu Tìm trả đỉnh, đáy Hình Sơ đồ tiền xử lý trước tìm đỉnh đáy sóng Tuy nhiên, việc cử động thể gây đỉnh nhiễu có giá trị cao nhiều so với tín hiệu thật Vì vậy, sử dụng thuật toán tìm đỉnh đáy thông thường dễ bị sai đỉnh nhiễu Vì thế, trước tiên tìm ngưỡng giá trị đỉnh phù hợp tín hiệu chớp mắt, giá trị biên độ vượt qua ngưỡng tín hiệu nhiễu lọc bỏ tín hiệu nhiễu ISBN: 978-604-82-1375-6 77 Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM Thu thập xử lý số liệu Để trả dải tần số theo dạng mẫu sóng não, chọn tần số lấy mẫu fs = 100Hz (tương ứng 10ms) Với tần số này, vùng tần số trả giá trị theo thuật toán biến đổi Fourier nhanh nằm khoảng – 50 Hz (ứng với tần số cận khoảng Nyquist) Chúng cài đặt thông số định thời TDAQ có chu kỳ lấy mẫu 10 ms, tạo cờ ngắt số lượng mẫu danh sách tràn qua 128 mẫu Lưu đồ thuật toán xử lý EEG hình Cài đặt thông số định thời TDAQ Cài đặt số lượng mẫu Quá trình kết thúc Phân tích FFT Đúng Tính khoảng băng tần Bộ mẫu Lưu kết Sai Lọc bỏ đỉnh, đáy nhiễu Lấy mẫu Lấy đỉnh, đáy thật Hình Lưu đồ thuật toán xử lý EEG Huấn luyện nhận dạng đặc trưng tín hiệu chớp mắt – Hệ thống tĩnh Với hệ thống tĩnh, để nhận dạng đặc trưng tín hiệu chớp mắt lựa chọn phương pháp huấn luyện mạng nơ-ron nhân tạo đa lớp Một dạng mạng nơ-ron đa lớp phổ biến mạng nơ-ron truyền thẳng Trong mạng nơ-ron truyền thẳng, lớp giá trị đầu vào X (Input) lớp giá trị đầu Y cuối (Output), có lớp Yi bao gồm nơ-ron nhân tạo nối với chuyển giá trị qua hàm truyền, kết lớp Yi giá trị đầu vào lớp Yi+1, lớp có trọng số Wi khởi tạo ngẫu nhiên kèm Lưu đồ mô tả trình huấn luyện mạng nơ-ron nhân tạo hình Bộ giá trị đầu Y mong muốn Bộ giá trị đầu vào Mạng nơ ron nhân tạo Bộ giá trị đầu mạng nơ ron Hiệu chỉnh trọng số thông qua sai số Sai - Giá trị chênh lệch cho phép Đúng Kết thúc trình Hình Lưu đồ mô tả trình huấn luyện mạng nơ-ron nhân tạo ISBN: 978-604-82-1375-6 78 Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM Hình Đồ thị biểu diễn sai số MSE phụ thuộc số lượng lớp ẩn Khảo sát lựa chọn thông số huấn luyện mạng nơ-ron nhân tạo Chúng khảo sát thông số ảnh hưởng tới việc huấn luyện mạng nơ-ron bao gồm số lượng lớp ẩn, số lượng nơ-ron lớp ẩn tốc độ học η *Khảo sát số lượng lớp ẩn: Hình biểu diễn sai số bình phương trung bình MSE (Mean Square Error) phụ thuộc số lượng lớp ẩnQuan sát hình 6, đường đồ thị từ màu xanh đến màu tím đồ thị mạng nơ-ron nhân tạo có lớp ẩn đến lớp ẩn, nhận thấy đồ thị sai số MSE hội tụ nhanh mạng nơ-ron có lớp ẩn *Khảo sát số lượng nơ-ron lớp ẩn: Chúng tiến hành khảo sát phụ thuộc sai số MSE vào số lượng nơ-ron lớp ẩn (số lớp ẩn 1) Dựa vào đồ thị sai số MSE hội tụ hình 7a, nhận thấy sai số MSE đạt hội tụ khoảng 100 mẫu Đây dạng đồ thị lý tưởng để huấn luyện mạng nơ-ron, dạng đồ thị xuất mẫu khảo sát từ đến 500 nơ-ron a) b) c) d) Hình a) Đồ thị sai số MSE hội tụ; b) Đồ thị sai số MSE phụ thuộc số lượng nơ-ron lớp ẩn; c) Đồ thị số lần lặp tối thiểu phụ thuộc số lượng nơ-ron lớp ẩn; d) Đồ thị tổng thời gian huấn luyện phụ thuộc số lượng nơ-ron lớp ẩn ISBN: 978-604-82-1375-6 79 Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM Sau khảo sát, kết phụ thuộc vào số lượng nơ ron lớp ẩn như hình 7b, hình 7c hình 7d Hình 7b thể sai số MSE phụ thuộc vào số lượng nơ-ron lớp ẩn, đồ thị đường cung lõm, thấy sai số đạt giá trị nhỏ số lượng nơ-ron nằm khoảng 225 đến 325 Hình 7c thể số lần lặp tối thiểu theo số lượng nơ-ron lớp ẩn, nhận thấy số lần lặp đạt tối thiểu ứng với số lượng nơ-ron lớp ẩn nằm khoảng 200 đến 225 nơ-ron Hình 7d thể tổng thời gian huấn luyện mạng nơ-ron với 5000 lần lặp (phụ thuộc vào số lượng nơ-ron lớp ẩn), nhận thấy giá trị thời gian tăng tuyến tính theo số lượng nơ-ron, đạt tới mức tối đa 12000 mili giây (khảo sát với CPU core dual) Kết luận: với mức độ sai số MSE, số lần lặp tối thiểu tổng thời gian huấn luyện, định chọn số lượng nơ-ron lớp ẩn 225 nơ-ron *Khảo sát tốc độ học η: Tốc độ học η phần mạng nơ-ron lan truyền ngược, tốc độ học có ảnh hưởng đến giá trị đầu thời gian hội tụ mạng Với hai thông số vừa tìm trên, tiếp tục xác định thông số tốc độ học η Tiếp tục khảo sát lại mạng nơ-ron với 2000 vòng lặp, lớp ẩn 225 nơ-ron Hình thể sai số MSE mạng nơ-ron theo tốc độ học khác (0.25; 0.1; 0.01), nhận thấy với tốc độ học 0.1 sai số MSE hội tụ nhanh đạt ổn định Hình Sai số MSE phụ thuộc tốc độ học Huấn luyện nhận dạng đặc trưng tín hiệu chớp mắt – Hệ thống thời gian thực Qua nhiều lần thử nghiệm, nhận thấy việc phát sinh tín hiệu chớp mắt có quy luật chung dựa vào ngưỡng giá trị biên độ tín hiệu Chúng xây dựng hệ thống nhận dạng tín hiệu chớp mắt dựa vào ngưỡng giá trị tín hiệu Để biết ngưỡng giá trị tín hiệu, cần thu thập số lượng lớn mẫu tín hiệu để nắm bắt quy luật tín hiệu sóng não đo từ thiết bị MindWave Giá trị tín hiệu thường diễn phạm vi ± 2000 đơn vị, tín hiệu vượt phạm vi nhiễu việc thu nhận tín hiệu bị sai Chính thế, hiệu chuẩn lại giá trị tín hiệu việc chia tỉ lệ cho 2000, sau tính phần trăm Từ quan sát ngưỡng giá trị trung bình tín hiệu, biết trạng thái bình thường giá trị đạt phần trăm biên độ tiêu chuẩn ISBN: 978-604-82-1375-6 80 Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM Quan sát hình 9, thấy trạng thái biên độ phổ biến nằm khoảng 5% đến 15% cho tín hiệu dương, 5% - 6% cho tín hiệu âm, vượt khỏi ngưỡng này, dạng tín hiệu xem tín hiệu chớp mắt Hình Tín hiệu sóng não sau hiệu chuẩn tỉ lệ Kết luận: sử dụng ngưỡng 15% cho mức biên độ dương 6% cho mức biên độ âm làm ngưỡng tiêu chuẩn để nhận dạng tín hiệu chớp mắt Mô hình điều khiển thiết bị Để thực xây dựng hệ thống điều khiển BCI, cần hệ thống nhỏ gọn tương thích Việc giao tiếp thiết bị điều khiển với máy tính cổng COM ngày phổ biến, có điểm bất tiện phải cắm thiết bị điều khiển trực tiếp với máy tính phải thông qua sợi cáp Với độ nhỏ gọn tính mở rộng cao Arduino, dễ dàng tích hợp mở rộng thiết bị giao tiếp Ethernet bo mạch điều khiển Điều giúp dễ dàng giao tiếp lệnh cho thiết bị thông qua hệ thống mạng (có dây không dây) phổ biến thuận tiện cho việc phát triển hệ thống Tín hiệu nhận diện Máy tính gửi lệnh Lắng nghe liệu tới Máy chủ UDP Arduino Giải Frame lệnh gửi Kích hoạt khối đóng - ngắt Hình 10 Mô hình điều khiển thiết bị tín hiệu nhận dạng thông qua máy chủ UDP Khi tín hiệu chớp mắt nhận dạng, thông tin máy tính cập nhật gửi gói tin điều khiển đến Arduino Để làm điều này, cần hệ thống máy chủ lắng nghe thông qua giao thức mạng Hiện có hai giao thức phổ biến UDP TCP UDP TCP lắng nghe gói tin liệu gửi tới Điều khác biệt thấy TCP lắng nghe thêm yêu cầu kết nối tới, kết nối thành công bắt đầu lắng nghe liệu gửi tới Arduino hệ thống vi điều khiển nhỏ, nên hạn chế tối đa công đoạn chờ đợi thông tin Thế nên, định xây dựng hệ thống máy chủ theo giao thức UDP, cần lắng nghe liệu tới, máy tính cần chắn địa máy chủ cần gửi tới Máy chủ UDP bo mạch Shield Ethernet, lắng nghe gói tin Frame gửi từ máy tính Gói tin Frame thực chất mảng byte gửi Ở đây, tạo mảng gói tin byte có cấu trúc sau: ISBN: 978-604-82-1375-6 81 Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM [Địa thiết bị cần điều khiển] [Trạng thái] Byte gói tin địa thiết bị muốn kích hoạt thông qua khối đóng ngắt Byte trạng thái kích hoạt Trạng thái kích hoạt có giá trí (ON), (OFF) Với mô hình này, sau khối đóng ngắt mở rộng với khối điều khiển khối thiết bị khác, tùy theo nhu cầu điều khiển Ngoài ra, với mô hình kết nối tới thiết bị mà không cần hệ thống dây phức tạp, công nghệ mạng không dây phát triển mạnh dần thay hệ thống có dây khác KẾT QUẢ Bảng Bộ kết trạng thái chớp mắt Biên độ đỉnh 0.58 1.00 0.68 0.47 0.85 0.82 0.51 0.73 0.61 0.80 Biên độ đáy 0.60 0.86 1.00 0.92 0.91 0.65 0.68 0.69 0.74 0.83 Kết mong muốn 1 1 1 1 1 Kết thực 0.9857 0.9979 0.9970 0.9898 0.9974 0.9909 0.9611 0.9889 0.9900 0.9960 Bảng Bộ kết trạng thái bình thường Biên độ đỉnh 0.24 0.22 0.27 0.26 0.25 0.24 0.19 0.24 0.26 0.22 Biên độ đáy 0.17 0.21 0.25 0.29 0.19 0.15 0.18 0.31 0.21 0.18 Kết mong muốn 0 0 0 0 0 Kết thực 0.0048 0.0068 0.0201 0.0289 0.0069 0.0039 0.0037 0.0345 0.0105 0.0050 Kết huấn luyện mạng nơ-ron nhân tạo Sau xác định mô hình, thuật toán, cấu trúc thông số mạng nơ-ron, bắt đầu huấn luyện mạng nơ-ron với thông số đầy đủ sau: - Cấu trúc: lớp vào, lớp ẩn, lớp - Số lượng nơ-ron lớp ẩn: 225 nơ-ron - Hàm truyền lớp: hàm sigmoid - Tốc độ học η: 0.1 - Số lần học tối đa: 2000 lần Sau trình huấn luyện, kết trình bày bảng bảng 2, giá trị sai số MSE đạt 2x10-4 Kết luận: với bảng kết trên, thấy mạng nơ-ron huấn luyện hoạt động, trả giá trị mong muốn với dự kiến ban đầu Kết nhận dạng tín hiệu thời gian thực Tín hiệu gốc Ô trạng thái Tín hiệu hiệu chuẩn Hình 11 Đồ thị nhận dạng chớp mắt thời gian thực Mô hình nhận dạng tín hiệu sử dụng ngưỡng đem lại hiệu hệ thống thời gian thực Hầu hết trạng thái chớp mắt thời gian thực nhận dạng Tuy nhiên, số trường hợp tín hiệu chớp mắt có xuất có biên độ yếu nên bị lọc Thế trạng thái ít, tỉ lệ kết nhận dạng hệ thống thời gian thực chấp nhận ISBN: 978-604-82-1375-6 82 Báo cáo toàn văn Kỷ yếu hội nghị khoa học lần IX Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM Hình 11 ảnh chụp từ hệ thống nhận dạng tín hiệu chớp mắt thời gian thực, đồ thị phía (đồ thị màu xanh) biểu diễn tín hiệu sóng não gốc, đồ thị bên (màu đỏ) biểu diễn tín hiệu hiệu chuẩn lại, giá trị ngưỡng xem Khi xuất tín hiệu chớp mắt, ô trạng thái cập nhật thông báo “Đã chớp mắt” KẾT LUẬN Hệ thống BCI công nghệ điện não đồ ngày trở nên phổ biến Chúng đưa phương pháp nhận dạng tín hiệu sóng não, cụ thể tín hiệu chớp mắt Bằng phương pháp mạng nơ ron nhân tạo phương pháp ngưỡng giá trị, kết nhận dạng tín hiệu chớp mắt thu thập từ sóng não hoàn toàn áp dụng việc nhận dạng đặc trưng tín hiệu ứng dụng điều khiển thiết bị Hệ thống nhận nhiện mở rộng thêm nhiều khả nhận dạng hành vi khác người cử động vùng đầu, cử động chi thể,… Cùng với phát triển hệ thống đo đạc sóng não di động ngày tinh gọn hơn, việc nhận dạng hoạt động người qua tín hiệu sóng não để áp dụng điều khiển phát triển dễ dàng hơn, đem lại nhiều lợi ích cho người dùng, người dùng bị khiếm khuyết chức bệnh nhân bại liệt USING BRAINWAVE IN CONTROLLING DEVICES ABSTRACT Electroencephalography (EEG) have researched for more than 80 years, but it is just researched in a narrow field of medicine Nowadays, Brain Computer Interface (BCI) technology is more available and more concerned by many scientists With BCI and EEG, we have many applications serving for human life easier On another side, BCI and EEG equipment is cheaper and lighter, especially this is the mobile EEG equipment So that, brainwave researching and BCI system developing is more popular and have many researched fields We researched and applied how to use mobile EEG equipment for recognizing classification of eyes blink, after that, developed a hardware system for controlling devices TÀI LIỆU THAM KHẢO [1] Nguyễn Hữu Công, “Các Điện Thế Gợi (Evoked Potentials - Ep) Và Ý Nghĩa Lâm Sàng”, Tham Khảo Thần Kinh Học, Đại học Y Dược, Tp.HCM [2] Nguyễn Đình Thúc (2001), “Trí Tuệ Nhân Tạo Mạng Nơron”, NXB Giáo Dục [3] Nguyễn Thanh Thủy (2007), “Trí Tuệ Nhân Tạo – Các Phương Pháp Giải Quyết Vấn Đề Và Kỹ Thuật Xử Lý Tri Thức”, NXB Khoa học Kỹ Thuật [4] Bùi Xuân Toại, Trương Gia Việt (2000), “Trí Tuệ Nhân Tạo – Các Cấu Trúc & Chiến Lược Giải Quyết Vấn Đề”, NXB Thống Kê [5] Nguyễn Hữu Phương (2003), “Xử lý tín hiệu số”, NXB Thống Kê [6] Đặng Văn Liệt (2006), “Vật Lý Tính Toán”, NXB Đại học quốc gia Tp HCM [7] Ngô Trọng Nhân (2010), “Xây Dựng Hệ Thống Nhận Dạng Tiếng Nói Bằng Mạng Nơ – Ron Nhân Tạo”, Bộ Môn Vật Lý Tin Học, Đại Học Khoa Học Tự Nhiên Tp.HCM [8] Vũ Thị Loan, Huỳnh Văn Tuấn (2013), “Khử Tiếng Vọng Âm Học Sử Dụng Mạng Nơron”, Bộ Môn Vật Lý Tin Học, Đại Học Khoa Học Tự Nhiên Tp.HCM [9] Saeid Sanei and J.A Chambers (2007), EEG Signal Processing, John Wiley & Son, Inc, New York, USA [10] Erik Andreas Larsen (2011), Classification of EEG Signals in a Brain Computer Interface System, Department of Computer and Information Science, Norwegian University of Science and Technology [11] Stuart J Johnstone (2012), EEG From A Single-Channel Dry-Sensor Recording Device, University of Wollongong [12] Mark Zhou (2011) , The Asynchronous Programming Models, USA, MSDN ISBN: 978-604-82-1375-6 83