Ứng dụng mạng nơ ron trong hệ thống nhận dạng cảm xúc dựa trên tín hiệu điện não

i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KÝ THUẬT CÔNG NGHIỆP NGÔ QUỐC TRUNG ỨNG DỤNG MẠNG NƠ RON TRONG HỆ THỐNG NHẬN DẠNG CẢM XÚC DỰA TRÊN TÍN HIỆU ĐIỆN NÃO Chuyên ngành: Kỹ thuật điều khiển và tự động hóa Mã số: LUẬN VĂN THẠC SĨ KỸ THUẬT KHOA CHUYÊN MÔN NGƯỜI HƯỚNG DẪN KHOA HỌC TRƯỞNG KHOA TS NGUYỄN PHƯƠNG HUY PHÒNG ĐÀO TẠO THÁI NGUYÊN 2018 ii LỜI CAM ĐOAN T ti Sinh ngày: Học viớp cao học CK17_KTĐT - Tr – i họ Hi Xi đa cam đoa : cảm xúc dựa trên tín hiệu điện não” do Thầy giáo TS h ớ guồ g dẫ g c, xuất xứ rõ r Tác giả xi du g tro chịu trách Thái Nguyên, ngày 26 tháng 03 năm 2018 TÁC GIẢ LUẬN VĂN NG QUỐC TRUNG iii LỜI CẢM ƠN Sau một th giúp đỡ v uậ h vă với đề t i “Ứng dụng mạng nơ- dựa trên tín hiệu điện não” đã ho T i xi Thầy giáo h t i ho th h uậ Khoa Nguyên đã giúp đỡ t i tro g quá trì h học tập cũ g T i xi hích , t th o điều h uậ vă NG QUỐC TRUNG iv MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC HÌNH DANH MỤC BẢNG BIỂU danh mục từ viết tắt LỜIMỞĐ U CHƯƠNG 1 TỔNG QUAN V ĐIỆN N O ĐỒ VÀ CÁC PHƯƠNG PHÁP XỬL T NHIỆUS 1.1 T g qua 1.1.1 Khái quát chu g về 1.1.2 Thu nhậ v 1.2 Các d g só g đi 1.2.1 Nguyên tắc phâ 1.2.2 Phân bi t só 1.3 H th g 1.3.1 Nguy 1.3.2 Các h 1.3.3 Một s não 1.4 Giải pháp phâ 1.5 Kết uậ CHƯƠNG 2 NHẬN DẠNG CẢM XÚC DỰA TRÊN S NG ĐIỆN N O SỬ DỤNG MẠNG NƠ RON 2.1 iế đ i wave et r i r c tro g 2.1.1 Vai trò của 2.1.2 Các tham s v 2.2 Phâ ớp s d g m g Nơ-ron 28 2.2.1 T g qua về m g Neura 28 2.2.2 ặc tr g của m ng neural 32 2.2.3 Phân lo i m ng neural nhân t o 35 2.2.4 Xây dựng m ng neural 38 2.2.5 Huấn luy n m ng neural 39 2.2.6 Thu thập dữ li u cho m ng neural 45 2.2.7 Biểu diễn chi thức cho m ng neural 47 2.2.8 Một s vấ đề của m ng neural 49 2.2.9 Ứng d ng của m ng neural 50 CHƯƠNG 3 THI T K HỆ THỐNG M 3.1 Chu PHỎNG 52 bị dữ i u mẫu 52 3.2 Phâ ớp tr g thái cảm xúc s d g m g Nơ-ron 53 3.2.1 Xây dự g m g Nơ-ron 53 3.2.2 Huấ uy m g ơ-ron 55 3.2.3 Ch ơ g trì h uy m g Nơ-ron trên Matlab/toolbox 56 3.3 THI T K GI O I N M TL GUI 58 3.3.1 Matlab GUI 58 3.3.2 Thiết ế giao di 3.3.3 Các b ớc thực hi GUI cho phâ ớp tr g thái cảm xúc .59 quá trì h phâ tích WT s d g giao di thiết ế trên GUI 61 3.4 K T LUẬN 66 vi DANH MỤC HÌNH ẢNH Hì h 1 1 Cấu t o bộ ão co g i 4 Hì h 1 2 Cấu trúc vỏ não 5 Hì h 1 3 ò g đi n bên trong tế bào pyramidal lớn 6 Hì h 1 4 Só g pha 4 12 Hì h 1 5 Só g eta 12 Hì h 1 6 Só g Theta 13 Hì h 1 7 Só g e ta 13 Hì h 1 8 Nhận d ng các d ng sóng theo tần s 14 Hì h 1 9 Ứ g d g giao tiếp với máy tí h 15 Hì h 1 10 Ứng d ng tín hi u đi ão tro g quâ đội 16 Hì h 1 11 Ứng d ng tín hi u đi ão tro g hậ di cảm xúc 17 Hì h 1 12 H th ng nhận d ng cảm xúc 18 Hì h 1 13 Thiết bị phầ c g motiv 19 Hì h 1 14 M hì h cảm xúc Russuell 21 Hì h 1 15 Thuật toán Higuchi Fractal Dimension 22 Hì h 1 16 Một c gái đa g th trải nghi m sản ph m đu i mèo Shippo t i Hội chợ Trò chơi To yo 2012 23 Hì h 2 1 H th g hậ d g cảm xúc s d g G 26 Hì h 2 2 Mô hình neural sinh học 28 Hì h 2 3 Mô hình một neural nhân t o 30 Hì h 2 4 Sơ đồ đơ giản về một m ng neural nhân t o 32 Hì h 2 5 M ng tiến với một mức neural 35 Hì h 2 6 M ng tiến kết n i đầy đủ với một mức Hì h 2 7 M ng hồi quy không có neural Hì h 2 8 M ng hồi quy có các neural Hì h 2 9 Sơ đồ đồ thị có h ớ g đơ Hì h 2 10 Cấu hì h m Hì h 3 1 n và một mức đầu ra .37 n và không có vòng lặp tự phản hồi 37 n 37 giản 38 g ơ-ro v các h m v o ra 43 motive poc Headset 52 Hì h 3 2 Sơ đồ cấu trúc phâ o i cảm xúc s d g m g Nơ-ron .53 vii Hì h 3 3 L u đồ thuật toá Hì h 3 4 Cấu trúc m uy m g ơ-ron 55 g ơ-ron 56 Hì h 3 5 Cấu trúc của m Hì h 3 6 Chất huấ g ơ-ron nhiều lớp: 5 ớp ợ g của quá trì h uy Hì h 3 7 Các giá trị gradie t, mu v , 3 mẫu dữ i u đầu v o 56 m g Nơ-ron 57 va fai của quá trì h uy m g 57 Hì h 3 8 Giao di GUI cho vi c phâ ớp các tr g thái cảm xúc 59 Hì h 3 9 Giao di phầ c i đặt 60 Hì h 3 10 Giao di hiể thị đồ họa ISPL Y 60 Hì h 3 11 Giao di hiể thị các tham s eature xtraction Parameters .61 Hì h 3.12 Load cơ s dữ i u 62 Hì h 3.13 Luy m g Nơ-ron 62 Hì h 3 14 Quá trì h uy m g ơ-ron 63 Hì h 3 15 Lựa chọ mẫu cầ hậ d g 64 Hì h 3 16 Kết quả hậ d g cảm xúc vui 64 Hì h 3 17 Kết quả hậ d g cảm xúc bì h th g 65 Hì h 3 18 Kết quả hậ d g cảm xúc buồ 65 viii DANH MỤC BẢNG BIỂU ả g 2 1 Một s hàm kích ho t cơ bản trong m ng neural 31 ix DANH MỤC TỪ VI T TẮT Từ hoặc cụm từ Từ tiến CSDL EEG Electroencephalo EBGM Elastic Bunch G ER Emotion Recogn ERS Emotion Recogn LDA Linear Discrimin MLP MultiLayer Perc NN Neural Network PCA Principal Compo SVM Support Vector M 1 LỜIMỞĐ Cảm xúc đi cù g với mỗi trò qua trọ g tro g giao tiếp phi g U i tro g cuộc s g gữ của co gh g điều i qua trọ g để hiểu đ ợc các h h vi ứ g x m b i toá hậ d g cảm xúc của co g i tuy rất hiều các h hoa học qua tâm ghi cứu một b i toá H nh 3 3 L u đồ thuật to n huấn luyện mạng n -ron 56 y1 w1 y2 w2 Z = g ( v) v = b0 + ∑k= yi wi i1 1 g ( x) = + 1 e− x w y k k b 0 H nh 3 4 Cấu trúc mạng n -ron 3 2 3 Ch ng tr nh luyện mạng N -ron trên Matlab/toolbox %To n -ron net = network(); % l n lp n net.layers{1}.size = 5; % hà tru n c a l p n net.layers{1}.transferFcn = 'logsig'; % xe c u tr c c a n n -ron net = configure(net,inputs,outputs); view(net); H nh 3 5 Cấu trúc c a mạng n -ron nhiều lớp 5 lớp ẩn 3 mẫu dữ liệu đầu vào 57 Hì h 3 6 Chất H nh 3 7 C c gi ợ g của quá trì h uy m g Nơ-ron trị gradient mu và val fail c a qu tr nh luyện mạng 58 3.3 THI T K GIAO DIỆN MATLAB GUIDE 3.3.1 Matlab GUI GUI-là giao di n bằng hình ảnh của ch ơ g trì h GUI bao gồm các nút nhấn, hộp li t , tha h tr ợt, me u… chú g cu g cấp cho g i dùng s d ng một m i tr d ng của ch ơ g trì h hơ ng làm vi c thân thi để họ tập trung vào các ứng đi tìm hiểu cách thức làm vi c của ch ơ g trì h đó 3.3.1.1 h i tạo ể m công c t o GUI: File>>New>>GUI  hoặc tr c a s h của mat ab: comma d wi dows guide Khi u giao di n vừa t o, Matlab sẽ t o ra hai fi e có cù g t h g hác phần m rộng: - File có phần m rộng fig chứa nội dung của giao di n - File có phần m rộng m chứa nhữ g đo mã i qua đến giao di n Khi thiết kế bất cứ thành phần nào của Gui ta cần thiết lập thuộc tính cho thành phầ đó ể thiết lập các thuộc tính ta có thể chọn m c “Property I spector” tr tha h c c hoặc right-c ic v o đ i t ợng và chọn m c “I spector Properties” Hai thuộc tính quan trọng mà ta cần xác lập - String property: dòng ký tự xuất hi “Stri g Property” v “Tag Property” tr đ i t ợng - Tag property: tên của đ i t ợng Khi click chuột v o 1 đ i t ợng, Matlab sẽ gọi h m t Tên ơ g ứng với đ i t ợ g đó của hàm chính là tên của đ i t ợng cộng với “_Ca bac ” g 59 3.3.1.2 Các hàm thường d ng trong lập tr nh Set : Thay đ i giá trị của các thuộc tính của một đ i t ợng giao di n Get : Truy xuất giá trị của thuộc tính của một set(handles.TextBox,‟ String‟ ,str) đ i t ợng giao di n get(handles.EditBox,‟ String‟ ) Ngo i ra cò có các h m h axes, guide, um2str , str2 um … 3.3 2 Thiết kế giao diện GUI cho phân lớp trạng th i cảm xúc Giao di t g quát của ch ơ g trì h bao gồm: phầ c i đặt setti g , hiể cảm xúc thị tí (DISPLAY , v hiể thị tham s Sample Test Index) Giao di t của ch ơ g trì h đ g quát ợc thể hi tro g Hì h 3.8 Hì h 3 8 Giao di GUI cho vi c phâ 3.3.2.1 iao diện phần cài đặt ao gồm các phầ t ớp các tr g thái cảm xúc etting Hì h 3.9): - Load database: Cho phép g i dù g có thể oad 1 cơ s dữ i u để ph c v cho vi c phâ tích tí hi u sau - Train NeuronNetwork: Cho phép g - Load TestSample.mat: Cho phép hậ d g cảm xúc g G bất ỳ y i dù g uy m g ơ-ron i dù g oad 1 mẫu dữ i u bất ỳ để 60 Hì h 3 9 Giao di phầ c i đặt 3.3.2.2 iao diện hiển th dạng đồ th DISPLAY) Hì h 3 10 Giao di Giao di hi thị d hiể thị đồ họa ISPL Y g cảm xúc Hì h 3.10 bao gồm: • Chec emotio : cho phép g i dù g tiế h h phâ tích mẫu dữ i u để hậ d g cảm xúc • isp ay motio : hiể thị ết quả hì h ả h t ơ g ứ g với tr của mẫu dữ i u cầ iểm tra g thái cảm xúc 61 3.3.2.3 iao diện hiển th các tham số (Sample Test Index) Giao di hiể thị các tham s Hì h 3.11 bao gồm 3 tham s OutI dex1, OutIndex2, OutIndex3: Hì h 3 11 Giao di hiể thị các tham s OutI dex1, OutI dex2, OutI dex3 i u cầ iểm tra Giá trị ớ quy đ i sa g mức ogic 0 eature xtractio Parameters các giá trị đầu ra phâ hất sẽ đ ợc quy đ i sa g mức ogic 1, v ựa v o giá trị ớp của mẫu dữ cò i đ ợc y thì ta có ết quả hậ d g cảm xúc t ơ g ứ g 3.3.3 C c ớc thực hiện qu tr nh phân t ch DWT sử dụng giao diện thiết kế trên GUI B ớc 1 Load cơ s dữ i u Tr giao di Mat ab GUI/S TTING thực hi c ic v o biểu t ợ g Load database Tr m hì h sẽ xuất hi chọ fi e có t i u cho vi c phâ đ trainningNNdata, h uy m g ơ-ro i e dữ i u trainningNNdata omi a ce của dữ i u g c gồm 3 tr g dẫ tới th vậy ta đã ho g thái cảm xúc 62 ấy mẫu 500 ầ n = 500 đ ợc x phép biế đ i wave et r i r c với ph ơ g pháp trích chọ đặc tr g với Hì h 3.12 Load cơ s dữ i u B ớc 2 Luy m g ơ-ron Tr giao di Mat ab GUI/S TTING thực hi c ic v o biểu t ợ g Train NeuronNetwork Hì h 3.13) Hì h 3.13 Luy m g Nơ-ron Khi đó tr m hì h sẽ hiể thị giao di của quá trì h uy m g Nơ-ro h Hì h 3.14 63 Hì h 3 14 Quá trì h uy C ic v o “Performa ce” để xem chất m g ơ-ron ợ g của quá trì h uy m g, hoặc “Trai i g State” để xem các giá trị “gradient”, “mu”, “val fail” B ớc 3 Lựa chọ mẫu cầ phâ tích Giả s ta cầ phâ tích 1 mẫu đã biết tr ớc d g , ta th thực hi c ic v o Load TestSamp e.mat m c chứa th các fi e dữ i u mẫu đó sẽ xuất hi g cảm xúc vui, buồ , bì h Hì h 3.15 g dẫ đế 64 Hì h 3 15 Lựa chọ mẫu cầ Trong th m c y ta có thể hậ d ựa chọ1 mẫu tí i u th g hi u dữ bất ỳ để hậ d g cảm xúc B ớc 4 Nhậ d Ví d g cảm xúc ếu ta chọ mẫu dữ i u smi e vui b ớc 3 để tiếp t c quá trì h hậ d g Tro g m c DISPLAY ta c ic v o Chec motio xem Hì h 3.16) Hì h 3 16 Kết quả hậ d g cảm xúc vui 65 Ví d ếu ta chọ mẫu dữ i u bì h th orma g b ớc 3 để tiếp t c quá trì h hậ d g Tro g m c ISPL Y ta c ic v o Chec motio Hì h 3 17 Kết quả hậ d Ví d ếu ta chọ mẫu dữ i u xem Hì h 3.17) g cảm xúc bì h th cry buồ g b ớc 3 để tiếp t c quá trì h d g Tro g m c ISPL Y ta c ic v o Chec motio xem Hì h 3.18) Hì h 3 18 Kết quả hậ d g cảm xúc buồ 3.4 K T LUẬN hậ Nh vậy bất ỳs d g M TL di c i đặt, giao di quá trì h phâ đ ợc dù hi đo th g đề cho thấy hậ d g với 200 mẫu 67 K T LUẬN VÀ Đ NGHỊ 1 Kết luận - T g qua về đi - Cơ s thuyết của - Cơ s thuyết của m - Nhậ d g cảm xúc dựa - Xây dự g ch 2 Đề nghị/ ph - Th ghi m với các thuậ - Th ghi m tr Qua đó đá h giá ghi m 68 TÀI LIỆU THAM KHẢO Tài liệu ti ếng Việ t 1 ão đồ Lâm sàng, GS Pierre Ja o GS.TS L Qua g C i lý tín hi u s ” Nh xuất bản giáo d c, 1997 [2] Quách Tuấn Ngọc, “X [3] Hà Qu c Trung, "X ng, Nxb Y học lý tín hi u và lọc s " Tập 1,2 Nhà xuất bản khoa học k thuật, 1999 & 2001 Tài liệu tiếng Anh [4] H Zhang, S Zheng, and J Yuan, "A personalized TV guide system compliant with MHP," IEEE Trans Consumer Electronics, vol 51, no.2, May 2005, pp 731-737 [5] A Pentland and T Choudhury, "Face recognition for smart environments," IEEE Computer, vol 33, no 2, Feb 2000, pp 50-55 [6] K Ho An and M Jin Chung,"Cognitive Face Analysis System for Future Interactive TV," IEEE Transactions on Consumer Electronics, Vol 55, No 4, November 2009, pp 2271-2279 [7] J Wolpaw, N Birbaumer, D McFarland, G Pfurtscheller, and T Vaughan Brain-computer interfaces for communication and control Clinical Neurophysiology, 113:767-791, 2002 [8] http://www.handimobility.orglblogl?p=4953 [9] K Crowley, A Sliney, I Pitt and D Murphy, "Evaluating a Brain- Computer Interface to Categorise Human Emotional Response", Advanced Learning Technologies (ICALT), 2010 IEEE lOth International Conference on 5-7 July 20lO Sousse, on pp 276 - 278 [10] E Haapalainen, S Kim, J F Forlizzi and A K Dey, "PsychoPhysiological Measures for Assessing Cognitive Load", Proceedings of the ... hậ d 26 CHƯƠNG NHẬN DẠNG CẢM XÚC DỰA TRÊN S NG ĐIỆN NÃO SỬ DỤNG MẠNG NƠ RON 2.1 Biến đổi wavelet rời rạc hệ thống nhận dạng cảm xúc 2.1.1 Vai trò c a DWT qu tr nh nhận dạng cảm xúc Tro g h th... (Emotiv d nhận x lý t t tín hi u s nhiều tro g ĩ h vực giáo d H nh 10 Ứng dụng tín hiệu điện n o quân đội 1.3.1 Nguyên l nhận dạng cảm xúc dựa tín hiệu điện não Có nhiều nghiên cứu tr ớc vi c nhận. .. m) H nh Sóng Delta 14 H nh Nhận dạng dạng sóng theo tần số Hệ thống nhận dạng cảm xúc dựa t n hiệu s ng điện n o Cảm xúc cù g với trò qua trọ g tro điều i qua cảm xúc đ hi ỷ th hu mặt V y, cầ