Ứng Dụng Mạng Nơ-Ron Trong Hệ Thống Nhận Dạng Cảm Xúc Dựa Trên Tín Hiệu Điện Não

i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KÝ THUẬT CÔNG NGHIỆP NGÔ QUỐC TRUNG ỨNG DỤNG MẠNG NƠ RON TRONG HỆ THỐNG NHẬN DẠNG CẢM XÚC DỰA TRÊN TÍN HIỆU ĐIỆN NÃO Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số: LUẬN VĂN THẠC SĨ KỸ THUẬT KHOA CHUYÊN MÔN NGƯỜI HƯỚNG DẪN KHOA HỌC TRƯỞNG KHOA TS NGUYỄN PHƯƠNG HUY PHÒNG ĐÀO TẠO THÁI NGUYÊN 2018 ii LỜI CAM ĐOAN T t i : Ng Qu c Tru g Sinh ngày: Học vi – ớp cao học CK17_KTĐT - Tr g i học thuật c g ghi p i học Thái Nguy Hi đa g c g tác t i: Xi cam đoa : ề t i “Ứng dụng mạng nơ-ron hệ thống nhận dạng cảm xúc dựa tín hiệu điện não” Thầy giáo TS Nguyễn Ph h g dẫ c g trì h ghi ng Huy cứu ri g t i Tất t i i u tham hảo có guồ g c, xuất xứ rõ r g Tác giả xi cam đoa tất hữ g ội du g tro g uậ vă đú g h du g tro g đề c g v y u cầu thầy giáo h g dẫ Nếu sai t i ho ội to chịu trách hi m tr ớc hội đồ g hoa học v tr ớc pháp uật Thái Nguyên, ngày 26 tháng 03 năm 2018 TÁC GIẢ LUẬN VĂN NG QUỐC TRUNG iii LỜI CẢM ƠN Sau th i gia ghi cứu v m vi c ghi m túc, đ ợc độ g vi , giúp đỡ v h g dẫ tậ tì h Thầy giáo h g dẫ TS Nguyễn Ph ng Huy, uậ vă với đề t i “Ứng dụng mạng nơ-ron hệ thống nhận dạng cảm xúc dựa tín hiệu điện não” ho th h T i xi b y tỏ ò g biết sâu sắc đế : Thầy giáo h g dẫ TS Nguyễn Ph t i ho th h uậ vă Khoa i t ng Huy tậ tì h dẫ , giúp đỡ y – Tr g i học thuật c g ghi p – Nguyên giúp đỡ t i tro g trì h học tập cũ g h thực hi T i xi châ th h cảm b hích , t o điều i th h uậ vă i học Thái uậ vă bè, đồ g ghi p v gia đì h độ g vi , giúp đỡ t i tro g su t trì h học tập, thực hi n hoàn y TÁC GIẢ LUẬN VĂN NG QUỐC TRUNG iv MỤC LỤC LỜI CAM ĐOAN ii LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC HÌNH vi DANH MỤC BẢNG BIỂU viii danh mục từ viết tắt ix LỜI MỞ Đ U CHƯƠNG TỔNG QUAN V ĐIỆN N O ĐỒ VÀ CÁC PHƯƠNG PHÁP XỬ L T N HIỆU S NG ĐIỆN N O 1.1 T g qua tí hi u 1.1.1 Khái quát chu g ão G 1.1.2 Thu nhậ v đo đ c tiến hi u n não eeg 1.2 Các d g só g ão bả 10 1.2.1 Ngun tắc phâ tích só g n não 10 1.2.2 Phân bi t só g n não dựa vào tần s 11 1.3 H th g hậ d g cảm xúc dựa tr 1.3.1 Nguy tí hi u só g ão 14 hận d ng cảm xúc dựa tín hi u n não 16 1.3.2 Các h ớng tiếp cận nhận d ng cảm xúc dựa tín hi u n não.19 1.3.3 Một s ph g pháp ti u biểu trích chọ đặc tr g tí hi u n não 22 1.4 Giải pháp phâ ớp s d g m g eura tro g hậ d g cảm xúc 24 1.5 Kết uậ 25 CHƯƠNG NHẬN DẠNG CẢM XÚC DỰA TRÊN S NG ĐIỆN N O SỬ DỤNG MẠNG NƠ RON 26 2.1 iế đ i wave et r i r c tro g h th g hậ d g cảm xúc 26 2.1.1 Vai trò WT tro g trì h hậ d g cảm xúc 26 2.1.2 Các tham s đặc tr g WT tro g vi c hậ d g cảm xúc 27 v 2.2 Phâ ớp s d g m g Nơ-ron 28 2.2.1 T g qua m g Neura 28 2.2.2 ặc tr g m ng neural 32 2.2.3 Phân lo i m ng neural nhân t o 35 2.2.4 Xây dựng m ng neural 38 2.2.5 Huấn luy n m ng neural 39 2.2.6 Thu thập li u cho m ng neural 45 2.2.7 Biểu diễn chi thức cho m ng neural 47 2.2.8 Một s vấ đề m ng neural 49 2.2.9 Ứng d ng m ng neural 50 CHƯƠNG THI T K HỆ THỐNG M 3.1 Chu 3.2 Phâ PHỎNG 52 bị i u mẫu 52 ớp tr g thái cảm xúc s d g m g Nơ-ron 53 3.2.1 Xây dự g m g Nơ-ron 53 3.2.2 Huấ uy m g ơ-ron 55 3.2.3 Ch g trì h uy m g Nơ-ron Matlab/toolbox 56 3.3 THI T K GI O I N M TL GUI 58 3.3.1 Matlab GUI 58 3.3.2 Thiết ế giao di 3.3.3 Các b ớc thực hi GUI cho phâ ớp tr g thái cảm xúc 59 trì h phâ tích WT s d g giao di thiết ế GUI 61 3.4 K T LUẬN 66 vi DANH MỤC HÌNH ẢNH Hì h 1 Cấu t o ão co g i Hì h Cấu trúc vỏ não Hì h ò g n bên tế bào pyramidal lớn Hì h Só g pha 12 Hì h Só g eta 12 Hì h Só g Theta 13 Hì h Só g e ta 13 Hì h Nhận d ng d ng sóng theo tần s 14 Hì h Ứ g d g giao tiếp với máy tí h 15 Hì h 10 Ứng d ng tín hi u ão tro g quâ đội 16 Hì h 11 Ứng d ng tín hi u ão tro g hậ di cảm xúc 17 Hì h 12 H th ng nhận d ng cảm xúc 18 Hì h 13 Thiết bị phầ c g motiv 19 Hì h 14 M hì h cảm xúc Russuell 21 Hì h 15 Thuật tốn Higuchi Fractal Dimension 22 Hì h 16 Một c gái đa g th trải nghi m sản ph m đu i mèo Shippo t i Hội chợ Trò chơi To yo 2012 23 Hì h H th g hậ d g cảm xúc s d g G 26 Hì h 2 Mơ hình neural sinh học 28 Hì h Mơ hình neural nhân t o 30 Hì h Sơ đồ giản m ng neural nhân t o 32 Hì h M ng tiến với mức neural 35 Hì h M ng tiến kết n i đầy đủ với mức n mức đầu 37 Hì h M ng hồi quy khơng có neural n khơng có vòng lặp tự phản hồi 37 Hì h M ng hồi quy có neural n 37 Hì h Sơ đồ đồ thị có h g giản 38 Hì h 10 Cấu hì h m g ơ-ro v h m v o 43 Hì h motive poc Headset 52 Hì h Sơ đồ cấu trúc phâ o i cảm xúc s d g m g Nơ-ron 53 vii Hì h 3 L u đồ thuật toá huấ uy m g ơ-ron 55 Hì h Cấu trúc m g ơ-ron 56 Hì h Cấu trúc m g ơ-ron nhiều lớp: ớp Hì h Chất ợ g trì h uy , mẫu i u đầu v o 56 m g Nơ-ron 57 Hì h Các giá trị gradie t, mu v va fai trì h uy m g 57 Hì h Giao di GUI cho vi c phâ ớp tr g thái cảm xúc 59 Hì h Giao di phầ c i đặt 60 Hì h 10 Giao di hiể thị đồ họa ISPL Y 60 Hì h 11 Giao di hiể thị tham s eature xtraction Parameters 61 Hì h 3.12 Load s i u 62 Hì h 3.13 Luy m g Nơ-ron 62 Hì h 14 Quá trì h uy m g ơ-ron 63 Hì h 15 Lựa chọ mẫu cầ hậ d g 64 Hì h 16 Kết hậ d g cảm xúc vui 64 Hì h 17 Kết hậ d g cảm xúc bì h th g 65 Hì h 18 Kết hậ d g cảm xúc buồ 65 viii DANH MỤC BẢNG BIỂU ả g Một s hàm kích ho t m ng neural 31 ix DANH MỤC TỪ VI T TẮT Từ cụm từ Từ tiếng Anh Từ tiếng Việt Cơ s li u CSDL i ão đồ EEG Electroencephalogram EBGM Elastic Bunch Graph Matching Ph g pháp đồ thị đ ER Emotion Recognition Nhận d g cảm xúc ERS Emotion Recognition System H th ng nhận d g cảm xúc LDA Linear Discriminant Analysis MLP MultiLayer Perceptron M g ơro Perceptro đa ớp NN Neural Network M g Nơro PCA Principal Component Analysis SVM Support Vector Machine Ph g pháp phâ hồi tích khác bi t tuyến tính Ph g pháp phâ Học máy vectơ hỗ trợ tích thành phần LỜI MỞ Đ U Cảm xúc cù g với g i tro g s trò qua trọ g tro g giao tiếp phi g điều i gữ co g h g g y v g vai g i ó tro g hữ g qua trọ g để hiểu đ ợc h h vi ứ g x co m b i toá hậ d g cảm xúc co hiều h g hoa học qua tâm ghi i g b i toá triể co g hu ão Electro EncephaloGraphy - quan trọ g v t o phát triể m h mẽ h th g qua vă bả , hi g qua hữ g tí hi u “b G tr g gừ g ứ g d tác Não - Máy (Brain Computer Interface - CI , đặt co m i t g tác s tro g ỷ guy g đ ợc mặt Tuy hi , tro g xu h g phát i, h th g hậ d g cảm xúc th tro g” h só g hó h cứu Tr ớc đây, vi c hậ d g cảm xúc đ ợc thực hi hội tho i, c thể v biểu hi i Chí h g cầ thiết, gt g i v o vị trí tru g tâm đ i Error! Reference source not found., Error! Reference source not found., Error! Reference source not found Tro g hữ g ăm gầ đây, có hiều c h g tiếp cậ g i th g trì h c hác hau cho vi c giải b i tố g qua só g h th g source not found g b , đ a hậ d g cảm xúc co ão Mọi ỗ ực tập tru g v o hi m v xây dự g CI tác độ g h v có độ chí h xác cao Error! Reference 56 y1 w1 y2 w2 Z  g (v ) v  b0   i 1 yi w i k g ( x)  yk wk 1  e x b0 H nh Cấu trúc mạng n -ron 3 Ch ng tr nh luyện mạng N -ron Matlab/toolbox %T o n -ron net = network(); % l n l p n net.layers{1}.size = 5; % hà tru n c a l p n net.layers{1}.transferFcn = 'logsig'; % xe c u tr c c a n n -ron net = configure(net,inputs,outputs); view(net); H nh Cấu trúc c a mạng n -ron nhiều lớp lớp ẩn mẫu liệu đầu vào 57 Hì h Chất ợ g trì h uy m g Nơ-ron H nh C c gi trị gradient mu val fail c a qu tr nh luyện mạng 58 3.3 THI T K GIAO DIỆN MATLAB GUIDE 3.3.1 Matlab GUI GUI-là giao di n hình ảnh ch g trì h GUI bao gồm nút nhấn, hộp li t g i dùng s d ng m i tr d ng ch g trì h hơ , tha h tr ợt, me u… g cu g cấp cho ng làm vi c thân thi để họ tập trung vào ứng tìm hiểu cách thức làm vi c ch g trì h 3.3.1.1 h i tạo ể m công c t o GUI: File>>New>>GUI tr Khi c as h mat ab: comma d wi dows  guide u giao di n vừa t o, Matlab t o hai fi e có cù g t h g hác phần m rộng: - File có phần m rộng fig chứa nội dung giao di n - File có phần m rộng m chứa nhữ g đo mã i qua đến giao di n Khi thiết kế thành phần Gui ta cần thiết lập thuộc tính cho thành phầ ể thiết lập thuộc tính ta chọn m c “Property I spector” tr tha h c g c right-c ic v o đ i t ợng chọn m c “I spector Properties” Hai thuộc tính quan trọng mà ta cần xác lập - String property: dòng ký tự xuất hi “Stri g Property” v “Tag Property” tr đ i t ợng - Tag property: tên đ i t ợng Khi click chuột v o đ i t ợng, Matlab gọi h m t g ứng với đ i t ợ g Tên hàm tên đ i t ợng cộng với “_Ca bac ” 59 3.3.1.2 Các hàm thường d ng lập tr nh Set : Thay đ i giá trị thuộc tính đ i t ợng giao di n set(handles.TextBox,‟ String‟ ,str) Get : Truy xuất giá trị thuộc tính đ i t ợng giao di n get(handles.EditBox,‟ String‟ ) Ngo i cò có h m h axes, guide, um2str , str2 um … 3.3 Thiết kế giao diện GUI cho phân lớp trạng th i cảm xúc Giao di t g quát ch g trì h bao gồm: phầ c i đặt setti g , hiể thị tí cảm xúc (DISPLAY , v hiể thị tham s ch g trì h đ ợc thể hi Hì h Giao di - t g quát tro g Hì h 3.8 GUI cho vi c phâ 3.3.2.1 iao diện phần cài đặt ao gồm phầ t Sample Test Index) Giao di ớp tr g thái cảm xúc etting Hì h 3.9): Load database: Cho phép g i dù g oad s i u để ph c v cho vi c phâ tích tí hi u sau G bất ỳ y - Train NeuronNetwork: Cho phép g i dù g uy - Load TestSample.mat: Cho phép g i dù g oad mẫu i u bất ỳ để hậ d g cảm xúc m g ơ-ron 60 Hì h Giao di phầ c i đặt 3.3.2.2 iao diện hiển th dạng đồ th DISPLAY) Hì h 10 Giao di Giao di hi hiể thị đồ họa ISPL Y thị d g cảm xúc Hì h 3.10 bao gồm:  Chec emotio : cho phép g i dù g tiế h h phâ tích mẫu i u để hậ d g cảm xúc  isp ay motio : hiể thị ết hì h ả h t g ứ g với tr g thái cảm xúc mẫu i u cầ iểm tra 61 3.3.2.3 iao diện hiển th tham số (Sample Test Index) Giao di hiể thị tham s Hì h 3.11 bao gồm tham s OutI dex1, OutIndex2, OutIndex3: Hì h 11 Giao di hiể thị tham s OutI dex1, OutI dex2, OutI dex3 i u cầ iểm tra Giá trị quy đ i sa g mức ogic eature xtractio Parameters giá trị đầu phâ ớp mẫu hất đ ợc quy đ i sa g mức ogic 1, v cò ựa v o giá trị i đ ợc y ta có ết hậ d g cảm xúc t g ứ g 3.3.3 C c ớc thực qu tr nh phân t ch DWT sử dụng giao diện thiết kế GUI B ớc Load s i u Tr giao di Mat ab GUI/S TTING thực hi c ic v o biểu t ợ g Load database Tr m chọ fi e có t hì h xuất hi đ g dẫ tới th m c trainningNNdata, h ta ho i u cho vi c phâ uy u trữ s i u Lựa th h trì h oad s m g ơ-ro sau Hì h 3.12) i e i u trainningNNdata i u mẫu gồm th gs rousa , Va a ce, omi a ce i u g c gồm tr g thái cảm xúc m  , tr g thái đ ợc 62 mẫu 500 ầ n  500 đ ợc x với ph g pháp trích chọ đặc tr g với phép biế đ i wave et r i r c Hì h 3.12 Load s i u B ớc Luy Tr giao di m g ơ-ron Mat ab GUI/S TTING thực hi c ic v o biểu t ợ g Train NeuronNetwork Hì h 3.13) Hì h 3.13 Luy Khi tr h Hì h 3.14 m m g Nơ-ron hì h hiể thị giao di trì h uy m g Nơ-ro 63 Hì h 14 Quá trì h uy C ic v o “Performa ce” để xem chất m g ơ-ron ợ g trì h uy m g, “Trai i g State” để xem giá trị “gradient”, “mu”, “val fail” B ớc Lựa chọ mẫu cầ phâ tích Giả s ta cầ phâ tích mẫu biết tr ớc d g cảm xúc vui, buồ , bì h th g , ta thực hi c ic v o Load TestSamp e.mat Hì h 3.15 th m c chứa fi e i u mẫu xuất hi g dẫ đế 64 Hì h 15 Lựa chọ mẫu cầ Trong th m c hậ d g y ta ựa chọ mẫu tí hi u i u th bất ỳ để hậ d g cảm xúc B ớc Nhậ d g cảm xúc Ví d ếu ta chọ mẫu i u smi e vui b ớc để tiếp t c trì h hậ d g Tro g m c DISPLAY ta c ic v o Chec motio xem Hì h 3.16) Hì h 16 Kết hậ d g cảm xúc vui 65 Ví d ếu ta chọ mẫu i u orma bì h th g b ớc để tiếp t c trì h hậ d g Tro g m c ISPL Y ta c ic v o Chec motio xem Hì h 3.17) Hì h 17 Kết hậ d g cảm xúc bì h th Ví d ếu ta chọ mẫu i u cry buồ g b ớc để tiếp t c trì h hậ d g Tro g m c ISPL Y ta c ic v o Chec motio xem Hì h 3.18) Hì h 18 Kết hậ d g cảm xúc buồ 66 3.4 K T LUẬN Nh bất ỳ s d di Ch g 3, giao di g M TL c i đặt, giao di trì h phâ đ ợc hi đo th phâ /GUI đ ợc trì h b y: Cách thức thiết ế giao di hiể thị đồ thị, giao di ão EEG giao hiể thị tham s Kết o i cảm xúc đ ợc iểm ghi m th với mẫu i u th thu g qua mũ ão đồ motiv poc 14 cha dù g đề iểm g vui, buồ , bì h th cho thấy o i cảm xúc tí hi u e Các mẫu i u g coi h đ ợc xác đị h tr ớc Kết thuật toá đ a hậ d g cảm xúc chí h xác tới 93% hi th hậ d g với 200 mẫu ghi m 67 K T LUẬN VÀ Đ NGHỊ Kết luận - T g qua ão đồ - Cơ s thuyết WT - Cơ s thuyết m g Nơ-ron - Nhậ d g cảm xúc dựa tr - Xây dự g ch g trì h tr Đề nghị/ ph phâ ớp s d g m g ơ-ron mat ab/guide ng h ớng - Th ghi m với thuật toá - Th ghi m tr hác h th g thực Qua đá h giá ết v thực hi ghi m triể hai tr h th g thực 68 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt i ão đồ Lâm sàng, GS Pierre Ja o GS.TS L Qua g C ng, Nxb Y học [2] Quách Tuấn Ngọc, “X lý tín hi u s ” Nh xuất giáo d c, 1997 [3] Hà Qu c Trung, "X lý tín hi u lọc s " Tập 1,2 Nhà xuất khoa học k thuật, 1999 & 2001 Tài liệu tiếng Anh [4] H Zhang, S Zheng, and J Yuan, "A personalized TV guide system compliant with MHP," IEEE Trans Consumer Electronics, vol 51, no.2, May 2005, pp 731-737 [5] A Pentland and T Choudhury, "Face recognition for smart environments," IEEE Computer, vol 33, no 2, Feb 2000, pp 50-55 [6] K Ho An and M Jin Chung,"Cognitive Face Analysis System for Future Interactive TV," IEEE Transactions on Consumer Electronics, Vol 55, No 4, November 2009, pp 2271-2279 [7] J Wolpaw, N Birbaumer, D McFarland, G Pfurtscheller, and T Vaughan Brain-computer interfaces for communication and control Clinical Neurophysiology, 113:767-791, 2002 [8] http://www.handimobility.orglblogl?p=4953 [9] K Crowley, A Sliney, I Pitt and D Murphy, "Evaluating a BrainComputer Interface to Categorise Human Emotional Response", Advanced Learning Technologies (ICALT), 2010 IEEE lOth International Conference on 5-7 July 20lO Sousse, on pp 276 - 278 [10] E Haapalainen, S Kim, J F Forlizzi and A K Dey, "PsychoPhysiological Measures for Assessing Cognitive Load", Proceedings of the 69 12th ACM international conference on Ubiquitous computing ACM New York, USA 20lO, pp 30l-3lO [11] C Gani, N Birbaumer, and U Strehl "Long term effects after feedback of slow coritcal potentials and of theta beta-amplitudes in children with attentiondeficit/hyperactivity disorder" International Journal of Bioelectromagnetism, lO(4):209-232, 2008 [12] P Ekman Are there basic emotions? Psychological Review, 99 (3).550-553 [l3] M B Arnold Emotion and personality, volume 1, pages lIB New York: Columbia University Press, 1960 [14] P Ekman Emotion in the human face, pages 39-55 New York: Cambridge University Press, 1983 [12] J A Russell A circumplex model of affect In Journal of Personality and Social Psychology, volume 39, pages 1161 1178, 1980 [15] T C Schneirla An evolutionary and developmental theory of biphasic processes underlying approach and withdrawal In M R Jones, editor, Nebraska symposium on motivation, pages 1-42 Lincoln, NE: University of Nebraska Press, 1959 [16] R Westermann, K Spies, G.Stahl, and FW Hesse Relative effectiveness of mood induction procedures: A meta analysis European Journal of Social Psychology, vol 26, 1996, p 557- 580 [17] R W Picard, J Healey, E V yzas Toward Machine Emotional Intelligence Analysis of Affective Physiological State IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 23 (2001) 1175-1191 [18] F Nasoz, c.L Lisetti, K Avarez, N Finkelstein Emotion Recognition from Physiological Signals for User Modeling of Affect In Proceedings of the 3rd Workshop on Affective and Attitude User Modeling, USA, June 2003 [19] J.J Gross, R.W Levenson Emotion elicitation using films Cognition and Emotion, Vol 9, (1995), 87-lO8 70 [20] C.A Estrada, A.M Isen, M J Young Positive affect influences creative problem solving and reported source of practice satisfaction in physicians Motivation and Emotion, Vol 18, (1994), 285-299 Các trang Web [21] http://www.mindbigdata.com/opendb/ [22] http://bnci-horizon-2020.eu/database/data-sets [23] https://sccn.ucsd.edu/eeglab/index.php ... Ứng dụng mạng nơ ron hệ thống nhận dạng cảm xúc dựa tín hiệu điện não m đề t i ghi sĩ chuy g g h K thuật i t ợ g uậ vă cứu uậ vă t t ghi p th c t : Các phương pháp nhận dạng cảm xúc dựa tín. .. c phòng H nh 10 Ứng dụng tín hiệu điện n o quân đội 1.3.1 Nguyên l nhận dạng cảm xúc dựa tín hiệu điện não Có nhiều nghiên cứu tr ớc vi c nhận d ng cảm xúc dựa tín hi u só g n não có s cơng trình... ghi p i học Thái Nguy Hi đa g c g tác t i: Xi cam đoa : ề t i Ứng dụng mạng nơ-ron hệ thống nhận dạng cảm xúc dựa tín hiệu điện não Thầy giáo TS Nguyễn Ph h g dẫ c g trì h ghi ng Huy cứu ri