Luận văn thạc sĩ kỹ thuật ứng dụng mạng nơ ron trong hệ thống nhận dạng cảm xúc dựa trên tín hiệu điện não

i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KÝ THUẬT CÔNG NGHIỆP NGÔ QUỐC TRUNG Lu ận ỨNG DỤNG MẠNG NƠ RON TRONG HỆ THỐNG NHẬN DẠNG CẢM XÚC DỰA TRÊN TÍN HIỆU ĐIỆN NÃO án n tiế Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số: sĩ Kĩ LUẬN VĂN THẠC SĨ KỸ THUẬT TRƯỞNG KHOA t uậ th KHOA CHUYÊN MÔN NGƯỜI HƯỚNG DẪN KHOA HỌC TS NGUYỄN PHƯƠNG HUY PHÒNG ĐÀO TẠO THÁI NGUYÊN 2018 ii LỜI CAM ĐOAN T t i : Ng Qu c Tru g Sinh ngày: Học vi – ớp cao học CK17_KTĐT - Tr g i học thuật c g ghi p i học Thái Nguy Hi đa g c g tác t i: Xi cam đoa : ề t i “Ứng dụng mạng nơ-ron hệ thống nhận dạng cảm xúc dựa tín hiệu điện não” Thầy giáo TS Nguyễn Ph h g dẫ c g trì h ghi ng Huy cứu ri g t i Tất t i i u tham hảo có Lu guồ g c, xuất xứ rõ r g ận Tác giả xi cam đoa tất hữ g ội du g tro g uậ vă đú g h án du g tro g đề c g v y u cầu thầy giáo h g dẫ Nếu sai t i ho ội to Thái Nguyên, ngày 26 tháng 03 năm 2018 n tiế chịu trách hi m tr ớc hội đồ g hoa học v tr ớc pháp uật sĩ Kĩ TÁC GIẢ LUẬN VĂN t uậ th NG QUỐC TRUNG iii LỜI CẢM ƠN Sau th i gia ghi cứu v m vi c ghi m túc, đ ợc độ g vi , giúp đỡ v h g dẫ tậ tì h Thầy giáo h g dẫ TS Nguyễn Ph ng Huy, uậ vă với đề t i “Ứng dụng mạng nơ-ron hệ thống nhận dạng cảm xúc dựa tín hiệu điện não” ho th h T i xi b y tỏ ò g biết sâu sắc đế : Thầy giáo h g dẫ TS Nguyễn Ph t i ho th h uậ vă i Khoa t ng Huy tậ tì h dẫ , giúp đỡ y – Tr g i học thuật c g ghi p – Lu Nguyên giúp đỡ t i tro g trì h học tập cũ g h thực hi ận T i xi châ th h cảm b , t o điều i y bè, đồ g ghi p v gia đì h độ g vi , giúp đỡ t i tro g su t trì h học tập, thực hi n hoàn tiế th h uậ vă uậ vă án hích i học Thái n TÁC GIẢ LUẬN VĂN sĩ Kĩ t uậ th NG QUỐC TRUNG iv MỤC LỤC LỜI CAM ĐOAN ii LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC HÌNH vi DANH MỤC BẢNG BIỂU viii danh mục từ viết tắt ix LỜI MỞ Đ U CHƯƠNG TỔNG QUAN V ĐIỆN N O ĐỒ VÀ CÁC PHƯƠNG PHÁP Lu XỬ L T N HIỆU S NG ĐIỆN N O ận 1.1 T g qua tí hi u G án 1.1.1 Khái quát chu g ão 1.1.2 Thu nhậ v đo đ c tiến hi u n não eeg tiế 1.2 Các d g só g ão bả 10 n sĩ 1.2.1 Ngun tắc phâ tích só g n não 10 1.3 H th g hậ d g cảm xúc dựa tr tí hi u só g ão 14 th hận d ng cảm xúc dựa tín hi u n não 16 t uậ 1.3.1 Nguy Kĩ 1.2.2 Phân bi t só g n não dựa vào tần s 11 1.3.2 Các h ớng tiếp cận nhận d ng cảm xúc dựa tín hi u n não.19 1.3.3 Một s ph g pháp ti u biểu trích chọ đặc tr g tí hi u n não 22 1.4 Giải pháp phâ ớp s d g m g eura tro g hậ d g cảm xúc 24 1.5 Kết uậ 25 CHƯƠNG NHẬN DẠNG CẢM XÚC DỰA TRÊN S NG ĐIỆN N O SỬ DỤNG MẠNG NƠ RON 26 2.1 iế đ i wave et r i r c tro g h th g hậ d g cảm xúc 26 2.1.1 Vai trò WT tro g trì h hậ d g cảm xúc 26 2.1.2 Các tham s đặc tr g WT tro g vi c hậ d g cảm xúc 27 v 2.2 Phâ ớp s d g m g Nơ-ron 28 2.2.1 T g qua m g Neura 28 2.2.2 ặc tr g m ng neural 32 2.2.3 Phân lo i m ng neural nhân t o 35 2.2.4 Xây dựng m ng neural 38 2.2.5 Huấn luy n m ng neural 39 2.2.6 Thu thập li u cho m ng neural 45 2.2.7 Biểu diễn chi thức cho m ng neural 47 2.2.8 Một s vấ đề m ng neural 49 2.2.9 Ứng d ng m ng neural 50 3.2 Phâ PHỎNG 52 bị i u mẫu 52 ận 3.1 Chu Lu CHƯƠNG THI T K HỆ THỐNG M ớp tr g thái cảm xúc s d g m g Nơ-ron 53 án 3.2.1 Xây dự g m g Nơ-ron 53 uy m g ơ-ron 55 m g Nơ-ron Matlab/toolbox 56 n 3.2.3 Ch g trì h uy tiế 3.2.2 Huấ sĩ 3.3 THI T K GI O I N M TL GUI 58 Kĩ 3.3.1 Matlab GUI 58 ớp tr g thái cảm xúc 59 t uậ 3.3.3 Các b ớc thực hi GUI cho phâ th 3.3.2 Thiết ế giao di trì h phâ tích WT s d g giao di thiết ế GUI 61 3.4 K T LUẬN 66 vi DANH MỤC HÌNH ẢNH Hì h 1 Cấu t o ão co g i Hì h Cấu trúc vỏ não Hì h ị g n bên tế bào pyramidal lớn Hì h Só g pha 12 Hì h Só g eta 12 Hì h Só g Theta 13 Hì h Só g e ta 13 Hì h Nhận d ng d ng sóng theo tần s 14 Hì h Ứ g d g giao tiếp với máy tí h 15 ão tro g quâ đội 16 Hì h 11 Ứng d ng tín hi u ão tro g hậ di ận Lu Hì h 10 Ứng d ng tín hi u cảm xúc 17 Hì h 12 H th ng nhận d ng cảm xúc 18 án Hì h 13 Thiết bị phầ c g motiv 19 tiế Hì h 14 M hì h cảm xúc Russuell 21 n Hì h 15 Thuật toán Higuchi Fractal Dimension 22 sĩ Hì h 16 Một c gái đa g th trải nghi m sản ph m đu i mèo Shippo t i Hội chợ Kĩ Trò chơi To yo 2012 23 g hậ d g cảm xúc s d g G 26 t uậ th Hì h H th Hì h 2 Mơ hình neural sinh học 28 Hì h Mơ hình neural nhân t o 30 Hì h Sơ đồ giản m ng neural nhân t o 32 Hì h M ng tiến với mức neural 35 Hì h M ng tiến kết n i đầy đủ với mức n mức đầu 37 Hì h M ng hồi quy khơng có neural n khơng có vịng lặp tự phản hồi 37 Hì h M ng hồi quy có neural n 37 Hì h Sơ đồ đồ thị có h g giản 38 Hì h 10 Cấu hì h m g ơ-ro v h m v o 43 Hì h motive poc Headset 52 Hì h Sơ đồ cấu trúc phâ o i cảm xúc s d g m g Nơ-ron 53 vii Hì h 3 L u đồ thuật toá huấ uy m g ơ-ron 55 Hì h Cấu trúc m g ơ-ron 56 Hì h Cấu trúc m g ơ-ron nhiều lớp: ớp Hì h Chất ợ g trì h uy , mẫu i u đầu v o 56 m g Nơ-ron 57 Hì h Các giá trị gradie t, mu v va fai trì h uy m g 57 Hì h Giao di GUI cho vi c phâ ớp tr g thái cảm xúc 59 Hì h Giao di phầ c i đặt 60 Hì h 10 Giao di hiể thị đồ họa ISPL Y 60 Hì h 11 Giao di hiể thị tham s eature xtraction Parameters 61 Hì h 3.12 Load s i u 62 m g Nơ-ron 62 Lu Hì h 3.13 Luy m g ơ-ron 63 ận Hì h 14 Quá trì h uy Hì h 15 Lựa chọ mẫu cầ hậ d g 64 án Hì h 16 Kết hậ d g cảm xúc vui 64 tiế Hì h 17 Kết hậ d g cảm xúc bì h th g 65 n Hì h 18 Kết hậ d g cảm xúc buồ 65 sĩ Kĩ t uậ th viii DANH MỤC BẢNG BIỂU ả g Một s hàm kích ho t m ng neural 31 ận Lu án n tiế sĩ Kĩ t uậ th ix DANH MỤC TỪ VI T TẮT Từ cụm từ Từ tiếng Anh Từ tiếng Việt Cơ s li u CSDL i ão đồ EEG Electroencephalogram EBGM Elastic Bunch Graph Matching Ph g pháp đồ thị đ ER Emotion Recognition Nhận d g cảm xúc ERS Emotion Recognition System LDA Linear Discriminant Analysis MLP MultiLayer Perceptron NN Neural Network PCA Principal Component Analysis SVM Support Vector Machine hồi ận Lu H th ng nhận d g cảm xúc Ph g pháp phâ tích khác bi t án tuyến tính n tiế M g ơro Perceptro đa ớp M g Nơro sĩ Kĩ Ph g pháp phâ th t uậ Học máy vectơ hỗ trợ tích thành phần LỜI MỞ Đ U Cảm xúc cù g với g i tro g s trò qua trọ g tro g giao tiếp phi g điều i gữ co g h g g y v g vai g i ó tro g hữ g qua trọ g để hiểu đ ợc h h vi ứ g x co m b i toá hậ d g cảm xúc co hiều h g hoa học qua tâm ghi i g b i toá triể co g hu g đ ợc Lu ão Electro EncephaloGraphy - ận quan trọ g v t o phát triể m h mẽ h g qua vă bả , án hi g qua hữ g tí hi u “b G tr g gừ g ứ g d tác Não - Máy (Brain Computer Interface - CI , đặt co m i t g tác s tro g ỷ guy th mặt Tuy hi , tro g xu h g phát i, h th g hậ d g cảm xúc th tro g” h só g hó h cứu Tr ớc đây, vi c hậ d g cảm xúc đ ợc thực hi hội tho i, c thể v biểu hi i Chí h g cầ thiết, gt g i v o vị trí tru g tâm đ i Error! Reference source not tiế found., Error! Reference source not found., Error! Reference source not n found sĩ Tro g hữ g ăm gầ đây, có hiều c i th hác hau cho vi c giải b i toá g qua só g source not found hậ d g cảm xúc co ão Mọi ỗ ực tập tru g v o hi m v xây dự g t uậ h th g g b , đ a th g Kĩ h g tiếp cậ g trì h c CI tác độ g h v có độ chí h xác cao Error! Reference 56 y1 w1 y2 w2 Z  g (v ) v  b0   i 1 yi w i k g ( x)  yk wk 1  e x b0 H nh Cấu trúc mạng n -ron 3 Ch ng tr nh luyện mạng N -ron Matlab/toolbox %T o n -ron Lu net = network(); l ận % n l p n án net.layers{1}.size = 5; tru n c a l p n n tiế % hà sĩ net.layers{1}.transferFcn = 'logsig'; c u tr c c a n n -ron Kĩ % xe t uậ view(net); th net = configure(net,inputs,outputs); H nh Cấu trúc c a mạng n -ron nhiều lớp lớp ẩn mẫu liệu đầu vào 57 ận Lu án Hì h Chất ợ g trì h uy m g Nơ-ron n tiế sĩ Kĩ t uậ th H nh C c gi trị gradient mu val fail c a qu tr nh luyện mạng 58 3.3 THI T K GIAO DIỆN MATLAB GUIDE 3.3.1 Matlab GUI GUI-là giao di n hình ảnh ch g trì h GUI bao gồm nút nhấn, hộp li t g i dùng s d ng m i tr d ng ch g trì h hơ , tha h tr ợt, me u… g cu g cấp cho ng làm vi c thân thi để họ tập trung vào ứng tìm hiểu cách thức làm vi c ch g trì h 3.3.1.1 h i tạo ể m công c t o GUI: Lu File>>New>>GUI h mat ab: comma d wi dows  guide u giao di n vừa t o, Matlab t o hai fi e có cù g t án Khi c as ận tr rộng: h g hác phần m tiế - File có phần m rộng fig chứa nội dung giao di n n sĩ - File có phần m rộng m chứa nhữ g đo mã i qua đến giao di n Kĩ Khi thiết kế thành phần Gui ta cần thiết lập thuộc tính cho thành t uậ th phầ ể thiết lập thuộc tính ta chọn m c “Property I spector” tr tha h c g c right-c ic v o đ i t ợng chọn m c “I spector Properties” Hai thuộc tính quan trọng mà ta cần xác lập - String property: dòng ký tự xuất hi “Stri g Property” v “Tag Property” tr đ i t ợng - Tag property: tên đ i t ợng Khi click chuột v o đ i t ợng, Matlab gọi h m t g ứng với đ i t ợ g Tên hàm tên đ i t ợng cộng với “_Ca bac ” 59 3.3.1.2 Các hàm thường d ng lập tr nh Set : Thay đ i giá trị thuộc tính đ i t ợng giao di n set(handles.TextBox,‟ String‟ ,str) Get : Truy xuất giá trị thuộc tính đ i t ợng giao di n get(handles.EditBox,‟ String‟ ) Ngo i cị có h m h axes, guide, um2str , str2 um … 3.3 Thiết kế giao diện GUI cho phân lớp trạng th i cảm xúc Giao di t g quát ch g trì h bao gồm: phầ c i đặt setti g , hiể thị tí cảm xúc (DISPLAY , v hiể thị tham s ch g trì h đ ợc thể hi Sample Test Index) Giao di t g quát tro g Hì h 3.8 ận Lu án n tiế sĩ Kĩ GUI cho vi c phâ 3.3.2.1 iao diện phần cài đặt ao gồm phầ t - t uậ th Hì h Giao di ớp tr g thái cảm xúc etting Hì h 3.9): Load database: Cho phép g i dù g oad s i u để ph c v cho vi c phâ tích tí hi u sau G bất ỳ y - Train NeuronNetwork: Cho phép g i dù g uy - Load TestSample.mat: Cho phép g i dù g oad mẫu i u bất ỳ để hậ d g cảm xúc m g ơ-ron 60 Hì h Giao di phầ c i đặt Lu 3.3.2.2 iao diện hiển th dạng đồ th DISPLAY) ận án n tiế sĩ Kĩ t uậ th Hì h 10 Giao di Giao di hi hiể thị đồ họa ISPL Y thị d g cảm xúc Hì h 3.10 bao gồm:  Chec emotio : cho phép g i dù g tiế h h phâ tích mẫu i u để hậ d g cảm xúc  isp ay motio : hiể thị ết hì h ả h t g ứ g với tr g thái cảm xúc mẫu i u cầ iểm tra 61 3.3.2.3 iao diện hiển th tham số (Sample Test Index) Giao di hiể thị tham s Hì h 3.11 bao gồm tham s OutI dex1, OutIndex2, OutIndex3: ận Lu án Hì h 11 Giao di hiể thị tham s iểm tra Giá trị hất đ ợc quy đ i sa g mức ogic 1, v cò i đ ợc ựa v o giá trị y ta có ết hậ d g cảm xúc sĩ quy đ i sa g mức ogic ớp mẫu n i u cầ giá trị đầu phâ tiế OutI dex1, OutI dex2, OutI dex3 eature xtractio Parameters Kĩ 3.3.3 C c ớc thực qu tr nh phân t ch DWT sử dụng giao diện thiết kế t uậ th t g ứ g GUI B ớc Load s i u Tr giao di Mat ab GUI/S TTING thực hi c ic v o biểu t ợ g Load database Tr m chọ fi e có t hì h xuất hi đ g dẫ tới th m c trainningNNdata, h ta ho i u cho vi c phâ uy u trữ s i u Lựa th h trì h oad s m g ơ-ro sau Hì h 3.12) i e i u trainningNNdata i u mẫu gồm th gs rousa , Va a ce, omi a ce i u g c gồm tr g thái cảm xúc m  , tr g thái đ ợc 62 mẫu 500 ầ n  500 đ ợc x với ph g pháp trích chọ đặc tr g với phép biế đ i wave et r i r c ận Lu Mat ab GUI/S TTING thực hi c ic v o biểu t ợ g Train sĩ NeuronNetwork Hì h 3.13) n giao di m g ơ-ron tiế Tr án B ớc Luy Hì h 3.12 Load s i u Kĩ t uậ th Hì h 3.13 Luy Khi tr h Hì h 3.14 m m g Nơ-ron hì h hiể thị giao di trì h uy m g Nơ-ro 63 ận Lu án n tiế sĩ Kĩ C ic v o “Performa ce” để xem chất t uậ th Hì h 14 Quá trì h uy m g ơ-ron ợ g trì h uy m g, “Trai i g State” để xem giá trị “gradient”, “mu”, “val fail” B ớc Lựa chọ mẫu cầ phâ tích Giả s ta cầ phâ tích mẫu biết tr ớc d g cảm xúc vui, buồ , bì h th g , ta thực hi c ic v o Load TestSamp e.mat Hì h 3.15 th m c chứa fi e i u mẫu xuất hi g dẫ đế 64 Hì h 15 Lựa chọ mẫu cầ Lu Trong th m c hậ d g y ta ựa chọ mẫu tí hi u i u th bất ỳ để ận hậ d g cảm xúc án B ớc Nhậ d g cảm xúc ếu ta chọ mẫu i u smi e vui b ớc để tiếp t c q trì h n hậ d g tiế Ví d sĩ motio Kĩ Tro g m c DISPLAY ta c ic v o Chec xem Hì h 3.16) t uậ th Hì h 16 Kết hậ d g cảm xúc vui 65 Ví d ếu ta chọ mẫu i u orma bì h th g b ớc để tiếp t c trì h hậ d g Tro g m c ISPL Y ta c ic v o Chec motio xem Hì h 3.17) ận Lu án Hì h 17 Kết hậ d g cảm xúc bì h th ếu ta chọ mẫu i u cry buồ b ớc để tiếp t c trì h hậ n sĩ d g tiế Ví d g motio xem Hì h 3.18) Kĩ Tro g m c ISPL Y ta c ic v o Chec t uậ th Hì h 18 Kết hậ d g cảm xúc buồ 66 3.4 K T LUẬN Nh bất ỳ s d di Ch g 3, giao di g M TL c i đặt, giao di trì h phâ đ ợc hi đo th phâ o i cảm xúc tí hi u /GUI đ ợc trì h b y: Cách thức thiết ế giao di hiể thị đồ thị, giao di giao hiể thị tham s Kết o i cảm xúc đ ợc iểm ghi m th với mẫu i u th thu g qua mũ ão đồ motiv poc 14 cha dù g đề iểm g vui, buồ , bì h th cho thấy ão EEG e Các mẫu i u g coi h đ ợc xác đị h tr ớc Kết thuật toá đ a hậ d g cảm xúc chí h xác tới 93% hi th hậ d g với 200 mẫu ghi m ận Lu án n tiế sĩ Kĩ t uậ th 67 K T LUẬN VÀ Đ NGHỊ Kết luận - T g qua ão đồ - Cơ s thuyết WT - Cơ s thuyết m g Nơ-ron - Nhậ d g cảm xúc dựa tr - Xây dự g ch g trì h tr Đề nghị/ ph phâ ớp s d g m g ơ-ron mat ab/guide ng h ớng ghi m với thuật toá - Th ghi m tr Lu - Th hác h th g thực triể hai tr án ghi m ận Qua đá h giá ết v thực hi h th g thực n tiế sĩ Kĩ t uậ th 68 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt i ão đồ Lâm sàng, GS Pierre Ja o GS.TS L Qua g C ng, Nxb Y học [2] Quách Tuấn Ngọc, “X lý tín hi u s ” Nh xuất giáo d c, 1997 [3] Hà Qu c Trung, "X lý tín hi u lọc s " Tập 1,2 Nhà xuất khoa học k thuật, 1999 & 2001 Tài liệu tiếng Anh [4] H Zhang, S Zheng, and J Yuan, "A personalized TV guide system ận pp 731-737 Lu compliant with MHP," IEEE Trans Consumer Electronics, vol 51, no.2, May 2005, án [5] A Pentland and T Choudhury, "Face recognition for smart environments," IEEE Computer, vol 33, no 2, Feb 2000, pp 50-55 tiế [6] K Ho An and M Jin Chung,"Cognitive Face Analysis System for Future n Kĩ November 2009, pp 2271-2279 sĩ Interactive TV," IEEE Transactions on Consumer Electronics, Vol 55, No 4, th [7] J Wolpaw, N Birbaumer, D McFarland, G Pfurtscheller, and T t uậ Vaughan Brain-computer interfaces for communication and control Clinical Neurophysiology, 113:767-791, 2002 [8] http://www.handimobility.orglblogl?p=4953 [9] K Crowley, A Sliney, I Pitt and D Murphy, "Evaluating a BrainComputer Interface to Categorise Human Emotional Response", Advanced Learning Technologies (ICALT), 2010 IEEE lOth International Conference on 5-7 July 20lO Sousse, on pp 276 - 278 [10] E Haapalainen, S Kim, J F Forlizzi and A K Dey, "PsychoPhysiological Measures for Assessing Cognitive Load", Proceedings of the 69 12th ACM international conference on Ubiquitous computing ACM New York, USA 20lO, pp 30l-3lO [11] C Gani, N Birbaumer, and U Strehl "Long term effects after feedback of slow coritcal potentials and of theta beta-amplitudes in children with attentiondeficit/hyperactivity disorder" International Journal of Bioelectromagnetism, lO(4):209-232, 2008 [12] P Ekman Are there basic emotions? Psychological Review, 99 (3).550-553 [l3] M B Arnold Emotion and personality, volume 1, pages lIB New York: Columbia University Press, 1960 Lu [14] P Ekman Emotion in the human face, pages 39-55 New York: Cambridge ận University Press, 1983 [12] J A Russell A circumplex model of affect In Journal of án Personality and Social Psychology, volume 39, pages 1161 1178, 1980 [15] T C Schneirla An evolutionary and developmental theory of biphasic tiế processes underlying approach and withdrawal In M R Jones, editor, Nebraska n symposium on motivation, pages 1-42 Lincoln, NE: University of Nebraska Press, 1959 sĩ Kĩ [16] R Westermann, K Spies, G.Stahl, and FW Hesse Relative effectiveness t uậ Psychology, vol 26, 1996, p 557- 580 th of mood induction procedures: A meta analysis European Journal of Social [17] R W Picard, J Healey, E V yzas Toward Machine Emotional Intelligence Analysis of Affective Physiological State IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 23 (2001) 1175-1191 [18] F Nasoz, c.L Lisetti, K Avarez, N Finkelstein Emotion Recognition from Physiological Signals for User Modeling of Affect In Proceedings of the 3rd Workshop on Affective and Attitude User Modeling, USA, June 2003 [19] J.J Gross, R.W Levenson Emotion elicitation using films Cognition and Emotion, Vol 9, (1995), 87-lO8 70 [20] C.A Estrada, A.M Isen, M J Young Positive affect influences creative problem solving and reported source of practice satisfaction in physicians Motivation and Emotion, Vol 18, (1994), 285-299 Các trang Web [21] http://www.mindbigdata.com/opendb/ [22] http://bnci-horizon-2020.eu/database/data-sets [23] https://sccn.ucsd.edu/eeglab/index.php ận Lu án n tiế sĩ Kĩ t uậ th