Nhận dạng giới tính, cảm xúc của người nói và ứng dụng cho tiếng việt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Phạm Thị Nhung NHẬN DẠNG GIỚI TÍNH, CẢM XÚC CỦA NGƯỜI NÓI VÀ ỨNG DỤNG CHO TIẾNG VIỆT Chuyên ngành: Công nghệ Thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Hồng Quang Hà Nội – Năm 2014 LỜI CAM ĐOAN Tôi – Phạm Thị Nhung, học viên lớp cao học 12BCNTT2 Trường Đại học Bách khoa Hà Nội cam kết: Luận văn tốt nghiệp công trình nghiên cứu thân tơi hướng dẫn TS Nguyễn Hồng Quang – Viện công nghệ Thông tin Truyền thông- Đại học Bách khoa Hà Nội Các kết luận văn tốt nghiệp trung thực, khơng chép tồn văn cơng trình khác Hà Nội, ngày 19 tháng 09 năm 2014 Học viên: Phạm Thị Nhung Lớp: 12BCNTT2 i LỜI CẢM ƠN Tơi xin bày tỏ lịng biết ơn sâu sắc tới Thầy giáo, TS Nguyễn Hồng Quang – Bộ mơn Kỹ thuật Máy tính – Viện Cơng nghệ Thông tin Truyền thông – Đại học Bách Khoa Hà Nội, người thầy hết lòng giúp đỡ, dạy bảo, động viên tạo điều kiện thuận lợi cho tơi suốt q trình học tập hồn thành luận văn tốt nghiệp Tôi xin chân thành cảm ơn tập thể thầy, cô giáo trường Đại học Bách khoa Hà Nội nói chung Viện Cơng nghệ Thơng tin Truyền thơng nói riêng tận tình giảng dạy truyền đạt cho kiến thức, kinh nghiệm quý báu suốt thời gian học tập trường Cuối xin chân thành cảm ơn gia đình, bạn bè, đồng nghiệp ln ủng hộ động viên tơi lúc khó khăn ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ vi DANH MỤC CÁC BẢNG viii DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ x PHẦN MỞ ĐẦU Lý chọn đề tài Mục đích, phạm vi nghiên cứu Đối tượng nghiên cứu Phương pháp nghiên cứu Nhiệm vụ nghiên cứu Đóng góp luận văn CHƢƠNG 1: TỔNG QUAN 1.1 Tổng quan nhận dạng giới tính, cảm xúc người nói 1.1.1 Giới thiệu chung 1.1.2 Ứng dụng nhận dạng cảm xúc người nói 1.1.3 Phương pháp nhận dạng giới tính, cảm xúc người nói 1.1.4 Cơ sở liệu cho nhận dạng cảm xúc 10 1.2 Các giai đoạn xử lý hệ thống nhận dạng giới tính, cảm xúc người nói 10 1.3 Các thành phần hệ thống nhận dạng giới tính, cảm xúc người nói 12 1.4 Tìm hiểu kết nhận dạng giới tính, cảm xúc người nói có giới 13 1.4.1 Phát cảm xúc theo thời gian thực tổng đài điện thoại [5] 13 1.4.2 Hệ thống nhận dạng cảm xúc phụ thuộc độc lập giới tính với tiếng Telugu sử dụng mơ hình hỗn hợp Gaussian [4] 15 1.4.3 Cải thiện tự động nhận dạng cảm xúc từ tín hiệu tiếng nói [1] 17 1.5 Tìm hiểu kết nhận dạng cảm xúc Việt Nam 18 iii 1.5.1 Robot biết an ủi người [16] 18 1.5.2 Nhận dạng cảm xúc qua điện não (EEG) theo thời gian thực sử dụng mơ hình máy vector hỗ trợ (SVM- Support Vector Machine) [9] 18 1.6 Mục tiêu cần phải thực đề tài 19 CHƢƠNG 2: PHƢƠNG PHÁP THỰC HIỆN VÀ CÔNG CỤ SỬ DỤNG 20 2.1 Phương pháp thực đề tài 20 2.2 Trích chọn đặc trưng MFCC 21 2.3 Mơ hình GMM sử dụng nhận dạng giới tính, cảm xúc người nói 23 2.4 Bộ cơng cụ ALIZE LIA-RAL 25 2.5 Bộ công cụ SPro 26 2.6 Ngơn ngữ lập trình Python 26 2.7 Sử dụng cơng cụ ngơn ngữ lập trình cho bước tốn nhận dạng giới tính, cảm xúc người nói 27 2.7.1.1 Trích chọn chuẩn hóa đặc trưng 28 2.7.1.2 Huấn luyện mơ hình 33 2.7.1.3 Nhận dạng 38 CHƢƠNG 3: XÂY DỰNG HỆ THỐNG THỬ NGHIỆM NHẬN DẠNG GIỚI TÍNH, CẢM XÚC NGƢỜI NĨI VÀ ỨNG DỤNG CHO TIẾNG VIỆT 41 3.1 Tổng quan trình xây dựng hệ thống thử nghiệm nhận dạng giới tính, cảm xúc người nói 41 3.2 Cơ sở liệu cảm xúc cho thử nghiệm hệ thống nhận dạng 43 3.2.1 CSDL tiếng Đức - EMO-DB 43 3.2.2 CSDL tiếng Việt VEMO-DB 44 3.3 Các thử nghiệm nhận dạng giới tính, cảm xúc người nói 45 3.3.1 Thử nghiệm với CSDL EMO-DB 46 3.3.1.1 Thử nghiệm nhận dạng giới tính 46 3.3.1.2 Thử nghiệm nhận dạng cảm xúc 47 3.3.2 Thử nghiệm với CSDL VEMO-DB 50 3.3.2.1 Thử nghiệm nhận dạng giới tính 50 3.3.2.2 Thử nghiệm nhận dạng cảm xúc 51 CHƢƠNG 4: KẾT QUẢ THỬ NGHIỆM, KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 54 4.1 Phân tích, đánh giá kết thử nghiệm 54 iv 4.1.1 Kết thử nghiệm CSDL EMO-DB 54 4.1.1.1 Kết thử nghiệm nhận dạng giới tính 54 4.1.1.2 Thử nghiệm nhận dạng cảm xúc 56 4.1.2 Kết thử nghiệm CSDL VEMO-DB 63 4.1.2.1 Thử nghiệm nhận dạng giới tính 63 4.1.2.2 Thử nghiệm nhận dạng cảm xúc 64 4.2 Kết luận 71 4.3 Hướng phát triển đề tài 72 TÀI LIỆU THAM KHẢO 73 PHỤ LỤC 75 v DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ Danh mục chữ viết tắt tiếng anh Chữ viết tắt Chữ viết đầy đủ tiếng anh Tiếng Việt GMM Gaussian Mixture Model Mơ hình hỗn hợp Gauss MFCC Mel- Frequency Cepstral Hệ số Cepstral theo thang đo Coeficients tần số Mel HMM Hidden Markov Models Mơ hình Markov ẩn EM Expectation Maximization Thuật tốn cực đại hóa kỳ vọng SVM Support Vector Machines Máy Vector hỗ trợ EEG Electroencephalography Điện não HFD Higuchi Fractal Dimension DFT Discrete Fourier Transform Biến đổi Fourier rời rạc FFT Fast Fourier Transform Biến đổi Fourier nhanh VQ Vector Quantization Lượng tử hóa vector LPC Linear Predictive Coding Mã hóa dự đốn tuyến tính LSF Line Spectral Frequency ANN Artificial Neural Network Mạng Neuron nhân tạo LMT Logistic Model Tree Mơ hình phân loại UML Unified Modeling Language Ngơn ngữ mơ hình hóa thống DCT Discrete Cousine Transform Biến đổi Cousine rời rạc G Gender Giới tính E Emotion Cảm xúc EGM Emotion Gender Male EGF Emotion Gender Female EMF Emotion Male Female vi EFM Emotion Female Male EMO-DB Emotion Data Base Cơ sở liệu tiếng Đức VEMO-DB Vietnamese Emotion Data Base Cơ sở lệu tiếng Việt Danh mục chữ viết tắt tiếng Việt Chữ viết tắt Chữ viết đầy đủ tiếng anh CSDL Cơ sở liệu TB Trung bình vii DANH MỤC CÁC BẢNG Bảng 1.1: Đặc điểm sở liệu Bảng 1.2: Kết nhận dạng (%) theo số đặc trưng lựa chọn Bảng 1.3: Kết thử nghiệm (tỷ lệ %) Bảng 3.1: Bảng tổng hợp CSDL EMO-DB Bảng 3.2: Bảng tổng hợp CSDL VEMO-DB Bảng 3.3: Bảng tổng hợp thử nghiệm nhận dạng giới tính Bảng 3.4: Bảng tổng hợp thử nghiệm nhận dạng cảm xúc Bảng 3.5: Bảng tổng hợp thử nhận dạng cảm xúc có nhận dạng giới tính Bảng 3.6: Bảng tổng hợp thử nhận dạng cảm xúc có nhận dạng giới tính có nhầm lẫn Bảng 3.7: Bảng tổng hợp thử nghiệm nhận dạng giới tính Bảng 3.8: Bảng tổng hợp thử nghiệm nhận dạng cảm xúc Bảng 3.9: Bảng tổng hợp thử nhận dạng cảm xúc có nhận dạng giới tính Bảng 3.10: Bảng tổng hợp thử nhận dạng cảm xúc có nhận dạng giới tính có nhầm lẫn Bảng 4.1: Tổng hợp tỷ lệ (%) thử nghiệm nhận dạng giới tính Bảng 4.2: Ma trận nhầm lẫn thử nghiệm E01_DI theo tiêu chí Bảng 4.3: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm nhận dạng cảm xúc trên CSDL huấn luyện cảm xúc giọng nam giọng nữ Bảng 4.4: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm nhận dạng cảm xúc CSDL cảm xúc huấn luyện giọng nam Bảng 4.5: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm nhận dạng cảm xúc CSDL cảm xúc huấn luyện giọng nữ Bảng 4.6: Bảng tổng hợp tỷ lệ (%) nhận dạng cảm xúc thử nghiệm Bảng 4.7: Tổng hợp tỷ lệ (%) thử nghiệm nhận dạng giới tính Bảng 4.8: Ma trận nhầm lẫn thử nghiệm E01_DI theo tiêu chí viii Bảng 4.9: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm nhận dạng cảm xúc CSDL cảm xúc huấn luyện gọng nam giọng nữ Bảng 4.10: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm nhận dạng cảm xúc CSDL cảm xúc huấn luyện gọng nam Bảng 4.11: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm nhận dạng cảm xúc CSDL cảm xúc huấn luyện gọng nữ Bảng 4.12: Bảng tổng hợp tỷ lệ (%) nhận dạng cảm xúc thử nghiệm ix A.7 Tùy chọn cho bƣớc huấn luyện mơ hình đích Cấu trúc file TrainTarget.cfg *** TrainTarget Configuration File *** maxLLK 200 minLLK -200 bigEndian false saveMixtureFileFormat RAW loadMixtureFileFormat RAW loadFeatureFileFormat SPRO4 featureServerBufferSize ALL_FEATURES loadMixtureFileExtension gmm saveMixtureFileExtension gmm loadFeatureFileExtension norm.prm featureFilesPath /prm/ labelFilesPath /lbl/ mixtureFilesPath /gmm/ nbTrainIt labelSelectedFrames speech normalizeModel true normalizeModelMeanOnly true normalizeModelNbIt MAPAlgo MAPOccDep meanAdapt true MAPRegFactorMean 14 frameLength 0.01 featureServerMemAlloc 100000000 featureServerMask 0-18,20-50 A.8 Tùy chọn cho bƣớc nhận dạng Cấu trúc file ComputeTest.cfg *** ComputeTest Config File *** distribType loadMixtureFileExtension saveMixtureFileExtension loadFeatureFileExtension mixtureDistribCount GD gmm prm 1024 80 maxLLK 200 minLLK -200 bigEndian false saveMixtureFileFormat RAW loadMixtureFileFormat RAW loadFeatureFileFormat SPRO3 featureServerBufferSize ALL_FEATURES featureFilesPath / mixtureFilesPath / labelSelectedFrames male labelFilesPath / frameLength 0.01 segmentalMode segmentLLR topDistribsCount 10 computeLLKWithTopDistribs COMPLETE ndxFileName ndx worldModelName wld outputFile test1.res gender M debug true verbose true featureServerMask 0-15,17-32 vectSize 32 B Cơ sở liệu cảm xúc tiếng Đức (EMO-DB) Bảng B.1: Thơng tin người nói Mã ngƣời nói 03 08 09 10 11 12 13 14 15 16 Giới tính Nam Nữ Nữ Nam Nam Nam Nữ Nữ Nam Nữ Tuổi 31 34 21 32 26 30 32 35 26 31 Bảng B.2: Văn nói 81 Số lƣợng 49 58 43 38 55 35 61 69 56 71 Mã văn a01 a02 a04 a05 a07 b01 b02 b03 b09 b10 Số lƣợng file Tiếng Đức Tiếng Anh Der Lappen liegt auf dem Eisschrank Das will sie am Mittwoch abgeben Heute abend könnte ich es ihm sagen Das schwarze Stück Papier befindet sich da oben neben dem Holzstück In sieben Stunden wird es soweit sein Was sind denn das für Tüten, die da unter dem Tisch stehen? Sie haben es gerade hochgetragen und jetzt gehen sie wieder runter An den Wochenenden bin ich jetzt immer nach Hause gefahren und habe Agnes besucht Ich will das eben wegbringen und dann mit Karl was trinken gehen Die wird auf dem Platz sein, wo wir sie immer hinlegen The tablecloth is lying on the frigde She will hand it in on Wednesday Tonight I could tell him 49 file The black sheet of paper is located up there besides the piece of timber In seven hours it will be 64 file What about the bags standing there under the table? 51 file They just carried it upstairs and now they are going down again Currently at the weekends I always went home and saw Agnes 51 file I will just discard this and then go for a drink with Karl 52 file It will be in the place where we always store it 52 file 82 59 file 51 file 54 file 52 file Bảng B.3: Các cảm xúc Ký hiệu Cảm xúc (emotion) Kí hiệu A Giận (anger) W B Chán nản (boredom) L D Ghê tởm (Disgust ) E F Sợ hãi (anxiety/fear) A H Vui, vui vẻ (happiness/joy) F S Buồn (sadness) T N = Trung lập (neutral) Cảm xúc (tiếng Đức) Ärger (Wut) Langeweile Ekel Angst Freude Trauer Số lƣợng 127 file 81 file 46 file 69 file 71 file 62 file 79 file C Cơ sở liệu cảm xúc tiếng Việt (VEMO-DB) Bảng C.1: Thơng tin người nói Nhóm A B C D Mã ngƣời nói 01 02 03 04 05 07 08 09 10 11 13 14 15 16 18 20 21 22 23 Họ tên BuiQuocDoanh DoKy NguyenManhTuan LuuVanHoang NgoNgocTrung DoAnNguyen NguyenVanBen HoPhong NguyenTungAnh TrinhMaiNguyen TranNhatQuang DaoDuyAnh NguyenDucTam NguyenHoangLong NguyenHuyToan NguyenVanQuang HanQuangTu TranKienTrung KieuMinhHieu 83 Giới tính Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Nam Độ tuổi 26 50 26 30 39 25 31 42 27 39 27 38 27 20 25 30 29 34 40 Số lƣợng 867 868 870 880 879 880 880 880 880 879 880 879 880 880 880 880 879 880 880 E F G H I J 24 06 12 17 19 25 26 27 29 31 32 35 36 37 38 39 41 42 43 45 46 50 53 54 56 57 33 34 40 48 58 TaTuanMinh NguyenSungLam NguyenTrungTuan DangMinhThong NguyenDinhChien NguyenTienHuy NguyenLanHuong NguyenNgocThu PhungThuHuyen PhamPhuongMinh NguyenThiHangNga TruongThuHa BuiHongGam DinhTraMy DangMinhCuc NguyenThanhHuyen NguyenThiThuPhuong NguyenThiThanhHuong NguyenHaiLan NguyenThuyTrang TranThiHa NguyenThanhTu NguyenTrucQuynh PhamNganHoa NguyenThanhNhan DangMinhNguyet DangThuHa NguyenBichThuy DangThiLoan PhamThanhHoa CaoNguyetHang 84 Nam Nam Nam Nam Nam Nam Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ Nữ 35 30 24 22 58 25 47 50 25 20 30 34 38 48 28 39 23 30 27 30 30 40 19 41 36 47 29 51 25 30 42 880 880 880 878 880 879 880 880 878 879 880 880 878 879 879 879 880 880 880 880 880 880 880 880 880 879 880 879 878 880 880 Bảng C 2: Các câu nói Mã câu Nội dung câu a01 Ơng nói tơi khơng hiểu a02 Con mèo ngồi sân a03 Thơi bác đi a04 Tao khơng muốn nhìn thấy mặt mày a05 Đừng làm a06 Anh biết chuyện chưa a07 Có chuyện a08 Chuối dù bỏ vỏ a09 Anh đến đón em a10 Sắp đến Tết b11 Chán cậu b12 Lại phải chờ anh b13 Thôi vui lên ông b14 Vườn hoa trước nhà b15 Sao lại phản bội b16 Hạnh phúc phải tìm trơng gai b17 Đúng ngựa non háu đá b18 Toàn lũ bất tài b19 Thất bại lại thất bại b20 Xin buông tha cho c21 Làm với chả ăn tồn lũ ăn hại c22 Khơng biết dựa cột mà nghe hiểu chưa c23 Cứ lanh chanh, hỏng hết việc c24 Anh đừng nói chuyện với em c25 Mỗi người có đời c26 Có lương c27 Ôi Chúa 85 c28 Thật c29 Chiều ơng bà đón c30 Đi với chả đứng d31 Hạnh phúc thay làm m d32 Trời đất Thuốc mà hay chừng d33 Ơi dào, người khơng thay đổi đâu d34 Phiền bác ngày mai lại tới d35 Cuộc chiến hỗn loạn d36 Mai chủ nhật d37 Làm mà lâu d38 Hơm chẳng việc d39 Ơi Chuyện đàn bà mà d40 Vận động viên tennis e41 Ông cho với e42 Bác e43 Mới a e44 t dù cay ăn vỏ e45 Đến sớm e46 Ơi Tình u e47 Có e48 Giời a Sao mà lạnh e49 M ơi, khát nước e50 Chuyển thư cho anh f51 Khơng tặng cho em f52 Sao nhiều f53 Sao lại không f54 Anh dám ăn nói với bố a f55 Trường đại học Bách khoa Hà nội 86 Bảng C.3: Các cảm xúc Mã cảm xúc W F Cảm xúc (emotion) Giận (anger) Vui, vui vẻ (happiness/joy) T Buồn (sadness) N Bình thường (neutral) Số lƣợng Bảng C.4: Các phiên Mã phiên Nội dung a Phiên thứ (nói lần với câu nói) b Phiên thứ hai (nói lần thứ với câu nói) c Phiên thứ ba (nói lần thứ với câu nói) d Phiên thứ tư (nói lần thứ với câu nói) D Kết nhận dạng giới tính, cảm xúc ngƣời nói sử dụng tham khảo cho trƣờng hợp nhận dạng giới tính cho kết xấu D.1 Kết nhận dạng CSDL EMO-DB Bảng D.1: Ma trận nhầm lẫn nhận xạng cảm xúc thử nghiệm EMF01_DE Cảm xúc Chán nản Chán nản Ghê tởm Sợ hãi Vui Buồn Bình thường Chán nản Chán nản Ghê tởm Sợ hãi Vui Buồn Bình thường số file 12 24 0 12 17 0 1 0 0 0 0 10 0 18 14 11 13 20 87 Bảng D.2 : Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm Tức giận Chán nản Ghê tởm Sợ hãi Vui Buồn Bình thường Tỷ lệ TB Tức giận Chán nản Ghê tởm Sợ hãi Vui Buồn Bình thường Tỷ lệ TB EMF01_AB EMF01_AC EMF01_AD EMF01_AE EMF01_BC 22,72 30,76 30,43 44,00 37,50 7,69 33,33 25,00 28,57 7,14 66,66 22,22 50,00 37,50 36,36 85,71 90,90 90,90 100,00 80,00 12,50 6,66 15,38 6,66 - 23,28 26,19 27,77 27,47 25,28 EMF01_ BD EMF01_B E EMF01_C D EMF01_C E EMF01_D E Tỷ lệ TB 38,09 52,17 36,00 48,14 50,00 38,98 6,25 5,88 - - - 1,98 - 16,66 - 16,66 14,28 13,45 58,33 80,00 50,00 85,71 33,33 85,71 23,07 90,90 42,85 90,90 0,71 42,03 88,07 7,69 - 5,00 - 5,00 5,89 26,88 26,59 25,96 25,71 27,02 26,22 88 Tỷ lệ (%) 30.00 28.00 26.00 24.00 22.00 20.00 18.00 16.00 14.00 12.00 10.00 26.19 27.77 27.47 25.28 26.88 26.59 25.96 25.71 27.02 23.28 Thử nghiệm Hình D.1 : Biểu đồ tỷ lệ nhận dạng chung thử nghiệm Tỷ lệ (%) 100.00 88.07 80.00 60.00 42.03 38.98 40.00 13.45 20.00 1.98 5.89 0.71 Tức giận Chán nản Ghê tởm Sợ hãi Hạnh phúc Buồn Bình thường Cảm xúc Hình D.2: Biểu đồ tỷ lệ nhận dạng trung bình cảm xúc thử nghiệm 89 Bảng D.3: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm Tức giận Chán nản Ghê tởm Sợ hãi Vui Buồn Bình thường Tỷ lệ chung EFM01_AB EFM01_AC EFM01_AD EFM01_AE EFM01_BC 92,00 88,00 93,10 96,29 87,50 7,14 14,28 8,33 96,29 5,00 6,25 12,50 14,28 12,50 15,38 40,00 7,14 8,33 6,66 33,33 53,84 11,11 14,28 46,15 57,14 - - - - - 37,62 26,92 27,67 29,82 33,61 Tỷ lệ (%) 37.62 40.00 35.00 30.00 25.00 20.00 15.00 10.00 26.92 27.67 29.82 33.61 33.85 35.65 27.85 25.38 27.27 Thử nghiệm Hình D.3 : Biểu đồ tỷ lệ nhận dạng chung thử nghiệm Tỷ lệ (%) 100.00 92.41 80.00 60.00 41.42 40.00 19.53 14.08 20.00 6.78 3.03 - Tức giận Chán nản Ghê tởm Sợ hãi Hạnh phúc Buồn Bình thường Cảm xúc Hình D.4: Biểu đồ tỷ lệ nhận dạng trung bình cảm xúc thử nghiệm 90 Bảng D.4: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm Tức giận Chán nản Ghê tởm Sợ hãi Vui Buồn Bình thường Tỷ lệ chung EFM01_AB EFM01_AC EFM01_AD EFM01_AE EFM01_BC 92,00 88,00 93,10 96,29 87,50 7,14 14,28 8,33 96,29 5,00 6,25 12,50 14,28 12,50 15,38 40,00 7,14 8,33 6,66 33,33 53,84 11,11 14,28 46,15 57,14 - - - - - 37,62 26,92 27,67 29,82 33,61 Tỷ lệ (%) 37.62 40.00 35.00 30.00 25.00 20.00 15.00 10.00 26.92 27.67 29.82 33.61 33.85 35.65 27.85 25.38 27.27 Thử nghiệm Hình D.5 : Biểu đồ tỷ lệ nhận dạng chung thử nghiệm Tỷ lệ (%) 100.00 92.41 80.00 60.00 41.42 40.00 19.53 14.08 20.00 6.78 3.03 - Tức giận Chán nản Ghê tởm Sợ hãi Hạnh phúc Buồn Bình thường Cảm xúc Hình D.6: Biểu đồ tỷ lệ nhận dạng trung bình cảm xúc thử nghiệm D.2 Kết nhận dạng CSDL VEMO-DB 91 Bảng D.5: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm EMF01_A EMF01_B EMF01_C EMF01_D EMF01_E Tỷ lệ TB 59,81 68,09 65,63 68,3 58,92 64,15 18,39 75,15 18 65,42 18,18 76,79 16,54 65,9 15,19 65,18 17,26 69,69 18,49 14,45 17,63 22,54 17,18 18,06 43,05 41,48 44,55 43,31 39,11 42,30 Tức giận Vui Buồn Bình thường Tỷ lệ chung Tỷ lệ (%) 50 45 43.05 44.55 41.48 43.31 39.11 40 35 30 25 20 15 10 EMF01_A EMF01_B EMF01_C EMF01_D EMF01_E Thử nghiệm Hình D.7 : Biểu đồ tỷ lệ nhận dạng chung thử nghiệm 92 Tỷ lệ (%) 64.15 70.00 69.69 60.00 50.00 40.00 30.00 18.06 17.26 20.00 10.00 - Tức giận Hạnh phúc Buồn Bình thường Cảm xúc Hình D.8: Biểu đồ tỷ lệ nhận dạng trung bình cảm xúc thử nghiệm Bảng D.6: Tỷ lệ (%) nhận dạng cảm xúc thử nghiệm Tức giận Vui Buồn Bình thường Tỷ lệ chung EFM01_A EFM01_B EFM01_C EFM01_D EFM01_E Tỷ lệ TB 9,00 11,28 9,18 10,81 7,73 9,60 69,51 52,81 66,87 55,14 69,81 59,27 62,51 69,45 73,27 61,51 68,39 59,64 16,66 18,27 26,81 15,81 11,37 17,78 37,00 37,86 41,27 39,64 38,48 38,85 93 Tỷ lệ (%) 50.00 45.00 41.27 37.00 37.86 EFM01_A EFM01_B 40.00 39.64 38.48 EFM01_D EFM01_E 35.00 30.00 25.00 20.00 15.00 10.00 EFM01_C Thử nghiệm Hình D.9 : Biểu đồ tỷ lệ nhận dạng chung thử nghiệm Tỷ lệ (%) 68.39 70.00 59.64 60.00 50.00 40.00 30.00 20.00 17.78 9.60 10.00 Tức giận Hạnh phúc Buồn Bình thường Cảm xúc Hình D.10: Biểu đồ tỷ lệ nhận dạng trung bình cảm xúc thử nghiệm 94 ... cảm xúc người nói ứng dụng - Phương pháp nhận dạng giới tính, cảm xúc người nói - Các giai đoạn xử lý thành phần hệ thống nhận dạng giới tính, cảm xúc - Các kết nhận dạng giới tính, cảm xúc người. .. tổng hợp tiếng nói, nhận dạng tiếng nói, lưu trữ, xử lý tín hiệu tiếng nói? ?? Một lĩnh vực nhận dạng giới tính, cảm xúc người nói Nhận dạng giới tính người nói gì? Nhận dạng giới tính người nói hệ... quan nhận dạng giới tính, cảm xúc người nói 1.1.1 Giới thiệu chung 1.1.2 Ứng dụng nhận dạng cảm xúc người nói 1.1.3 Phương pháp nhận dạng giới tính, cảm xúc người nói