Nghiên cứu mô hình nhân vật ảo biểu cảm trên khuôn mặt ba chiều nói tiếng việt

NGƠ THỊ DUN NGHIÊN CỨU MƠ HÌNH NHÂN VẬT ẢO BIỂU CẢM TRÊN KHN MẶT BA CHIỀU NĨI TIẾNG VI T LUẬN ÁN TIẾ SĨ KHOA H C MÁY TÍNH HÀN I–2015 NGƠ THỊ DUN NGHIÊN CỨU MƠ HÌNH NHÂN VẬT ẢO BIỂU CẢM TRÊN KHN MẶT BA CHIỀU NĨI TIẾNG VI T Chuyên ngành: Khoa học máy tính Mã số: 62.48.01.01 LUẬN ÁN TIẾ SĨ KHOA H C MÁY TÍNH ỚNG DẪN KHOA H C PGS.TS Bùi Thế Duy GS.TS Masato Akagi HÀN I–2015 LỜI CẢM ƠN Luận án thực Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, hướng dẫn PGS.TS Bùi Thế Duy GS.TS Masato Akagi Tôi xin gửi lời cảm ơn chân thành sâu sắc tới PGS TS Bùi Thế Duy – Bộ Khoa học Công nghệ GS TS Masato Akagi – Viện Khoa học Công nghệ tiên tiến Nhật Bản (JAIST), người thầy tâm huyết tận tình hướng dẫn, động viên khích lệ, dành nhiều thời gian quí báu để định hướng cho tơi q trình tham gia khóa học hồn thiện luận án Tơi xin gửi lời cảm ơn chân thành tới lãnh đạo trường Đại học Công nghệ, lãnh đạo Khoa Công nghệ thông tin, cảm ơn đồng nghiệp tạo điều kiện thuận lợi cho tơi q trình làm luận án Tơi xin gửi lời cảm ơn chân thành tới bạn đồng nghiệp phịng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, người ln bên tơi động viên, góp ý, chỉnh sửa trình viết luận án Cuối cùng, xin gửi lời cảm ơn sâu sắc tới gia đình bạn bè, người ln ủng hộ hỗ trợ mặt để yên tâm học tập, nghiên cứu, hoàn thành luận án i LỜI CAM ĐOAN Tôi xin cam đoan: Bản luận án tốt nghiệp cơng trình nghiên cứu thực cá nhân Các kết viết chung với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết nêu luận án trung thực chưa công bố hình thức trước trình, bảo vệ cơng nhận “Hội Đồng đánh giá luận án tốt nghiệp Tiến sĩ Công nghệ Thông Tin” Một lần nữa, xin khẳng định trung thực lời cam kết Tác giả: ii MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ TĨM TẮT LUẬN ÁN Giới thiệu 1.1 Đặt vấn đề 1.2 Bài toán cách giải 1.3 Cấu trúc luận án Cảm xúc thể cảm xúc cho nhân vật ảo 2.1 Nghiên cứu tâm lý học cảm xúc 2.2 Mối quan hệ cảm xúc k 2.2.1 2.2.2 2.3 Cung cấp cảm xúc cho nhân vật ảo 2.4 Kết chương iii Mơ hình thể cảm xúc khuôn mặt 3.1 Giới thiệu 3.2 Những nghiên cứu liên quan 3.3 Mơ hình tạo biểu cảm khn mặt th liên tục 3.3.1 3.3.2 3.4 Thực nghiệm đánh giá 3.5 Kết chương Mơ hình thể cảm xúc giọng nói tiếng Việt 4.1 Giới thiệu 4.2 Những nghiên cứu liên quan 4.2.1 4.2.2 4.3 Trích đặc trưng âm liên quan tới tiế 4.3.1 4.3.2 4.4 Tổng hợp tiếng nói tiếng Việt có 4.4.1 4.4.2 4.5 Thực nghiệm đánh giá 4.6 Kết chương Xây dựng khuôn mặt ba chiều nói tiếng Việt cho nhân vật ảo 5.1 Giới thiệu 5.2 Những nghiên cứu liên quan 5.3 Kiến trúc hệ thống iv 5.3.1 Mô đun Tạo biểu cảm giọng điệu 94 5.3.2 Mô đun Tạo biểu cảm khuôn mặt 94 5.3.3 Mô đun Tổng hợp 95 5.4 Thực nghiệm đánh giá 5.5 Kết chương 101 KẾT LUẬN DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN TÀI LIỆU THAM KHẢO PHỤ LỤC PHỤ LỤC PHỤ LỤC v 97 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT VIẾT TẮT: EFE (Emotional Facial Expression): Biểu cảm khuôn mặt thể cảm xúc ES (Emotional State): Trạng thái cảm xúc ESV (Emotional State Vector): Véc tơ trạng thái cảm xúc FMCV (Facial Muscle Contraction Level): Véc tơ mức co mặt FACS (Facial Action Coding System): Hệ mã hóa cử động khn mặt AU (Action Unit): Đơn vị cử động 3D (Three Dimensions) Ba chiều THUẬT NGỮ: Nhân vật ảo: Nhân vật hoạt hình ứng dụng giải trí, giáo dục, thương mại Embodied agent: Nhân vật ảo thể hình dáng người động vật Biểu cảm khn mặt: Một trạng thái khuôn mặt thể cảm xúc vi DANH MỤC CÁC BẢNG 3.1 Mơ tả sáu cảm xúc 3.2 Mô tả đặc trưng khn mặt điển hình cho AU 42 44 3.3 Tóm tắt kết đánh giá tính thuyết phục nhân vật ảo việc tạo biểu cảm khuôn mặt 58 4.1 Kết nhận dạng sở liệu tiếng nói có cảm xúc 70 4.2 Biến đổi trung bình tham số âm bốn trạng thái cảm xúc so với trạng thái không cảm xúc 74 4.3 Biến đổi trung bình tham số âm bốn trạng thái cảm xúc so với trạng thái không cảm xúc mức âm tiết 75 4.4 Tóm tắt kết đánh giá tính thuyết phục nhân vật ảo việc tạo biểu cảm giọng điệu 84 5.1 Hệ mã hóa cử động khn mặt (FACS) 121 vii DANH MỤC CÁC HÌNH VẼ 1.1 Hai vợ chồng nhà “chằn tinh” Shrek 1.2 Mơ hình cung cấp cảm xúc cho nhân vật ảo 2.1 Quan điểm Ekman quan hệ cảm xúc b 3.1 (a): Hàm thành viên cho cường độ cảm xúc (b): Hàm cho mức co [18] 3.2 Ví dụ minh họa chế mơ hình đề xuất thứ cường độ cảm xúc thành mức co 3.3 Mơ hình thứ chuyển trạng thái cảm xúc liên tục cảm khuôn mặt 3.4 Hoạt động mô đun Lựa chọn chế độ biểu cảm tro đề xuất thứ 3.5 Sơ đồ khối hệ thống phân tích cử động khn mặ cảm xúc 3.6 (a):Phát khuôn mặt (b): Các điểm đặc trưng 3.7 Đánh số thứ tự điểm đặc trưng khuôn mặt 3.8 (a): Mẫu theo thời gian biểu cảm khuôn mặt thể h xúc vui cảm xúc buồn (b): Mẫu theo thời gian khuôn mặt thể cảm xúc sợ, giận, ngạc nhiên, 3.9 Mẫu thực nghiệm mẫu so khớp theo thời gian người với cảm xúc ngạc nhiên 3.10 Mô hình thứ hai chuyển trạng thái cảm xúc liên tục th cảm khuôn mặt 3.11 Hoạt động mô đun Lựa chọn chế độ biểu cảm tro đề xuất thứ hai viii 121 Bảng 5.1 Tiếp tục từ trang trước AU 10 11 12 Kéo khóe mơi 13 Phồng má 14 Má lúm đồng tiền 15 Nén khóe mơi 16 Bặm môi 122 Bảng 5.1 Tiếp tục từ trang trước AU 17 18 20 22 23 24 25 26 123 Bảng 5.1 Tiếp tục từ trang trước AU Mô tả chuyển động 27 28 41 42 43 44 45 46 Căng miệng 124 Bảng 5.1 Tiếp tục từ trang trước AU Mô tả chuyển động 51 Quay đầu sang trái 52 Quay đầu sang phải 53 Ngửa đầu lên 54 Cúi đầu xuống 55 Đầu ngả sang trái 56 Đầu ngả sang phải Ngả đầu phía 57 trước 125 Bảng 5.1 Tiếp tục từ trang trước AU Mô tả chuyển động 58 Ngả đầu phía sau 61 Liếc mắt sang trái 62 Liếc mắt sang phải 63 Ngước mắt lên 64 Mắt nhìn xuống 126 PHỤ LỤC Cơ sở liệu tiếng Việt có cảm xúc Cơ sở liệu sử dụng Chương bao gồm phát âm 19 câu sau: Có thư Làm có chuyện mà tức điên lên Nghe đâu điểm hẹn Huế phải Tơi mua tơ Bỏ thư không dùng Mê tín, cổ hủ đến Tơi nhận cổ vũ người Chắc thư đến nơi Tôi theo dõi liên tục 10 Đến chỗ 11 Xin chân thành cảm ơn 12 Xin thành thật xin lỗi 13 Tôi khơng nói cảm ơn đâu 14 Tơi cảm thấy chóng mặt 15 Tơi sai 16 Có cần chỗ ngồi để xem pháo hoa không? 17 Tôi chẳng nói cịn gì, khơng làm 127 18 Hãy nói cho tơi biết lý đến khơng 19 Sẽ tập trung lại chỗ nghỉ chân 128 PHỤ LỤC Kiểm định giả thuyết thống kê Bài toán kiểm định giả thuyết thống kê toán lớn quan trọng thống kê tốn học Trong phụ lục này, chúng tơi đề cập đến số định nghĩa vấn đề liên quan đến toán kiểm định giả thuyết thống kê Một số định nghĩa Giả thuyết Một mệnh đề (một câu khẳng định) vấn đề chưa biết gọi giả thuyết Ta thường dùng H0 để giả thuyết Giả thuyết mệnh đề khơng Đối thuyết Một mệnh đề trái với giả thuyết gọi đối thuyết Ta thường dùng H1 để đối thuyết Kiểm định giả thuyết thống kê Một phép kiểm định (hay trắc nghiệm) giả thuyết thống kê qui tắc, theo đó, dựa vào mẫu cụ thể thực hiện, định chấp nhận hay bác bỏ giả thuyết xét Kiểm định giả thuyết thống kê phép chứng minh tính khơng giả thuyết Kiểm định giả thuyết thống kê thực chất xây dựng qui tắc hành động dựa vào mẫu có đưa định lựa chọn giả thuyết H0 đối thuyết H1 129 Sai lầm Nếu bác bỏ giả thuyết H0 khi, thực ra, phải chấp nhận mắc phải sai lầm gọi Sai lầm loại I Nếu chấp nhận H0 khi, thực ra, phải bị bác bỏ mắc phải sai lầm gọi Sai lầm loại II Xác suất mắc phải sai lầm loại I, thường ký hiệu α, gọi Mức ý nghĩa kiểm định Như vậy, xác suất để chấp nhận H0 (1 α) Nếu ký hiệu β xác suất mắc phải sai lầm loại II, xác suất để bác bỏ H0 sai (1 β), gọi Năng lực phép kiểm định Như vậy, báo cáo kết so sánh "sự khác biệt có ý nghĩa mặt thống kê mức ý nghĩa 5%" có nghĩa "giả thuyết khơng" H0 bị bác bỏ với nguy sai lầm 5% Các bước phép kiểm định giả thuyết thống kê Đặt giả thuyết không H0 đối thuyết H1 Xác định mức ý nghĩa α phép kiểm định Với cặp giả thuyết mức ý nghĩa α xác định, thiết lập Qui luật định dùng để định chấp nhận hay bác bỏ giả thuyết H0 Qui luật bao gồm việc chọn thống kê thích hợp để dùng cho phép kiểm định đưa giá trị tới hạn để so sánh Khác với phép kiểm định giả thuyết với mức ý nghĩa α cho trước, nhà nghiên cứu thường xác định mức ý nghĩa nhỏ nhất, "giả thuyết khơng" H0 bị bác bỏ Từ đó, người ta có định nghĩa: Trong phép kiểm định, mức ý nghĩa nhỏ nhất, "giả thuyết khơng" H0 bị bác bỏ gọi giá trị xác suất hay p - giá trị (p - value) phép kiểm định 130 Phương pháp so sánh cặp đôi Trong phụ lục này, để cập tới phép kiểm định sử dụng luận án Phương pháp so sánh cặp đôi Phần trình bày cách thực phép kiểm định giả thuyết cho khác trung bình cặp đơi (paired means) Thủ tục kiểm định sử dụng có tên matched-pairs t-test, gồm bước sau: Xác định giả thuyết Các giả thuyết liên quan tới biến d, biến dựa khác giá trị cặp đôi từ hai tập liệu d = x1 x2 với x1 giá trị biến x tập liệu thứ nhất, x2 giá trị biến x tập liệu thứ hai có quan hệ cặp đơi với x1 Bảng ba tập giả thuyết không đối thuyết; tập tạo nên phát biểu mối quan hệ khác thực giá trị tổng thể µd giá trị giả thuyết D Xây dựng kế hoạch phân tích Bước mô tả cách sử dụng liệu mẫu để chấp nhận từ chối giả thuyết không Trong bước cần xác định thành phần sau: Mức ý nghĩa (Thông thường, nhà nghiên cứu chọn mức ý nghĩa 0.01, 0.05, không 0.10.) Phương pháp kiểm định (Sử dụng matched-pairs t-test để xác định xem khác trung bình mẫu cho liệu cặp đơi có thực khác khác giả thuyết trung bình tổng thể.) Phân tích liệu mẫu Sử dụng liệu mẫu để tìm độ lệch chuẩn, lỗi chuẩn, độ tự (degrees of freedom), kiểm định thống kê, giá trị P gắn với kiểm định thống kê 131 Độ lệch chuẩn: Tính độ lệch chuẩn (sd) khác tính từ n cặp đôi s = sqrt[( (d d di khác cho cặp i, d khác trung bình mẫu, n số cặp đơi Lỗi chuẩn: Tính lỗi chuẩn (SE) phấn phối lấy mẫu d SE = sd sqrt(1/n) (1 n/N) [N/(N 1)] sd độ lệch chuẩn khác mẫu, N kích thước tổng thể, n kích thước mẫu Khi kích thước tổng thể lớn nhiều (lớn 10 lần) so với kích thước mẫu lỗi chuẩn tính xấp xỉ sau: SE = sd/sqrt(n) Độ tự DF = n Kiểm định thống kê: Kiểm định thống kê điểm t (t-score) định nghĩa bởi: t = [(x1 x2) D]/SE = (d D)/SE x1 trung bình mẫu 1, x2 trung bình mẫu 2, d khác trung bình giá trị cặp đôi tập mẫu, D khác giả thuyết trung bình tổng thể, SE lỗi chuẩn Giá trị P : Từ điểm t tính Độ tự DF có xác suất P tương ứng Giải thích kết So sánh giá trị P với mức ý nghĩa từ chối giả thuyết không giá trị P nhỏ mức ý nghĩa 132 ... nhiều kênh biểu cảm khác Luận án chọn hai kênh biểu cảm khn mặt tiếng nói để giải tốn thể cảm xúc cho nhân vật ảo nói tiếng Việt Với kênh khuôn mặt, nghiên cứu biểu cảm khuôn mặt cho cảm xúc phổ... biến đổi tiếng nói tiếng Việt khơng cảm xúc thành tiếng nói có cảm xúc sử dụng tạo biểu cảm giọng nói cho nhân vật ảo nói tiếng Việt Thứ ba, luận án xây dựng khuôn mặt ba chiều có khả thể cảm xúc... xúc cho nhân vật ảo nói tiếng Việt Luận án đề xuất ba kết nghiên cứu liên quan đến tốn thể cảm xúc cho nhân vật ảo nói tiếng Việt, sau: Thứ nhất, luận án đề xuất mơ hình tạo biểu cảm khuôn mặt thể