Như vậy, sau gần 6 ngày huấn luyện, mô hình tổng hợp tiếng nói đã được sử dụng. Vì thời gian chuyển đổi cảm xúc nhỏ ( khoảng vài giây) nên tác giả không tổng kết vào trong bảng trên.
36
CHƯƠNG 3. ĐÁNH GIÁ KẾT QUẢ TỔNG HỢP
3.1. Công cụ đánh giá
Sau khi có kết quả tổng hợp của hệ thống tổng hợp tiếng Việt có cảm xúc, tác giả tiến hành thực hiện khảo sát để đánh giá kết quả thu được.
Đối tượng tham gia đánh giá là 60 người bao gồm các bạn sinh viên thuộc Trường Công nghệ Thông tin và Truyền thông, Trường Đại học Bách khoa Hà Nội. Trong đó có 30 bạn nữ và 30 bạn nam. Tất cả đều đã được hướng dẫn sử dụng thành thạo công cụ đánh giá và hiểu về phương pháp đánh giá. Các câu tiếng Việt tổng hợp có cảm xúc được sắp xếp, người tham gia sau khi nghe xong từng câu sẽ đánh giá 02 yếu tố: Chất lượng âm thanh và mức độ biểu đạt cảm xúc. Hệ thống sẽ tự động cập nhật cơ sở dữ liệu sau khi có kết quả và chuyển sang câu tiếp theo. Nội dung đánh giá bao gồm 54 câu chia đều cho 3 cảm xúc: vui, buồn và bình thường (không cảm xúc).
Để thực hiện đánh giá tự động, tác giả xây dựng phần mềm đánh giá dựa trên quy trình bên trên. Các bước đánh giá bao gồm:
• Bước 1: Truy cập đường link: http://103.159.51.183:5000/, giao diện chương trình được mô tả trong Hình 4.1.
• Bước 2: Đọc kỹ hướng dẫn thực hiện khảo sát trên màn hình chính.
• Bước 3: Thực hiện “Đăng nhập”.
• Bước 4: Tại màn hình đăng nhập, nhập mã token tương ứng với từng người.
• Bước 5: Nhấn nút Play (‣) để khởi chạy câu âm thanh.
• Bước 6: Thực hiện đánh giá chất lượng âm thanh và mức độ biểu đạt cảm xúc bằng cách chọn số điểm cho từng phần.
• Bước 7: Lặp lại từ Bước 5 với các câu khác.
37 Hình 3. 1: Màn hình chính và hướng dẫn khảo sát.
Hình 3. 2: Màn hình thực hiện khảo sát.
3.2. Tổng hợp kết quả đánh giá
3.2.1. Thang đo Mean Opinion Score (MOS)
Khi thực hiện khảo sát này, tác giả đã sử dụng thang đo MOS – một thang đo được dùng trong chất lượng trải nghiệm, đại diện cho chất lượng tổng thể của một hệ thống. Người nghe sẽ đánh giá mức độ thể hiện cảm xúc của từng câu với thang điểm 1, 2, 3, 4, 5 tương ứng với các mức rất kém, kém, đạt, tốt, rất tốt. Tác giả
38 cũng sử dụng thêm 1 bộ thang điểm tương tự để đánh giá chất lượng tiếng nói tổng hợp.
Tác giả sử dụng 13 câu ngoài tập huấn luyện và 5 câu nằm trong tập huấn luyện (Đó là các câu mang mã ID: 02, 04, 05, 10, 15). Việc sắp xếp các mã câu theo thứ tự ngẫu nhiên để tăng tính khách quan cho đánh giá.
Để có thể thực hiện những phân tích chuyên sâu hơn, tác giả đánh giá kết quả chất lượng âm thanh và mức độ biểu đạt trên 30 bạn nam và 30 bạn nữ riêng. Kết quả thu được cho thấy sự khác nhau trong khoảng điểm của người đánh giá nam và khoảng điểm của người đánh giá nữ. Trong từng bảng, phần màu xanh biểu thị cho cảm xúc được đánh giá điểm cao nhất trong từng khía cạnh. Các ô màu cam là những câu nằm trong bộ dữ liệu huấn luyện. Tổng hợp đánh giá về khía cạnh mức độ dễ hiểu, độ tự nhiên của âm thanh trong bảng 3-1 và bảng 3-2. Tổng hợp đánh giá về mức độ biểu đạt cảm xúc trong bảng 3-3 và bảng 3-4.
STT Mã
câu Nội dung BT Buồn Vui
1 1 Anh đã biết chuyện gì chưa 4.3 ± 0.79 3.87 ± 0.94 4.17 ± 0.87 2 3 Anh đến đón em nhé 4.27 ± 0.87 3.67 ± 1.15 4.1 ± 0.8 3 6 Có chuyện gì thế hả 4.17 ± 1.02 3.97 ± 1.03 3.83 ± 1.21 4 7 Sinh viên trường đại học bách
khoa hà nội 4.4 ± 1.04 3.93 ± 1.2 4.1 ± 1.06 5 8 Những chiếc lá rụng đầy sân nhà 3.9 ± 1.27 3.77 ± 1.22 3.83 ± 1.21 6 9 Ông nói gì thế tôi không hiểu 4.33 ± 0.84 4.2 ± 0.96 4.1 ± 1.03 7 11 Cuộc sống quan trọng nhất là sự
lựa chọn 3.83 ± 1.44 3.8 ± 1.19 3.83 ± 1.23 8 12 Cuộc sống này đôi khi tràn đầy
niềm vui 4.0 ± 1.14 4.1 ± 0.92 3.5 ± 1.38 9 13 Vườn hoa trước nhà 3.7 ± 1.24 3.6 ± 1.16 3.23 ± 1.3 10 14 Ngày mai họ sẽ là những nhà tân
vương của giải đấu 4.2 ± 1.16 3.97 ± 1.16 3.87 ± 1.22 11 16 Một ngôi sao sáng trên bầu trời
đầy sao 4.4 ± 0.81 4.2 ± 0.89 4.17 ± 1.18 12 17 Tôi tin anh sẽ vượt qua nỗi buồn
này 4.27 ± 0.87 4.1 ± 0.88 3.73 ± 1.08
13 18 Các cầu thủ đang cảm thấy rất
phấn khích 4.33 ± 0.96 4.23 ± 1.04 4.17 ± 1.05 14 2 Sao lại không được gì 3.93 ± 0.98 3.4 ± 1.28 4.17 ± 0.83 15 4 Lại phải chờ hả anh 4.37 ± 0.67 4.2 ± 0.85 4.43 ± 0.73 16 5 Hạnh phúc phải tìm trong chông
gai 3.53 ± 1.38 3.83 ± 0.91 4.07 ± 0.94
17 10
Hôm nay chẳng làm được việc gì
39 18 15 Người như vậy không thay đổi
được đâu 4.3 ± 0.95 3.97 ± 1.1 3.17 ± 1.44
Average 4.14 ± 0.26 3.94 ± 0.23 3.91 ± 0.34