Kỹ thuật này đánh giá chất lượng thoại sử dụng đối tượng là một số lượng lớn người nghe, sử dụng phương pháp thống kê để tính điểm chất lượng. Điểm đánh giá bình quân của nhiều người được tính là điểm Mean Opinion Scoring (MOS). Kỹ thuật thực hiện tính điểm MOS được mơ tả trong khuyến nghị P.800 của ITU. Khuyến nghị P.830 thể hiện các phương pháp cụ thểđể đánh giá chất lượng thoại cho các bộ mã hĩa. Cả hai khuyến nghị ITU này mơ tả: phương thức đánh giá, cách tính điểm theo phương thức đánh giá chủ quan, giá trị của điểm, tính chất của các mẫu thoại được sử dụng đểđánh giá và các điều kiện khác mà việc kiểm tra chất lượng được thực hiện.
Phương thức đánh giá theo MOS cĩ thểđược thực hiện theo các bài kiểm tra hội thoại hai chiều hoặc bài nghe một chiều. Các bài kiểm tra nghe một chiều sử dụng các mẫu thoại chuẩn. Người nghe nghe mẫu truyền qua một hệ thống và đánh giá chất lượng tổng thể của mẫu dựa trên
thang điểm cho trước. P.800 định nghĩa một số hình thức đánh giá chất lượng thoại theo phương pháp chủ quan:
Bài kiểm tra hội thoại (Conversation Opinion Test).
Đánh giá phân loại tuyệt đối (Absolute Category Rating (ACR) Test).
Phương thức phân loại theo suy hao (Degradation Category Rating (DCR)).
Phương thức phân loại so sánh (Comparison Category Rating (CCR)).
Mỗi phương thức trên cĩ một thang điểm đánh giá. Ví dụ: phương thức đánh giá hội thoại và ACR đều cĩ thang điểm tương tự gọi là điểm hội thoại và điểm chất lượng nghe. Trong phương thức hội thoại, người nghe được hỏi về quan điểm của họđối với kết nối đang sử dụng. ACR hỏi chủ thể về chất lượng thoại. Thang điểm cho cả hai phương thức trên như sau:
Điểm đánh giá Chất lượng thoại 5 Rất tốt
4 Tốt
3 Chấp nhận được
2 Tồi
1 Rất tồi
Đây là thang điểm từ 1-5 thơng thường được sử dụng để tính MOS.
Ví dụ thứ hai là điểm nỗ lực nghe trong phương thức ACR (ACR Listening Effort Score). Trong phương thức này, chủ thểđược yêu cầu đánh giá nỗ lực của họ thực hiện để hiểu ngữ nghĩa của các câu chuẩn sử dụng làm mẫu. Thang điểm được cho như sau:
Điểm đánh giá Mức độ cố gắng cần thực hiện để hiểu câu 5 Khơng cần cố gắng 4 Cần chú ý nhưng khơng cần cố gắng nhiều 3 Cần tương đối tập trung 2 Cần tập trung 1 Khơng hiểu câu mẫu
Hiển nhiên, các thương thức cho điểm theo MOS cĩ một số nhược điểm như sau:
Phương thức này mang tính chất chủ quan vì kết quả phụ thuộc vào nhiều yếu tố khơng thể kiểm sốt của chủ thể như: trạng thái tâm lý, thái độđối với bài kiểm tra và trình độ văn hĩa. Trên thực tế, phương thức đánh giá chất lượng thoại theo thang điểm MOS khơng phải là phương thức nhất quán.
Phương thức này rất tốn kém, địi hỏi nhiều người tham gia và thiết lập phức tạp.
Khi cần thực hiện đo thường xuyên các tham số chất lượng thì việc sử dụng phương pháp đánh giá chất lượng này là khơng thực tế.
Những hạn chế của phương pháp đánh giá chất lượng thoại dựa trên MOS cho thấy cần cĩ một phương thức đánh giá khách quan, phương pháp này cĩ thể thực hiện một cách tự động để đánh giá chất lượng thoại.