Mức độ cảm nhận đối với kênh IPTV Điểm SAMVIQ Điểm MOS
Xuất sắc (Excellent) 80-100 5
Tốt (Good) 60-80 4
Trung bình (Fair) 40-60 3
Tạm chấp nhận (Poor) 20-40 2
Kém (Bad) 0-20 1
Đặc điểm chủ yếu của SAMVIQ là cách thức mà các đoạn video được trình bày cho người thực hiện đánh giá. Người đánh giá có thể lựa chọn để xem các đoạn video khác nhau. Mỗi đoạn video được người đánh giá cho điểm, so sánh với đoạn video
chuẩn (có điểm 100). Mỗi đoạn video, trừ đoạn video chuẩn, được làm suy giảm để có chất lượng khác nhau. Thơng qua phương tiện xem, người đánh giá có thể xem các đoạn video khác nhau và cho điểm theo quan điểm riêng của mình. Hình 3.1 trình bày cách thức tổ chức đánh giá để người thực hiện đánh giá có thể bấm các nút khác nhau để xem các đoạn video với các điều kiện kiểm tra khác nhau. Người đánh giá không biết được điều kiện các đoạn video tại thời điểm đánh giá nhằm việc đánh giá được chính xác.
Hình 3. 1. Tổ chức kiểm tra trong SAMVIQ
SAMVIQ là phương pháp mới nhưng đã phát triển nhanh chóng và trở thành một tiêu chuẩn quan trọng được dùng trong việc đánh giá chủ quan.
3.2. Giới thiệu về JND
Khái niệm về ngưỡng khác biệt (JND - Just Noticeable Difference) được dùng để chỉ một sự thay đổi nhận thức / sự khác biệt tối thiểu giữa hai tác nhân kích thích có thể được phát hiện bởi một con người. Giả sử rằng xi và xj là cường độ vật lý của kích thích i và kích thích j. Khi một người cảm nhận kích thích i, các "cường độ cảm nhận"
(xi) là cường độ thực tế được đánh giá bởi người đó. Khi cường độ kích thích xi và
xj đủ lớn, một người có thể cảm nhận sự khác biệt giữa kích thích i và j, lúc đó:
J = (xi) - (xj). (3.1)
Gọi 𝑝 là xác suất khác biệt cảm nhận được giữa hai kích thích được phát hiện. Theo "luật phán xét so sánh" của Thurstone [15], xác suất 𝑝 theo J được xác định theo biểu thức 3.3: Mẫu gốc Tham chiếu ẩn Điều kiện KT1 Điều kiện KT2 Điều kiện KTn Các đoạn video KT
Ref Ref Ref Ref Ref
𝒑 = 𝑪 [ 𝑱
√𝟐 ] (3.3)
Trong đó C [.] là hàm mật độ xác suất bình thường tích lũy. Với mối quan hệ này, rõ ràng là khi J tăng lên thì 𝑝 cũng tăng, giá trị lớn nhất 𝑝 có thể đạt được là 1.
Thơng thường, sự khác biệt về cảm nhận có thể được xác định bằng các thí nghiệm chủ quan bắt buộc lựa chọn, trong đó quan sát nhiều lần hai hình ảnh hiển thị cùng nội dung nhưng có chất lượng khác nhau và yêu cầu chọn một khung hình có cất lượng cao hơn (hoặc thấp hơn). Xây dựng ở trên cho thấy rằng xác suất 𝑝 thu được từ thử nghiệm chủ quan có thể được ánh xạ tới các giá trị JND. Theo định nghĩa [9] [10], J bằng một đơn vị JND tương ứng với một xác suất 𝑝 bằng 75% (hoặc tỷ lệ 75% -25%). Trong thực tế, J có thể được tính từ 𝑝 bằng phương trình sau đây [16]:
𝐉 = 𝟏𝟐
𝛑 ∙ 𝐬𝐢𝐧−𝟏(√𝐩) − 𝟑. (3.4)
Mối quan hệ giữa 𝑝 và J sử dụng phương trình 3.4 được thể hiện trong Hình 3.5, giá trị của J được giới hạn trong khoảng [-3, 3]. Mối quan hệ giữa 𝑝 và J đáng tin cậy và chính xác nhất nằm trong phạm vi [-1.5, 1.5] (đơn vị JND) theo phân bố của hàm Gaussian [9]. Càng dần ra xa phạm vi [-1.5, 1.5] thì mức độ tin cậy của mỗi quan hệ này càng giảm.
Hình 3. 2. Mối quan hệ giữa cảm nhận sự khác biệt J và
Trong chương này, phương trình 3.4 sẽ được sử dụng để ước tính sự khác biệt giữa hai phiên bản video. Người thực hiện đề tài sẽ tập trung vào giá trị khác biệt trong khoảng [0, 1,5]. Tuy nhiên, để duy trì một thử nghiệm đáng tin cậy hơn, người thực hiện đề tài chỉ xem xét đơi kích thích với sự khác biệt về cảm nhận J trong phạm vi hẹp hơn, xét trong khoảng [0.4, 1.5] (tức là xác suất 𝑝 giữa 60% và 85%).
Thông thường, một bản mẫu JND cho mỗi điểm, hoặc trong vùng điểm ảnh, hoặc chuyển đổi tên miền, được đưa ra dựa vào sự nhạy cảm của thị giác và các hiệu ứng mặt nạ. Bên cạnh đó, phương pháp mã dự đốn chất lượng cũng sử dụng cho mơ hình JND để có được một bản mẫu JND giữa một phiên bản có chất lượng giảm xuống và một phiên bản tham chiếu (có chất lượng cao hơn), sau đó được sử dụng để ước tính sự thay đổi về cảm nhận [18].
Sự biến dạng của các phiên bản video được điều khiển bởi tham số lượng tử hóa (QP) rời rạc của bộ mã hóa video. Số lượng các QP được sử dụng trong thực tế là không nhiều, phương pháp lấy mẫu mô tả trong [15] được thông qua trong các thử nghiệm chủ quan trong luận văn này.
3.3. Quy trình thử nghiệm chủ quan 3.3.1. Tổng quan về thử nghiệm 3.3.1. Tổng quan về thử nghiệm
Một thử nghiệm chủ quan thường được thực hiện một cách lặp đi lặp lại. Trong mỗi lần lặp của các thử nghiệm, người thực hiện đề tài sử dụng hai phiên bản video hiển thị đồng thời để tìm ra bản video tối ưu nhất thông qua cảm nhận của người xem. Hai phiên bản video trong mỗi lần đánh giá có những giá trị khác biệt thơng qua cảm nhận (trong đơn vị JND). Giữa hai phiên bản, một được gọi là phiên bản video tham chiếu và một được gọi là phiên bản video mục tiêu. Phiên bản mục tiêu có chất lượng thấp hơn được so sánh với phiên bản tham chiếu để đo lường chất lượng thông qua cảm nhận của người xem. Trong trường hợp người xem không phân biệt được sự khác nhau về chất lượng giữa hai phiên bản video thì người thực hiện đề tài sẽ tiến hành tạo thêm một phiên bản video mới có chất lượng thấp hơn phiên bản mục tiêu của lần
đánh giá trước, sử dụng phiên bản mục tiêu của lần đánh giá trước làm phiên bản video tham chiếu cho lần đánh giá tiếp theo. Trong thử nghiệm, người thực hiện đề tài sẽ bắt đầu từ phiên bản video có chất lượng cao nhất cho phiên bản video có chất lượng thấp nhất. Người đánh giá được lựa chọn để đánh giá chất lượng video khơng có kiến thức chuyên môn, không biết giữa hai phiên bản video đâu là phiên bản tham chiếu và đâu là phiên bản mục tiêu, hai phiên bản video được phân bố ngẫu nhiên. Video dùng để đánh giá được làm giảm chất lượng bằng cách mã hóa theo các giá trị QP khác nhau. Vì số lượng các giá trị QP là không nhiều trong thực tế, phương pháp lấy mẫu sẽ không dẫn đến một phiên quá dài cho các đối tượng thử nghiệm. Hơn nữa, trong [8], một người cần phải liên tục đánh giá mỗi cặp kích thích nhiều lần để có được một kết quả đáng tin cậy cho sự khác biệt về cảm nhận của họ. Với cách này kết quả trong mỗi lần thử nghiệm rất tốn thời gian, dẫn đến một người có thể cung cấp cho câu trả lời không đáng tin cậy. Để tránh hiện tượng này, trong thử nghiệm, để có được kết quả đáng tin cậy về cảm nhận sự khác biệt của hai tác nhân kích thích, người thực hiện đề tài yêu cầu một nhóm người tiến hành đánh giá các cặp kích thích cùng một lúc, và xác suất thu được bằng số lượng câu trả lời đúng trên tổng số câu trả lời. Nếu sự khác biệt là nhỏ hơn 0.4, phiên bản mục tiêu được thay thế bằng phiên bản thử nghiệm tiếp theo với QP cao hơn. Nếu sự khác biệt nằm trong khoảng [0.4, 1.5], các phương pháp trên được xem là đáng tin cậy, sau đó phiên bản mục tiêu được thay đổi thành phiên bản tham chiếu và các phiên bản mới mục tiêu bây giờ là phiên bản thử nghiệm tiếp theo với QP cao hơn. Bất cứ khi nào một phiên bản tham chiếu được thay thế bằng một phiên bản mục tiêu, người thực hiện đề tài gọi nó là một chìa khóa lấy mẫu điểm.
3.3.2. Thiết bị thí nghiệm
Để tự động hóa q trình này, người thực hiện đề tài đã phát triển một hệ thống client- server sử dụng công nghệ Web. Máy chủ lưu trữ các phiên bản video khác nhau và hai trang web, một được gọi là trang web điều khiển (thực hiện bằng cách sử dụng PHP) và một trang web dành cho người đánh giá (thực hiện bằng cách sử dụng
HTML5). Trang web điều khiển có giao diện dành riêng cho người quản lý thử nghiệm để kiểm sốt tồn bộ thí nghiệm. Mỗi người xem sẽ sử dụng một thiết bị đầu cuối (client) để truy cập vào trang web thử nghiệm của máy chủ. Trên trang web này, phiên bản tham chiếu và phiên bản mục tiêu được hiển thị bên cạnh nhau. Phía dười video là một câu hỏi "Video nào có chất lượng tốt hơn? O video1 O video2 ". Có hai nút lựa chọn (video1 và video2) để cho người xem gửi câu trả lời. Sau mỗi lần lặp, người xem sẽ gửi thông tin phản hồi đến máy chủ, nơi các kết quả được xử lý và hiển thị trên trang web điều khiển. Tùy thuộc vào kết quả, trang web điều khiển sẽ thay đổi phiên bản thử nghiệm, được hiển thị và yêu cầu người quản lý thử nghiệm để làm mới trang web thử nghiệm.
Các trang web điều khiển có thể được cấu hình hồn tồn tự động trong q trình đánh giá. Nhưng, người thực hiện đề tài sẽ cấu hình sao cho các trang web được kiểm sốt của con người. Bởi vì, nếu có bất kỳ người tham gia đánh giá “có vấn đề”, người đó sẽ bị loại bỏ hoặc tạm thời dừng lại q trình đánh giá. Ngồi ra, điều này cho phép người quản lý thử nghiệm có thể điều chỉnh tốc độ kiểm tra theo phản ứng và thái độ của người tham gia. Ví dụ, nếu một số người đang mệt mỏi, khoảng thời gian nghỉ giữa các lần đánh giá sẽ được tăng lên.
3.3.3. Các nội dung chuẩn bị cho quá trình thử nghiệm
Căn cứ váo thảo luận ở trên, các nội dung chuẩn bị cho quá trình thử nghiệm chủ quan được thực hiện như sau:
1. Mỗi người xem được yêu cầu ngồi xuống ở một thiết bị đầu cuối.
2. Phát đồ uống cho từng đối tượng để cung cấp một bầu khơng khí thoải mái. 3. Người xem được cung cấp một tài liệu hướng dẫn ngắn gọn, giải thích mục
đích của thử nghiệm.
4. Hướng dẫn người xem thực hiện đánh giá.
5. Trong lần đánh giá đầu tiên, hai phiên bản video có các giá trị QP thấp nhất được đưa ra để dánh giá.
6. Những người tham gia được yêu lựa chọn đáp án cho câu hỏi "Video nào, bên trái hay bên phải, có chất lượng thấp hơn?". Sau khi tất cả những người tham gia đã trả lời, tỷ lệ tương ứng giá trị và sự khác biệt được hiển thị trên trang web điều khiển.
7. Nếu sự khác biệt là nhỏ hơn 0.4, phiên bản mục tiêu được thay thế bằng phiên bản tiếp theo có QP cao hơn. Ngược lại, phiên bản mục tiêu được thay đổi thành phiên bản tham chiếu và lựa chọn phiên bản mục tiêu mới có QP cao hơn để thực hiện lần đánh giá tiếp theo.
3.4. TIẾN HÀNH THỬ NGHIỆM 3.4.1. Nội dung chuẩn bị 3.4.1. Nội dung chuẩn bị
Trong thí nghiệm này, các cảnh quay video được lựa chọn có các đặc điểm khác nhau, nó thể hiện trong Bảng 3.5.