Các bước tiến hành để đánh giá chất lượng hình ảnh cho các ứng dụng đa phương tiện như sau:
- Xác định một loạt các mẫu hình ảnh để tiến hành kiểm tra. - Lựa chọn một số tham số cấu hình.
- Thiết lập môi trường kiểm tra tuân thủ với các tham số cấu hình mong muốn.
- Tập hợp người tham gia vào kiểm tra. - Tiến hành kiểm tra và phân tích các kết quả.
Môi trường kiểm tra chất lượng hình ảnh chính thức tuân theo quy định trong khuyến nghị ITU- T P910 được liệt kê trong Bảng 5 . Theo những đề xuất này, các bài kiểm tra đánh giá phải được thực hiện trong một phòng đặc biệt (gọi là phòng đánh giá chất lượng), nơi có thể tạo ra những điều kiện môi trường. Để tránh làm ảnh hưởng đến đánh giá, nó cân phải cách âm với bên ngoài (mức ồn khoảng 30 dBA hoặc ít hơn). Thiết lập sử dụng để kiểm tra đánh giá chất lượng hình ảnh trong các ứng dụng đa phương tiện như Hình 4.
33
Hình 4. Đánh giá chủ quan chất lượng hình ảnh
Khi các hệ thống được đánh giá trong thử nghiệm sử dụng định dạng hình ảnh rút gọn như CIF, SIF hoặc QCIF .v.v. các chuỗi sẽ được hiển thị trên một cửa sổ của màn hình hiển thị và màu của màn hình nền nên là 50% màu xám.
Có hai phương pháp được sử dụng để kiểm tra hình ảnh từ các nguồn ghi:
a) Bằng cách truyền hoặc phát lại các bản ghi video thời gian thực thong qua các hệ thống thử nghiệm, trong khi đối tượng là đang được theo dõi và phản hồi.
b) Bằng cách xử lý off-line các nguồn ghi thông qua thiết bị thử nghiệm và bản ghi được xuất ra để tạo thiết lập ghi mới.
Trong trường hợp thứ hai, kỹ thuật số VTR có thể được sử dụng để giảm thiểu suy yếu mà được tạp ra trong quá trình ghi lại. Trong bất kỳ trường hợp nào, việc xem xét đến sự suy yếu được đưa ra bởi sự phối hợp mã hóa tốc độ thấp là thường xuyên hơn so với việc suy yếu được đưa ra bởi quá trình điều chế, các VTR chất lượng chuyên nghiệp như D2, MII có thể được sử dụng.
Bảng 5 Các điều kiện quan sát
Tham số Sự thiết lập
Khoảng cách quan sát (1) 1 – 8 H
Độ sáng cực đại của màn hình 100-200 cd/m (Chú ý 2)
Tỷ lệ độ sáng của màn hình khi không hoạt động với độ sang cao điểm.
≤ 0.05
34
Tỷ lệ độ sáng của màn hình, khi đang chỉ hiển thị mức màu đen trong một căn phòng hoàn toàn tối đen, tới mức tương ứng với cao điểm của màu trắng
≤ 0.1
Tỷ lệ độ sáng của nền phía sau hình ảnh quan sát với độ sáng cao điểm của hình ảnh (2)
≤ 0.2
Sắc độ của nền (3) D65
Ánh sáng nền của phòng ≤ 20 lux
(1): Khoảng cách quan sát phụ thuộc vào từng loại ứng dụng
(2): Giá trị này là giá trị điển hình, trong một số các ứng dụng cụ thể có thể cho phép giá trị cao hơn tùy thuộc vào ứng dụng
(3) Đối với màn hình máy tính, sắc độ của nền có thể được điều chỉnh để thích ứng với sắc độ của màn hình.
Kinh nghiệm đánh giá của đối tượng (chất lượng chủ quan) có thể rất khác nhau, ngay cả khi họ đang xem hình ảnh. Để làm giảm các biến thể của các kết quả đánh giá, một mẫu hình ảnh duy nhất phải được chấm điểm bởi một số lượng lớn của các đối tượng. Khuyến nghị ITU-R BT.500 quy định các đối tượng đánh giá phải bao gồm ít nhất 15 người không chuyên (những người không thường xuyên tham gia vào các công việc liên quan đến chất lượng hình ảnh truyền hình và không có nhiều kinh nghiệm trong các bài kiểm tra đánh giá).
Việc lựa chọn các chuỗi kiểm tra thích hợp cũng là một điểm quan trọng trong việc lên kế hoạch cho phương pháp đánh giá chủ quan. Khi kiểm tra được thực hiện với các nhóm người quan sát khác nhau hoặc trong các thí nghiệm khác nhau, nhưng điều quan trọng là cùng sử dụng một bộ các chuỗi kiểm tra có sẵn.
Một bộ các chuỗi kiểm tra dành cho việc đánh giá chủ quan chất lượng hình ảnh trong các ứng dụng đa phương tiện được khuyến nghị bởi ITU theo mô tả trong Bảng 6 . Trong bảng này, các thông tin sau được đưa ra cho mỗi chuỗi:
- Loại hình ảnh;s
- Mô tả ngắn gọn bối cảnh;
- Định dạng nguồn (525 dòng hoặc 625 dòng, định dạng [ITU-R BT.601-4]); - Các giá trị thông tin về không gian và thời gian.
Tất cả các chuỗi được liệt kê trong Bảng 6 là công khai và được sử dụng tự do cho các đánh giá và các mô tả. Một số chuỗi đề xuất được đề xuất trong thư viện CCIR được mô tả trong báo cáo [38].
Các chuỗi khác của thư viện CCIR có thể được sử dụng phù hợp cho các ứng dụng đặc
35
biệt dựa trên việc lưu trữ và tìm kiếm video.
Tập các chuỗi kiểm tra vẫn đang được nghiên cứu. Tập các chuỗi kiểm tra được liệt kê trong Bảng 6 có thể được hoàn thiện hoặc mở rộng trong tương lai.
Bảng 6 Các chuỗi kiểm tra áp dụng trong đánh giá chất lượng video của các ứng dụng đa phương tiện.
Chuỗi Loại Mô tả Định dạng gốc SI TI
washdc D
Bản đồ Wasington DC và chuyển động của bàn tay và bút chì
Betacam SP
(525-lines) 130.5 17.0
3inrow C Người đàn ông trên bàn, camera pan
Betacam SP
(525-lines) 81.7 30.8
vtc1nw A Người phụ nữ ngồi đọc mẩu tin
Betacam SP
(525-lines) 56.2 5.3
Susie A Người phụ nữ trẻ đang nói chuyện điện thoại
ITU-R BT.601-4
525-/625-lines 58.7 24.6 flower
garden E Cảnh quan, camera pan
ITU-R BT.601-4
525-/625-lines 227.0 46.4 smity2 B Nhân viên bán hàng bên bàn
với quyển tạp chí
Betacam SP
(525-lines) 154.5 35.1
Nhìn chung, phải có ít nhất 15 quan sát viên nên tham gia vào thí nghiệm. Nên chọn những người bình thường, không phải là các chuyên gia hay liên quan trực tiếp đến các công việc về chất lượng hình ảnh và không có kinh nghiệm giám định. Tuy nhiên, trong giai đoạn đầu trong sự phát triển các hệ thống truyền thông video và trong các thí nghiệm thí điểm thực hiện trước khi có một thí nghiệm lớn hơn, các nhóm chuyên gia nhỏ (4-8 người) hoặc các đối tượng quan trọng khác có thể cung cấp cách đánh giá, trình bày kết quả.
Trước khi có một cuộc thử nghiệm, các quan sát viên nên được kiểm tra thị lực, điều chỉnh để độ tinh (của mắt), thị lực bình thường trên biểu đồ Snellen hoặc Landolt và tầm nhìn màu sắc bình thường bằng cách sử dụng các biểu đồ đặc biệt được lựa chọn (ví dụ: Ishihara). Trước khi bắt đầu các phiên đánh giá, cần hướng dẫn chi tiết về những nội dung của thử nghiệm cho các quan sát viên. Một văn bản hướng dẫn có thể được đưa cho các quan sát viên được đề xuất trong Phụ lục A. Những người quan sát
36
được giới thiệu cẩn thận về phương pháp đánh giá, các yếu tố suy giảm chất lượng có khả năng xảy ra, thang đo đánh giá, tín hiệu định thời .v.v.
Trong một phiên (là một chuỗi các bài trình bày) không nên kéo dài quá nửa giờ. Khi nhiều cảnh hoặc hình ảnh được kiểm tra, thì các nội dung này được trình bày ngẫu nhiên. Thứ tự ngẫu nhiên có thể được sửa đổi để đảm bảo rằng các cảnh hay chuỗi hình ảnh tương tự không được trình bày liên tiếp.
Khuyến cáo rằng ít nhất là 2, nếu có thể thì sẽ là 3 hoặc 4 các lần lặp lại (tức là, lặp lại các điều kiện giống hệt nhau) trong quá trình thử nghiệm. Có nhiều lý do để thực hiện việc lặp lại thử nghiệm, đặc biệt là đối với các thử nghiệm sử dụng nhiều người quan sát. Các lần thử nghiệm lặp lại làm cho nó có thể tính toán độ tin cậy riêng cho mỗi đối tượng và, nếu cần thiết, để loại bỏ các kết quả không đáng tin cậy từ một vài đối tượng. Việc ước lượng của cả hai và giữa độ lệch tiêu chuẩn còn là một điều kiện tiên quyết để thực hiện phân tích chính xác sự sai lệch và khái quát kết quả đến một mức rộng hơn. Thêm vào đó, các hiệu ứng đạt được trong khi thử nghiệm là một mức độ nào đó được ổn định.
Nói chung, các phép kiểm tra chất lượng hình ảnh chủ quan được thực hiện tuân theo các hướng dẫn quy định trong khuyến nghị ITU-R BT.500-11. Hơn nữa, khuyến nghị ITU-T P.910 cung cấp các chỉ tiêu kỹ thuật hướng dẫn phương pháp thực hiện phép thử đối với hình ảnh. Khi thực hiện một cách chính quy, các phép kiểm tra định tính đưa ra đánh giá chính xác và hợp lý về phương diện sinh học chất lượng hình ảnh. Tuy nhiên, tiến hành kiểm tra một cách chính quy sẽ tiêu tốn thời gian và đòi hỏi các phương tiện đặc biệt.
4.2 Một số phương pháp đánh giá chủ quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện
4.2.1 Phương pháp đánh giá phân loại tuyệt đối (ACR)
Phương pháp ACR được quy định trong khuyến nghị ITU-T P.910 (còn gọi là phương pháp tác nhân kích thích đơn) là một trong các phương pháp được sử dụng rộng rãi nhất để đánh giá chất lượng dịch vụ viễn thông. Như trong Hình 5, các đối tượng xem đoạn hình ảnh được đánh giá trong vòng 10 giây và trong khoảng thời gian 10 giây, sau đó họ đánh giá hình ảnh theo thang chất lượng 5 mức như trong Bảng 7 . Trong các kết quả đánh giá, số lượng bình chọn của các đối tượng trong mỗi thể loại được đánh trọng số bởi các điểm số đánh giá và được biểu diễn bằng điểm đánh giá. Từ khi hiệu ứng chuyển cảnh được biết đến, điểm số đánh giá chất lượng hình ảnh bị ảnh hưởng bởi chất lượng hình ảnh trước đó (một hình ảnh có chất lượng suy giảm nhẹ có xu hướng đạt được điểm đánh giá cao hơn khi nó được xem ngay sau một hình ảnh
37
chất lượng rất thấp so với khi được xem sau một hình ảnh có chất lượng rất tốt), có thể loại bỏ hiệu ứng này bằng cách thay đổi trình tự trình chiếu của các đoạn hình ảnh đánh giá một cách ngẫu nhiên đối với từng đối tượng đánh giá, hoặc lặp lại việc đánh giá cho các hình ảnh tương tự trong một trình tự khác.
Do không có tiêu chuẩn đánh giá chất lượng hình ảnh trong phương pháp ACR, nên các kết quả đánh giá ảnh hưởng mạnh đến phạm vi biến đổi chất lượng hình ảnh được đánh giá khi đo kiểm. Vì vậy, phải cẩn thận khi so sánh các kết quả đánh giá trong các đo đạc khác nhau. Khi các đánh giá ACR được thực biện bởi nhiều tổ chức, phải thực hiện các bước sơ bộ để đảm bảo rằng cùng một phạm vi biến đổi chất lượng được thực hiện bởi một tổ chức.
Thời gian 10 giây 10 giây 10 giây ≤ 10 giây Bình chọn ≤ 10 giây Bình chọn ≤ 10 giây Bình chọn Hình ảnh A Hình ảnh B Hình ảnh C Một đơn vị đánh giá
Hình 5. Trình chiếu trong phương pháp ACR
Bảng 7 Thang đo chất lượng 5 mức theo phương pháp ACR
Điểm số đạt được Đánh giá
5 Xuất sắc
4 Tốt
3 Khá tốt
2 Kém
1 Xấu
Các chỉ số chất lượng điểm lựa chọn trung bình (MOS) được thể hiện trên Hình 6, trong đó minh họa ví dụ về các đặc điểm MOS thu được theo phương pháp ACR. Một giá trị MOS bằng 3,5 có nghĩa là có khoảng 90% số người đưa ra đánh giá “3: Khá tốt” hoặc cao hơn. Ngược lại có khoảng 10% đưa ra đánh giá “2: Kém” hoặc thấp hơn. Do đó, bằng việc thiết kế chất lượng dịch vụ để đạt được điểm số MOS thấp nhất là 3,5 có thể đảm bảo rằng tỷ lệ không quá 10% số người đánh giá chất lượng dịch vụ
38
là kém. Đối với điểm số MOS bằng 2,5, có khoảng 50% số người đưa ra đánh giá tối thiểu là “3: Khá tốt” và khoảng 50% số người đưa ra đánh giá “2: Kém” hoặc thấp hơn. Điểm số MOS bằng 2,5 đôi khi được gọi là giới hạn chấp nhận được.
2: Kém hoặc cao hơn 3: Khá tốt hoặc cao hơn 4: Tốt hoặc cao hơn 5: Xuất sắc
Điểm lựa chọn trung bình (MOS)
T ỷ lệ c ủ a cá c đ ối t ư ợn g (% )
Hình 6. Ví dụ về đặc tính MOS trong phương pháp ACR