Mô hình tham chiếu rút gọn (RR) như Hình 14 thực hiện đánh giá khách quan chất lượng hình ảnh bằng cách so sánh hình ảnh đã xử lý bị bóp méo do mã hóa và tổn thất truyền tải với một lượng nhỏ thông tin trích xuất từ các hình ảnh nguồn. Do mô hình RR sử dụng các đặc tính của các hình ảnh nguồn và tín hiệu hình ảnh suy giảm, nên nó là khá chính xác, mặc dù không được chính xác bằng mô hình FR.
Các đặc tính cụ thể được trích xuất từ cả hình ảnh nguồn lẫn tín hiệu đã xử lý. Các dữ liệu tham chiếu liên quan đến các thông số tại điểm A được báo hiệu đến hệ thống đo tại điểm B để cho phép so sánh các thông số tại điểm cuối của chuỗi. Các thông số có thể gồm: đặc tính khối, thông tin tín hiệu không gian, thời gian, tạp nhiễu.
49
A
A
B
B
Hình 14. Mô hình tham chiếu rút gọn
5.1.3 Mô hình không tham chiếu ( Non(Zero) _ reference)
Các giải thuật cho mô hình không tham chiếu nói chung phù hợp cho việc giám sát, phân tích trực tuyến chất lượng video tại đầu cuối (in-service). Kiểu thuật toán này có thể xem xét các yếu tố ảnh hưởng ít hơn thuật toán trong mô hình tham chiếu đầu đủ, chính vì thế mà mô hình này có thể triển khai trong nhiều ngữ cảnh hơn. Thiết kế các giải thuật cho mô hình không tham chiếu là một công việc khó khăn, chính vì thể mà hiện tại chỉ có một vài phương pháp được đề xuất [16][17][18][19], một vài công ty đưa vào trong sản phẩm thương mại của họ [26][27][28] và được coi là bí mật công nghệ.
Hình 15. Mô hình không tham chiếu
5.2 Một số phương pháp đánh giá khách quan chất lượng hình ảnh trong các ứng dụng đa phương tiện ứng dụng đa phương tiện
Có 5 tổ chức đề xuất mô hình đánh giá khách quan chất lượng hình ảnh trong các ứng dụng đa phương tiện bao gồm:
- NTT (Nhật Bản) với Mô hình FR - NTT_QE;
- OPTICOM (Đức) với Mô hình FR - PEVQ phiên bản 3.4; - SwissQual (Thụy Sỹ) với Mô hình FR - Vquad;
- Tektronix (Mỹ) với Mô hình FR - VQEG.bat phiên bản 2.5.93;
50
Mô hình RR - Yonsei_RR56k, Yonsei_RR128k & Yonsei_RR256k.
Ngoài ra, mặc dù chưa được tiêu chuẩn hóa, tuy nhiên có rất nhiều nghiên cứu về các phương pháp đánh giá theo mô hình NR, trong khuôn khổ luận văn các phương pháp đánh giá theo mô hình NR được đề cập đến bao gồm:
- Phương pháp đánh giá chất lượng hình ảnh tự nhiên NIQE
5.2.1 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật FR-NTT
Hình 16. Giải thuật NTT trong đánh giá khách quan chất lượng video trong các ứng dụng đa phương tiện
Thuật toán NTT được đưa ra trong Hình 16. Cụ thể, phương pháp này đánh giá chất lượng video bị ảnh hưởng bởi biến dạng video thông qua các bước sau:
Bước 1: Quá trình căn chỉnh không gian/thời gian giữa các video tham chiếu và video bị biến dạng .
Bước này sắp xếp, căn chỉnh các điểm ảnh và khung hình của video tham chiếu và video bị biến dạng để có thể so sánh chúng một cách thích hợp, đồng thời loại bỏ nhiễu nhằm loại các ảnh hưởng của nhiễu tần số cao trong video bị biến dạng mà con người không thể nhận biết. Ngoài ra trong bước này cũng thực hiện hiệu chỉnh tăng/lệch phù hợp với giá trị điểm ảnh của video tham chiếu so với video bị biến dạng. Quá trình hiệu chỉnh này loại bỏ ảnh hưởng do sự sắp xếp màu ở trong bộ giải mã hay hiển thị (bao gồm cả card video).
Bước 2: Xác định các thông số đánh giá chất lượng mã hóa, bao gồm: 1) Tỷ lệ tín hiệu lớn nhất trên nhiễu PSNR
2) Giá trị Biến dạng khối Log (-Min_HV)
Giá trị này cho biết độ biến dạng khối bằng cách tính toán tỷ lệ giữa các cạnh ngang, cạnh dọc (HV) và các cạnh khác.
3) Năng lượng chuyển động trung bình của khối (Ave_MEB)
51
và biến dạng cục bộ. Để tính toán giá trị này cần cần tính toán độ sáng khác nhau giữa các khung trên mỗi khối 8x8 điểm ảnh, việc này được thực hiện trên cả video tham chiếu và video đã qua xử lý.
4) Sự biến thiên năng lượng cục bộ (FV_LME)
Thông số này phản ánh sự biến thiên thời gian của biến dạng không gian cục bộ và mô tả mức độ biến đổi của méo không gian trong chuỗi.
5) Độ dài đóng băng
Giá trị của thông số này thể hiện sự suy giảm tốc độ khung và sự đóng băng khung hình bằng việc chỉ sử dụng tín hiệu video suy giảm cho quá trình căn chỉnh. Quá trình này sẽ đưa ra thông số liên quan đến đóng băng khung hình
Bước 3 Đánh giá sự biến dạng liên quan đến mất gói tin.
Bước này bắt nguồn từ hai thông số thêm vào liên quan đến sự biến dạng video gây ra do mất gói tin.
(1) Biến dạng khối cục bộ, xảy ra trong các khung hình cụ thể nhận được từ sự tính toán mức độ thay đổi thời gian trong tất cả các khung hình khi thay đổi độ sáng từ khung này tới khung kia, giữa các video bị biến dạng và video tham chiếu.
(2) Sự biến dạng ở dạng đóng băng và biến đổi tốc độ khung hình nhận được bằng cách tính toán thời gian khi video cần đánh giá hiển thị cùng một hình ảnh trong khi hình ảnh tham chiếu thay đổi.
Bước 4: Ước lượng chất lượng tổng thể
Bước này ước lượng toàn bộ ảnh hưởng suy giảm chất lượng bằng cách tính toán tổng trọng số của năm thông số đặc trưng thu được tại bước 2 và 3.
5.2.2 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật FR-PEVQ ứng dụng đa phương tiện theo giải thuật FR-PEVQ
Mô hình PEVQ được thiết kế để dự đoán ảnh hưởng của suy hao đường truyền đến chất lượng hình ảnh theo cảm nhận của con người. Mục tiêu chính của nó là các ứng dụng đa phương tiện di động và IPTV. Các tính năng chính của PEVQ là:
- Đồng chỉnh thời gian của các cảnh hình ảnh đầu vào nhanh chóng và đáng tin cậy dựa trên phân tích tương quan đặc tính đa chiều với giới hạn đạt được vượt xa những người được thử nghiệm bởi VQEG, đặc biệt là đối với việc xử lý cắt xén thời gian, đóng băng khung hình và bỏ qua khung hình.
- Đồng chỉnh không gian toàn khung.
- Thuật toán đồng chỉnh màu sắc dựa trên biểu đồ tích lũy. - Tăng cường ước lượng và đánh giá tốc độ khung hình.
52
- Phát hiện và cảm nhận chính xác trọng số của khung hình bị đóng băng và bỏ qua.
- Chỉ cần sử dụng bốn chỉ số để phát hiện chất lượng hình ảnh. Những chỉ số hoạt động trong các miền khác nhau (thời gian, không gian, màu sắc) và được kích thích bởi hệ thống thị giác con người. Tính chất mặt nạ nhận thức của HVS được mô phỏng ở các giai đoạn của thuật toán. Những chỉ số này được tích hợp bằng cách sử dụng một thuật toán kết hợp không gian và thời gian phức tạp.
Trong giai đoạn đầu thuật toán thực hiện các bước đồng chỉnh trong các miền khác nhau và thu thập thông tin về khung hình đóng băng hoặc bỏ qua khung hình. Trong bước thứ hai, các hình ảnh được đồng bộ và cân bằng được so sánh sự khác biệt của hình ảnh về độ sáng cũng như màu sắc, đưa ảnh hưởng của mặt nạ và chuyển động vào tính toán. Điều này dẫn đến một tập hợp các chỉ số mô tả các khía cạnh chất lượng nhất định. Bước cuối cùng là kết hợp của các chỉ số riêng vào hàm phi tuyến tính để thu được MOS cuối cùng.
PEVQ được phát triển cho các ứng dụng đa phương tiện bởi Roland Bitto của OPTICOM và được xây dựng trên một thước đo chất lượng truyền hình trước đó đã được phát triển bởi Tiến sĩ các John Beerends và Andries Hekstra từ KPN. PEVQ có thể triển khai hiệu quả mà không phải hy sinh sự chính xác dự báo và đã được chấp nhận rộng rãi bởi ngành công nghiệp viễn thông di động.
Hiện nay hãng OPTICOM đã sản xuất rất nhiều thiết bị đo đánh giá chất lượng video theo giải thuật này. Nguyên lý hoạt động cũng như cấu hình đo của các thiết bị theo Hình 17 và Hình 18.
Hình 17. Nguyên tắc hoạt động của các thiết bị đo chất lượng video theo giải thuật PEVQ
53
Hình 18. Cấu hình đo theo giải thuật PEVQ
5.2.3 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo FR-SwissQual ứng dụng đa phương tiện theo FR-SwissQual
Mô hình này dự đoán chất lượng hình ảnh được cảm nhận bởi các chủ thể có kinh nghiệm. Mô hình dự đoán sử dụng mô hình tâm lý thị giác và khả năng cảm thụ để mô phỏng cảm nhận chủ quan.
Bằng cách tiếp cận tham chiếu đầy đủ, mô hình so sánh đầu vào hoặc hình ảnh tham chiếu chất lượng cao và cảnh hình ảnh bị suy giảm tương ứng trong điều kiện đo kiểm. Các đầu vào bao gồm các cảnh hình ảnh tham chiếu và suy giảm chất lượng (hoặc đã xử lý). Các bước xử lý khác nhau cung cấp ở đầu ra của mô hình chính, đó là điểm dự đoán.
Ước lượng điểm dựa trên cơ sở các bước sau:
1) Trước tiên, các cảnh hình ảnh được tiền xử lý. Đặc biệt, nhiễu được loại bỏ bằng cách lọc các khung và các khung lấy mẫu đại diện.
2) Thực hiện đồng chỉnh khung thời gian giữa cảnh hình ảnh tham chiếu và cảnh hình ảnh đã qua xử lý.
3) Thực hiện đồng chỉnh khung không gian giữa khung hình ảnh đã qua xử lý và khung hình ảnh tham chiếu tương ứng.
54
nhau cục bộ và sai khác cục bộ, cảm thụ bởi cảm nhận thị giác.
5) Thực hiện phân tích phân bố các đặc tính giống nhau và sai khác cục bộ. 6) Đo suy giảm chất lượng không gian toàn cục bằng cách sử dụng đặc tính khóa chặn.
7) Đo suy giảm chất lượng thời gian toàn cục bằng cách sử dụng đặc tính độ giật (jenkiness). Đo độ giật bằng cách đánh giá cường độ chuyển động cục bộ, toàn cục và số lần hiển thị khung.
8) Điểm chất lượng được ước tính dựa trên cơ sở tập hợp phi tuyến của các đặc tính trên.
9) Để tránh dự báo sai trong trường hợp sai lệch đồng chỉnh không gian tương đối lớn giữa cảnh hình ảnh tham chiếu và cảnh hình ảnh đã qua xử lý, các bước trên được tính toán cho 3 đồng chỉnh không gian theo chiều ngang và dọc khác nhau của cảnh hình ảnh và điểm được dự đoán lớn nhất trong số tất cả vị tri không gian là điểm chất lượng được ước lượng cuối cùng.
5.2.4 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo FR-Tektronix ứng dụng đa phương tiện theo FR-Tektronix
Phương pháp này có độ chính xác và khả năng thích nghi cao. Cấu hình bao gồm đồng chỉnh không gian, mô phỏng màn hình hiển thị, quan sát, nhận thức và tóm tắt. Đồng chỉnh thời gian có khả năng xử lý nhiều khung hình bị đóng băng và khung hình bỏ qua đang được phát triển.
5.2.5 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo Yonsei ứng dụng đa phương tiện theo Yonsei
Trong các mô hình Yonsei FR và RR, thuật toán tách đường biên được áp dụng đầu tiên cho cảnh hình ảnh nguồn để xác định vị trí các khu vực biên. Các đặc tính được trích xuất từ các khu vực biên này và truyền cùng với các đặc tính khác. Sau đó sự suy giảm của các khu vực biên được đo bằng cách tính toán sai số trung bình bình phương. Từ sai số này, tính được PSNR biên. Hơn nữa, mô hình sử dụng các đặc tính bổ sung để điều chỉnh EPSNR để đưa ra số đo chất lượng hình ảnh cuối cùng.
Mô hình này hiệu quả về tốc độ và có thể được thực hiện trong thời gian thực, tiêu tốn rất ít thời gian của CPU.
Mặc dù một số suy yếu bất ngờ làm giảm hiệu suất tổng thể, nhưng nó có thể khắc phục dễ dàng, kết quả là cải thiện được hiệu năng.
5.2.6 Phương pháp đánh giá chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật NR-BLINDSII phương tiện theo giải thuật NR-BLINDSII
55
hệ số biến đổi cosin rời rạc từ hình ảnh và một mô hình suy luận Bayes đơn giản để dự đoán mức chất lượng hình ảnh từ các đặc tính trích xuất. Các đặc tính dựa trên một mô hình NSS của các hệ số DCT của hình ảnh. Các thông số ước lượng của mô hình sử dụng để tạo thành các đặc tính mô phỏng chất lượng cảm nhận con người. Những đặc tính này được sử dụng trong phương pháp suy luận Bayes đơn giản để dự đoán mức chất lượng. Thuật toán BLIINDS-II, yêu cầu giai đoạn thử nghiệm bằng phương pháp đánh giá chủ quan để xây dựng cơ sở dữ liệu và áp dụng một mô hình xác suất đơn giản để dự đoán mức chất lượng. Với các đặc tính được trích xuất từ hình ảnh cần kiểm tra, mức chất lượng có khả năng xuất hiện nhiều nhất được chọn là điểm chất lượng dự đoán của hình ảnh đó.
Bước đầu tiên của giải thuật là tính toán hệ số biến đổi cosin rời rạc 2 chiều của hình ảnh. Giai đoạn này bao gồm việc phân vùng ảnh thành các khối kích thước n x n bằng nhau, gọi là các khối hình ảnh cục bộ, sau đó tính toán hệ số DCT 2 chiều trên mỗi khối. Việc khai thác hệ số được thực hiện cục bộ trong miền không gian. Giai đoạn thứ hai áp dụng một mô hình mật độ Gauss tổng quát cho mỗi khối hệ số DCT, cũng như cho các phân vùng cụ thể trong từng khối DCT.
Sau đó tính toán các hàm của các thông số mô hình Gaussian. Đây là những đặc tính được sử dụng để dự đoán điểm số chất lượng hình ảnh. Các đặc tính này được xác định tương ứng với sự thay đổi chất lượng hình ảnh, và tương quan với đánh giá chủ quan của con người về chất lượng. Giai đoạn thứ tư sử dụng một mô hình Bayes đơn giản để có thể dự đoán một mức điểm chất lượng cho hình ảnh. Phương pháp Bayes tối đa hóa khả năng hình ảnh có mức điểm chất lượng dựa trên các đặc tính trích xuất từ hình ảnh. Kết quả là hình ảnh có điểm chất lượng nhất định cho các đặc tính trích xuất được mô phỏng như một GGD đa chiều.
5.2.7 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật NR- NIQE ứng dụng đa phương tiện theo giải thuật NR- NIQE
Giải thuật NIQE (Natural Umage Quality Evaluator – Đánh giá chất lượng hình ảnh tự nhiên), dựa trên việc xây dựng một bộ sưu tập “nhận thức chất lượng” của các đặc tính thống kê dựa trên một mô hình thống kê phân cảnh tự nhiên (NSS – natural scene statistic) miền không gian đơn giản. Những đặc tính này có nguồn gốc từ một tập các hình ảnh nguyên bản. Kết quả thực nghiệm cho thấy phương pháp này mang lại hiệu năng tương đương phương pháp đánh giá chủ quan [7].
Phương pháp đánh giá này trước hết dựa trên việc xây dựng một bộ sưu tập các đặc tính "nhận biết chất lượng" và đưa vào một mô hình Gaussian đa biến (MVG). Các đặc tính nhận biết chất lượng có nguồn gốc từ một mô hình thống kê phân cảnh tự nhiên đơn giản nhưng rất thường gặp (NSS). Chất lượng của một hình ảnh cần đánh giá sẽ được xác định bằng khoảng cách giữa một mô hình Gaussian đa biến (MVG)