Đang tải... (xem toàn văn)
Bài viết trình bày việc phát triển mô hình dự đoán chất lượng hình ảnh video khi nén bằng mạng Neural tích chập trích chọn đặc trưng thị giác của khối ảnh từ đó đề xuất phương pháp lựa chọn hệ số lượng tử (QP) áp dụng vào bộ nén video H265/HEVC.
Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Phương pháp lựa chọn hệ số lượng tử nén H265/HEVC theo đặc trưng thị giác mạng Neural tích chập Phạm Thanh Tùng∗ , Đinh Triều Dương† , Đặng Văn Trọng ∗ ∗ Lê Thanh Hà ‡ Khoa Khoa học Ngoại ngữ, Đại học Phòng cháy chữa cháy † Khoa Điện tử viễn thông, Đại học Công nghệ ‡ Khoa Công nghệ thông tin, Đại học Công nghệ Tác giả liên hệ: Đinh Triều Dương (email:duongdt@vnu.edu.vn) Tóm tắt—Trong báo chúng tơi phát triển mơ hình dự đốn chất lượng hình ảnh video nén mạng Neural tích chập trích chọn đặc trưng thị giác khối ảnh từ đề xuất phương pháp lựa chọn hệ số lượng tử (QP) áp dụng vào nén video H265/HEVC Bộ liệu thực nghiệm đánh giá chất lượng ảnh chủ quan 40286 khối ảnh dùng cho huấn luyện mơ hình Mơ hình dự đốn chất lượng hình ảnh tùy chỉnh tảng kiến trúc mạng Resnext-50 nhằm mô theo cách đánh giá chủ quan người Mơ hình dự đốn làm sở cho phương pháp lựa chọn hệ số lượng đơn vị mã hóa khối (CU) nén video theo chất lượng thị giác cho trước Thực nghiệm nén H265/HEVC phiên HM 16.20 cho thấy chất lượng đánh giá chủ quan có cải thiện so với nén ban đầu với tốc độ bit Từ khóa—lựa chọn hệ số lượng tử, nén H265/ HEVC, đặc trưng thị giác biết lỗi xuất tường tịa nhà nhìn thấy Hình khơng cho thấy có nhiễu tạo nén video mà thể mức độ nhạy cảm với nhiễu theo yếu tố thị giác người (HVS) với không thời gian khác Những vấn đề tìm hiểu vào đầu năm 1990 [2] bổ sung nghiên cứu [1] Nhận định cho thấy tạo nén video theo nhận thức, áp dụng nén sâu cho khu vực hình ảnh mà thị giác người nhạy cảm với biến dạng nén tốt khu vực lại Để thực mục tiêu này, câu hỏi cần giải làm để dự đoán vùng nhạy cảm với biến dạng nhằm áp dụng QP thấp nhằm đảm bảo chất lượng cho vùng I GIỚI THIỆU Trong mã hóa video, đánh giá chất lượng hình ảnh có ý nghĩa quan trọng việc tính tốn hiệu làm để lựa chọn cách mã hoá tối ưu Tất nén video thuộc họ MPEG-x H.26x nén dự đoán chuyển động theo khối Chúng đạt hiệu suất nén cao cách sử dụng phương pháp lượng tử hóa có tổn thất miền tần số Hậu mát thơng tin việc nén mã hóa video việc xuất biến dạng hình ảnh video giải mã Dễ nhận thấy sai khác dọc theo cạnh khối nơi áp dụng lượng tử hóa làm chi tiết hình ảnh [1] Ví vụ Hình 1, khung hình video thử nghiệm thường dùng Foreman nén với hệ số lượng tử tồn khung Khung hình sau nén suy giảm chất lượng đáng kể so với khung hình ban đầu Đồng thời, thay đổi chất lượng cảm nhận không đồng toàn khung Các nhiễu xuất khn mặt nhân vật dễ nhận ISBN 978-604-80-5958-3 90 Hình 1: Khung hình video thử nghiệm Foreman trước sau nén Trong nhiều nén video, thuật tốn tối ưu hóa tốc độ bit - biến dạng (RDO) kiến trúc phần mềm HEVC (HM) [3], [4] sử dụng để cải thiện hiệu nén [5] Việc lựa chọn chế độ tối ưu hiệu nén đơn vị mã hóa cách chọn chế độ mã hóa tốt giá trị QP định, đơn vị khung, lát (slice) đơn vị mã hóa (CU) Tùy thuộc vào loại khung hình, nén Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) video thực tối ưu hóa tỷ lệ nén với biến dạng cách cực tiểu hàm chi phí [4] Hàm chi phí hàm kết hợp tốc độ nén độ biến dạng Trong thang đo biến dạng sai số bình phương trung bình (MSE) giá trị pixel khối hình ảnh gốc giá trị pixel khối tạo lại sau giải nén MSE sử dụng rộng rãi nén hình ảnh video cơng thức tính tốn đơn giản, dễ dàng giải toán học (cụ thể toán tối ưu) Tuy nhiên, MSE xác định tương quan với chất lượng cảm nhận thị giác [6], [7] Hiện nay, nghiên cứu tiếp tục phát triển phương pháp lựa chọn QP nhằm tăng hiệu theo đánh giá chủ quan người Một số nghiên cứu đưa cách tiếp cận cải thiện tỷ lệ nén tăng chất lượng thị giác kỹ thuật lựa chọn QP Nói chung, nghiên cứu xem xét mối quan hệ QP − λ trình tối ưu mã hóa RDO Một số nghiên cứu gần ứng dụng học sâu (DNN) cho hiệu khả quan nén video [8], [9], [10], [11] Tuy nhiên, chưa có thuật tốn dựa tảng DNN nhằm lựa chọn QP để cải thiện chất lượng cảm nhận tri giác Chính vậy, báo trình bày phương pháp DNN lựa chọn QP huấn luyện, điều chỉnh kiểm tra liệu đánh giá chất lượng ảnh chủ quan mà tác giả đề xuất nghiên cứu trước [12] Phần lại báo tổ chức sau: phần II giới thiệu trình huấn luyện, hiệu chỉnh kết kiểm tra mơ hình mạng CNN dự đốn Tiếp theo, thuật toán phương pháp lựa chọn QP trình bày phần III Phần IV tiến hành đánh giá hiệu phương pháp đề xuất cài đặt nén H.265/HEVC nén số mẫu video so với nén chuẩn Cuối cùng, kết luận báo phần V II MƠ HÌNH DỰ ĐỐN CHẤT LƯỢNG HÌNH ẢNH KHI NÉN A Dữ liệu Trong nghiên cứu trước [12], xây dựng liệu thực nghiệm đánh giá chất lượng hình ảnh HMII gồm 40286 mẫu Quá trình thực nghiệm tiến hành theo quy chuẩn ITU-R BT.500-11 tổ chức viễn thông quốc tế [13] với tham gia 2189 lượt người đánh giá Mỗi mẫu liệu gồm khối ảnh gốc, khối ảnh biến dạng sau mã hố có kích thước 128 × 128, hệ số lượng tử QP dùng để mã hoá khối gốc kết chất lượng chủ quan DMOS tiền xử lý loại bỏ nhiễu đề cập nghiên cứu [12] Mẫu liệu chuẩn hoá lại thành thành phần màu khối gốc ghép thêm thành phần hệ số lượng tử QP để ISBN 978-604-80-5958-3 91 thành liệu đầu vào phù hợp với kiến trúc trình bày Hình Tồn liệu chia thành 10 phần theo tỷ lệ 8:1:1 (tương ứng 32000: 4000: 4286 mẫu) dành cho việc huấn luyện, hiệu chỉnh đánh giá mơ hình dự đoán chất lượng B Kiến trúc học sâu mơ hình Phương pháp đánh giá suy giảm chất lượng hình ảnh theo [14] tương đối đơn giản phần cho thấy ảnh hưởng nội dung khối ảnh đến suy giảm chất lượng mã hóa video Từ kết này, chúng tơi sử dụng phương pháp học sâu sử dụng mạng Neural tích chập (CNN) trích chọn đặc trưng sở liệu thực nghiệm quy mô lớn (bộ liệu HMII) nhằm ước lượng chất lượng khối ảnh sau mã hóa Sau thực huấn luyện mơ hình đánh giá chất lượng hình ảnh sử dụng học sâu nội dung trình bày [15], kiến trúc mạng tích chập trích chọn đặc trưng ResNeXt50 (Hình 3) cho thấy hiệu tốt so với kiến trúc khác Do đó, mơ hình đề xuất tiếp tục sử dụng kiến trúc có điều chỉnh phù hợp với mục đích đề biểu diễn theo Hình Trong Hình 2, liệu đầu vào có kích thước 128 × 128 × 4, có lớp thành phần màu RGB khối ảnh gốc, lớp thứ hệ số lượng tử dùng để mã hố khối Như vậy, mơ hình khơng sử dụng khối biến dạng sau mã hoá mà dự đoán chất lượng dựa khối gốc hệ số lượng tử Sau qua mạng tích chập ResNeXt-50, đặc trưng trích chọn qua lớp hồi quy để dự đoán chất lượng khối ảnh sau mã hoá C Kết huấn luyện mơ hình Các tham số tối ưu ADAM chọn theo khuyến nghị [16] gồm: β1 = 0.9, β2 = 0.999, ϵ = 10−8 tốc độ học α ấn định × 10−4 Kết đánh giá hiệu mô hình trình huấn luyện sau 100 epoch Hình Kết kiểm tra tập liệu đánh giá gồm 4286 mẫu cho kết tương quan tuyến tính Pearson (PLCC) kết đốn với kết thực nghiệm 0.9505 hệ số tương quan xếp hạng Spearman (SRCC) 0.9088 So sánh với kết tương quan hệ số lượng tử chất lượng PLCC=-0,807 SRCC= -0,8438 cho thấy ảnh hưởng quan trọng nội dung khối đến chất lượng hình ảnh biến dạng nén III ĐỀ XUẤT PHƯƠNG PHÁP LỰA CHỌN HỆ SỐ LƯỢNG TỬ THEO CHẤT LƯỢNG Trong nén video, có cách thiết lập QP chính: đồng tồn video tùy biến theo đơn vị mã hóa Ở thiết lập thứ nhất, tất khối tất Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Siamese Network RGB original CTU block +QP Resnext-50 feature Extractor Patch Qualiy Estimate Regression Hình 2: Kiến trúc mạng CNN phương pháp đánh giá chất lượng hình ảnh Input Patch B Conv 7x7 R Feature Vector max-pool 2x2 Conv Iden�ty Conv x3 x2 Global avg-pool Iden�ty Iden�ty Conv Iden�ty x2 Conv x5 Hình 3: Trích xuất đặc trưng ResNeXt-50 QC,ΔQC,w, CUorg qp = 1; QC=QC+w*ΔQC False Hình 4: Kết huấn luyện mơ hình PIQA(CUorg, qp)>QC True qp++ khung hình nén với hệ số lượng tử nên tốc độ mã hố nhanh hơn, có nhược điểm chất lượng không đồng đều, dễ bị phát biến dạng Ở thiết lập thứ hai nén đặt giá trị QP ban đầu qp ngưỡng điều chỉnh qpf actor Khi đó, hệ số QP cho đơn vị mã hóa lựa chọn tối ưu theo RDO khoảng [qp − qpf actor , qp + qpf actor ) Ngoài ra, người sử dụng thiết lập tốc độ bit cho video cần nén phù hợp với cấu hình thiết bị, nhu cầu chất lượng tốc độ đường truyền Do cần thiết phải điều chỉnh QP cho đơn vị mã hóa nhằm đảm bảo tốc độ bit với chất lượng cao theo đơn vị đo MSE Như đề cập trên, MSE chất lượng theo nhận thức tri giác người Do đó, nghiên cứu đề xuất phương pháp lựa chọn QP ISBN 978-604-80-5958-3 92 qpselected=qp qpselected Hình 5: Sơ đồ thuật toán PAPS theo chất lượng thị giác cần đạt video nén Mục tiêu phương pháp đảm bảo chất lượng Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) QC, DQC PAPS CUOrg - Reference Frame Intra/Inter Prediction Constructed Frame In-loop Filter + Res + Transform Quantization Inv Transform Inv Quantization Bin CABAC Hình 6: Sơ đồ tổng quát mã hoá H.265/HEVC cải tiến thị giác tồn khung hình đồng thời tăng cường chất lượng vùng thu hút ý người quan sát Một khối ảnh tham chiếu CUorg khung hình mã hố hệ số lượng tử qp có chất lượng dự đốn theo nhận thức thị giác là: y = QIQA(CUorg , qp), (1) QIQA mơ hình CNN dự đốn chất lượng hình ảnh trình bày bên Thuật tốn xác định hệ số lượng tử cho khối khung hình video (thuật tốn PAPS) biểu diễn Hình Dữ liệu đầu vào thuật toán bao gồm khối ảnh gốc CUorg , chất lượng cần đạt QC ngưỡng chất lượng điều chỉnh ∆QC Ngưỡng chất lượng điều chỉnh giới hạn mức tăng giảm QC phụ thuộc tỷ lệ vào trọng số thu hút ý w khối xác định theo [17] Kết thuật toán hệ số lượng tử qpselected ước lượng để chất lượng khối biến dạng sau nén tối thiểu cần đạt QC IV ĐÁNH GIÁ HIỆU NĂNG PHƯƠNG PHÁP ĐỀ XUẤT Để đánh giá hiệu phương pháp lựa chọn hệ số lượng tử theo chất lượng thị giác, chúng tơi cài đặt thuật tốn phương pháp vào nén H.265/HEVC phiên HM 16.20 theo sơ đồ Hình Trong đó, khung hình gốc phân chia thành khối kích thước 64 × 64 lấy mở rộng thành 128 × 128 đưa vào PAPS Đồng thời, khung hình gốc sử dụng để xác định trọng số thu hút ý Kết thu ma trận hệ số lượng tử xác định tương ứng với khối khung hình làm sở cho trình lượng tử hoá ISBN 978-604-80-5958-3 93 Bộ nén cải tiến theo nghiên cứu sử dụng nén nội khung (All-intra) mẫu video thử nghiệm chuẩn gồm video thuộc nhóm A (độ phân giải 2K), video thuộc nhóm B (độ phân giải FHD), video thuộc nhóm C (độ phân giải 768 × 480), video thuộc nhóm D (độ phân giải 400×240) video thuộc nhóm E (độ phân giải HD) Mỗi video nén mức chất lượng thị giác QC gồm: 3.0, 3.5, 4.0 4.5; giá trị ngưỡng chất lượng điều chỉnh ∆QC = 0.5 Tương tự, nén chuẩn HM 16.20 thực nén nội khung mẫu video thử nghiệm chuẩn với tốc độ bit với nén cải tiến Ngoài ra, để làm rõ hiệu nén theo nhận thức tri giác mục tiêu nghiên cứu, tiến hành thực nghiệm đánh giá chất lượng hình ảnh chủ quan video tái tạo sau nén Trong thực nghiệm, người quan sát yêu cầu đánh giá chất lượng video tái tạo theo thang đo M OS từ đến tương ứng với chất lượng tăng đần Hiệu DM OSR so sánh chất lượng M OSpro nén theo mã cải tiến với chất lượng M OSHM nén theo mã gốc công thức sau: DM OSR = M OSpro − M OSHM (2) Kết so sánh hiệu theo thang đo SSIM đánh giá chủ quan mã cải tiến so với mã gốc HM 16.20 trình bày Bảng Bảng kết cho thấy mã cải tiến với phương pháp đề xuất cho hiệu theo thang đo SSIM tốt so với mã gốc Theo thực nghiệm đo chất lượng chủ quan, mã cải tiến có hiệu suất tốt cho mẫu video với độ phân giải cao (nhóm A nhóm E) Đối với video thử nghiệm có nhiều vùng đồng nhất, vùng lớn, đối tượng khung có độ tương Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) (a) Khung hình gốc (b) Trọng số ý (c) Khung hình kết theo nén cải tiến (d) QP theo nén cải tiến (e) Khung hình kết theo nén gốc (f) QP theo nén gốc Hình 7: Kết nén video khung hình mẫu video ‘Johnny’ phản cao, thuật tốn đề xuất cho hiệu mã hóa tốt Các đặc điểm hình ảnh video thử nghiệm thấy video ‘Johnny’, ‘FourPeople’, ‘BasketballDrive’, ‘KristenAndSarra’, ‘BasketballPass ‘ tăng chất lượng đáng kể mặt cảm nhận Mặt khác, phương pháp đề xuất hiệu ‘BQTerrace ‘Cactus’ có nhiều họa tiết độ tương phản thấp Ví dụ Hình cho thấy chất lượng hình ảnh khung hình video ‘Johnny’ theo nén cải tiến có cải thiện so nén gốc đặt biệt vùng mặt nhân vật vùng biên nhân vật với phần ISBN 978-604-80-5958-3 94 V KẾT LUẬN Trong báo này, đề xuất phương pháp lựa chọn QP theo đặc trưng thị giác áp dụng cho đơn vị mã hóa khối khung hình video Phương pháp đề xuất sử dụng mơ hình tảng mạng CNN Resnext-50 để trích xuất đặc trưng dự đốn chất lượng hình ảnh sau nén khối mức lượng tử xác định Kết áp dụng với cách nén nội khung H.265/HEVC cho thấy hiệu theo SSIM tăng trung bình 5.5% thành phần độ sáng 0.124 theo chất lượng chủ quan thực nghiệm Đánh giá chất lượng chủ quan cho thấy phương pháp đề xuất tạo chất lượng hình ảnh tốt nhận thức thị giác so với nén gốc với tốc độ bít Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Bảng I: So sánh chất lượng hình ảnh theo thang đo SSIM đánh giá chủ quan nén dùng phương pháp đề xuất so với nén gốc Nhóm A B C D E TÀI LIỆU Video mẫu Traffic PeopleOnStreet Kimono ParkScene Cactus BasketballDrive BQTerrace BasketballDrill BQMall PartyScene BasketballPass BQSquare RaceHorses FourPeople Johnny KristenAndSara Class A Class B Class C Class D Class E All Y -6.9% -7.6% -2.9% -4.9% -6.8% -4.7% -7.8% -2.5% -2.6% -5.1% -7.4% -7.3% -3.4% -3.5% -6.2% -8.3% -7.3% -5.4% -4.0% -6.0% -6.0% -5.5% THAM KHẢO [1] N Jayant, J Johnston, and R Safranek, “Signal compression based on models of human perception,” Proceedings of the IEEE, vol 81, no 10, pp 1385–1422, 1993 [2] H R Wu, K Rao, and A Kassim, “Digital video image quality and perceptual coding,” Journal of Electronic Imaging - J ELECTRON IMAGING, vol 16, 01 2007 [3] I Marzuki and D Sim, “Overview of potential technologies for future video coding standard (fvc) in jem software : Status and review,” IEIE Transactions on Smart Processing and Computing, vol 7, pp 22–35, 02 2018 [4] G Sullivan and T Wiegand, “Rate-distortion optimization for video compression,” IEEE Signal Processing Magazine, vol 15, no 6, pp 74–90, 1998 [5] B Li, J Xu, D Zhang, and H Li, “Qp refinement according to lagrange multiplier for high efficiency video coding,” in 2013 IEEE International Symposium on Circuits and Systems (ISCAS), 2013, pp 477–480 [6] Z Wang and A C Bovik, “Mean squared error: Love it or leave it? a new look at signal fidelity measures,” IEEE Signal Processing Magazine, vol 26, no 1, pp 98–117, 2009 [7] B Girod, “Psychovisual aspects of image processing: What’s wrong with mean squared error?” in Proceedings of the Seventh Workshop on Multidimensional Signal Processing, 1991, pp P.2– P.2 [8] S Ma, X Zhang, C Jia, Z Zhao, S Wang, and S Wanga, “Image and video compression with neural networks: A review,” IEEE Transactions on Circuits and Systems for Video Technology, vol PP, pp 1–1, 04 2019 [9] Y Li, B Li, D Liu, and Z Chen, “A convolutional neural network-based approach to rate control in hevc intra coding,” ISBN 978-604-80-5958-3 BD SSIM-rate U V -4.6% -3.2% -6.7% -6.9% -5.0% -5.3% -4.4% -4.8% -7.0% -7.8% -4.2% -5.3% -5.0% -4.6% -2.8% -1.5% -12.0% -13.1% -3.0% -2.8% -4.7% -6.5% -0.8% -5.1% -3.3% -1.5% -4.8% -4.9% -4.4% -5.3% -4.3% -5.2% -5.6% -5.1% -5.1% -5.5% -6.0% -5.8% -2.9% -4.4% -4.5% -5.1% -4.8% -5.2% 95 [10] [11] [12] [13] [14] [15] [16] [17] DMOSR 0.125 0.191 0.168 0.017 -0.105 0.211 -0.076 0.249 0.041 0.139 0.218 0.052 0.140 0.194 0.237 0.180 0.158 0.043 0.143 0.137 0.204 0.124 in 2017 IEEE Visual Communications and Image Processing (VCIP), 2017, pp 1–4 S Ki, S.-H Bae, M Kim, and H Ko, “Learning-based justnoticeable-quantization- distortion modeling for perceptual video coding,” IEEE Transactions on Image Processing, vol 27, no 7, pp 3178–3193, 2018 H Choi and I V Baji´c, “Deep frame prediction for video coding,” IEEE Transactions on Circuits and Systems for Video Technology, vol 30, no 7, pp 1843–1855, 2020 T P Thanh, C Ma Thi, T N Manh, L Le Dinh, and H Le Thanh, “Compression artifacts image patch database for perceptual quality assessment,” in 2020 12th International Conference on Knowledge and Systems Engineering (KSE), 2020, pp 55–60 I T Union, “Methodology for the subjective assessment of the quality of television pictures,” International Telecommunication Union, vol 23, no 5, pp 1937–1952, 2013 T T Pham, T D Dinh, V X Hoang, T Vu Huu, and T H Le, “Distortion model based on perceptual of local image content,” In 4th International Conference on Consumer Electronics Asia, 06 2019 T T Pham, X V Hoang, N T Nguyen, D T Dinh, and L T Ha, “End-to-end image patch quality assessment for image/video with compression artifacts,” IEEE Access, vol 8, pp 215 157– 215 172, 2020 D Kingma and J Ba, “Adam: A method for stochastic optimization,” International Conference on Learning Representations, 12 2014 Z Liu, W Zou, and O Le Meur, “Saliency tree: A novel saliency detection framework,” IEEE Transactions on Image Processing, vol 23, no 5, pp 1937–1952, 2014 ... hệ số lượng tử qpselected ước lượng để chất lượng khối biến dạng sau nén tối thiểu cần đạt QC IV ĐÁNH GIÁ HIỆU NĂNG PHƯƠNG PHÁP ĐỀ XUẤT Để đánh giá hiệu phương pháp lựa chọn hệ số lượng tử theo. .. chất lượng hình ảnh biến dạng nén III ĐỀ XUẤT PHƯƠNG PHÁP LỰA CHỌN HỆ SỐ LƯỢNG TỬ THEO CHẤT LƯỢNG Trong nén video, có cách thiết lập QP chính: đồng tồn video tùy biến theo đơn vị mã hóa Ở thiết... chất lượng dựa khối gốc hệ số lượng tử Sau qua mạng tích chập ResNeXt-50, đặc trưng trích chọn qua lớp hồi quy để dự đoán chất lượng khối ảnh sau mã hoá C Kết huấn luyện mơ hình Các tham số tối
