Phương pháp giảm thời gian dự đoán nội khung trong chuẩn mã hóa video H.266/Versatile Video Coding

Bài viết đề xuất một phương pháp làm giảm độ phức tạp tính toán cho quá trình dự đoán nội khung của mô hình mã hóa video VVC bằng cách giảm số lượng ứng viên trong tập các chế độ dự đoán. Kết quả cho thấy, phương pháp đề xuất giúp làm giảm trung bình từ 26.67% đến 28.47% thời gian xử lý.

Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Phương Pháp Giảm Thời Gian Dự Đoán Nội Khung Trong Chuẩn Mã Hóa Video H.266/Versatile Video Coding Nguyễn Quang Sang1, Bùi Thanh Hương1,2, Đinh Triều Dương1, Hoàng Văn Xiêm1 Khoa Điện tử Viễn thông, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Khoa Công nghệ thông tin, Trường Đại học Xây dựng Email: xiemhoang@vnu.edu.vn Abstract— Vào năm 2020, tiêu chuẩn mã hóa video H.266/Versatile Video Coding (VVC) ISO ITU-T thông qua Để đạt hiệu mã hóa cao nhất, mơ hình mã hóa video nghiên cứu tích hợp nhiều kỹ thuật mã hóa Trong đó, phương pháp dự đoán nội khung, số lượng chế độ dự đoán tăng lên 67 chế độ Mặc dù biến đổi Hadamard sử dụng giúp làm giảm độ phức tạp tính tốn so với tiêu chuẩn mã hóa video H.265/High Efficiency Video Coding (HEVC), thời gian xử lý VVC cao Trong báo cáo này, đề xuất phương pháp làm giảm độ phức tạp tính tốn cho q trình dự đốn nội khung mơ hình mã hóa video VVC cách giảm số lượng ứng viên tập chế độ dự đoán Kết cho thấy, phương pháp đề xuất giúp làm giảm trung bình từ 26.67% đến 28.47% thời gian xử lý Coding (HEVC) [2], mức chất lượng, tiêu chuẩn mã hóa video H.266/VVC tiết kiệm tới 40% lượng bit tiêu thụ [3] Để đạt hiệu mã hóa cao, nhiều kỹ thuật nghiên cứu tích hợp vào mã hóa H.266/VVC Hình mơ tả khác biệt kỹ thuật sử dụng HEVC VVC Bên cạnh việc áp dụng cấu trúc phân chia khối hình đa dạng (cây phân chia nhị phân, tam phân, tứ phân - QTMT) tất cấu hình mã hóa, riêng với mã hóa dự đốn nội khung, kể đến số lượng chế độ dự đoán tăng lên 67 (so với 35 chế độ HEVC), số kỹ thuật mở rộng áp dụng kỹ thuật đa đường tham chiếu (multiple-reference line – MRL), kỹ thuật chia nhỏ khối nội khung (intra sub-partition – ISP), kỹ thuật chép khối nội khung (intra block copy – IBC) Tuy nhiên, kỹ thuật khiến cho mã hóa có độ phức tạp tính tốn cao, gây độ trễ lớn trình truyền – nhận liệu Cũng theo số liệu báo cáo [3], thời gian xử lý VVC cao HEVC tới 30 lần Keywords- H.266/Versatile Video Coding, dự đoán nội khung, lựa chọn hướng dự đoán I GIỚI THIỆU Với phát triển cơng nghệ sản xuất thiết bị ghi hình hình hiển thị năm trở lại đây, ứng dụng video liên tục nâng cao chất lượng để tăng tính trải nghiệm cho người dùng Ngày nay, xem video với tốc độ khung hình cao hiển thị chuyển động mượt mà hơn, video độ phân giải lớn (HD, Full-HD, 2K, 4K…) cho hình ảnh sắc nét hơn, video 360o để ghi lại hình ảnh góc rộng… Tuy nhiên, với loại hình video chất lượng cao này, thách thức đặt cho hệ thống truyền thông đa phương tiện lượng liệu vô lớn băng thông khả lưu trữ thiết bị nhiều hạn chế Để giải vấn đề cấp thiết trên, từ năm 2015, tổ chức uy tín giới bắt đầu nghiên cứu mơ hình mã hóa video hệ mang tên H.266/Versatile Video Coding (VVC) [1] Mơ hình mã hóa video hệ thức thơng qua tiêu chuẩn mã hóa video vào tháng năm 2020 Các kết thử nghiệm rằng, so với tiêu chuẩn mã hóa video H.265/High Efficiency Video ISBN 978-604-80-5958-3 VVC intra HEVC intra MRL QT QTMT 35 chế độ dự đoán 67 chế độ dự đoán ISP IBC Hình Các kỹ thuật áp dụng cho chế độ dự đoán nội khung HEVC VVC Trong kỹ thuật nêu trên, thấy việc tăng số lượng chế độ dự đoán từ 35 lên 67 ảnh hưởng trực tiếp đến việc cải thiện hiệu nguyên nhân khiến độ phức tạp mã hóa tăng lên đáng kể Việc giảm thời gian xử lý cho dự đốn nội khung ln toán gây nhiều thách thức cho nhà nghiên cứu 135 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) vừa phải giảm thiểu độ phức tạp tính tốn, vừa phải đảm bảo hiệu mã hóa khơng bị ảnh hưởng Thơng qua việc phân tích đặc trưng kích thước mối quan hệ khối hình lân cận, báo cáo đề xuất phương pháp giảm thời gian mã hóa cho chế độ dự đốn nội khung mơ hình mã hóa video H.266/VVC cách giảm số lượng hướng dự đốn khối hình Bài báo cáo trình bày theo cấu trúc gồm phần Phần giới thiệu tổng quan mục đích động lực nghiên cứu Phần trình bày chi tiết chế độ dự đốn nội khung mơ hình mã hóa video H.266/VVC nghiên cứu giảm thời gian mã hóa liên quan Trong phần báo cáo, chúng tơi mơ tả thuật tốn đề xuất Các kết kiểm thử kết luận trình bày phần II đốn góc rộng cho khối hình có tỉ lệ Chiều Rộng / Chiều cao 1/2 Bảng I: Các hướng bị thay chế độ dự đốn góc rộng Tỉ lệ Chiều Rộng /Chiều Cao (W/H) W / H = 16 W/H=8 W/H=4 W/H=2 W/H=1 W / H = 1/2 W / H = 1/4 W / H = 1/8 W / H = 1/16 DỰ ĐOÁN NỘI KHUNG TRONG H.266/VVC VÀ CÁC NGHIÊN CỨU LIÊN QUAN Các hướng bị thay Hướng 12, 13,14,15 Hướng 12, 13 Hướng 2,3,4,5,6,7,8,9,10,11 Hướng 2,3,4,5,6,7, Hướng 61,62,63,64,65,66 Hướng 57,58,59,60,61,62,63,64,65,66 Hướng 55, 56 Hướng 53, 54, 55, 56 A Dự đoán nội khung mơ hình mã hóa video H.266/VVC Tiêu chuẩn mã hóa video H.266/VVC nghiên cứu chuẩn hóa nhằm hướng tới việc mã hóa video độ phân giải cao (Full-HD, 2K, 4K, …), nên kích thước khối hình tối đa cho phép lên tới 128×128 Do đó, số lượng chế độ dự đốn dự đốn nội khung VVC lên tới 67 chế độ, bao gồm chế độ Planar, chế độ DC 65 hướng chế độ dự đoán theo hướng (Angular Mode) [4] Hình mơ tả chế độ hướng dự đoán nội khung VVC Các hướng ký hiệu mũi tên màu đen hướng giống với hướng HEVC Các hướng ký hiệu mũi tên màu đỏ hướng bổ sung VVC Hình 3: Ví dụ dự đốn góc rộng VVC Để giảm thời gian xử lý cho mã hóa, biến đổi Hadamard [5] sử dụng phép biến đổi thay ước lượng chi phí RD (RDCost) Các chế độ dự đốn có giá trị tổng sai khác sau biến đổi (SATD) nhỏ mã hóa chọn để tính tốn chi phí RD đưa định lựa chọn chế độ dự đốn cho khối hình Cụ thể, quy trình lựa chọn chế độ mã hóa VVC tiến hành theo bước sau: Bước 1: Tính tốn tổng giá trị tuyệt đối sai khác sau biến đổi (SATD) cho chế độ Planar, DC hướng giống với HEVC (có mũi tên màu đen Hình 2), sử dụng biến đổi Hadamard cơng thức (1) (1) * TH T SATD = j TH * y − y 0: Planar 1: DC  ( org pred ) Trong đó: TH ma trận biến đổi Hadamard, yorg giá trị pixel gốc, ypred giá trị pixel dự đoán, THT ma trận chuyển vị TH Bước 2: Lựa chọn N hướng có SATD nhỏ (N phụ thuộc vào kích thước khối hình) hướng bên cạnh (là hướng VVC, có mũi tên màu đỏ Hình 2) để thêm vào tập ứng viên Bước 3: Thêm hướng có xác suất cao cho dự đoán (Most Probable Mode – MPM) để thêm vào tập ứng viên Các hướng hướng có tần Hình 2: Các chế độ dự đốn nội khung VVC Đối với khối có dạng hình chữ nhật (N×N, 2N×2N, N×2N, N×3N…), VVC cho phép thay đổi vị trí hướng để kết dự đốn tối ưu Tùy vào tỉ lệ Chiều Rộng / Chiều Cao khối hình mà hướng dự đoán thay khác (Bảng I) Chế độ gọi dự đốn góc rộng (Wide-angle intra prediction) Hình ví dụ sử dụng chế độ dự ISBN 978-604-80-5958-3 i 136 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) suất xuất nhiều dự đốn khối hình lân cận Bước 4: Tính RDcost cho tập ứng viên dựa vào công thức (2) (3) (2) VVC sử dụng cấu trúc phân chia tứ phân kết hợp nhị phân tam phân nên cho phép khối hình mã hóa có kích thước dao động từ 4×4 đến 128×128 Đối với khối hình có kích thước từ 8×8 trở xuống, giá trị điểm ảnh khối hình khơng có nhiều thay đổi SSD =  i j ( yorg − y pred ) RDCost = SSD+  × R Bảng II: Tần suất chọn chế độ dự đốn nội khung (3) Chuỗi video Trong SSD tổng bình phương sai khác (Sum Square Different), yorg giá trị pixel gốc, ypred giá trị pixel dự đoán, λ số Lagrange, R lượng bit cần để mã hóa Chế độ dự đốn mã hóa lựa chọn chế độ có giá trị RDCost nhỏ B Các nghiên cứu giảm thời gian mã hóa cho dự đốn nội khung H.266/VVC BasketballPass BlowingBubbles BQSquare RaceHorses 22 37 22 37 22 37 22 37 Planar 30.32 30.53 28.93 21.92 24.32 12.19 35.26 29.96 DC Angular 17.96 24.83 16.99 26.49 14.67 26.36 18.87 24.41 51.73 44.64 54.08 51.59 61.01 61.46 45.87 45.63 TB Angular 0.10 0.09 0.11 0.10 0.12 0.12 0.09 0.09 Từ phân tích nhận định trên, chúng tơi đề xuất thuật toán giảm thời gian dự đoán nội khung H.266/VVC gồm bước sau: Bước 1: Kiểm tra kích thước khối hình cần mã hóa Nếu kích thước khối hình nhỏ 8×8, thay đổi tập chế độ dự đốn tiến hành tính tốn RDCost theo bước nêu phần II.A Tập chế độ dự đoán gồm: {Planar, DC, 2, 18, 34, 50, 66} Trong đó, chế độ Planar DC chế độ có xác suất lựa chọn nhiều nhất; hướng số 18 50 hướng theo chiều dọc chiều ngang; hướng số 2, 34, 66 hướng dự đốn tới góc khối hình (Hình 3) Nếu kích thước khối hình lớn 8×8, chuyển sang bước Bước 2: Thu thập thơng tin chế độ dự đoán nội khung khối hình lân cận vị trí phía trên, bên trái, góc bên trái, góc bên phải để thêm vào tập ứng viên Tiếp tục bổ sung chế độ Planar, chế độ DC chế độ liền kề vào ứng viên Ví dụ, chế độ khối hình lân cận {a, b, c, d} tập ứng viên {Planar, DC, a-1, a, a+1, b-1, b, b+1, c-1, c, c+1, d-1, d, d+1} Bước 3: Tính tốn giá trị SATD sau biến đổi Hadamard với chế độ thu bước Bước 4: Chọn chế độ có giá trị SATD nhỏ chế độ tập MPM để tính tốn giá trị RDCost Bước 5: Lựa chọn chế độ có giá trị RDCost nhỏ kết thúc q trình dự đốn Kể từ bắt đầu triển khai xây dựng mã hóa vào năm 2015, nghiên cứu giảm thời gian mã hóa cho dự đốn nội khung liên tục công bố Tác giả Naima Zouidi cộng đề xuất phương pháp giảm số lượng chế độ dự đốn cơng bố [6] Dựa vào hệ số lượng tử độ sâu phân chia nhị phân khối hình, mã hóa đưa danh sách N chế độ dự đoán định (N