(Luận văn thạc sĩ) nghiên cứu và đánh giá chuẩn mã hóa video av1

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Trần Thanh Phong NGHIÊN CỨU VÀ ĐÁNH GIÁ CHUẨN MÃ HÓA VIDEO AV1 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – NĂM 2023 ii MỤC LỤC CHƯƠNG 1: TỔNG QUAN VỀ MÃ HÓA VIDEO 1.1 Giới thiệu mã hóa video .3 1.2 Các phương pháp mã hóa video 1.2.1 Phân loại kỹ thuật nén video 1.2.2 Phương pháp mã hóa video dự đốn .5 1.2.3 Phương pháp mã hóa video phân tán 1.2.3 Sơ đồ tổng quát mã hóa video 1.3 Các chuẩn mã hóa video phổ biến 1.1.1 Chuẩn H.264/AVC 1.1.2 Chuẩn H.265/HEVC .10 1.1.3 Chuẩn mã hóa VP9 .11 1.4 Kết luận chương .12 CHƯƠNG 2: CHUẨN MÃ HÓA VIDEO AV1 .13 2.1 Những điểm bật thiết kế tính mã hóa AV1 13 2.1.1 Phân vùng khối 15 2.1.2 Dự đoán nội ảnh 15 2.1.3 Dự đoán liên ảnh .16 2.1.4 Bộ lọc vòng .16 2.1.5 Biến đổi mã hóa 17 2.1.6 Mã hóa entropy 17 2.2 Cú pháp mức cao .17 2.3 Các kỹ thuật mã hóa video 19 2.3.1 Phân vùng khối mã hóa 19 2.3.2 Dự đoán nội ảnh 20 2.3.3 Dự đoán liên ảnh .29 2.3.4 Biến đổi mã hóa 35 2.3.5 Lượng tử hóa 37 2.3.6 Mã hóa Entropy 40 2.3.7 Bộ lọc vòng .41 2.3.8 Cấu hình, profile mức 44 2.4 Kết luận chương 46 iii CHƯƠNG 3: ĐÁNH GIÁ CHẤT LƯỢNG MÃ HÓA VIDEO CHUẨN AV1 SO VỚI CHUẨN HEVC .47 3.1 Một số tham số sử dụng để đánh giá .47 3.1.1 PSNR (Peak Signal to Noise Ratio) 47 3.1.2 Chỉ số tương đồng cấu trúc (SSIM) .48 3.1.3 Thời gian mã hóa 48 3.1.4 Đại lượng Bjontegaard Delta 49 3.2 Khảo sát công cụ chạy thử nghiệm 50 3.2.1 FFMpeg 50 3.2.2 MediaInfor 51 3.2.3 Thông số kỹ thuật phần cứng 51 3.3 Một số kịch đánh giá kết .51 3.3.1 Thử nghiệm với video độ phân giải CIF 51 3.3.2 Thử nghiệm với video độ phân giải HD 58 3.3.3 Thử nghiệm với video độ phân giải 4K 61 3.3.4 3.4 Đánh giá kết thử nghiệm 63 Kết luận chương .65 KẾT LUẬN .66 KIẾN NGHỊ 66 TÀI LIỆU THAM KHẢO 67 iv DANH MỤC CÁC CHỮ VIẾT TẮT Từ viết Tiếng Anh tắt AC Tiếng Việt Alternating Current Hệ số xoay chiều Asymmetrical Discrete Sine Biến đổi sin rời rạc không đối Transform xứng Bose Chaudhuri Hocquenghem Mã vòng BCH Content Adaptive Binary Mã hóa số học nhị phân Arithmetic Coding thích ứng ngữ cảnh Context Adaptive Variable Length Mã hóa độ dài thay đổi thích ứng Coding theo ngữ cảnh Blue Chrominance Khơng gian màu xanh Constrained Directional Bộ lọc tăng cường hướng ràng Enhancement Filter buộc CFL Chroma From Luma Chroma từ Luma CTU Coding Tree Unit Đơn vị mã hóa Cr Red Chrominance Không gian màu đỏ DBF Deblocking Filter Bộ lọc giải khối DC Direct Current Hệ số chiều DCT Discrete Cosine Transform Biến đổi consin rời rạc DST Discrete Sine transform Biến đổi hình sin rời rạc DVC Distributed Video Coding Mã hóa video phân tán EOB End of Block Vị trí cuối khối FIR Finite Impulse Response Đáp ứng xung hữu hạn HD High Definition Độ phân giải cao GOP Group of Picture Nhóm ảnh ADST BCH CABAC CAVLC Cb CDEF v HEVC High Efficiency Video Coding IDTX Identity Transform ISO ITU JCT-VC JPEG International Organization for Standardization International Telecommunication Union Chuẩn mã hóa video hiệu cao Biến đổi định dạng Tổ chức tiêu chuẩn hóa quốc tế Liên minh Viễn thơng Quốc tế Joint Collaborative Team on Video Nhóm hợp tác chung mã hóa Coding video Joint Photographic Expert Group Nhóm chuyên gia hình ảnh LDPC Low Density Parity Check Code Mã kiểm tra chẵn lẻ mật độ thấp LRF Loop Restoration Filters Bộ lọc khơi phục vịng lặp LRU Loop Restoration Unit Đơn vị khơi phục vịng lặp MB Macroblock MPEG The Moving Picture Expert Group Nhóm chuyên gia ảnh động MSE Mean Squared Error Sai số bình phương trung bình MV Motion Vector Vector chuyển động OBU Open Bitstream Unit Đơn vị dòng bit mở Overlapped Block Motion Bù chuyển động khối chồng lên Compensation PSNR Peak Signal-to-Noise Ratio Tỉ số tín hiệu nhiễu đỉnh PVC Predictive video coding Mã hóa video dự đốn QP Quantisation Parameter Tham số lượng tử RBF Recursive-based-filtering Bộ lọc dựa đệ quy RD Rate Distortion Độ méo tín hiệu SAO Sample Adaptive Offset Độ lệch thích ứng mẫu OMBC Khối ảnh nén H264, H265 vi SB Super Block Siêu khối SGF Self-guided Filter Bộ lọc tự dẫn SSIM Structural Similarity Index Chỉ số tương đồng cấu trúc TM True Motion Chuyển động thực UHD Ultra-high Definition Resolution Độ phân giải độ nét cực cao Y4M YUV4MPEG2 Định dạng video khơng nén WZF Wyner-Ziv Frame Khung hình Wyner-Ziv DANH MỤC CÁC BẢNG Bảng 2.1: Phân loại OBU 18 Bảng 2.2: Các góc hỗ trợ dự đốn có hướng AV1 22 Bảng 2.3: Năm chế độ dự đoán nội ảnh đệ quy 25 Bảng 2.4: Danh sách MV AV1 31 Bảng 2.5: Các loại chuyển động toàn với tham số liên quan .33 Bảng 2.6: Mức cấu hình AV1 45 Bảng 3.1: Tham số chuỗi video thử nghiệm 1………………………………….52 Bảng 3.2: Cấu hình mã hóa hai lần HEVC AV1 52 Bảng 3.3: Kết thử nghiệm với video độ phân giải CIF 54 Bảng 3.4: Kết BD-PSNR BD-Rate HEVC AV1 video độ phân giải CIF .58 Bảng 3.5: Tham số chuỗi video thử nghiệm 58 Bảng 3.6: Kết thử nghiệm với video độ phân giải HD .59 Bảng 3.7: Kết BD-PSNR BD-Rate HEVC AV1 video độ phân giải HD .59 Bảng 3.8: Kết thử nghiệm với video độ phân giải 4K .61 vii DANH MỤC CÁC HÌNH Hình 1.1: Sơ đồ nguyên lý tổng quát mã hóa video Hình 1.2: Dịng thời gian phát triển tiêu chuẩn mã hóa video Hình 2.1: Thành viên AOMedia……………………………………………………13 Hình 2.2: Sơ đồ khối mã hóa video kết hợp điển hình [11] 14 Hình 2.3: Cây phân vùng khối đệ quy AV1 .19 Hình 2.4: Cấu trúc phân vùng khối 10 chiều AV1 .20 Hình 2.5: Tám hướng sở dự đốn nội ảnh 21 Hình 2.6: 56 hướng dự đoán khác AV1 22 Hình 2.7: Các mẫu tham chiếu sử dụng chế độ dự đoán Paeth 24 Hình 2.8: Minh họa chế độ dự đoán bên đệ quy 25 Hình 2.9: Chế độ dự đốn CfL 26 Hình 2.10: Thứ tự mã hóa mặt sóng mã bảng màu 27 Hình 2.11: Khu vực dự đoán cho chế độ Sao chép khối nội ảnh 29 Hình 2.12: Vector chuyển động khơng gian tìm kiếm mẫu 30 Hình 2.13: Ước tính trường chuyển động phép chiếu tuyến tính 31 Hình 2.14: Dự đốn bù chuyển động tịnh tiến .32 Hình 2.15: Bù chuyển động khối chồng lên sử dụng thông tin chuyển động bên trái 34 Hình 2.16: Khung mã hóa hình nêm cho khối vng chữ nhật 35 Hình 2.17: Biến đổi phân vùng khối cho khối liên kết hình vng hình chữ nhật .36 Hình 2.18: Kích thước bước lượng tử hóa hệ số DC cho độ sâu bit bên khác 39 Hình 2.19: Kích thước bước lượng tử hóa hệ số AC cho độ sâu bit bên khác 39 Hình 2.20: Q trình lọc vịng sử dụng AV1 41 Hình 2.21: Các điểm ảnh ranh giới khối biến đổi Đường đứt nét hiển thị điểm ảnh gần ranh giới khối biến đổi 42 viii Hình 2.22: Dịng số k theo hướng từ đến khối 8x8 43 Hình 2.23: Ví dụ lọc Wiener chạm đối xứng .44 Hình 3.1: Giao diện cơng cụ Bjontegaard_etroa……………………………………49 Hình 3.2: Giao diện phần mềm FFMpeg 50 Hình 3.3: Giao diện phần mềm MediaInfor 51 Hình 3.4: Các khung hình chuỗi video thử nghiệm 52 Hình 3.5: Kết PSNR HEVC AV1 với video độ phân giả CIF 56 Hình 3.6: Kết SSIM HEVC AV1 với video độ phân giải CIF .57 Hình 3.7: Khung hình chuỗi video HD 59 Hình 3.8: Kết PSNR, SSIM HEVC AV1 với video độ phân giải HD 60 Hình 3.9: Khung hình chuỗi video 4K 61 Hình 3.10: Kết PSNR, SSIM HEVC AV1 với video độ phân giải 4K 62 64 thuyết hóa thời gian, cấp độ hai chiều AV1 đánh dấu lần tính bù chuyển động không phẳng triển khai chuẩn mã hóa video; 5) AV1 sử dụng mã hóa entropy đa ký hiệu hay mã hóa khơng nhị phân làm cho q trình mã hóa trở nên phức tạp cách kết hợp nhiều giá trị vào ký hiệu hiệu mã hóa tăng lên so với mã hóa entropy nhị phân, đặc biệt cho tốc độ bit thấp chi phí báo hiệu giảm Hiệu mã hóa AV1 thể qua đại lượng BD-Rate thử nghiệm, kết BD-Rate cho giá trị âm có nghĩa AV1 nâng cao hiệu mã hóa HEVC mặt giảm tốc độ bit cho chất lượng video tốt Cụ thể, thử nghiệm AV1 giúp cải thiện hiệu đáng kể tiết kiệm đến 57% bitrate thử nghiệm 53,65% 64% thử nghiệm Điều khẳng định tiềm AV1 chuẩn mã hóa cho phép tiết kiệm băng thơng đáng kể Tuy nhiên, để đạt kết AV1 lại có thời gian mã hóa lớn nhiều so với HEVC Ví dụ tốc độ bit 10Mbps, HEVC mã hóa video 4K hết 18 giây AV1 hết 7449 giây, thời gian mã hóa lớn khoảng 225 lần Hiện nay, HEVC nhà sản xuất phần cứng áp dụng rộng rãi nhiều thiết bị đại, bao gồm điện thoại thông minh, máy tính bảng TV thơng minh, bao gồm khả tăng tốc phần cứng để giải mã H.265 Mặt khác, AV1 tương đối hỗ trợ phần cứng hạn chế Nghiên cứu [8] cho thấy hai bước mã hóa phức tạp q trình triển khai mã hóa AV1 sử dụng thư viện libaom dự đoán liên ảnh biến đổi mã hóa, chiếm 76,98% 20,57% tổng thời gian mã hóa Q trình nhiều thời gian bước dự đoán liên ảnh dự đốn tích chập dự đốn kết hợp Trong bước biến đổi mã hóa chức phức tạp DCT nghịch đảo ADST nghịch đảo Để AV1 trở thành chuẩn mã hóa sử dụng phổ biến ứng dụng video trực tuyến chất lượng cao, việc giảm thời gian mã hóa so với chuẩn mã 65 hóa truyền thống H.264, HEVC quan trọng Một số giải pháp xem xét đến sau: Tối ưu hóa hỗ trợ thiết bị phần cứng, phần mềm để phù hợp với kiến trúc mã hóa AV1 Nghiên cứu áp dụng kỹ thuật để giảm độ phức tạp dự đoán/bộ biến độ:  Quyết định xử lý phân vùng dựa xác suất phân vùng  Phân bổ tính tốn dựa hệ số biến đổi  Khai thác dư thừa phân vùng không vuông 3.4 Kết luận chương Trong chương trình bày tham số đánh giá chất lượng mã hóa video, xây dựng thử nghiệm đánh giá chất lượng mã hóa chuẩn AV1 so với HEVC qua số tham số như: thời gian mã hóa, tỉ lệ PSNR, SSIM, BD-PSNR BDRate Mỗi thử nghiệm đánh giá dựa chuỗi video đầu vào có độ phân giải khác CIF, HD, 4K tốc độ bit thay đổi Cuối số đánh giá kết thử nghiệm chuẩn nén AV1 HEVC 66 KẾT LUẬN Sau thời gian nghiên cứu thực đề án tốt nghiệp, kết học viên đạt sau Thứ nhất, giới thiệu tổng quan mã hóa video, phương pháp mã hóa video, số tiêu chuẩn mã hóa video; Thứ hai, nghiên cứu chuẩn mã hóa video AV1 điểm bật thiết kế, tính năng, cú pháp mức cao, kỹ thuật mã hóa cải tiến so với chuẩn nén trước chưa áp dụng; Thứ ba, đề án xây dựng kịch chạy thử nghiệm, đánh giá chất lượng mã hóa AV1 so với HEVC qua số tham số tiêu biểu để thấy rõ hiệu chuẩn mã hóa AV1 Để đánh giá chất lượng mã hóa chuẩn AV1, đề án sử dụng phần mềm mã nguồn mở FFMpeg Các thử nghiệm sử dụng phầm mềm chương cho thấy chất lượng hình ảnh thu sử dụng chuẩn mã hóa video AV1 cải thiện nhiều so với HEVC Hơn nữa, AV1 đạt hiệu nén cao HEVC, nhiên mã hóa phức tạp địi hỏi tài ngun tính tốn nhớ thời gian mã hóa lớn KIẾN NGHỊ Hướng phát triển đề án đánh giá thêm chất lượng mã hóa AV1 khía cạnh điều chỉnh tham số lượng tử hóa, thay đổi đơn vị mã hóa (CTU), thay đổi độ sâu bit màu Đồng thời, xem xét đề xuất giải pháp giảm thiểu thời gian mã hóa Ngồi học viên mong muốn tiếp tục nghiên cứu theo mô hình gắn liền với thực tế streaming AV1 tảng truyền hình OTT dựa giao thức HLS, MPEG-DASH áp dụng cơng nghệ mã hóa truyền khối độ trễ thấp Mục tiêu hướng tới đánh giá độ ổn định, chất lượng hình ảnh, khả tương thích AV1 thiết bị đầu cuối để mang đến trải nghiệm tốt cho người sử dụng dịch vụ truyền hình 67 Tiếng Việt [1] TÀI LIỆU THAM KHẢO Đỗ Hoàng Tiến, Dương Thanh Phương, (2004), “Kỹ thuật truyền hình”, NXB Khoa học Kỹ thuật [2] Nguyễn Anh Tuấn, (2019) “Kỹ thuật mã hóa video phân tán DVC ứng dụng kỹ thuật DVC mạng cảm biến hình ảnh khơng dây” Luận văn thạc sỹ Kỹ thuật viễn thông, Đại học CN ĐHQG Hà Nội [3] Vũ Hữu Tiến, Hà Đình Dũng, (2016), “Xử lý Truyền thông Đa phương tiện”, Học viện Cơng nghệ Bưu Viễn thơng Tiếng Anh [4] Chen Yue, Mukherjee Debargha, Han, Jingning, Grange Adrian (2020), “An Overview of Coding Tools in AV1: The First Video Codec from the Alliance for Open Media” APSIPA Transactions on Signal and Information Processing, vol 9, no.6, pp 1-15 [5] Danyel Gustavo Gomes Dos Reis, (2019), “An analysis of AV1 codec efficiency and fidelity” Master thesis, Federal University of Uberlândia [6] Grois D, Nguyen T, Marpe D (2016) “Coding Efficiency Comparison of AV1/VP9, h.265/MPEG-HEVC, and h.264/MPEG-AVC encoders” Picture Coding Symposium (PCS), IEEE signal processing society [7] Grois, D.; Nguyen, T.; Marpe, D (2018), “Performance Comparison of AV1, JEM, VP9, and HEVC Encoders” Applications of Digital Image Processing XL; Tescher, A.G., Ed.; International Society for Optics and Photonics (SPIE): Bellingham, WA, USA, Volume 10396, pp 68–79 [8] Isis Bender, Alex Borges, Luciano Agostini, Bruno Zatt, Guilherme Correa & Marcelo Porto (2023), “Complexity and compression efficiency analysis of libaom AV1 video codec” Journal of Real-Time Image Processing volume 20, Article number: 50 68 [9] Jingning Han, Bohan Li, Debargha Mukherjee, Ching-Han Chiang, Adrian Grange, Cheng Chen (2021) “A Technical Overview of AV1” Proceedings of the IEEE ( Volume: 109, Issue: 9, September 2021) [10] L Trudeau, Mederic Blestel (2018) “Analysis of Emerging Video Codecs: Coding Tools, Compression Efficiency and Complexity” Conference: SMPTE Technical Conference At: Los Angeles [11] L Trudeau, N Egge and D Barr (2018), “Predicting Chroma from Luma in AV1” Data Compression Conference [12] Ludovic Roux, Alexandre Gouaillard (2020), “Performance of AV1 Real- Time Mode” Principles, Systems and Applications of IP Telecommunications (IPTComm) [13] Nguyen T, Marpe D (2018) “Future video coding technologies: a performance evaluation of AV1, JEM,VP9, and HM” Picture Coding Symposium (PCS), IEEE Signal Processing Society [14] Olgu KivanÇ Onacaka (2020), “A Comparative analysis of emerging video codec” Master thesis, Middle East Technical University [15] P Akyazi, T Ebrahimi, (2018), “Comparison of compression efficiency between HEVC/H.265 VP9 and AV1 based on subjective quality assessments” International Conference on Quality of Multimedia Experience (QoMEX) [16] Peter de Rivaz, Jack Haughton, (2019) “AV1 Bitstream & Decoding Process Specification” AOMedia [17] Steinar Midtskogen, Jean-Marc Valin (2018), “The AV1 Constrained Directional Enhancement Filter (Cdef)” ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing – Proceedings [18] T K Tan et al., “Video Quality Evaluation Methodology and Verification Testing of HEVC Compression Performance” IEEE Transactions on Circuits and Systems or Video Technology, vol 26, no 1, pp 76-90, Jan 2016 69 [19] Topiwala Pankaj, Krishnan Madhu, Dai Wei, (2018), “Performance Comparison of VVC, AV1 and HEVC on 8-bit and 10-bit content” SPIE Optical Engineering+ Applications [20] William Kolodziejski, Robson Domanski, Marcelo Porto, Bruno Zatt, Luciano Agostini.a (2022), “Ultra-High Definition AV1 FME Interpolation Architectures Exploring Approximate Computing” Journal of Integrated Circuits and Systems, vol 17 [21] Xin Zhao, Shan Liu, Adrian Grange, Andrey Norkin, (2021), “Tool Description for AV1 and libaom” AOMedia [22] Zhou Wang, Alan Conrad Bovik, Hamid Rahim Sheikh, Eero P Simoncelli, (2004), “Image Quality Assessment: From Error Visibility to Structural Similarity”, IEEE, vol 13 Tài liệu tham khảo từ Internet [23] https://github.com/tbr/bjontegaard_etroa Truy cập ngày 31/05/2023 [24] https://bitmovin.com/av1-multi-codec-dash-dataset/ Truy cập ngày 31/05/2023 [25] https://github.com/AOMediaCodec/community/wiki Truy cập ngày 31/05/2023