Nghiên cứu về các công cụ hỗ trợ mã hóa trong chuẩn mã hóa H.266/VVC với dữ liệu ảnh Light Field

Bài viết Nghiên cứu về các công cụ hỗ trợ mã hóa trong chuẩn mã hóa H.266/VVC với dữ liệu ảnh Light Field trình bày một nghiên cứu tổng quát đầu tiên về các công cụ mã hóa của tiêu chuẩn mã hóa video cập nhật - H.266/VVC cho hình ảnh LF. Hầu hết các công cụ mã hóa từ H.266/VVC (ví dụ: SMVD, MIP, IBC, v.v.) được đánh giá trên chuỗi video giả 4D-LF, và được so sánh hiệu suất nén và độ phức tạp. Mời các bạn cùng tham khảo!

Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) NGHIÊN CỨU VỀ CÁC CƠNG CỤ HỖ TRỢ MÃ HĨA TRONG CHUẨN MÃ HĨA H.266/VVC VỚI DỮ LIỆU ẢNH LIGHT FIELD Phí Công Huy, Nguyễn Cảnh Châu Học viện Công nghệ Bưu Viễn thơng huypc@ptit.edu.vn, chaunc@gmail.com Abstract - Các tiêu chuẩn mã hóa video phát triển để truyền lưu trữ liệu hiệu quả, với nhiều yêu cầu tốc độ bit, chất lượng hình ảnh, độ trễ, khả truy cập ngẫu nhiên, độ phức tạp, v.v Dữ liệu LF phương pháp thu thập liệu tổng hợp cho phép xử lý hậu kỳ hình ảnh đa dạng trích xuất 3D, thay đổi điểm nhìn lấy nét sau chụp Hơn nữa, LF cung cấp khả thu thập thơng tin phong phú, ví dụ, kết cấu, thơng tin hình học, v.v Do đó, kỹ thuật nén hiệu đóng vai trị quan trọng sử dụng liệu LF, lượng liệu lớn Các chuẩn mã hóa video đại xử lý hầu hết đặc điểm video phổ biến để cải thiện hiệu nén H.264/AVC, H.265/HEVC H.266/VVC Hiện tại, chuẩn mã hóa video - H.266/VVC cung cấp hiệu suất so sánh vượt trội so với tiêu chuẩn khác, phải trả giá độ phức tạp tính tốn cực cao, số cơng cụ mã hóa thêm vào (ví dụ: chế độ phân vùng tam giác (TPM), đơn vị mã hóa (CTU) lớn 128 × 128 pixel, v.v.) Tuy nhiên, chưa có phân tích bao qt cơng cụ mã hóa cho chuẩn nén này, để tận dụng tối đa hiệu hoạt động nó, đặc biệt hình ảnh LF Do đó, báo trình bày nghiên cứu tổng qt cơng cụ mã hóa tiêu chuẩn mã hóa video cập nhật - H.266/VVC cho hình ảnh LF Hầu hết cơng cụ mã hóa từ H.266/VVC (ví dụ: SMVD, MIP, IBC, v.v.) đánh giá chuỗi video giả 4D-LF, so sánh hiệu suất nén độ phức tạp gồm lượng lớn thông tin tia sáng bao gồm vị trí x, y, z, góc Ө, Ø, bước sóng γ, thời gian t Dữ liệu ảnh LF có kích thước lớn nói chung mơ tả hàm đa sơ đồ 7D sau, LF (x, y, z, Ө, Ø, γ, t) [6] Với độ phức tạp hàm chức này, đặt nhiều thách thức việc chụp xử lý ảnh thực tế, đó, hàm chức giảm xuống thành hàm chức 4D P = L (u, v, s, t) (1) cường độ ánh sáng, P, hàm hình ảnh độ phụ (điểm nhìn) (u, v) vị trí (góc nhìn) (s, t) tương ứng hình ảnh độ phụ Mơ hình liệu ảnh LF mơ tả sau, hai mặt phẳng (s, t) (u, v), trình bày dạng tập hợp máy ảnh mặt phẳng tiêu điểm chúng Tập hợp ảnh tạo độ phụ gọi SAI (Sub-aperture images), cách thu thập tia sáng từ máy ảnh truyền từ mặt phẳng (u, v) đến điểm cụ thể mặt phẳng (s, t) Do đó, mơ hình hai mặt phẳng sử dụng mặt phẳng (s, t) để kích thước góc, mặt phẳng (u, v) đề cập đến kích thước khơng gian Về tiêu chuẩn mã hóa video cập nhật, H.266/VVC [7] tiêu chuẩn mã hóa video nhất, ITU-T ISO/IEC xuất Vào tháng năm 2020, mã hóa VVC cơng bố chuẩn nén video hệ Chuẩn nén video thiết kế để đáp ứng hiệu linh hoạt để đáp ứng nhu cầu truyền thông đại cách cải thiện hiệu suất nén, cho phép giao tiếp hiệu lưu trữ nội dung video khổng lồ Trong bối cảnh này, nén liệu LF dựa H.266/VVC chủ đề nghiên cứu quan tâm gần Nhiều báo đề xuất đánh giá hiệu suất nén LF với codec H.266/VVC Ví dụ, V Avramelos cộng [9] ban đầu cung cấp nén hình ảnh LF H.266/VVC cách so sánh hiệu suất mã hóa ba hệ tiêu chuẩn nén video nhất, tức H.264/AVC [10], H 265/HEVC [8] H.266/VVC [7] Gần đây, H Amirpour cộng [11] trình bày nghiên cứu tương tự so sánh hiệu suất mã hóa video nén hình ảnh LF, tập trung vào phần mềm mã hóa, tức HM, VP9 [12], AV1 [13], XVC [14], Keywords: Light field, plenoptic, super-pixel, coding standards, compression efficiency, complexity I GIỚI THIỆU Dữ liệu LF gần giới thiệu áp dụng cho nhiều lĩnh vực, kính soi tai [1] y sinh học, kính hiển vi [2], điều khiển robot dựa thị giác [3] đo vận tốc [4], cấu trúc đặc biệt máy ảnh LF Máy ảnh LF không ghi lại cường độ ánh sáng mà ghi lại hướng ánh sáng đến cảm biến máy, dựa thấu kính nhỏ thêm vào ống kính trước cảm biến máy ảnh [5, 6] Do đó, liệu ảnh LF có cấu trúc phức tạp tính kích thước lớn, cần phân tích khám phá Dữ liệu LF trình bày tập hợp tia sáng truyền theo hướng góc điểm không gian 3D [6], bao ISBN 978-604-80-7468-5 107 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) x265 [8] VTM [7] Trong S Umebayashi cộng [15] sử dụng mã hóa VVC để nghiên cứu hệ thống kết hợp 4D LF cách sử dụng hình ảnh đa tiêu điểm chế độ xem tham chiếu Về phương pháp tiếp cận mơ hình mạng, cơng trình N Bakir cộng [16] sử dụng khả mở rộng theo thời gian VVC để lựa chọn chế độ xem tham chiếu / bỏ qua hình ảnh LF với mơ hình Mạng lưới Adverarial Generative (GAN) phân biệt kép Trong đó, F Pakdaman cộng [17] tập trung vào mã hóa nội VVC có độ phức tạp thấp để học hai phương thức nhẹ Tuy nhiên, thiếu tài liệu phân tích khía cạnh Do đó, báo cung cấp phân tích cơng cụ mã hóa tồn diện H.266/VVC ảnh LF Đóng góp báo tập trung vào phân tích cơng cụ mã hóa phạm vi rộng: hầu hết cơng cụ mã hóa đổi H.266/VVC phân loại phân tích với điều kiện bật / tắt, chẳng hạn nhóm phân vùng khối (ví dụ: Quadtree cộng với MTT, v.v.), Dự đốn liên ảnh nhóm (ví dụ: Dự đoán vectơ chuyển động tạm thời dựa khối (SBTMVP), Chênh lệch vectơ chuyển động đối xứng (SMVD), v.v.), nhóm dự đốn ảnh (ví dụ: Nhiều dịng tham chiếu (MRL), Nội dựa ma trận -picture Predcition (MIP), v.v.), Nhóm chuyển đổi lượng tử hóa (ví dụ: Lượng tử hóa phụ thuộc (DQ), Lựa chọn nhiều biến đổi (MTS), v.v.) Độ phức tạp tính tốn hiệu suất nén sau báo cáo Cấu trúc báo sau Phần mô tả sở lý thuyết liên quan đến mã hóa video tổng quan cơng cụ mã hóa H.266/VVC, Phần trình bày phân tích cơng cụ mã hóa với phương pháp quan sát đánh giá Sau đó, Phần thực đánh giá thử nghiệm Cuối cùng, Phần tóm tắt kết luận H.264/AVC, H.265/HEVC H.266/VVC Mỗi thành viên gia đình H.26x có thuận lợi khó khăn nhu cầu người sử dụng yêu cầu liệu Trên thực tế, H.264/AVC mã hóa sử dụng rộng rãi độ phức tạp thấp [19] Cấu trúc mã hóa tiêu chuẩn tương tự cấu trúc tất chuẩn video trước đây, dựa mã hóa biến đổi bù chuyển động Chuẩn H.264/AVC nén hình ảnh từ trình tự cách phân vùng thành nhiều lát, bao gồm macroblock cho lát có kích thước cố định (16 × 16 mẫu) cơng cụ mã hóa sau, chẳng hạn như: Intra spatial (khối đế ) dự đoán, Dự đốn liên thời gian, Tính mã hóa xen kẽ, Lượng tử hóa vơ hướng, Bộ lọc gỡ lỗi, v.v [18] Công cụ H.264/AVC so với tiêu chuẩn trước lọc gỡ lỗi thích ứng dự đoán khung [20] Để cải thiện hiệu mã hóa, H.265/HEVC hồn thiện vào năm 2013 với cấu trúc phiên tiền nhiệm bổ sung thêm số tính bật [8, 21] Để làm rõ hơn, biểu diễn khối dựa Quadtree giới thiệu sau Đơn vị Cây mã hóa (CTU) với kích thước lên đến 64 × 16 mẫu Cuối cùng, tiêu chuẩn mã hóa video - H.266/VVC công bố vào tháng năm 2020 với nhiều cải tiến hiệu mã hóa Thứ nhất, tiêu chuẩn cập nhật cấu trúc khối linh hoạt lớn cách tăng kích thước CTU lên 128 × 128 mẫu luma [22] Điều giúp tiêu chuẩn hoạt động với độ phân giải cao đặc điểm video HDR Hơn nữa, kỹ thuật mã hóa kế thừa từ phần mở rộng mã hóa nội dung hình H.265/HEVC áp dụng Intra Block Copy (IBC) điều chế mã xung vi sai mức khối (BDPCM), Adaptive Color Transform (ACT) Tiêu chuẩn cung cấp mã hóa đa lớp, cho phép khả mở rộng theo thời gian, khơng gian chất lượng, với mã hóa đa điểm [24] II CƠ SỞ LÝ THUYẾT A Các chuẩn mã hóa video B Mã hóa liệu Light Field theo chuẩn H.266/VVC Lịch sử chuẩn mã hóa video nằm Liên minh Viễn thơng Quốc tế - Nhóm chun gia tiêu chuẩn hóa viễn thơng (ITU-T) (ITU-T VCEG) khoảng ba thập kỷ Bắt đầu với H.261 từ năm 1990, mã hóa mơ tả phương pháp mã hóa giải mã video với dịch vụ nghe nhìn tốc độ p × 64 kbit/s, p nằm khoảng từ đến 30 Ngoài ra, H.261 xác định hai định dạng hình ảnh, nghĩa là, Định dạng trung gian chung (CIF) Định dạng trung gian chung phần tư (QCIF) Về hệ thống hội nghị truyền hình truyền thơng video, codec coi ứng dụng quan trọng nhất, nhiên, phù hợp với Frame Relay Internet TCP/IP tính tối ưu hóa cho tốc độ liệu thấp video chuyển động thấp [18] Sau phiên mã hóa H.261, ITU cập nhật nhiều tính cho mã hóa thêm số phiên vào chuẩn mã hóa video H.26x, H.263, ISBN 978-604-80-7468-5 Vì tiêu chuẩn H.266/VVC cho thấy hiệu suất nén vượt trội so với tiêu chuẩn khác [22], tiêu chuẩn trở thành codec mong muốn để đánh giá với tập liệu morden video độ phân giải cao (ví dụ: 4K, 16K), video sống động (ví dụ: Video 360 độ), Point Cloud hình ảnh LF Tuy nhiên, nghiên cứu nén hình ảnh LF dựa H.266/VVC bước khởi đầu Ban đầu, việc so sánh phương pháp nén LF [9, 11, 23] tiến hành để đánh giá hiệu suất nén tiêu chuẩn khác Tiêu chuẩn mã hóa video tiếng, tức H.264/AVC, H.265/HEVC H.266/VVC sử dụng [9] để mã hóa hình ảnh LF theo cách tiếp cận chuỗi giả Trong cơng trình tác giả [23] T Nguyen D Marpe [24] so sánh hiệu suất nén phần mềm mã hóa JPEG-2000, VP9, AV1, HM phiên VVC (JEM sotfware) 108 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) Bảng Tổng quan định nghĩa liệu LF Loại lấy nét LF Mô tả Số lượng mẫu CWF Lớp phức tạp với FOV rộng lấy nét vào Tiền cảnh 10 CWB Lớp phức tạp với FOV rộng lấy nét vào Hậu cảnh 10 CNF Lớp phức tạp với FOV hẹp lấy nét vào Tiền cảnh 10 CNB Lớp phức tạp với FOV hẹp lấy nét vào Hậu cảnh 10 SWF Lớp đơn giản với FOV rộng lấy nét vào Tiền cảnh SWB Lớp đơn giản với FOV rộng lấy nét vào Hậu cảnh SNF Lớp đơn giản với FOV hẹp lấy nét vào Tiền cảnh 10 SNB Lớp đơn giản với FOV hẹp lấy nét vào Hậu cảnh 10 Cơng trình A S Panayides cộng [25] cung cấp cách tiếp cận đơn giản tập trung vào AV1 tiêu chuẩn H.266/VVC cập nhật Tổng hợp kết từ tài liệu, H.266/VVC hoạt động tốt đáng kể so với tiêu chuẩn phần mềm khác Đặc biệt, việc cải tiến bổ sung cơng cụ hỗ trợ mã hóa H.266/VVC giúp cho hiệu tính linh hoạt mã hóa nâng cấp nhiều Các cơng cụ hỗ trợ mã hóa giúp chuẩn H.266/VVC đáp ứng các sản phẩm công nghệ nay, như: nén 360 độ, thực ảo, hình ảnh đa chiều Point Cloud 193 SAI hình ảnh LF với thứ tự quét xoắn ốc với tốc độ 30 khung hình / giây (fps) Ngồi ra, PVS sử dụng tiêu điểm độ sâu trường ảnh khác dựa kỹ thuật RI B Cơng cụ hỗ trợ mã hóa H.266/VVC • III DỮ LIỆU LIGHT FIELD VÀ CÁC CÔNG CỤ HỖ TRỢ MÃ HÓA TRONG H.266/VVC A Dữ liệu Light Field Tập liệu LF chọn từ tập liệu nguồn EPFL [26], với loại Độ sâu trường ảnh (DOF) Trường quan sát (FOV) khác hiển thị cho người quan sát Bảng trình bày tổng quan liệu lý lựa chọn, với hình ảnh thu nhỏ Bảng Dữ liệu chia thành hai phần dựa độ phức tạp LF-FOV, tức FOV lớp phức tạp FOV lớp đơn giản (trong phức tạp phân đơi đơn giản đề cập đến số lượng đối tượng cảnh mà tập trung vào xác định dễ dàng; nhiều hai đối tượng cảnh coi lớp phức tạp) Mỗi loại LF-FOV chứa loại LF-DOF: DOF hẹp DOF rộng (DOF hẹp rộng đề cập đến phạm vi độ sâu lấy nét cảnh tương ứng) Cấu hình độ dốc LF để thay đổi tiêu điểm thay đổi phạm vi từ -0,6 (tức lấy nét tiền cảnh) đến 1,6 (tức lấy nét nền) Để thay đổi tiêu điểm ảnh LF, thay đổi thông số độ dốc ảnh LF cách sử dụng hộp công cụ Matlab LF v.0.4 [27] Theo định nghĩa tập liệu LF Bảng 1, tập liệu phân loại theo ba điều kiện kết xuất cảnh: độ phức tạp (đơn giản phức tạp), độ sâu (hẹp rộng), tiêu điểm (nền tiền cảnh) Trong nghiên cứu này, tập liệu LF chọn từ nội dung ảnh LF khác để đánh giá nén hoàn toàn Tập liệu LF tạo phương pháp thụ động sử dụng phương pháp chuỗi video giả dựa SAI (PVS) hình ảnh tái tập trung (RI) dựa SAI Kỹ thuật PVS sử dụng ISBN 978-604-80-7468-5 • 109 Nhóm Dự đốn hình ảnh liên khung (inter-picture) o Dự đoán vectơ chuyển động theo thời gian dựa khối (SBTMVP): TMVP chế độ hợp kế thừa tập hợp thông tin chuyển động từ CU phân vùng theo thời gian Phương pháp SBTMVP VVC cho phép kế thừa thơng tin chuyển động từ hình ảnh chỉnh màu mức độ chi tiết tốt hơn, nghĩa là, theo đơn vị khối × o MVD đối xứng (SMVD): Khi chuyển động khối nằm quỹ đạo chuyển động khơng đổi a q khứ tạm thời hình ảnh tham chiếu tạm thời tương lai theo thứ tự hiển thị, MV tương ứng hình ảnh tham chiếu số có xu hướng đối xứng SMVD khai thác điều để lưu bit cho MVD báo hiệu mục hình ảnh tham chiếu o Chế độ phân vùng hình học (GPM): cho phép bù chuyển động phân vùng khơng hình chữ nhật khối biến thể chế độ hợp VVC Khi chế độ sử dụng, CU chia thành hai phân vùng theo hình học nằm đường thẳng hai số hợp (một số cho phân vùng) báo hiệu thêm o Dự đoán nội bộ/liên ảnh kết hợp (CIIP): Trong VVC, CU mã hóa chế độ hợp nhất, tín hiệu bổ sung báo hiệu biết liệu chế độ CIIP có áp dụng cho CU hay khơng Chế độ CIIP áp dụng cho CU chứa 64 mẫu luma chiều rộng CU chiều cao CU nhỏ 128 mẫu luma Nhóm dự đốn hình ảnh liên khung (inter-picture) o Nhiều đường tham chiếu (MRL): dự đoán sử dụng nhiều đường tham chiếu bên cạnh vùng lân cận Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thơng Cơng nghệ Thơng tin (REV-ECIT2022) • • khơng gian gần mẫu tái tạo để dự đốn ảnh Trong chế độ này, thay sử dụng dòng gần mẫu làm dòng tham chiếu cho dự đốn ảnh, mẫu từ hai dịng khác (một dòng tham chiếu hai dòng cách xa dịng tham chiếu cách ba dịng) sử dụng o Dự đốn khơng gian ảnh dựa ma trận (MIP): chế độ dự đoán bổ sung VVC Lần đề xuất dự đoán dựa mạng nơ-ron sau đơn giản hóa để sử dụng phép nhân ma trận lập mục bảng ma trận o Phân vùng phụ nội (ISP): chế độ chia Luma CU theo chiều dọc chiều ngang thành hai bốn phân vùng tùy thuộc vào kích thước khối Trong chế độ này, tất tiêu đề chia sẻ thông tin chế độ mã hóa, dự đốn biến đổi xử lý riêng biệt Kích thước khối tối thiểu cho ISP × × tối đa kích thước khối 64 × 64 Nhóm biến đổi lượng tử hóa o Lựa chọn nhiều biến đổi (MTS): sử dụng để mã hóa dư cho mã hóa ảnh nội ảnh khối Nó cung cấp khả chọn số tập hợp xác định trước phép biến đổi hình sin (được tăng cường) bao gồm Biến đổi DCT loại II, DST loại VII DCT loại VIII cho CU có chiều rộng chiều cao nhỏ đến 32 o Lượng tử hóa phụ thuộc (DQ): đề cập đến cách tiếp cận tập hợp giá trị tái tạo có sẵn cho hệ số biến đổi phụ thuộc vào giá trị tái tạo chọn cho hệ số biến đổi đứng trước theo thứ tự quét Hiệu cách tiếp cận này, độ méo trung bình vectơ đầu vào cho không gian vectơ M chiều (tất hệ số biến đổi TB) vectơ tái cấu trúc gần giảm tồn cục o Giải mã chung dư thừa sắc độ (JCCR): sử dụng để giảm thêm dư thừa hai sắc độ tín hiệu dư thành phần chúng tương tự Thay báo hiệu phần dư cho hai thành phần sắc độ riêng biệt, ba chế độ JCCR với kết hợp trọng số khác mã đơn dư sắc độ áp dụng cách chọn lọc mức CU Nhóm m hóa nội dung hình o Intra-picture block copy (IBC): sử dụng mẫu lặp lại bên tranh Nó xem dạng dự đoán bù chuyển động với số nguyên MV (được gọi vectơ khối) tham chiếu đến vùng mã hóa trước hình ảnh thay hình ảnh tham chiếu mã hóa trước ISBN 978-604-80-7468-5 o So với phần mở rộng HEVC SCC, IBC VVC đơn giản hóa đệm mẫu tham chiếu Chế độ Bảng màu (PM) sử dụng để biểu diễn giá trị mẫu CU tập hợp giá trị màu đại diện Tập hợp gọi bảng màu Đối với CU mã hóa chế độ bảng màu, bảng màu báo hiệu, sau cho mẫu CU, số bảng màu báo hiệu Trong VVC, lát có mã hóa luma/chroma riêng biệt, bảng màu áp dụng luma (thành phần Y) chroma (thành phần Cb Cr) riêng biệt, với bảng màu luma mục nhập chứa giá trị Y mục nhập bảng màu chứa giá trị Cb Cr IV KIỂM THỬ VÀ KẾT QUẢ A Điều kiện kiểm thử Những hình ảnh LF chuyển đổi thành chuỗi giả 4D-LF với thứ tự quét xoắn ốc Để giảm hiệu ứng làm mờ nét ảnh, có 193 khung hình chọn chủ yếu từ trung tâm, ngoại trừ SAI từ góc xa Các chuỗi giả thử nghiệm chọn độ phân giải 624 × 432, tốc độ khung hình 30Hz, định dạng yuv, với kiểu nội dung phức tạp đơn giản hình ảnh LF Hình chuỗi liệu LF sử dụng để kiểm thử (a) (b) (c) (d) Hình Các liệu LF sử dụng kiểm thử: (a) Rolex Learning Centre, (b) Bikes, (c) Reeds, (d) Chain link fence Dựa tương quan cao SAI loại LF, nghĩa lớp phức tạp đơn giản, cơng cụ mã hóa VVC codec đánh giá bật tắt tương ứng để xác định cơng cụ mã hóa khơng sử dụng nhiều nhất, đòi hỏi lượng bitrate lớn thu biểu diễn Tuy nhiên, hình ảnh LF có mối tương quan cao SAI, thử nghiệm ban đầu cần xem xét sau: 110 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) Bảng Kết so sánh BD-PSNR công cụ hỗ trợ mã hóa tắt bật Ảnh LF Loại LF BD-PSNR với công cụ hỗ trợ mã hóa tắt (OFF) CN 0.03 N/A 0.01 N/A N/A N/A -0.06 0.04 0.01 IBC (on) -0.01 SN -0.01 -0.02 N/A 0.01 -0.01 -0.06 -0.12 N/A -0.01 0.02 -0.02 0.01 Reeds SW N/A 0.02 N/A N/A 0.01 0.01 -0.13 N/A -0.02 N/A -0.01 -0.01 Rolex Learning Centre CW -0.01 -0.03 N/A 0.02 0.02 -0.04 N/A -0.03 -0.01 N/A N/A -0.01 Bikes Chain_Link_fence_1 GPM MRL SBTMVP SMVD (a) (d) CIIP DQ JCCR MTS PM (b) Mỗi thử nghiệm chạy liên tục lần với cấu hình giống (lưu ý: cần đóng tất phần mềm nền) để thu thập độ phức tạp thời gian - Mỗi công cụ mã hóa cần chạy hai lần (một cho TẮT cho BẬT) với cấu hình tương tự 0.02 (f) LF Các giá trị có hiệu suất thay đổi không kể nhỏ Do vậy, thấy việc tắt cơng cụ hỗ trợ mã hóa chuẩn VVC khơng ảnh hưởng tới hiệu mã hóa V KẾT LUẬN Bài báo cung cấp nghiên cứu tổng qt cơng cụ hỗ trợ mã hóa mã hóa H.266/VVC Kết cho thấy cơng cụ hỗ trợ mã hóa tắt khơng có thay đổi nhiều hiệu tiết kiệm bitrate Điều cho thấy rằng, phức tạp mã hóa nằm phận khác cần nghiên cứu tương lại Đặc biệt, điểm ý cho thấy rằng, công cụ mã hóa bị ảnh hưởng nhiều nội dung liệu ảnh LF B Kết so sánh với cơng cụ hỗ trợ mã hóa Dựa theo kết Bảng hình 2, ta thấy hiệu suất thông qua BD-PSNR công cụ mã hóa thể cho liệu ảnh LF tương ứng Kết BD-PSNR cao thể hiệu suất tốt Thơng thường, mã hóa VVC mã hóa với điều kiện tất cơng cụ hỗ trợ bật Do vậy, tác giả tắt cơng cụ mã hóa, thử nghiệm so sánh với điều kiện bật Công cụ có số BD-PSNR tốt Bảng 2, chứng tỏ cơng cụ làm giảm hiệu mã hóa VVC chúng bật Tuy nhiên, ta thấy hầu hết cơng cụ mã hóa có số âm Bảng 2, ngoại trừ cơng cụ có giá trị dương CIIP MIP, đặc biệt công cụ MTS đạt giá trị cao 0.04 dB, áp dụng cho dạng liệu ISBN 978-604-80-7468-5 N/A MIP (c) (e) Hình Bảng kết khác biệt chuỗi video cơng cụ mã hóa tắt - ISP NGUỒN THAM KHẢO 111 N Bedard, T Shope, A Hoberman, M A Haralam, N Shaikh, J Kovačević, N Balram, and I Tošić, "Light field otoscope design for 3D in vivo imaging of the middle ear," Biomedical optics express, vol 8, pp 260-272, 2017 Hội nghị Quốc gia lần thứ 25 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2022) 10 11 12 13 14 15 H Li, C Guo, and S Jia, "High-resolution light-field microscopy," Frontiers in Optics, vol FW6D 3, 2017 D Tsai, D G Dansereau, T Peynot, and P Corke, "ImageBased Visual Servoing With Light Field Cameras," IEEE Robotics and Automation Letters, vol 2, no 2, pp 912-919, 2017 K Lynch, T Fahringer, and B Thurow, "Three-dimensional particle image velocimetry using a plenoptic camera," in American Institute of Aeronautics and Astronautics (AIAA), 2012 R Ng, et al., “Light field photography with a hand -held plenoptic camera,” in Computer Science Technical Report, vol 2, no 11, pp 111, 2005 G Wu et al, “Light Field Image Processing: An Overview,” IEEE Journal of Selected Topics in Signal Processing, vol 11, no 7, pp 926-954, 2017 B Benjamin, C Jianle, L Shan, W Ye-Kui, "Versatile Video Coding (Draft 10)," 19th Meeting: by teleconference, Joint Video Experts Team (JVET) of ITU-T SG 16 WP and ISO/IEC JTC 1/SC 29/WG 11, 2020 G J Sullivan, J R Ohm, W J Han and T Wiegand, “Overview of the High Efficiency Video Coding (HEVC) Standard,” in IEEE Transactions on Circuits and Systems for Video Technology, vol 22, no 12, pp 1649-1668, Dec 2012 V Avramelos, J D Praeter, G V Wallendael, and P Lambert, “Light Field image compresison using Versatile Video Coding,” in IEEE 9th International Conference on Consumer Electronics (ICCE), Berlin, 2019 T Wiegand, G J Sullivan, G Bjøntegaard and A Luthra, “Overview of the H.264/AVC Video Coding Standard”, IEEE Transactions on Circuits and Systems for Video Technology, vol 13, issue 7, pp 560-576, 2003 H Amirpour, A M G Pinheiro, M Pereira, M Ghanbari, “Performance comparison of video encoders in light field image compression”, in Proc IS&T Int’l Symp on Electronic Imaging: 3D Imaging and Applications, pp 60-1 60-7, 2021, https://doi.org/10.2352/ISSN.24701173.2021.18.3DIA-060 D Mukherjee et al., “A Technical Overview of VP9 – The Latest Open-Source Video Codec,” SMPTE 2013 Annual Technical Conference & Exhibition, Hollywood, CA, USA, , pp 1-17, 2013 J Han et al., “A Technical Overview of AV1,” in Proceedings of the IEEE, vol 109, no 9, pp 1435-1462, Sept 2021, doi: 10.1109/JPROC.2021.3058584 J Samuelsson, “The XVC Video Code: A Revolutionary Software-Defined Video Compression Format,” in SMPTE Motion Imaging Journal, vol 128, no 10, pp 1-8, Nov.-Dec 2019, doi: 10.5594/JMI.2019.2937737 S Umebayashi, K Kodama and T Hamamoto, “A Study on 4D Light Field Compression Using Multi-focus Images and Reference Views,” 2021 International Conference on Visual Communications and Image Processing (VCIP), pp 1-5, 2021, doi: 10.1109/VCIP53242.2021.9675378 ISBN 978-604-80-7468-5 16 N Bakir, W Hamidouche, S A Fezza, K Samrouth and O Déforges, “Light Field Image Coding Using Dual Discriminator Generative Adversarial Network and VVC Temporal Scalability,” 2020 IEEE International Conference on Multimedia and Expo (ICME), pp 1-6, 2020, doi: 10.1109/ICME46284.2020.9102880 17 F Pakdaman, M A Adelimanesh, and M R Hashemi “BLINC: Lightweight Bimodal Learning for LowComplexity VVC Intra Coding.” arXiv preprint arXiv:2201.07823, 2022 18 F Bossen, J Boyce, K Suehring, X Li, V Seregin, “JVET common test conditions and software reference configurations for SDR video.” Jt Video Expert Team ITUT SG 16 WP ISO/IEC JTC 1/SC 29/WG 11, 14th Meet, 2019 19 D Marpe, T Wiegand, and G.J Sullivan, “The H.264/MPEG4 advanced video coding standard and its applications”, IEEE Communications Magazine, vol 44, no 8, pp 134—143, 2006 20 J Ostermann, et al “Video coding with H.264/AVC: tools, performance, and complexity.” IEEE Circuits and Systems Magazine, vol 4, pp 7-28, 2004 21 High Efficiency Video Coding, Rec ITU-T H.265 and ISO/IEC 23008-2, Jan 2013 22 B Bross, J Chen, J -R Ohm, G J Sullivan and Y -K Wang, "Developments in International Video Coding Standardization After AVC, With an Overview of Versatile Video Coding (VVC)," in Proceedings of the IEEE, vol 109, no 9, pp 1463-1493, Sept 2021, doi: 10.1109/JPROC.2020.3043399 23 H P Cong, S Perry, V T Anh, and X H Van, “Joint Exploration Model based Light Field Image Coding: A Comparative Study”, In: 2017 4th NAFOSTED Conference on Information and Computer Science (NICS 2017), Hanoi, Vietnam, Nov 2017 24 T Nguyen, D Marpe, “Future video coding technologies: a performance evaluation of av1, jem, vp9, and hm”, In: 2018 picture coding symposium (PCS), pp 31–35, 2018 25 A S Panayides, M S Pattichis, M Pantziaris, A G Constantinides, C S Pattichis, “The battle of the video codecs in the healthcare domain - a comparative performance evaluation study leveraging VVC and AV1”, IEEE Access, vol 8, pp 11469–11481, 2020 26 M Řeřábek, T Ebrahimi, “New Light Field Image Dataset” In Proceedings of the 8th International Conference on Quality of Multimedia Experience, Lisbon, Portugal, - Jun 2016 27 D Dansereau, “Light Field Toolbox for Matlab,” Feb 2015 Available online: http://www.mathworks.com/matlabcentral/fileexchange/49683light-field-toolbox-v0-4 (accessed on 12/01/2021) 112 ... tắt cơng cụ hỗ trợ mã hóa chuẩn VVC khơng ảnh hưởng tới hiệu mã hóa V KẾT LUẬN Bài báo cung cấp nghiên cứu tổng quát công cụ hỗ trợ mã hóa mã hóa H.266/VVC Kết cho thấy công cụ hỗ trợ mã hóa tắt... BD-PSNR cơng cụ mã hóa thể cho liệu ảnh LF tương ứng Kết BD-PSNR cao thể hiệu suất tốt Thông thường, mã hóa VVC mã hóa với điều kiện tất công cụ hỗ trợ bật Do vậy, tác giả tắt công cụ mã hóa, thử... rằng, phức tạp mã hóa nằm phận khác cần nghiên cứu tương lại Đặc biệt, điểm ý cho thấy rằng, cơng cụ mã hóa bị ảnh hưởng nhiều nội dung liệu ảnh LF B Kết so sánh với công cụ hỗ trợ mã hóa Dựa theo