Nghiên cứu cải tiến hiệu năng hệ thống mã hóa giải mã video phân tán tt

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN THỊ HƯƠNG THẢO NGHIÊN CỨU CẢI TIẾN HIỆU NĂNG HỆ THỐNG MÃ HÓA/GIẢI MÃ VIDEO PHÂN TÁN CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9.52.02.03 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2020 BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN THỊ HƯƠNG THẢO NGHIÊN CỨU CẢI TIẾN HIỆU NĂNG HỆ THỐNG MÃ HÓA/GIẢI MÃ VIDEO PHÂN TÁN CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9.52.02.03 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2020 Cơng trình hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Vũ Văn San TS Nguyễn Ngọc Minh Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước hội đồng chấm luận văn tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG vào hồi: , ngày tháng năm Có thể tìm hiểu luận án tại: Thư viện Quốc gia Việt Nam Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Lý nghiên cứu Trong nhiều ứng dụng nay, video đóng vai trị quan trọng Trong nghiên cứu video, nén khía cạnh quan tâm nhiều Mục đích nén video tạo cách biểu diễn liệu video cho chiếm dung lượng Tuy nhiên, nén đôi với trả giá Thứ nhất, nén nhiều làm giảm chất lượng hình ảnh Thứ hai, độ phức tạp thuật toán nén tăng lên muốn tỷ lệ nén tốt Trong chuẩn mã hóa video truyền thống, mã hóa thường phức tạp nhiều so với giải mã Cách thiết kế thường phù hợp với ứng dụng video truyền thống truyền hình quảng bá Với phát triển mạnh mẽ mạng không dây, xuất hàng loạt ứng dụng mà khơng tn thủ theo sơ đồ - nhiều ứng dụng trước Đối với ứng dụng này, thường có nhiều mã hóa gửi liệu tới vài giải mã trung tâm Vì thách thức hệ thống thực nén video thiết bị có tài nguyên hạn chế, có khả chống lại tượng gói, hiệu suất nén cao độ trễ thấp Một giải pháp thay đáp ứng yêu cầu mã hóa video phân tán (DVC) Trong mã hóa video phân tán, ước lượng chuyển động độ phức tạp chuyển từ mã hóa sang giải mã Phải nhấn mạnh mục đích DVC khơng phải thay cho H.264/AVC hay HEVC cách cung cấp khả nén tốt Trên thực tế, DVC tốt dự kiến thực với hiệu nén tương đương Tuy nhiên, kết thực tế cho thấy DVC chưa đạt hiệu suất mong muốn chuẩn nén video dự đoán nay, đặc biệt bối cảnh giữ cho mã hóa có độ phức tạp thấp Mục tiêu nghiên cứu Các phân tích cho thấy DVC đóng vai trò quan trọng ứng dụng mạng cảm biến hình ảnh hay mạng giám sát khơng dây Tuy nhiên thách thức DVC phải đạt hiệu nén mức tiệm cận với hệ thống mã hóa video dự đốn có Vì mục tiêu nghiên cứu luận án nghiên cứu đề xuất kỹ thuật cải thiện hiệu nén mã hóa video phân tán DVC mã hóa video phân tán liên lớp DSVC Nội dung nghiên cứu Với mục tiêu nghiên cứu trên, phần nội dung nghiên cứu Luận án tập trung vào nội dung sau: - Đề xuất phương pháp nhằm cải thiện nén cho mã hóa video phân tán bao gồm phương pháp thực phía mã hóa nhóm phương pháp thực phía giải mã - Đề xuất kỹ thuật tạo thông tin phụ trợ để cải thiện hiệu nén cho mã hóa video phân tán liên lớp Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu mã hóa video phân tán mở rộng mã hóa video phân tán mã hóa video phân tán liên lớp Phạm vi nghiên cứu luận án kỹ thuật nhằm nâng cao hiệu nén mã hóa video phân tán mã hóa video phân tán liên lớp Ý nghĩa khoa học thực tiễn đề tài nghiên cứu Ý nghĩa khoa học luận án mà nghiên cứu sinh hướng đến đề xuất kỹ thuật nhằm nâng cao hiệu nén mã hóa video phân tán mã hóa video phân tán liên lớp Ý nghĩa thực tiễn luận án mà nghiên cứu sinh hy vọng đạt kết nghiên cứu luận án góp phần vào việc rút ngắn khoảng cách hiệu suất mã hóa mã hóa video phân tán với hệ thống mã hóa video dự đốn nay, sớm đưa mã hóa video phân tán vào ứng dụng thực tế Phương pháp nghiên cứu Để thực nội dung nghiên cứu đề ra, phương pháp nghiên cứu sử dụng Luận án bao gồm: Phương pháp nghiên cứu lý luận: Phân tích, tổng hợp đánh giá cơng trình nghiên cứu, sách chuyên khảo nguồn tài liệu khoa học có liên quan đến mã hóa video phân tán mã hóa video phân tán liên lớp Từ đề xuất kỹ thuật nhằm cải thiện hiệu nén cho mã hóa video phân tán mã hóa video phân tán liên lớp Phương pháp mô phỏng: Các đề xuất cải thiện hiệu nén cho mã hóa video phân tán mã hóa video phân tán liên lớp thử nghiệm đánh giá so sánh với giải pháp trước phần mềm tham chiếu Cấu trúc luận án Ngoài phần mở đầu phần kết luận, kiến nghị, Luận án chia thành chương với bố cục sau: Chương giới thiệu tổng quan mã hóa video bao gồm mã hóa video dự đốn mã hóa video phân tán, tập trung vào vấn đề liên quan đến mã hóa video phân tán Chương trình bày đề xuất cải thiện hiệu nén cho mã hóa video phân tán phía mã hóa giải mã [1], [2], [3] Chương luận án trình bày đề xuất cải thiện hiệu nén cho mã hóa video phân tán liên lớp [4],[5] CHƯƠNG TỔNG QUAN VỀ MÃ HĨA VIDEO Tóm tắt: Nội dung chương trình bày tổng quan mã hóa video bao gồm mã hóa video dự đốn mã hóa video phân tán (DVC) Trong chương giới thiệu số chuẩn nén video dự đoán lý thuyết tảng DVC mã hóa video phân tán thực tế nghiên cứu cộng đồng nghiên cứu DVC Phần cuối chương đề cập đến vấn đề nghiên cứu DVC hạn chế nghiên cứu trước đề xuất hướng nghiên cứu, phạm vi nghiên cứu phương thức tiếp cận luận án 1.1 Mã hóa video dự đốn Phần trình bày tổng quan chuẩn mã hóa video dự đốn bao gồm chuẩn mã hóa video H.261, MPEG-1, H.262/MPEG-2, H.263 H.264/AVC, HEVC 1.2 Mã hóa video phân tán Phần giới thiệu hai định lý lý thuyết thông tin sở mã hóa nguồn phân tán mã hóa video phân tán định lý Slepian-Wolf định lý Wyner-Ziv 1.3 Các kiến trúc mã hóa video phân tán Phần giới thiệu kiến trúc mã hóa video phân tán ba kiến trúc DVC thực tế đề xuất sử dụng nghiên cứu DVC gồm kiến trúc Stanford đại học Stanford, kiến trúc PRISM đại học California kiến trúc DISCOVER cải tiến kiến trúc Stanford 1.4 Các vấn đề nghiên cứu mã hóa video phân tán Phần giới thiệu vấn đề nghiên cứu DVC bao gồm: cải thiện hiệu nén, cung cấp khả chống lỗi, cung cấp khả liên lớp, mã hóa video phân tán đa góc nhìn Các nghiên cứu cải thiện hiệu nén tập trung vào cải thiện mã hóa Slepian-Wolf, tạo thơng tin phụ trợ, mơ hinh nhiễu tương quan, lựa chọn chế độ mã hóa, tái tạo Khảo sát cho thấy hầu hết nghiên cứu tập trung vào cải thiện hiệu nén cho mã hóa video phân tán hiệu nén hệ thống khoảng cách xa với mã hóa video dự đốn sử dụng Với nhu cầu hệ thống mã hóa video liên lớp, nên ngồi cải thiện hiệu nén, số hướng nghiên cứu tập trung vào mã hóa video liên lớp sử dụng nguyên tắc phân tán Tuy nhiên nghiên cứu chưa nhiều hiệu nén mã hóa video phân tán liên lớp chưa cao Nhận thấy vấn đề tồn nghiên cứu DVC, luận án đề xuất giải pháp nhằm cải thiện hiệu nén cho hệ thống mã hóa video phân tán 1.5 Các hướng nghiên cứu luận án Với mục tiêu cải thiện hiệu nén cho mã hóa video phân tán trì độ phức tạp thấp cho mã hóa, nghiên cứu sinh tập trung vào vấn đề sau: - Nghiên cứu đề xuất phương pháp thực phía mã hóa để cải thiện hiệu nén mã hóa video phân tán không làm tăng đáng kể độ phức tạp mã hóa - Nghiên cứu đề xuất phương pháp phức tạp thực phía giải mã để cải thiện hiệu nén cho mã hóa video phân tán - Nghiên cứu đề xuất phương pháp cải thiện hiệu nén cho mở rộng mã hóa video phân tán mã hóa video phân tán liên lớp 1.6 Kết luận chương Chương giới thiệu mã hóa video nói chung, đặc biệt cung cấp tảng lý thuyết và kết nghiên cứu DVC Dựa khảo sát đánh giá sơ tình hình nghiên cứu DVC nay, nghiên cứu sinh đưa hướng nghiên cứu cụ thể nhằm cải thiện hiệu nén cho mã hóa video phân tán mã hóa video phân tán liên lớp CHƯƠNG CẢI TIẾN HIỆU NĂNG NÉN CHO MÃ HÓA VIDEO PHÂN TÁN Tóm tắt: Chương trình bày kết nghiên cứu cải tiến hiệu nén cho mã hóa video phân tán bao gồm: (1) cải tiến hiệu nén cho DVC phía mã hóa sử dụng phương pháp thay đổi kích thước nhóm ảnh; (2) cải tiến hiệu nén cho DVC phía giải mã với mô-đun cải tiến phương pháp tạo thông tin phụ trợ mô-đun ước lượng tham số α cho mô hình nhiễu tương quan 2.1 Giới thiệu chung Với mục tiêu cải tiến hiệu nén DVC, chương nghiên cứu đề xuất phương pháp thực phía mã hóa hai phương pháp thực phía giải mã nhằm cải tiến hiệu nén DVC 2.2 Đề xuất 1: Cải tiến hiệu nén cho DVC phía mã hóa 2.2.1 Đặt vấn đề Phần giới thiệu mối tương quan nội dung chuyển động chuỗi video với kích thước nhóm ảnh (GOP) Việc lựa chọn kích thước GOP định đến chất lượng ước lượng thơng tin phụ trợ (SI) mơ hình nhiễu tương quan (CNM) Do việc thay đổi kích thước GOP theo nội dung chuyển động chuỗi video cải thiện hiệu nén hệ thống mã hóa video phân tán Tuy nhiên, việc lựa chọn kích thước thước GOP xác cho phân đoạn video khó đạt độ xác Vì vậy, luận án đề xuất phương pháp xác định kích thước GOP cho phân đoạn video dựa thuật toán định 2.2.2 Phương pháp thay đổi kích thước GOP đề xuất Phương pháp thay đổi kích thước GOP đề xuất thực mã hóa DVC Kiến trúc mã hóa video phân tán AGOP-DVC với khối đề xuất tô màu đậm mô tả hình 2.1 Hình 1: Kiến trúc mã hóa video phân tán AGOP-DVC Trong đề xuất này, phân đoạn gồm khung hình video đầu vào đánh giá để lựa chọn kích thước GOP phù hợp cách trích chọn đặc trưng Các đặc trưng đưa vào định để phân loại phân đoạn chuyển động nhanh hay chuyển động chậm để lựa chọn kích thước GOP phù hợp Để tiết kiệm thời gian xử lý, trình huấn luyện thực ngoại tuyến trước sử dụng cho q trình mã hóa 1) Xác định đặc trưng Như đề cập trên, đặc trưng lựa chọn phải phản ánh đầy đủ chất nội dung video Vì vậy, số đặc trưng lựa chọn liên quan đến chuyển động số khác lại liên quan đến kết cấu 2) Quá trình huấn luyện Tập liệu sử dụng cho trình huấn luyện đề xuất trích xuất từ năm chuỗi video Foreman, Soccer, Hall Monitor, Akiyo, Carphone News với đặc tính chuyển động đa dạng Tập liệu gồm 352 phân đoạn video, phân đoạn gồm khung hình Nhãn GOP2 GOP4 tương ứng cho phân đoạn xác định sau: - Với phân đoạn khung hình thực mã hóa DVC với hai kích thước GOP=2 GOP=4 - Tính BD-PSNR tương ứng với hai cách mã hóa - Kích thước GOP tương ứng với BD-PSNR lớn chọn nhãn tương ứng cho phân đoạn Các đặc trưng với nhãn tương ứng 352 phân đoạn đưa vào để huấn luyện thuật toán tiêu biểu định C4.5 3) Áp dụng vào q trình lựa chọn kích thước GOP Sau q trình huấn luyện, mơ hình định xây dựng sử dụng để lựa chọn kích thước GOP Chuỗi video đầu vào chia thành phân đoạn gồm khung hình đặc trưng tương ứng với phân đoạn trích xuất Dựa đặc trưng này, sử dụng mơ hình định huấn luyện để chọn nhãn tương ứng (GOP2 hay GOP4) cho phân đoạn Sau lựa chọn kích thước GOP phù hợp thực chia tách khung hình thành khung hình WZ (WZF) khung hình KF tùy theo kích thước GOP 11 khung hình tham chiếu cách tính tổng trị tuyệt đối sai số (MAD) Khối khung hình tham chiếu tương ứng với MAD nhỏ coi giống với khối khung hình PDWZ Các giá trị MAD tương ứng với khung hình tham chiếu 𝛼𝑛 (𝐾𝐹𝑘+1 ), 𝛼𝑛 (𝐾𝐹𝑘−1 ) 𝑏𝑆𝐼𝑀𝐶𝑇𝐼 Các ứng viên đưa vào bước kết hợp để tạo khối SI 3) Kết hợp khối ứng viên Sau bước 2) nhận ba khối ứng viên ba khung hình tham chiếu tương ứng với ba giá trị MAD Theo lẽ tự nhiên, sai số đối sánh nhỏ chứng tỏ khối có khả ứng viên tốt đóng vai trị lớn việc tạo SI cuối ngược lại Vì vậy, trọng số 𝛽𝑛 (𝑅𝐹) = 𝛼𝑛 (𝑅𝐹) sử dụng để để xác định đóng góp khối ứng viên chế kết hợp SIF tạo lại đươc sử dụng để giải mã cho mặt phẳng bit Khi tất dải hệ số DCT giải mã, SI cuối tạo để thực tái tạo lần cuối để nhận WZF gốc B Ước lượng tham số 𝜶 cho mơ hình nhiễu tương quan Tham số 𝛼 mơ hình nhiễu tương quan ước lượng phải sử dụng WZF gốc phía mã hóa SIF phía giải mã Tuy nhiên, phía giải mã khơng sẵn có WZF nên nhiễu tương quan xấp xỉ cách sử dụng KF giải mã bù chuyển động Giá trị 𝛼 ước lượng mức dải DCT, đặc trưng trích xuất miền DCT 1) Xác định đặc trưng Biến đổi khung hình dư thừa 𝑅𝑘 (𝑥, 𝑦) sang miền DCT Các hệ số DCT khung hình dư thừa nhóm thành 16 dải chứa hệ số vị trí khối Trong dải, bốn đặc trưng Min, Max, Trung bình, Phương sai tính cho dải 2) Xây dựng tập liệu huấn luyện 12 Để xây dựng tập liệu huấn luyện cho mạng nơ-ron, luận án sử dụng 10 chuỗi video Coastguard, Hall-Monitor, News, Container, Flower Garden, Mobile, Mother, Claire, Grandma, Harbour với độ phân giải không gian 176 × 144 (QCIF) số lượng khung hình cho chuỗi 300 Lý để lựa chọn chuỗi video để huấn luyện đa dạng đặc tính chuyển động chuỗi Các chuỗi mã hóa giải mã HEVC Intra với bốn tham số lượng tử xây dựng 1490 khung hình dư thừa Đối với dải DCT có 1490 mẫu tương ứng, mẫu có đặc trưng Đầu tương ứng, hay giá trị 𝛼 tham chiếu, gán cho mẫu tính dựa khung hình dư thừa 3) Kiến trúc mạng nơ-ron Để huấn luyện cho tập liệu xây dựng trên, nghiên cứu sử dụng mạng nơ ron nhiều lớp Để định cấu trúc mạng nơ-ron với số lớp ẩn số nơ-ron lớp, nhiều cấu trúc mạng nơ-ron khác thử nghiệm Dựa độ xác mơ hình, cấu trúc mạng nơron {4,4,2,1} chọn Mạng nơ-ron gồm có lớp đầu vào, hai lớp ẩn lớp đầu với tên gọi NN-CNM Lớp đầu vào với bốn giá trị X1 , X , X , X tương ứng bốn đặc trưng Min, Max, Trung bình Phương sai dải DCT khung hình dư thừa Tất lớp mạng kết nối đầy đủ Trong lớp ẩn 2, hàm kích hoạt ReLU sử dụng Tại lớp đầu ra, hàm kích hoạt tuyến tính sử dụng để dự đốn giá trị 𝛼̂ cho dải hệ số DCT 4) Huấn luyện mơ hình Tập liệu chuẩn bị chia thành tập huấn luyện tập kiểm tra theo tỷ lệ 70/30 để huấn luyện cho mạng nơ-ron lớp ẩn Kết trình huấn luyện tập trọng số tương ứng 5) Áp dụng mơ hình huấn luyện cho mã hóa DVC Tại phía giải mã DVC, KF giải mã sử dụng để tạo khung hình nhiễu tương quan Các đặc trưng tương ứng cho dải DCT khung 13 hình trích xuất Sử dụng tập trọng số mơ hình huấn luyện để áp dụng cho tập đặc trưng để dự đoán giá trị đầu 𝛼̂ 2.3.4 Đánh giá hiệu Phần giới thiệu phân tích kết hiệu nén công cụ mã hóa đề xuất so với kiến trúc mã hóa video có liên quan A Điều kiện thử nghiệm Đánh giá hiệu thực bốn chuỗi video Akiyo, Carphone, Foreman Soccer Trong phần đánh giá sử dụng mã hóa sau: 1) HEVC Intra: Bộ mã hóa sử dụng phần mềm tham chiếu HM với chế độ mã hóa Intra 2) DISCOVER-HEVC: Đây kiến trúc DISCOVER với khung hình mã hóa HEVC Intra thay H.264/AVC Intra 3) ReSI-DVC: Bộ mã hóa mã hóa DISCOVER-HEVC với mô-đun tạo SI cải tiến đề xuất phần A mục 2.3.3 4) Adv-DVC: Đây mã hóa xây dựng DISCOVER-HEVC với mơ-đun tạo SI cải tiến mô-đun NN-CNM mô tả hình 2.2 Phần thực ba đánh giá: 1) đánh giá chất lượng SI tạo theo phương pháp lọc liên tục, 2) độ xác phương pháp ước lượng tham số 𝛼 đề xuất 3) đánh giá hiệu nén tổng thể kiến trúc DVC đề xuất thực đồng thời hai cải tiến tạo SI CNM so với mã hóa khác có liên quan B Chất lượng SI theo phương pháp đề xuất Phần đánh giá chất lượng SI theo phương pháp lọc đề xuất cách so sánh với giải pháp tạo SI sử dụng nhiều kiến trúc DVC MCTI Từ kết rút số nhận xét sau: - Phương pháp tạo SI đề xuất ReSI đạt chất lượng SI tốt so với MCTI cho tất tham số lượng tử chuỗi video thử nghiệm - Mức cải thiện không đồng chuỗi có nội dung chuyển động khác Mức cải thiện lớn đạt chuỗi chuyển động chậm Akiyo mức cải thiện chuỗi chuyển động nhanh Soccer 14 Đó với chuỗi chuyển động nhanh, khó tạo SI chất lượng tốt sai khác KF lớn so với trường hợp chuỗi chuyển động chậm - Mặc dù phương pháp đề xuất cho chất lượng SI tốt so với MCTI cho bốn tham số lượng tử kết thường tốt QP thấp Đó với QP thấp, KF thường có chất lượng tốt điều giúp tạo SI có chất lượng tốt C Độ xác phương pháp ước lượng tham số 𝜶 đề xuất Trong tiểu mục này, tham số 𝛼 ước lượng phương pháp NN-CNM so sánh với tham số 𝛼 tính DISCOVER-HEVC Quy ước tên gọi phương pháp sau: 1) NN-CNM: giá trị 𝛼 ước lượng mạng nơ-ron; 2) DISCOVER-HEVC: giá trị 𝛼 ước lượng kiến trúc DISCOVER-HEVC 3) Oracle: giá trị 𝛼 tham chiếu hay giá trị 𝛼 tính dựa nhiễu tương quan thực Nếu tham số ước lượng (NN-CNM DISCOVER-HEVC) gần giá trị tham chiếu (Oracle), việc ước lượng coi xác Các kết cho thấy NN-CNM gần với Oracle so với DISCOVERHEVC, đặc biệt với chuỗi video chuyển động chậm Akiyo Carphone Điều cho thấy phương pháp ước lượng tham số 𝛼 đề xuất dựa mạng nơ-ron cải thiện tính xác cho CNM so với phương pháp trước sử dụng DISCOVER D Đánh giá chất lượng khung hình giải mã Trong phần này, chất lượng khung hình giải mã tạo mã hóa đề xuất Adv-DVC so sánh với khung hình giải mã mã hóa khác Từ kết rút số nhận xét sau: - Adv-DVC với mã hóa DVC khác: Các mã hóa DVC khác bao gồm DISCOVER-HEVC ReSIDVC Kiến trúc đề xuất Adv-DVC đạt kết tốt so với tất mã hóa DVC khác cho tất chuỗi video thử nghiệm So với DISCOVERHEVC, PSNR Adv-DVC có mức cải thiện lên đến 3,55 dB, mức cải thiện gặp chuỗi chuyển động nhanh phức tạp Soccer So với ReSI-DVC, Adv-DVC đạt mức cải thiện đáng kể - Adv-DVC với HEVC Intra: 15 HEVC Intra sử dụng để so sánh mã hóa video dự đốn có độ phức tạp thấp Các kết cho thấy Adv-DVC đạt giá trị PSNR cao so với HEVC Intra cho hầu hết chuỗi ngoại trừ chuỗi Carphone Các mức cải thiện chuỗi chuyển động chậm nhanh khác Đối với chuỗi chuyển động chậm, ví dụ Akiyo, mức cải thiện PSNR lên đến 1,37 dB kết không tốt chuỗi chuyển động nhanh Carphone Lý chuỗi Carphone coi chuỗi chuyển động phức tạp với thay đổi bất thường nội dung Với chế độ mã hóa Intra HEVC, không khai thác tương quan thời gian nên chất lượng khung hình giải mã có chất lượng tốt Tổng thể, kiến trúc mã hóa đề xuất Adv-DVC cho chất lượng khung hình giải mã tốt so với ba mã hóa cịn lại ReSI-DVC, DISCOVER-HEVC HEVC-Intra E Hiệu nén mã hóa DVC đề xuất Adv-DVC Từ kết rút số nhận xét sau: - Adv-DVC so với HEVC Intra: Hiệu RD Adv-DVC tốt so với HEVC Intra cho hầu hết chuỗi ngoại trừ chuỗi chuyển động phức tạp Soccer Đối với chuỗi chuyển động chậm, Adv-DVC cho kết tốt SI có chất lượng tốt CNM xác Tổng thể, Adv-DVC đạt mức tiết kiệm tốc độ bit 22,01 % mức cải thiện BD-PSNR 2,47 dB - Adv-DVC với mã hóa DVC khác: Hiệu RD Adv-DVC cải thiện đáng kể so với mã hóa DVC khác tất chuỗi video thử nghiệm Mức cải thiện chuỗi chuyển động chậm cao so với chuỗi chuyển động phức tạp Tổng thể, Adv-DVC đạt mức giảm tốc độ bit trung bình 35,27 % so với DISCOVER-HEVC 21,03 % so sánh với ReSI-DVC 2.4 Kết luận chương Chương trình bày kết nghiên cứu bao gồm giải pháp lựa chọn chế độ mã hóa thực phía mã hóa nhóm giải pháp thực phía giải mã bao gồm cải thiện chất lượng thông tin phụ trợ cải thiện tính xác mơ hình nhiễu tương quan 16 Các đóng góp cơng bố báo [1], [2], [3] tập trung vào hai nội dung chính: - Phương pháp thay đổi kích thước nhóm ảnh thực phía mã hóa; - Nhóm giải pháp thực phía giải mã bao gồm tạo SI cách lọc liên tục ước lượng tham số 𝛼 cho mơ hình hóa nhiễu tương quan dựa mạng nơ-ron CHƯƠNG CẢI TIẾN HIỆU NĂNG NÉN CHO MÃ HÓA VIDEO PHÂN TÁN LIÊN LỚP Tóm tắt: Trong chương này, Luận án trình bày kết nghiên cứu cải tiến hiệu nén cho mã hóa video phân tán liên lớp bao gồm: (1) tạo thông tin phụ trợ dựa kỹ thuật kết hợp ảnh; (2) tạo thông tin phụ trợ dựa SVM 3.1 Giới thiệu chung Phần trình bày tổng quan khái niệm vai trị mã hóa video liên lớp 3.1.1 Mã hóa video liên lớp Phần trình bày nguyên tắc mã hóa video liên lớp sử dụng chuẩn mã hóa video dự đốn 3.1.2 Mã hóa video phân tán liên lớp Phần trình bày khái niệm khảo sát số nghiên cứu liên quan đến mã hóa video phân tán liên lớp (DSVC) 3.2 Đề xuất 3: Tạo thông tin phụ trợ dựa kỹ thuật kết hợp ảnh cho DSVC 3.2.1 Kiến trúc mã hóa DSVC-Fusion Kiến trúc mã hóa video phân tán liên lớp đề xuất với tên gọi DSVCFusion mơ tả Hình 3.1 Kiến trúc có hai lớp gồm lớp BL lớp EL Bộ mã hóa DSVC cung cấp khả mở rộng khơng gian 17 Vì khung hình chuỗi video gốc mã hóa hai lần lớp BL lớp EL Đối với lớp BL, trước đưa vào mã hóa HEVC Intra, khung hình gốc giảm độ phân giải khơng gian Hình 3.1: Sơ đồ kiến trúc mã hóa giải mã video phân tán liên lớp DSVC-Fusion 3.2.2 Phương pháp tạo thông tin phụ trợ dựa kỹ thuật kết hợp ảnh Đối với mã hóa DSVC-Fusion, khối thơng tin phụ trợ (SIB) tạo giải mã cách sử dụng thêm thơng tin từ khung hình độ phân giải thấp lớp BL thay sử dụng KF giải mã Nói cách khác, trường hợp tương quan thời gian tương quan không gian sử dụng để 18 ước lượng SIB Điều giúp cải thiện chất lượng SIB mã hóa DSVC A Tạo ứng viên thơng tin phụ trợ Trong mã hóa DSVC-Fusion này, có hai ứng viên SIB tạo qua khai thác thông tin tương quan thời gian tương quan không gian Bằng cách khai thác tương quan thời gian, SI thứ tạo sử dụng kỹ thuật nội suy thời gian bù chuyển động (MCTI) gọi 𝑆𝐼𝐵𝑀𝐶𝑇𝐼 Khai thác tương quan không gian, SI thứ hai tạo cách tăng độ phân giải khung hình lớp BL giải mã với tên gọi 𝑆𝐼𝐵𝑈𝑝𝐵𝐿 B Cải thiện chất lượng cho 𝑺𝑰𝑩𝑴𝑪𝑻𝑰 Ứng viên 𝑆𝐼𝐵𝑀𝐶𝑇𝐼 cải thiện chất lượng cách sử dụng 𝑆𝐼𝐵𝑈𝑝𝐵𝐿 khung hình tham chiếu Trong phương pháp này, 𝑆𝐼𝐵𝑈𝑝𝐵𝐿 chọn làm khung hình tham chiếu hai lý sau: (1) chất lượng 𝑆𝐼𝐵𝑈𝑝𝐵𝐿 cao so với khung hình MCTI (2) khung hình 𝑆𝐼𝐵𝑈𝑝𝐵𝐿 sẵn có giải mã Sau khung hình MCTI tạo từ KF trước sau bù chuyển động song hướng, pixel ba khung hình so sánh với pixel tương ứng khung hình tăng độ phân giải Pixel khối có sai khác nhỏ coi giá trị pixel khung hình MCTI C Kết hợp SIB ứng viên Sau cải thiện chất lượng 𝑆𝐼𝐵𝑀𝐶𝑇𝐼 , khối 𝑆𝐼𝐵𝑁𝑒𝑤_𝑀𝐶𝑇𝐼 kết hợp với 𝑆𝐼𝐵𝑈𝑝𝐵𝐿 để tạo khối 𝑆𝐼𝐵𝐹𝑢𝑠𝑖𝑜𝑛 3.2.3 Đánh giá hiệu Phần giới thiệu kết mô phương pháp tạo SI đề xuất thực bốn chuỗi video thử nghiệm A Điều kiện thử nghiệm Việc đánh giá hiệu thực bốn chuỗi video BasketBall, BQMall, PartyScene, RaceHorse với đa dạng đặc tính chuyển động cấu trúc bề mặt B Đánh giá chất lượng SI Để đánh giá hiệu phương pháp đề xuất, PSNR khung hình SI tạo phương pháp đề xuất 𝑆𝐼𝐹𝑢𝑠𝑖𝑜𝑛 so sánh với khung hình SI 19 tạo kỹ thuật MCTI, 𝑆𝐼𝑀𝐶𝑇𝐼 khung hình SI tạo khung hình lớp BL sau tăng độ phân giải 𝑆𝐼𝑈𝑝𝐵𝐿 Các kết thu cho thấy chất lượng 𝑆𝐼𝑈𝑝𝐵𝐿 thường tốt chất lượng 𝑆𝐼𝑀𝐶𝑇𝐼 trừ chuỗi PartyScene Sau trình kết hợp, chất lượng 𝑆𝐼𝐹𝑢𝑠𝑖𝑜𝑛 đạt tốt so với SI ứng viên khác cho tất chuỗi video thử nghiệm C Đánh giá chất lượng khung hình giải mã PSNR WZF tái tạo sử dụng phương pháp tạo SI khác sử dụng để so sánh đánh giá Các kết 𝐷𝑆𝑉𝐶𝐹𝑢𝑠𝑖𝑜𝑛 tốt 𝐷𝑆𝑉𝐶𝑃𝑟𝑒𝑣𝑖𝑜𝑢𝑠 cho hầu hết chuỗi ngoại trừ chuỗi RaceHorse Tổng thể, phương pháp đề xuất đạt mức cải thiện trung bình tốt Vì thế, chất lượng khung hình tái tạo cải thiện 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 3.3.1 Đặt vấn đề Trong phần đề xuất phương pháp tạo SI cách khai thác cách hiệu thơng tin chuyển động BL khung hình EL giải mã Các thông tin sử dụng linh hoạt để tạo ba SI ứng viên Các SI ứng viên thể chất lượng vượt trội khác ngữ cảnh khác nhau, cần chế phân loại thích hợp để chọn SI ứng viên phù hợp hoàn cảnh cụ thể Kỹ thuật phân loại lựa chọn kỹ thuật máy vec-tơ hỗ trợ (SVM) với trình huấn luyện trực tuyến 3.3.2 Kiến trúc mã hóa DSVC-SVM Phần giới thiệu kiến trúc tổng thể mã hóa đề xuất DSVCSVM Hình 3.2 Trong kiến trúc có hai lớp, lớp BL lớp EL Các khung hình lớp BL nén mã hóa HEVC Inter Các khung hình BL giải mã với dư thừa lớp BL thông tin chuyển động lớp BL sử dụng để nén khung hình EL Trong kiến trúc này, dư thừa EL tương ứng với sai khác WZF gốc khung hình BL giải mã Chỉ có phần dư thừa mã hóa truyền tới giải mã Lượng dư thừa EL mã hóa số lượng bit LSB, 𝑛𝐿𝑆𝐵 , phần rút từ SI giải mã 20 Hình 3.2: Sơ đồ kiến trúc mã hóa giải mã video phân tán liên lớp DSVC-SVM 3.3.3 Phương pháp tạo thông tin phụ trợ dựa kỹ thuật SVM Kiến trúc tạo SI gồm hai mơ-đun mơ-đun tạo ba ứng viên SI môđun lựa chọn ứng viên SI mơ tả Hình 3.3 Như mơ tả Hình 3.3, trình tạo SI gồm ba nhánh để tạo ba ứng viên SI trình lựa chọn ba ứng viên A Quá trình tạo ứng viên SI Ba SI ứng viên tương ứng với với loại tương quan thời gian tương quan liên lớp tạo bao gồm: SI tạo dựa trường chuyển động BL, 𝑆𝐼𝐵𝐿𝐶 ; - SI tạo dựa lọc trường chuyển động BL, 𝑆𝐼𝐼𝐿𝐶 SI tạo dựa lọc trường chuyển động EL, 𝑆𝐼𝐸𝐿𝐶 21 Hình 3.3: Kiến trúc tạo SI A Quá trình tạo ứng viên SI Ba SI ứng viên tương ứng với với loại tương quan thời gian tương quan liên lớp tạo bao gồm: SI tạo dựa trường chuyển động BL, 𝑆𝐼𝐵𝐿𝐶 ; - SI tạo dựa lọc trường chuyển động BL, 𝑆𝐼𝐼𝐿𝐶 SI tạo dựa lọc trường chuyển động EL, 𝑆𝐼𝐸𝐿𝐶 B Quá trình lựa chọn SI Để lựa chọn ba ứng viên SI cách hiệu quả, trình lựa chọn SI coi toán phân loại Trong ngữ cảnh này, SVM lựa chọn để giải toán phân loại Tiêu chí để lựa chọn phải chọn khối SI ứng viên giống với khối tương ứng khung hình WZ gốc Việc lựa chọn định dựa vào thuật toán SVM mục tiêu cuối xây dựng lại hoàn chỉnh, SIF phải có chất lượng tốt Để q trình chọn SI hiệu để giảm thiểu chi phí tính tốn, việc lựa chọn định nghĩa tập vector hỗ trợ (SV) cần phải thực cách cẩn thận 1) Xác định đặc trưng Trong ngữ cảnh này, đặc trưng lựa chọn bao gồm: đặc trưng đánh giá trường véc-tơ chuyển động, đặc trưng sai khác SI, đặc trưng tương quan thời gian đặc trưng tương quan lớp 2) Huấn luyện mơ hình SVM Bài tốn phân loại với ba đầu vào ba khối SI ứng viên 𝑆𝐼𝐵𝐿𝐶 , 𝑆𝐼𝐸𝐿𝐶 , 𝑆𝐼𝐼𝐿𝐶 cần phải chọn đầu ba ứng viên 22 Mơ hình SVM cần huấn luyện trước sử dụng cho giai đoạn phân loại Bởi nội dung video đa dạng, nên cần sử dụng SVM trực tuyến mà mơ hình huấn luyện tạo cách thích ứng cho chuỗi video tùy thuộc vào nội dung thơng tin Để làm điều này, đặc trưng SVM mơ tả trích xuất từ khung hình SI chuỗi video thử nghiệm Để cân độ xác mơ hình thời gian xử lý để tạo SI nên đóng góp này, huấn luyện SVM đề xuất thực lần, cụ thể cho khung hình SI chuỗi thử nghiệm 3) Trích xuất đặc trưng Đối với khung hình khung hình thứ 2, ba SI ứng viên lại tạo từ trích xuất tám đặc trưng SV tương ứng theo khối 4) Phân loại SVM Có nhiều cách để thực thuật toán SVM nhiều lớp đề xuất sử dụng ba phân loại SVM nhị phân cho ba cặp SI ứng viên sau: - Phân loại SVM nhị phân cho cặp SI: Trong bước này, ba trình phân loại SVM nhị phân thực cho cặp SI ứng viên - Tìm SI tốt nhất: Sau lựa chọn nhãn đầu cho ba phân loại SVM nhị phân bước trước, ta ba nhãn tương ứng với ba phân loại Nhãn lựa chọn nhiều coi SI cuối 3.3.4 Đánh giá hiệu Trong phần đánh giá chất lượng SI tạo phương pháp đề xuất so sánh với số phương pháp tạo SI khác A Điều kiện thử nghiệm Đánh giá hiệu thực bốn chuỗi video thử nghiệm RaceHorses, BlowingBubbles, Basketball Pass, BQSquare Phần mềm 𝑆𝑉𝑀𝑙𝑖𝑔ℎ𝑡 sử dụng để lựa chọn SI ứng viên Phần mềm tham chiếu HEVC HM phiên 14.0 sử dụng để mã hóa BL phần mềm tham chiếu SHVC SHM phiên 6.0 sử dụng để mã hóa KF lớp EL B Đánh giá chất lượng tạo SI 23 Các giải pháp tạo SI sử dụng để so sánh với phương pháp đề xuất 𝑆𝐼𝑆𝑉𝑀 gồm 𝑆𝐼𝐵𝐿𝐶 , 𝑆𝐼𝐸𝐿𝐶 , 𝑆𝐼𝐼𝐿𝐶 giải pháp tạo SI nghiên cứu trước 𝑆𝐼𝑆𝑃𝐼𝐶 Từ kết rút số kết luận sau: - Giải pháp tạo SI đề xuất đạt kết tốt so với phương pháp có liên quan Điều đến từ thực tế phương pháp lựa chọn SI dựa SVM lựa chọn cách hiệu SI từ số SI ứng viên - Giải pháp tạo SI đề xuất đạt SI với chất lượng tốt hơn, đáng ý mức cải thiện trung bình lên đến 4,57 dB so sánh với 𝑆𝐼𝐸𝐿𝐶 - Chất lượng SI ứng viên thay đổi tùy vào nội dung chuỗi video Trong chuỗi chuyển động nhanh trung bình, 𝑆𝐼𝐸𝐿𝐶 vượt trội so với hai ứng viên lại Còn chuỗi chuyển động chậm, 𝑆𝐼𝐵𝐿𝐶 lại chiếm ưu Điều cho thấy vai trò ứng viên ngữ cảnh khác khác cần chế lựa chọn phù hợp với nội dung chuỗi video - Thêm vào đó, kết cho thấy phương pháp đề xuất đạt mức cải thiện cao trường hợp chuỗi video chuyển động chậm Mức cải thiện chủ yếu đến từ việc sử dụng thông tin chuyển động BL độ xác giải pháp lựa chọn SI dựa học máy 3.4 Kết luận chương Trong chương này, Luận án đề xuất: - Phương pháp tạo thông tin phụ trợ dựa kỹ thuật kết hợp ảnh cho mã hóa video phân tán liên lớp không gian thời gian Trong đề xuất này, thông tin phụ trợ tạo cách khai thác thông tin tương quan thời gian thông tin lớp Các SI ứng viên kết hợp lại với để tạo nên thông tin phụ trợ cuối có chất lượng tốt - Luận án đề xuất phương pháp tạo thông tin phụ trợ dựa kỹ thuật SVM cho mã hóa video phân tán liên lớp thời gian chất lượng Các kết mô cho thấy chất lượng SI tạo phương pháp đề xuất tốt so với ứng viên đơn lẻ Đó nhờ sử dụng thuật toán SVM huấn luyện trực tuyến cách hiệu 24 KẾT LUẬN Các kết nghiên cứu luận án bao gồm nội dung sau đây: - Cải tiến hiệu nén cho mã hóa video phân tán phía mã hóa với mơđun thay đổi kích thước nhóm ảnh Bộ mã hóa DVC đề xuất lựa chọn kích thước GOP=2 hay GOP=4 tùy thuộc vào nội dung phân đoạn video gồm khung hình video Các kết mơ cho thấy mã hóa DVC đề xuất tiết kiệm tốc độ bit so với sử dụng kích thước GOP cố định cho tồn chuỗi video - Cải tiến hiệu nén cho mã hóa video phân tán phía giải mã Giải pháp mà luận án đề xuất phía giải mã bao gồm phương pháp tạo thông tin phụ trợ dựa lọc liên tục trình giải mã phương pháp ước lượng tham 𝜶 cho mơ hình nhiễu tương quan dựa mạng nơ-ron Khi kết hợp hai mô-đun vào mã hóa, kết mơ cho thấy hiệu nén tổng thể mã hóa DVC đề xuất đạt kết tốt so với số mã hóa video liên quan - Cải tiến hiệu nén cho mã hóa video phân tán liên lớp cách cải tiến chất lượng thơng tin phụ trợ Có hai phương pháp tạo thông tin phụ trợ đề xuất cho DSVC Phương pháp thứ đề xuất sử dụng kỹ thuật kết hợp ảnh để kết hợp hai SI ứng viên cho mã hóa video phân tán liên lớp thời gian không gian Phương pháp thứ hai đề xuất sử dụng thuật toán SVM huấn luyện trực tuyến để lựa chọn số ba SI ứng viên cho mã hóa video phân tán liên lớp thời gian chất lượng Các kết mô cho thấy hai phương pháp tạo SI cho DSVC có chất lượng tốt so với ứng viên riêng rẽ tốt so với số phương pháp trước 25 CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA TÁC GIẢ [1] (2018) T N Thi Huong, H Phi Cong, T V Huu, and X Hoang Van, Artificial Intelligence Based Adaptive GOP Size Selection for Effective Wyner-Ziv Video Coding, International Conference on Advanced Technologies for Communications, vol 10.1109/ATC.2018.8587573 2018-Octob, pp 120–124, 2018, doi: [2] (2019) T V Huu, T Nguyen Thi Huong, M N Ngoc, and X Hoangvan, Improving performance of distributed video coding by consecutively refining of side information and correlation noise model, Proceedings - 2019 19th International Symp Symposium on Communications and Information Technologies (ISCIT 2019), 10.1109/ISCIT.2019.8905187 pp 502–506, 2019, doi: [3] (2020) Tien Vu Huu, Thao Nguyen Thi Huong, Xiem Hoang Van, San Vu Van, Improving TDWZ Correlation Noise Estimation: A Deep Learning based Approach, REV Journal on Electronics and Communications: Article scheduled for publication in Vol 10, No 1–2, January–June, pp 11-20, 2020, ISSN 1859 – 378X [4] (2017) N T H Thao, V Van San, and V H Tien, Fusion Based Side Information Creation Method for Distributed Scalable Video Coding, Tạp chí Khoa học Công nghệ, vol 121, pp 48–53, 2017, ISSN 2354-1083 [5](2017) X Hoangvan and T N T Huong, An online SVM based side information creation for efficient distributed scalable video coding, in International Conference on Advanced Technologies for Communications, 2017, vol 2017-Octob, pp 225–228, doi: 10.1109/ATC.2017.8167622 ... mã hóa video phân tán mã hóa video phân tán liên lớp CHƯƠNG CẢI TIẾN HIỆU NĂNG NÉN CHO MÃ HĨA VIDEO PHÂN TÁN Tóm tắt: Chương trình bày kết nghiên cứu cải tiến hiệu nén cho mã hóa video phân tán. .. phụ trợ để cải thiện hiệu nén cho mã hóa video phân tán liên lớp Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu mã hóa video phân tán mở rộng mã hóa video phân tán mã hóa video phân tán liên... hiệu nén cho mã hóa video phân tán - Nghiên cứu đề xuất phương pháp cải thiện hiệu nén cho mở rộng mã hóa video phân tán mã hóa video phân tán liên lớp 1.6 Kết luận chương Chương giới thiệu mã