Luận án Tiến sĩ Nghiên cứu cải tiến hiệu năng hệ thống mã hóa giải mã video phân tán

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN THỊ HƯƠNG THẢO NGHIÊN CỨU CẢI TIẾN HIỆU NĂNG HỆ THỐNG MÃ HÓA/GIẢI MÃ VIDEO PHÂN TÁN LUẬN ÁN TIẾN SĨ KỸ THUẬT CHUYÊN NGÀNH: Kỹ thuật điện tử MÃ SỐ: 9.52.02.03 NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Vũ Văn San TS Nguyễn Ngọc Minh Hà Nội - 2020 ii LỜI CAM ĐOAN Tôi xin cam đoan luận án tốt nghiệp riêng hướng dẫn giáo viên hướng dẫn Tất số liệu, kết trình bày luận án hồn tồn trung thực có từ nghiên cứu mà tơi nhóm nghiên cứu tơi thực trình làm luận án Hà Nội, ngày tháng năm 2020 Nghiên cứu sinh iii LỜI CẢM ƠN Trong trình nghiên cứu, tác giả nhận nhiều giúp đỡ quý giá Tác giả xin gửi lời cảm ơn sâu sắc tới người thầy, người đồng nghiệp PGS.TS Vũ Văn San TS Nguyễn Ngọc Minh tận tình hướng dẫn, định hướng nghiên cứu khoa học, giúp đỡ tác giả trình nghiên cứu hoàn thành Luận án Tác giả xin gửi lời cảm ơn sâu sắc tới thành viên Lab Công nghệ truyền thông đa phương tiện Đại học Công nghệ - Đại học Quốc gia Hà Nội, đặc biệt TS Hồng Văn Xiêm hỗ trợ có góp ý khoa học quý báu cho nội dung luận án Tác giả xin gửi lời cảm ơn tới Lãnh đạo học viện Cơng nghệ bưu viễn thơng, Hội đồng khoa học, Hội đồng Tiến sĩ, Khoa đào tạo sau đại học - Học viện Công nghệ bưu viễn thơng tạo điều kiện thuận lợi cho tác giả hoàn thành luận án Tác giả xin gửi lời cảm ơn tới đồng nghiệp Khoa Kỹ thuật Điện tử – Học viện Công nghệ Bưu Viễn thơng tạo điều kiện thời gian có góp ý cho tác giả nội dung luận án trình nghiên cứu hoàn thiện luận án Tác giả xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp ủng hộ, động viên, chia sẻ, giúp đỡ tác giả hồn thành luận án ngày hơm Hà Nội, ngày tháng năm 2020 Nghiên cứu sinh iv LỜI MỞ ĐẦU Lý nghiên cứu Video dạng liệu đặc biệt, đầy tính hấp dẫn, dễ nhớ phổ biến loại liệu khác Các số liệu thống kê cho thấy nội dung video tăng mạnh hàng năm theo cấp số nhân Điều cho thấy vai trị quan trọng video tương lai Cùng với bùng nổ thiết bị điện tử có khả bắt giữ, chỉnh sửa, lưu trữ chia sẻ nội dung video toàn giới dẫn đến xu hướng mà việc xử lý thơng tin tích hợp triệt để vào thiết bị hoạt động hàng ngày Để đạt điều này, thuật tốn nén trở nên vơ quan trọng, đặc biệt nén video Mục đích nén video tạo cách biểu diễn liệu video cho chiếm dung lượng Vì liệu video nén địi hỏi khơng gian lưu trữ băng thông truyền tải nhỏ hơn, nén video phần khơng thể thiếu hầu hết hệ thống lưu trữ, xử lý, truyền thông hiển thị video Đặc biệt băng thông yếu tố hạn chế nhiều ứng dụng Tuy nhiên, nén đôi với trả giá Thứ nhất, nén nhiều làm giảm chất lượng hình ảnh Thứ hai, độ phức tạp thuật toán nén tăng lên muốn tỷ lệ nén tốt Hơn nữa, tỷ lệ nén tốt phụ thuộc vào thiết bị, vị trí ứng dụng cụ thể Tuy nhiên, người dùng không cần phải biết đến cấu hình phức tạp lựa chọn liên quan đến video định dạng nén Đó lý có nhiều chuẩn nén video, phù hợp với vơ số kịch ứng dụng khác Các tiêu chuẩn này, gọi chuẩn mã hóa video, sử dụng rộng rãi phát triển không ngừng Trong suốt trình phát triển mình, tiêu chuẩn mã hóa video ln tn theo quy tắc thống Đó tiêu chuẩn mã hóa video ln ln phải làm giảm đáng kể tốc độ bit Chẳng hạn, chuẩn mã hóa video hiệu suất cao HEVC [54] tiết kiệm tốc độ bit khoảng 50 % so với chuẩn H.264/AVC [65] trước với chất lượng hình ảnh Tuy nhiên, để đạt tỷ lệ nén tốt với chất lượng tương đương phải trả giá phức tạp mã hóa giải mã Mặt khác, độ phức tạp mã hóa độ phức tạp giải mã khơng giống Trong chuẩn mã hóa video truyền thống, mã hóa thường phức tạp nhiều so với giải mã Cách thiết kế thường phù hợp với ứng dụng video truyền thống, ví dụ truyền hình quảng bá, nơi mà chương trình truyền hình mã hóa lần sau giải mã để xem hàng triệu người dùng Với phát triển mạnh mẽ mạng không dây, xuất hàng loạt ứng dụng mà khơng tn thủ theo sơ đồ - nhiều ứng dụng trước Có thể kể đến mạng cảm biến video không dây (WVSN) Đối với ứng dụng này, thường có nhiều mã hóa gửi liệu tới vài giải v mã trung tâm Điều ngược lại với mục tiêu thiết kế ban đầu chuẩn nén video truyền thống Trong mạng này, có nhiều yêu cầu truyền dẫn đường lên Do đó, cảm biến camera cần có mã hóa đơn giản trạm gốc giải mã với nhiều tài nguyên hay nói cách khác giải mã có độ phức tạp cao Vì thách thức hệ thống thực nén video thiết bị có tài nguyên hạn chế hay nói cách khác ứng dụng yêu cầu mã hóa nhẹ, phải có phân chia độ phức tạp hệ thống cách linh hoạt, có khả chống lại tượng gói, hiệu suất nén cao độ trễ thấp Nói cách khác, ứng dụng cần sơ đồ mã hóa video có khả đáp ứng yêu cầu với hiệu suất mã hóa tiệm cận với hệ thống mã hóa video dự đốn độ phức tạp mã hóa thấp Một giải pháp thay đáp ứng yêu cầu mã hóa video phân tán (DVC) Trong mã hóa video phân tán, ước lượng chuyển động độ phức tạp chuyển từ mã hóa sang giải mã Mục tiêu trọng tâm mã hóa nhẹ, phù hợp với thiết bị bị hạn chế tài nguyên xử lý thời gian xử lý Ngược lại, giải mã coi có tài ngun phong phú Một trường hợp ví dụ quay video thiết bị bị hạn chế ví dụ điện thoại cầm tay sau giải mã máy tính nhà mà khơng có hạn chế thời gian Phải nhấn mạnh mục đích DVC khơng phải thay cho H.264/AVC hay HEVC cách cung cấp khả nén tốt Trên thực tế, DVC tốt dự kiến thực với hiệu nén tương đương Tuy nhiên ưu điểm đầy tiềm DVC hiệu suất nén cao, công suất thấp, khả chống nhiễu nội chứng minh mặt lý thuyết nghiên cứu trước đây, chưa có tảng thực kiểm nghiệm DVC Về mặt lý thuyết, DVC chứng minh đạt hiệu tương đương chuẩn mã hóa video truyền thống Tuy nhiên, kết thực tế cho thấy DVC chưa đạt hiệu suất mong muốn chuẩn nén video dự đoán nay, đặc biệt bối cảnh giữ cho mã hóa có độ phức tạp thấp Vì nay, cộng đồng nghiên cứu nỗ lực để cải thiện hiệu méo tín hiệu - tốc độ bit (RD) giải trở ngại DVC ứng dụng thực tế với điều kiện bị ràng buộc Tuy nhiên, thực tế cịn khoảng cách hiệu suất mã hóa DVC chuẩn mã hóa video truyền thống Mục tiêu nghiên cứu Các phân tích cho thấy DVC đóng vai trị quan trọng ứng dụng mạng cảm biến hình ảnh hay mạng giám sát không dây Tuy nhiên thách thức DVC phải đạt hiệu nén mức tiệm cận với hệ thống mã hóa video dự đốn có Vì mục tiêu nghiên cứu luận án nghiên cứu đề xuất kỹ thuật cải tiến hiệu nén vi mã hóa video phân tán DVC mã hóa video phân tán liên lớp DSVC Nội dung nghiên cứu Với mục tiêu nghiên cứu trên, phần nội dung nghiên cứu Luận án tập trung vào nội dung sau: ❼ Đề xuất phương pháp nhằm cải tiến nén cho mã hóa video phân tán bao gồm phương pháp thực phía mã hóa nhóm phương pháp thực phía giải mã ❼ Đề xuất kỹ thuật tạo thông tin phụ trợ để cải tiến hiệu nén cho mã hóa video phân tán liên lớp Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu mã hóa video phân tán mở rộng mã hóa video phân tán mã hóa video phân tán liên lớp Phạm vi nghiên cứu luận án kỹ thuật nhằm nâng cao hiệu nén mã hóa video phân tán mã hóa video phân tán liên lớp Ý nghĩa khoa học thực tiễn đề tài nghiên cứu Ý nghĩa khoa học luận án mà nghiên cứu sinh hướng đến đề xuất kỹ thuật nhằm nâng cao hiệu nén mã hóa video phân tán mã hóa video phân tán liên lớp Ý nghĩa thực tiễn luận án mà nghiên cứu sinh hy vọng đạt kết nghiên cứu luận án góp phần vào việc rút ngắn khoảng cách hiệu suất mã hóa mã hóa video phân tán với hệ thống mã hóa video dự đốn nay, sớm đưa mã hóa video phân tán vào ứng dụng thực tế Phương pháp nghiên cứu Để thực nội dung nghiên cứu đề ra, phương pháp nghiên cứu sử dụng Luận án bao gồm: ❼ Phương pháp nghiên cứu lý luận: Phân tích, tổng hợp đánh giá cơng trình nghiên cứu, sách chun khảo nguồn tài liệu khoa học có liên quan đến mã hóa video phân tán mã hóa video phân tán liên lớp Từ đề xuất kỹ thuật nhằm cải tiến hiệu nén cho mã hóa video phân tán mã hóa video phân tán liên lớp ❼ Phương pháp mô phỏng: Các đề xuất cải tiến hiệu nén cho mã hóa video phân tán mã hóa video phân tán liên lớp thử nghiệm đánh giá so sánh với giải pháp trước phần mềm tham chiếu Cấu trúc luận án vii Ngoài phần mở đầu phần kết luận, kiến nghị, Luận án chia thành chương với bố cục sau: Chương 1: Tổng quan mã hóa video Chương giới thiệu tổng quan mã hóa video nói chung tập trung vào mã hóa video phân tán Trong chương giới thiệu số chuẩn nén video dự đoán, lý thuyết tảng DVC mã hóa video phân tán thực tế nghiên cứu cộng đồng nghiên cứu DVC Phần cuối chương đề cập đến vấn đề nghiên cứu DVC Đây gợi mở cho nghiên cứu thực chương sau Chương 2: Cải tiến hiệu nén cho mã hóa video phân tán Chương trình bày kết nghiên cứu Luận án cho mã hóa video phân tán Phần đầu chương khảo sát số nghiên cứu có liên quan Từ đề xuất số phương pháp nhằm nâng cao hiệu nén cho mã hóa video phân tán bao gồm phương pháp thay đổi kích thước nhóm ảnh thực phía mã hóa, nhóm phương pháp thực phía giải mã gồm phương pháp cải tiến chất lượng thông tin phụ trợ phương pháp cải tiến độ xác mơ hình nhiễu tương quan Các kết nghiên cứu chương công bố báo số [1], [2], [3] danh mục cơng trình cơng bố tác giả Chương 3: Cải tiến hiệu nén cho mã hóa video phân tán liên lớp Chương trình bày kết nghiên cứu cải tiến chất lượng thông tin phụ trợ cho mã hóa video phân tán liên lớp bao gồm kỹ thuật tạo thông tin phụ trợ dựa kết hợp ảnh tạo thông tin phụ trợ dựa máy vecto hỗ trợ (SVM) Các kết nghiên cứu chương công bố báo số [4],[5] danh mục cơng trình công bố tác giả Mục lục Mục lục viii Chương Tổng quan mã hóa video 1.1 Mã hóa video dự đoán 1.1.1 Các tiêu chuẩn mã hóa video trước 1.1.2 Chuẩn mã hóa video H.264/MPEG-4 AVC 1.1.3 Chuẩn mã hóa video HEVC 1.2 Mã hóa video phân tán 1.3 Các kiến trúc mã hóa video phân tán 1.3.1 Kiến trúc mã hóa video phân tán 1.3.2 Kiến trúc mã hóa video Stanford 1.3.3 Kiến trúc mã hóa video phân tán PRISM 1.3.4 So sánh kiến trúc Stanford kiến trúc PRISM 1.3.5 Kiến trúc mã hóa video phân tán DISCOVER 1.4 Các vấn đề nghiên cứu mã hóa video phân 1.4.1 Cải tiến hiệu nén 1.4.2 Cung cấp khả chống lỗi 1.4.3 Cung cấp khả liên lớp 1.4.4 Mã hóa video phân tán đa góc nhìn 1.5 Các hướng nghiên cứu luận án 1.6 Kết luận chương tán 7 10 11 15 15 16 19 21 23 28 28 32 33 33 34 35 Chương Cải tiến hiệu nén cho mã hóa video phân tán 36 2.1 Giới thiệu chung 36 2.1.1 Các nghiên cứu thông tin phụ trợ 38 MỤC LỤC ix 2.1.2 Các nghiên cứu mơ hình nhiễu tương quan 2.1.3 Các nghiên cứu thay đổi kích thước nhóm ảnh 2.2 Đề xuất 1: Cải tiến hiệu nén cho DVC phía mã hóa 2.2.1 Đặt vấn đề 2.2.2 Phương pháp thay đổi kích thước GOP đề xuất 2.2.3 Đánh giá hiệu phương pháp đề xuất AGOP-DVC 2.3 Đề xuất 2: Cải tiến hiệu nén cho DVC phía giải mã 2.3.1 Đặt vấn đề 2.3.2 Kiến trúc mã hóa đề xuất Adv-DVC 2.3.3 Các mơ-đun mã hóa đề xuất 2.3.4 Đánh giá hiệu 2.4 Kết luận chương 40 43 45 45 47 53 57 57 58 59 66 77 Chương Cải tiến hiệu nén cho mã hóa video phân tán liên lớp 79 3.1 Giới thiệu chung 79 3.1.1 Mã hóa video liên lớp 81 3.1.2 Mã hóa video phân tán liên lớp 85 3.2 Đề xuất 3: Tạo thông tin phụ trợ dựa kỹ thuật kết hợp ảnh cho DSVC88 3.2.1 Kiến trúc mã hóa DSVC-Fusion 88 3.2.2 Phương pháp tạo thông tin phụ trợ dựa kỹ thuật kết hợp ảnh 92 3.2.3 Đánh giá hiệu 94 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 97 3.3.1 Đặt vấn đề 97 3.3.2 Kiến trúc mã hóa DSVC-SVM 97 3.3.3 Phương pháp tạo thông tin phụ trợ dựa kỹ thuật SVM 100 3.3.4 Đánh giá hiệu 109 3.4 Kết luận chương 112 Kết luận 116 Các công trình khoa học 118 Tài liệu tham khảo 118 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 99 ❼ Chia tách khung hình: Các khung hình EL chia thành WZF KF Các KF nén mã hóa SHVC WZF nén nguyên lý phân tán ❼ Biến đổi DCT lượng tử vô hướng (SQ): Đối với WZF, dư thừa EL tạo cách trừ khung hình gốc cho khung hình BL giải mã Dư thừa biến đổi DCT lượng tử hóa với kích thước bước lượng tử EL tương ứng ❼ Mơ hình hóa nhiễu tương quan mã hóa: Thơng tin tương quan dư thừa EL mã hóa dư thừa SI giải mã mô tả số lượng bit LSB, nLSB cho hệ số Chi tiết cách tính nLSB mô tả [25] ❼ Lượng tử vô hướng lồng (NSQ): Dựa nLSB giá trị dư thừa EL hệ số DCT, kỹ thuật NSQ [38] sử dụng để tạo syndrome (S) tương ứng ❼ Mã hóa CABAC: Syndrome tạo bước trước với thông tin CNM mã hóa mã entropy CABAC HEVC ❼ Cuối cùng, hai luồng bit WZF KF đóng gói độc lập để cung cấp khả liên lớp thời gian Chúng kết hợp lại với thành luồng bit EL B Quá trình giải mã Các khung hình BL EL với mức chất lượng khác giải mã sau: trước tiên, khung hình BL giải mã với giải mã HEVC Inter Sau đó, KF lớp EL giải mã giải mã SHVC Cuối cùng, WZF lớp EL giải mã giải mã theo bước sau: ❼ Giải mã CABAC: Luồng bit WZ EL giải mã entropy giải mã CABAC Thông tin giải mã bao gồm giá trị syndrome số thông tin bổ sung mơ hình hóa nhiễu tương quan 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 100 ❼ Tạo dư thừa SI (SIR): Mơ-đun tạo dư thừa SI đóng vai trị quan trọng DSVC dư thừa SI sử dụng để tái tạo lại dư thừa EL dư thừa EL cộng với khung hình BL để tạo khung hình WZ EL Khi chất lượng dư thừa SI cao số lượng bit LSB cần mã hóa gửi tới giải mã làm tăng hiệu nén DSVC Trong kiến trúc DSVC-SVM này, phương pháp tạo SI dựa SVM [24] đề xuất Chi tiết phương pháp giới thiệu phần 3.3.3 ❼ Mơ hình hóa nhiễu tương quan giải mã: Mơ-đun thực tính giá trị nLSB mà bên mã hóa gửi tới mặt lý tưởng, phải khơng có sai khác hai mơ-đun CNM mã hóa giải mã Trong kiến trúc sử dụng cờ chế độ CNM [25] mà mã hóa gửi tới để tăng độ xác q trình dự đốn nLSB giải mã ❼ NSQ ngược: NSQ ngược sử dụng để tái tạo lại hệ số lượng tử vô hướng (đã loại bỏ MSB) Kiến trúc sử dụng mô-đun NSQ ngược [38] ❼ Lượng tử hóa ngược DCT ngược: Trong bước này, hệ số DCT tái tạo sử dụng phương pháp sai số bình phương trung bình tối thiểu (MMSE) [67] Sau đó, hệ số DCT biến đổi ngược để tạo dư thừa EL ❼ Cuối cùng, dư thừa EL kết hợp với khung hình BL giải mã để tái tạo lại WZF Các WZF KF lớp EL kết hợp lại để tạo chuỗi video EL 3.3.3 Phương pháp tạo thông tin phụ trợ dựa kỹ thuật SVM Trước vào chi tiết trình lựa chọn SI dựa kỹ thuật SVM, phần đầu mô tả kiến trúc tạo SI tổng thể tiếp phương pháp tạo 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 101 Hình 3.8: Kiến trúc tạo SI ứng viên SI Kiến trúc tạo SI gồm hai mơ-đun mơ-đun tạo ba ứng viên SI mô-đun lựa chọn ứng viên SI mơ tả Hình 3.8 Như mơ tả Hình 3.8, trình tạo SI gồm ba nhánh để tạo ba ứng viên SI trình lựa chọn ba ứng viên A Quá trình tạo ứng viên SI Ba SI ứng viên tương ứng với với loại tương quan thời gian tương quan liên lớp tạo [25] tổng kết sau: 1) Tạo SI dựa trường chuyển động BL, SIBLC : Do mức tương quan cao trường vector chuyển động (MVF) lớp BL lớp EL, BL MVF sử dụng trực tiếp để tạo thông tin chuyển động EL sau SIBLC tạo cách thực bù chuyển động (MC) dựa KF lớp EL giải mã ❼ Sao chép BL MV: Các khung hình BL mã hóa với mã hóa HEVC Inter đơn vị mã hóa BL (BL CU) chứa nhiều PU, PU mã hóa chế độ Inter Intra Vì vậy, tùy thuộc vào chế độ dự đoán lựa chọn cho PU BL, có hai trường hợp tạo trường vector chuyển động cho SI: i) Nếu BL PU liên quan mã hóa liên ảnh, thơng tin chuyển động PU vị trí 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 102 f b , đơn giản chép tới SIB EL thời; ii) Nếu BL, mvB , mvB BL PU mã hóa nội ảnh, PU giải mã BL tương ứng sử dụng làm SIBLC trình tạo SI dựa trường chuyển động BL kết thúc ❼ Bù chuyển động: Sử dụng thông tin chuyển động từ bước trước, SI ứng viên SIBLC tạo cách bù chuyển động dựa khung hình EL bf , X bEb trước sau giải mã, X E Bởi thơng tin chuyển động sử dụng đơn giản trường chuyển động BL, nhánh SI có xu hướng hiệu trường chuyển động BL có tương quan cao với trường chuyển động EL 2) Tạo SI dựa lọc trường chuyển động BL, SIILC : Bởi việc sử dụng trực tiếp BL MVF tạo SI khơng tin cậy, BL MVF sau chép vào EL mô tả lọc sử dụng tham chiếu BL EL Nhánh sử dụng thông tin chuyển động liên quan đến hai loại khung hình giải mã BL EL hay nói cách khác việc tính SI ứng viên có xem xét đến tương quan lớp (IL) Hơn nữa, chất lượng khung hình bù chuyển động thấp MVF ước lượng khơng xác nên khung hình bù chuyển động kết hợp tuyến tính mức pixel với khung hình BL giải mã để tạo nên ứng viên cuối Nhánh tạo SIILC làm việc sau: ❼ Lọc BL MVF:Trước tiên, BL MVF chép tới EL mô tả nhánh tạo SIBLC Các MV sau lọc sử dụng tham chiếu BL EL Trong trường hợp này, vị trí phù hợp liên quan f b khung hình tham chiếu EL, đến vector chuyển động BL, mvB , mvB trình lọc ME áp dụng để tìm kiếm vector chuyển động tốt theo khía cạnh tối thiểu hóa tổng sai khác bình phương (SSD) khối BL vị trí khối EL bù chuyển động, từ thu f b mvR , mvR 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 103 b sử dụng với ❼ Bù chuyển động: Hai vector chuyển động mvR , mvR f tham chiếu EL để tạo hai khối bù chuyển động tương ứng Các khối bù chuyển động lấy trung bình để tạo Pmc ❼ Kết hợp tuyến tính mức pixel: Cuối cùng, khung hình bù chuyển động Pmc kết hợp tuyến tính mức pixel với khối BL giải mã để tạo SIILC sau: bB (x, y) SIILC (x, y) = w(x, y) × Pmc (x, y) + (1 − w(x, y)) × X (3.7) (x, y) vị trí pixel w(x, y) trọng số xác định mức đóng bB ứng viên SIILC w(x, y) tính góp Pmc X [26] 3) Tạo SI dựa lọc trường chuyển động EL, SIELC : Do vắng mặt liệu gốc nên trường vector chuyển động BL q trình lọc MV khơng phải lúc xác, hai khung hình tham chiếu EL trước sau sử dụng để tạo EL MVF Nhánh tạo SI gồm bước sau: ❼ Ước lượng EL MV: Thực hai trình ước lượng chuyển động để tạo hai MVF: i) Ước lượng chuyển động trước: ME áp dụng để tạo trường chuyển động trước, trường xác định chuyển động từ khung bf → X bEb ); hình tham chiếu EL trước đến khung hình tham chiếu EL sau (X E ii) Ước lượng chuyển động sau: ME sử dụng để tạo trường chuyển động sau, trường xác định chuyển động từ khung hình tham chiếu EL bEb → X b f ) Vector chuyển động sau tới khung hình tham chiếu EL trước (X E liên quan tới MVF coi ứng viên cho khối không chồng lấn khung hình nội suy Đối với khối khung hình nội suy, tất vector ứng viên xem xét vector chuyển động giao với khung hình nội suy gần tâm khối xem xét lựa chọn Các khối khơng có vector chuyển động qua coi có MV 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 104 ❼ Lọc EL MV: Mỗi SI MVF ban đầu lọc lọc trung vị có trọng số để tạo hai trường MVF làm mịn ❼ Bù chuyển động: Sử dụng hai trường MVF làm mịn để bù bf , X bEb chuyển động song hướng cho hai khung hình EL giải mã X E để tạo hai khối nội suy SI Hai khối bù chuyển động lấy trung bình để tạo ứng viên SI thứ ba SIELC Bởi giải pháp sử dụng thơng tin EL giải mã để tạo ứng viên SI nên lựa chọn chất lượng khung hình EL tốt nhiều so với khung hình BL B Quá trình lựa chọn SI Do vắng mặt khung hình gốc, việc lựa chọn ứng viên SI trở nên khó khăn Để lựa chọn ba ứng viên SI cách hiệu quả, trình lựa chọn SI coi toán phân loại Trong ngữ cảnh này, SVM [24] lựa chọn để giải tốn phân loại Như mơ tả Hình 3.8, với ba khối ứng viên SI đầu vào, phân loại SVM cần phải chọn ba khối ứng viên Tiêu chí để lựa chọn phải chọn khối SI ứng viên giống với khối tương ứng khung hình WZ gốc Việc lựa chọn định dựa vào thuật toán SVM mục tiêu cuối xây dựng lại hồn chỉnh, SIF phải có chất lượng tốt Để trình chọn SI hiệu để giảm thiểu chi phí tính tốn, việc lựa chọn định nghĩa tập vector hỗ trợ (SV) cần phải thực cách cẩn thận 1) Xác định đặc trưng Để lựa chọn tập đặc trưng SV cần phải xem xét đặc điểm nhánh tạo ứng viên SI Các đặc trưng SV phải mô tả chất lượng nhánh ứng viên SI Trong ngữ cảnh này, đặc trưng sau lựa chọn: ❼ Đặc trưng đánh giá trường MV: Ba đặc trưng SV đánh giá chất lượng 105 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM trường vector chuyển động tính tốn sử dụng tổng sai khác bình phương (SSD) khung hình trước sau bù chuyển động SSDBLM V , SSDILM V , SSDELM V liên quan đến BL MVF, BL MVF lọc EL MVF SSDBLM V = −1 N −1 N X X x=0 y=0 SSDELM V = N −1 N −1 X X x=0 y=0 SSDILM V = −1 N −1 N X X x=0 y=0 (3.8) (3.9) b b f (x, y, mv f ) − X b f (x, y, mvB )) (X E B E b f (x, y, mv f ) − X bEb (x, y, mvEb )) (X E E b b f (x, y, mv f ) − X bEb (x, y, mvR (X )) E R (3.10) đó, (x, y) vị trí pixel khối mã hóa với kích thước N × N ❼ Đặc trưng sai khác SI: Tính tốn ba SSD liên quan đến sai khác cặp SI ứng viên, SSDSIBE , SSDSIBI , SSDSIEI SSDSIBE = −1 N −1 N X X (SIBLC (x, y) − SIELC (x, y))2 (3.11) (SIELC (x, y) − SIILC (x, y))2 (3.12) (SIBLC (x, y) − SIILC (x, y))2 (3.13) x=0 y=0 SSDSIEI = N −1 N −1 X X x=0 y=0 SSDSIBI = −1 N −1 N X X x=0 y=0 SSDSIBE đo sai khác SIBLC SIELC , SSDSIBI đo sai khác SIBLC SIILC SSDSIEI đo sai khác SIELC SIILC ❼ Đặc trưng tương quan thời gian: Trong nhánh tạo SIBLC SIELC , ứng viên SIB tạo cách sử dụng KF lớp EL SIILC tạo sử dụng khung hình BL EL Do đó, tương quan thời gian đóng vai trị quan trọng SIBLC SIELC SIILC Vì vậy, tương quan thời gian (TC) đặc trưng tốt để phân biệt hai ứng 106 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM viên SIBLC SIELC với ứng viên SIILC Đặc trưng tương quan thời gian SSDT C định nghĩa sai khác khung hình BL giải mã bf , X bBb khối bù chuyển động khung hình BL tham chiếu, X B sau: SSDT C = SSDT C _1 = SSDT C _1 + SSDT C _2 N −1 N −1 X X x=0 y=0 SSDT C _2 = −1 N −1 N X X x=0 y=0 (3.14) bB (x, y) − X b f (x, y, mv f )) (X E B (3.15) b bB (x, y) − X bEb (x, y, mvB )) (X (3.16) SSDT C có xu hướng cao tương quan thời gian thấp Trong trường hợp này, SIBLC SIELC thấp chúng phụ thuộc chủ yếu vào tương quan thời gian Vì vậy, SSDT C cao SIBLC SIELC không lựa chọn ❼ Đặc trưng tương quan lớp: Do SIILC tạo sử dụng tương quan lớp, nên tương quan lớp có ảnh hưởng quan trọng đến chất lượng ứng viên SI Vì vậy, đặc trưng tương quan lớp sử dụng trình huấn luyện phân loại Đặc trưng sai khác khối KF lớp EL bù chuyển động khối khung hình BL giải mã bù chuyển động thời điểm với khung hình EL sau: SSDILC = SSDILC _1 = N −1 N −1 X X x=0 y=0 SSDILC _2 = −1 N −1 N X X x=0 y=0 SSDILC _1 + SSDILC _2 (3.17) b f (x, y, mv f ) − X b f (x, y, mv f )) (X B B E B (3.18) b b bEb (x, y, mvB bBb (x, y, mvB (X )−X )) (3.19) 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 107 Nhưng SSDILC đối lập với SSDT C , điều có nghĩa SSDILC nhỏ SIILC lựa chọn 2) Huấn luyện mơ hình SVM Bài tốn phân loại với ba đầu vào ba khối SI ứng viên SIBLC , SIELC SIILC cần phải chọn đầu ba ứng viên Mơ hình SVM cần huấn luyện trước sử dụng cho giai đoạn phân loại Bởi nội dung video đa dạng, nên cần sử dụng SVM trực tuyến mà mơ hình huấn luyện tạo cách thích ứng cho chuỗi video tùy thuộc vào nội dung thơng tin Để làm điều này, đặc trưng SVM mô tả trích xuất từ khung hình SI chuỗi video thử nghiệm Thông thường, giai đoạn huấn luyện thực định kỳ sau khoảng thời gian Tuy nhiên, để cân độ xác mơ hình thời gian xử lý để tạo SI nên đóng góp này, huấn luyện SVM đề xuất thực lần, cụ thể cho khung hình SI chuỗi thử nghiệm Quá trình huấn luyện đề xuất minh họa Hình 3.9 thực mức khối sau: Hình 3.9: Quá trình huấn luyện trực tuyến SVM đề xuất cho chuỗi video ❼ Bước Tạo ba SI ứng viên: Đối với khung hình WZ giải mã, ba khối ứng viên SI tương ứng với khối khung hình WZ tạo kiến trúc tạo SI 108 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM ❼ Bước Trích xuất đặc trưng: Với ba SI ứng viên này, tám đặc trưng SV tương ứng trích xuất ❼ Bước Tạo nhãn tham chiếu: Khung hình WZ giải mã khối khung hình so sánh với ba khối SI ứng viên Khối SI ứng viên có sai khác với khối tương ứng khung hình WZ giải mã coi nhãn tham chiếu ❼ Bước Huấn luyện mơ hình SVM: Tám đặc trưng SV với nhãn tương ứng đưa vào huấn luyện cho ba mơ hình SVM tương ứng với ba cặp SI ứng viên cách sử dụng phần mềm SV M light [30] với số tham số tối ưu thiết lập sau: – Hàm Kernel: RBF với hệ số γ chọn khoảng [0, 01 100] – Mức độ phạt lỗi: Hằng số C lựa chọn khoảng [0, 01 1000] Độ xác thu huấn luyện cho ba mơ hình mơ tả Bảng 3.4 Bảng 3.4: Độ xác mơ hình huấn lun Độ xác (%) Recall (%) F1-score (%) Mơ hình 97 95 96 Mơ hình 93 97 95 Mơ hình 91 89 90 3) Trích xuất đặc trưng SV Đối với khung hình khung hình thứ 2, ba SI ứng viên lại tạo từ trích xuất tám đặc trưng SV tương ứng theo khối: F =   SSDBLM V , SSDELM V , SSDILM V , SSDT C  SSD ILC , SSDSIBE , SSDSIBI , SSDSIEI  (3.20) 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM 109 4) Phân loại SVM Ở bước này, việc phân loại SVM thực đầu ứng viên SI lựa chọn Thuật toán SVM ban đầu [24] thiết kế để thực phân loại nhị phân cho hai đầu vào toán lựa chọn số ba SI đầu vào Vì cần phải sử dụng thuật tốn SVM nhiều lớp Có nhiều cách để thực thuật toán SVM nhiều lớp đề xuất sử dụng cách tiếp cận SVM nhiều lớp dựa so sánh - (one versus one) phương pháp có độ xác cao so với số cách tiếp cận khác ví dụ - tất (one versus all) [27] Trong đề xuất sử dụng ba phân loại SVM nhị phân cho ba cặp SI ứng viên với hai bước sau: ❼ Phân loại SVM nhị phân cho cặp SI: Trong bước này, ba trình phân loại SVM nhị phân thực cho cặp SI ứng viên: SIBLC SIELC ; SIBLC SIILC ; SIILC SIELC ❼ Tìm SI tốt nhất: Sau lựa chọn nhãn đầu cho ba phân loại SVM nhị phân bước trước, ta ba nhãn tương ứng với ba phân loại Nhãn lựa chọn nhiều coi SI cuối Trong trường hợp ba SI xuất đầu ba phân loại nhị phân nhãn tương ứng với đầu phân loại hai đầu vào SIBLC SIILC chọn SI cuối kết thực nghiệm cho thấy giải pháp cho chất lượng SI cao 3.3.4 Đánh giá hiệu Trong phần đánh giá chất lượng SI tạo phương pháp đề xuất so sánh với số phương pháp tạo SI khác A Điều kiện thử nghiệm Đánh giá hiệu thực bốn chuỗi video thử nghiệm RaceHorses, BlowingBubbles, Basketball Pass, BQSquare với đa dạng 110 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM Bảng 3.5: Đặc điểm chuỗi video thử nghiệm Độ phân giải Độ phân giải Số lượng Chuỗi video khơng gian thời gian khung hình BlowingBubbles BasketballPass RaceHorses 416 Ö 240 BQSquare Tham số lượng tử 50 497 50 497 30 297 60 599 QPB = 34; QPE = QPB − {4; 6; 8; 10} Hình 3.10: Các khung hình chuỗi video thử nghiệm đặc tính chuyển động cấu trúc bề mặt Đặc điểm chi tiết chuỗi video mô tả Bảng 3.5 khung hình chuỗi minh họa Hình 3.10 Phần mềm SV M light sử dụng để lựa chọn SI ứng viên Phần mềm tham chiếu HEVC HM phiên 14.0 sử dụng để mã hóa BL phần mềm tham chiếu SHVC SHM phiên 6.0 sử dụng để mã hóa KF lớp EL B Đánh giá chất lượng tạo SI Các giải pháp tạo SI sử dụng để so sánh với phương pháp đề xuất SISV M gồm SIBLC , SIELC ; SIILC SISP IC [61] Trong SIBLC , SIELC ; SIILC SI tạo dựa trường chuyển động lớp sở, SI tạo dựa lọc trường chuyển động lớp tăng cường SI tạo dựa lọc trường chuyển động lớp sở tương ứng SISP IC SI tạo giải pháp đề cập [61] 111 3.3 Đề xuất 4: Tạo thông tin phụ trợ dựa kỹ thuật SVM Bảng 3.6: Chất lượng SI tạo kỹ thuật SVM so với phương pháp khác [dB] Chuỗi video RaceHorses QPB ; QPE SIBLC SIELC SIILC SISP IC SISV M {34;30} 28,53 28,86 34,51 33,78 34,48 {34;28} 28,65 29,02 34,83 34,08 34,90 {34;26} 28,72 29,12 35,04 34,29 35,20 {34;24} 28,77 29,18 35,17 34,42 35,41 28,67 29,05 34,89 34,14 35,00 {34;30} 31,79 31,70 33,68 33,56 34,16 {34;28} 32,45 32,38 34,33 34,36 35,25 {34;26} 32,93 32,87 34,72 34,94 36,09 {34;24} 33,28 33,23 34,94 35,37 36,73 32,61 32,55 34,42 34,56 35,56 {34;30} 30,29 29,61 35,69 35,16 39,54 {34;28} 30,45 29,81 35,97 35,54 36,31 {34;26} 30,57 29,97 36,12 35,83 36,52 {34;24} 30,67 30,11 36,21 36,06 36,77 30,50 29,88 36,00 35,65 36,29 Trung bình BlowingBubbles Trung bình BasketballPass Trung bình BQSquare Trung bình Trung bình tổng cộng Mức cải thiện PSNR {34;30} 33,4 31,22 33,19 32,45 33,78 {34;28} 34,26 31,73 33,62 32,72 34,51 {34;26} 34,93 32,12 33,85 32,92 35,11 {34;24} 35,45 32,39 34,00 33,05 35,69 34,51 31,87 33,67 32,79 34,77 31,57 30,83 34,74 34,28 35,41 3,83 4,57 1,12 0,66 Bảng 3.6 mô tả kết chất lượng SI phương pháp tạo SI đề xuất 3.4 Kết luận chương 112 mức cải thiện PSNR [dB] phương pháp tạo so với phương pháp tạo SI có liên quan Từ kết Bảng 3.6, rút số kết luận sau: ❼ Giải pháp tạo SI đề xuất đạt kết tốt so với phương pháp có liên quan Điều đến từ thực tế phương pháp lựa chọn SI dựa SVM lựa chọn cách hiệu SI từ số SI ứng viên ❼ Giải pháp tạo SI đề xuất đạt SI với chất lượng tốt hơn, đáng ý mức cải thiện trung bình lên đến 4,57 dB so sánh với SIELC ❼ Chất lượng SI ứng viên thay đổi tùy vào nội dung chuỗi video Trong chuỗi chuyển động nhanh trung bình BasketballPass and BlowingBubbles, SIELC vượt trội so với hai ứng viên lại Còn chuỗi chuyển động chậm BQSquare, SIBLC lại chiếm ưu Điều cho thấy vai trò ứng viên ngữ cảnh khác khác cần chế lựa chọn phù hợp với nội dung chuỗi video ❼ Thêm vào đó, Bảng 3.6 cho thấy phương pháp đề xuất đạt mức cải thiện cao trường hợp chuỗi video chuyển động chậm (ví dụ chuỗi BQSquare) Mức cải thiện chủ yếu đến từ việc sử dụng thơng tin chuyển động BL độ xác giải pháp lựa chọn SI dựa học máy 3.4 Kết luận chương Trong chương này, Luận án đề xuất: ❼ Đề xuất 3: Phương pháp tạo thông tin phụ trợ dựa kỹ thuật kết hợp ảnh cho mã hóa video phân tán liên lớp khơng gian thời gian Trong đề xuất này, thông tin phụ trợ tạo cách khai thác thông tin tương quan thời gian thông tin lớp Các SI ứng viên 3.4 Kết luận chương 113 kết hợp lại với để tạo nên thơng tin phụ trợ cuối có chất lượng tốt ❼ Đề xuất 4: Luận án đề xuất phương pháp tạo thông tin phụ trợ dựa kỹ thuật SVM cho mã hóa video phân tán liên lớp thời gian chất lượng Trong đề xuất này, ba ứng viên SI tạo cách khai thác tương quan khác bao gồm tương quan thời gian tương quan lớp Ba ứng viên có chất lượng thay đổi phụ thuộc vào nội dung chuỗi video việc lựa chọn ứng viên ngữ cảnh cụ thể định thuật tốn học máy SVM Các kết mơ cho thấy chất lượng SI tạo phương pháp đề xuất tốt so với ứng viên đơn lẻ Đó nhờ sử dụng thuật tốn SVM huấn luyện trực tuyến cách hiệu Cụ thể, phương pháp đề xuất tăng chất lượng SI lên đến 4,57 dB so với phương pháp tạo SI sử dụng thơng tin sẵn có lớp tăng cường Với kết đạt được, thấy tiềm mã hóa video phân tán mã hóa video liên lớp Việc sử dụng mã hóa video phân tán lớp tăng cường làm giảm phức tạp mã hóa trì hiệu nén tương đương so với mã hóa video liên lớp truyền thống Đây lợi quan trọng áp dụng cho ứng dụng mà mã hóa cần có phức tạp thấp Các báo công bố: [4] (2017) N T H Thao, V Van San, and V H Tien, Fusion Based Side Information Creation Method for Distributed Scalable Video Coding, Tạp chí Khoa học Công nghệ, vol 121, pp 48–53, 2017, ISSN 2354-1083 [5](2017) X Hoangvan and T N T Huong, An online SVM based side information creation for efficient distributed scalable video coding, in International Conference on Advanced Technologies for Communications, 2017, vol 2017Octob, pp 225–228, doi: 10.1109/ATC.2017.8167622