Kỹ thuật mã hóa video phân tán DVC và ứng dụng kỹ thuật DVC trong mạng cảm biến hình ảnh không dây

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Anh Tuấn KỸ THUẬT MÃ HÓA VIDEO PHÂN TÁN DVC VÀ ỨNG DỤNG KỸ THUẬT DVC TRONG MẠNG CẢM BIẾN HÌNH ẢNH KHƠNG DÂY LUẬN VĂN THẠC SỸ NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - VIỄN THÔNG Chuyên ngành: Kỹ thuật viễn thông HÀ NỘI, 2019 LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn trung thực chƣa đƣợc sử dụng để bảo vệ học vị Mọi giúp đỡ luận văn đƣợc cảm ơn thơng tin trích dẫn luận văn đƣợc rõ nguồn gốc rõ ràng đƣợc phép công bố Hà Nội, ngày … tháng … năm 2019 Ngƣời thực Nguyễn Anh Tuấn LỜI CẢM ƠN Đƣợc phân công Khoa Điện tử viễn thông, trƣờng Đại học Công nghệ, dƣới hƣớng dẫn TS Hoàng Văn Xiêm TS Đinh triều Dƣơng, tơi hồn thành luận văn Để hồn thành luận văn tơi xin cảm ơn Thầy cô Khoa Điện tử viễn thông, trƣờng Đại học Cơng nghệ nhiệt tình dạy dỗ, cung cấp phƣơng pháp, kiến thức suốt thời gian học tập Tôi xin chân thành cảm ơn tới hai thầy giáo TS Hoàng Văn Xiêm, TS Đinh triều Dƣơng Ths Phí Cơng Huy tận tình hƣớng dẫn bảo nhiều kiến thức nhƣ phƣơng pháp làm việc trình thực hoàn thành luận văn Mặc dù cố gắng tích cực việc thực luận văn nhƣng khơng thể tránh đƣợc sai sót định, tơi mong nhận đƣợc đóng góp Thầy bạn đồng nghiệp để hoàn chỉnh luận văn có hƣớng phát triển Tơi xin chân thành cảm ơn MỤC LỤC CÁC THUẬT NGỮ VIẾT TẮT DANH MỤC BẢNG DANH MỤC SƠ ĐỒ, HÌNH VẼ LỜI MỞ ĐẦU Lý lựa chọn đề tài Mục đích nghiên cứu Đối tƣợng nghiên cứu Phạm vi phƣơng pháp nghiên cứu Cấu trúc luận văn CHƢƠNG I TỔNG QUAN VỀ MÃ HĨA VIDEO DỰ ĐỐN HEVC VÀ MÃ HÓA PHÂN TÁN DVC 1.1 Giới thiệu chung 1.2 Mã hóa video dự đoán chuẩn HEVC 1.2.1 Sơ đồ cấu trúc 1.2.2 Mã hóa khung (Intra coding) 1.2.3 Mã hóa liên khung (Inter coding) 1.2.4 Phép biến đổi cosin rời rạc (DCT) phép lƣợng tử 1.2.5 Mã hóa entropy 1.2.6 Bộ lọc khối bù thích ứng mẫu SAO 1.3 Mã hóa video phân tán (DVC – Distributed Video Coding) 1.3.1 Định lý Slepian-Wolf định lý Wyner-Ziv 1.3.2 Kiến trúc mã hóa video phân tán DISCOVER 1.4 Kết luận chƣơng CHƢƠNG II XÂY DỰNG MƠ HÌNH MÃ HÓA VIDEO TIÊN TIẾN THẾ HỆ MỚI TRÊN NỀN CHUẨN H.265/HEVC 2.1 Kiến trúc mã hóa video phân tán với mã hóa H.265/HEV 2.2 Tạo thơng tin phụ 2.3 Ứng dụng DVC mạng cảm biến hình ảnh không dây 2.4 Kết luận chƣơng CHƢƠNG III MÔ PHỎNG VÀ ĐÁNH GIÁ 3.1 Điều kiện đánh giá 3.2 Đánh giá chất lƣợng key frames 3.3 Đánh giá hiệu mã hóa mơ hình DVC-HEVC 3.4 Kết luận chƣơng KẾT LUẬN TÀI LIỆU THAM KHẢO CÁC THUẬT NGỮ VIẾT TẮT Từ viết tắt A B C D G H I J L M P Q S T U V W DANH MỤC BẢNG Bảng 1.1: Giá trị lƣợng tử xác suất tƣơng ứng 19 Bảng 1.2: Mã Huffman số lƣợng bit cần mã hóa tƣơng ứng 19 Bảng 2.1: Các mức tiêu thụ lƣợng mã hóa dự đốn phân tán 34 Bảng 3.1: Bảng mô tả tóm tắt thơng số sử dụng đánh giá 37 Bảng 3.2: Giá trị lƣợng tử cho khung GOP=2, QCIF 15Hz 38 DANH MỤC SƠ ĐỒ, HÌNH VẼ Mã hóa video truyền thống mã hóa video phân tán .9 Hình 1.1: Sơ đồ cấu trúc mã hóa video theo chuẩn HEVC 13 Hình 1.2: Kỹ thuật phân vùng HEVC 15 Hình 1.3: Các chế độ hƣớng cho dự đoán hình khung [8] 17 Hình 1.4: Giá trị điểm ảnh miền pixel miền DCT tƣơng ứng 18 Hình 1.5: Mơ hình phép lƣợng tử tuyến tính 18 Hình 1.6: Cây mã huffman 19 Hình 1.7: Biểu đồ vùng tỷ lệ tốc độ mã giữ hai nguồn X,Y 22 Hình 1.8 Kiến trúc mã hóa video phân tán DVC DISCOVER[2] 23 Hình 2.1: Cấu trúc mã hóa DVC-HEVC 25 Hình 2.2: Quá trình nội suy khung 28 Hình 2.3: Lựa chọn vectơ chuyển động 30 Hình 2.4: Ƣớc lƣợng chuyển động hai chiều 30 Hình 2.5: Quá trình nội suy khung kết hợp ƣớc lƣợng chuyển động trƣớc sau .32 Hình 3.1: Mơ tả khung hình chuỗi video 37 Hình 3.2: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Foreman) 40 Hình 3.3: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Hall monitor) 40 Hình 3.4: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Coastguard) .41 Hình 3.5: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Soccer) 41 Hình 3.6: Đánh giá chất lƣợng khung hình H.264/AVC H.265/HEVC (Video Foreman) 42 Hình 3.7: Đánh giá chất lƣợng khung hình H.264/AVC H.265/HEVC (Video coastguard) 42 Hình 3.8: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC 43 (Video Foreman) .43 Hình 3.9: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC 43 (Video Hall monitor) 43 Hình 3.10: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC 44 (Video Coastguard) 44 Hình 3.11: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC 44 (Video Soccer) 44 CHƢƠNG III MÔ PHỎNG VÀ ĐÁNH GIÁ Chƣơng đƣa kịch mơ đánh giá tính hiệu mơ hình mã hóa video phân hệ mới, DVC-HEVC Do thông tin phụ thành phần quan trọng nằm mơ hình DVC-HEVC, hiệu tạo thơng tin phụ đƣợc đánh giá gián tiếp thông qua phép đo hiệu mã hóa chất lƣợng giải mã DVC-HEVC so sánh với chuẩn tƣơng ứng Chƣơng bắt đầu mục mô tả điều kiện đánh giá, mục đánh giá chất lƣợng khung đƣợc với chuẩn HEVC, cuối kết đo lƣợng hiệu nén chất lƣợng giải mã mã hóa DVC-HEVC 3.1 Điều kiện đánh giá Để đánh giá hiệu thông tin phụ SI đƣợc tạo kỹ thuật mã hóa Intra cho khung chính, tiến hành nhiều thực nghiệm với nhiều chuỗi video với chuẩn mã hóa Intra khác nhau: H.264/AVC H.265/HEVC Trong đó, 04 chuỗi video theo chuẩn QCIF đƣợc chọn bao gồm: Soccer, Foreman, Coastguard, Hall Monitor dùng để khảo sát hiệu mã hóa khung chính, mã hóa khung WZ, từ hiệu chung tồn hệ mã hóa DVC Trong luận văn, hiệu mã hóa đƣợc đánh giá sử dụng PSNR hàm đo chất lƣợng video thu đƣợc sau giải mã khung khung WZ tƣơng ứng với tốc độ Bitrate khung video Kích thƣớc GOP đƣợc cấu hình phép thử nghiệm tƣơng ứng với trƣờng hợp có: khung khung WZ GOP Đây cấu hình thơng dụng hay đƣợc dùng mã hóa DVC Đồng thời với cấu hình này, chất lƣợng mã hóa khung dựa vào kỹ thuật mã hóa Intra có ảnh hƣởng lớn tới chất lƣợng độ tin cậy thông tin phụ SI đƣợc tạo ra, từ ảnh hƣởng trực tiếp đến hiệu mã hóa tổng cộng mã hóa DVC 36 Với mơ hình mã hóa video theo phƣơng pháp phân tán, ứng dụng thƣờng hệ thống cảm biến không dây; vậy, kích thƣớc khung hình thƣờng nhỏ Trên sở đó, chuỗi video đƣợc lựa chọn bao gồm 04 chuỗi video đƣợc sử dụng phổ biến đánh giá hiệu mã hóa DVC trƣớc kia, bao gồm: Foreman, Hall monitor, Coastguard Soccer Các chuỗi đƣợc tải từ [http://trace.eas.asu.edu/yuv/] Các thơng số nhƣ kích thƣớc, tốc độ khung hình, số khung hình,… đƣợc sử dụng đánh giá đƣợc mô tả chi tiết bảng 3.1 hình ảnh chuỗi video đƣợc hiển thị hình 3.1 Bảng 3.1: Bảng mơ tả tóm tắt thơng số sử dụng đánh giá Tên chuỗi video Số khung hình Kích cỡ Tốc độ khung hình Kích cỡ nhóm ảnh Tham số lƣợng tử Foreman Hình 3.1: Mơ tả khung hình chuỗi video 37 Với mã hóa DVC, bảng giá trị ma trận lƣợng tử (QM) đƣợc sử dụng nhƣ báo [9], giá trị lƣợng tử tƣơng ứng đƣợc sử dụng mã hóa chuẩn HEVC đƣợc sử dụng tƣơng ứng nhƣ bảng 3.2 Bảng 3.2: Giá trị lượng tử cho khung GOP=2, QCIF 15Hz Sequences Foreman Hall Monitor Coastguard Soccer  Các mã hóa tham chiếu: - H.264/AVC Intra: H.264/AVC Intra mơ hình mã hóa theo chuẩn H.264/AVC [8] có độ phức tạp thấp, cho phép khai thác tính tƣơng quan mặt khơng gian khung hình video Do vậy, hiệu mã hóa thấp so với việc khai thác tính tƣơng quan mặt thời gian nhƣ mơ hình H.264/AVC Inter Tuy nhiên, với ƣu điểm độ phức tạp thấp, mơ hình H.264/AVC Intra thƣờng đƣợc sử dụng mạng cảm biến không dây [13] Đây mơ hình mã hóa đƣợc dùng phổ biến việc đánh giá hiệu mã hóa DVC trƣớc - HEVC Intra: HEVC mơ hình mã hóa video này, cấu hình Intra cho phép mã hóa hiệu video nhƣng với yêu cầu thời gian mã hóa thấp Do vậy, mơ hình mã hóa tham chiếu với mơ hình mã hóa đƣợc nghiên cứu đề xuất luận văn Chƣơng II mơ tả mơ hình mã hóa HEVC đặc biệt cấu hình mã hóa tồn Intra - DVC-AVC: Đây mã hóa video phân tán hệ cũ, sử dụng chuẩn H.264/AVC Intra để mã hóa giải mã hóa key frames Đây tham chiếu để đánh giá hiệu mã hóa cho mơ hình mã hóa video đề xuất Bộ mã hóa video DVC-AVC sử dụng để đánh giá luận văn đƣợc khai thác tảng nghiên cứu gần [9] 38 - DVC-HEVC: Đây mã hóa video phân tán hệ mới, đƣợc nghiên cứu đƣa giải pháp tạo thông tin phụ luân văn Bộ mã hóa sử dụng chuẩn HEVC để mã hóa giải mã hóa khung Đồng thời, để nâng cao hiệu mã hóa, chúng tơi đề xuất thêm phƣơng pháp tạo khung hình phụ, kết hợp hiệu mơ hình ƣớc lƣợng chuyển động từ hai chiều nhƣ mô tả chƣơng II 3.2 Đánh giá chất lƣợng key frames Việc mã hóa giải mã hóa khung có vai trị quan trọng, ảnh hƣởng trực tiếp tới việc mã hóa khung hình WZ sau Trên sở đó, chƣơng đánh giá chất lƣợng giải mã khung với hai chuẩn mã hóa video phổ biến chuẩn H.264/AVC [8] chuẩn HEVC Phƣơng pháp đánh giá bao gồm đánh giá chủ quan khách quan Trong đó, đánh giá chủ quan dựa vào cảm nhận mắt ngƣời xem xét khung hình sau giải mã tƣơng ứng với chuẩn H.264/AVC chuẩn HEVC Còn đánh giá khách quan dựa vào đồ thị tƣơng ứng số lƣợng bit thơng tin cần mã hóa với chất lƣợng sau giải mã, đo ma trận PSNR (Peak Signal to Noise Ration): 2552 PSNR 10 log 10 MSE Trong đó: - MSE: Mean Squared Error giá trị trung bình bình phƣơng lỗi (sự khác biệt) tín hiệu trƣớc sau giải mã Hình 3.2, 3.3, 3.4, 3.5 mô tả đánh giá khách quan hình 3.6 hình 3.7 mơ tả đánh giá chủ quan cho chuỗi video đƣợc lựa chọn luận văn 39 Hình 3.2: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Foreman) Hình 3.3: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Hall monitor) 40 Hình 3.4: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Coastguard) Hình 3.5: So sánh mã hóa khung với chuẩn H.264/AVC chuẩn HEVC (Chuỗi video Soccer) 41 Hình 3.6: Đánh giá chất lượng khung hình H.264/AVC H.265/HEVC (Video Foreman) Hình 3.7: Đánh giá chất lượng khung hình H.264/AVC H.265/HEVC (Video coastguard) Từ kết thu đƣợc hình, số kết luận đƣợc rút nhƣ sau:  Mơ hình mã hóa H.265/HEVC cung cấp hiệu mã hóa tốt nhiều so với mơ hình cũ H.264/AVC, đánh giá chủ quan lẫn đánh giá khách quan  Với đánh giá chủ quan, mắt thƣờng dễ dàng thấy khác biệt chất lƣợng hai mơ hình nhƣ minh họa hình 3.6 hình 3.7 42 3.3 Đánh giá hiệu mã hóa mơ hình DVC-HEVC Để đánh giả tổng quan hiệu mã hóa mơ hình mã hóa DVC-HEVC, kết lƣợng bit mã hóa thơng tin chất lƣợng video sau giải mã đƣợc mô tả đánh giá nhƣ hình 3.8 hình 3.9 Hình 3.8: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC (Video Foreman) Hình 3.9: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC (Video Hall monitor) 43 Hình 3.10: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC (Video Coastguard) Hình 3.11: Đánh giá tổng thể hiệu mã hóa mơ hình DVC-HEVC (Video Soccer) 44 3.4 Kết luận chƣơng Chƣơng III đƣa chuỗi video dùng để khảo sát hiệu mã hóa khung chính, mã hóa khung WZ, từ hiệu chung tồn hệ mã hóa DVC Trong luận văn, hiệu mã hóa đƣợc đánh giá sử dụng PSNR hàm đo chất lƣợng video thu đƣợc sau giải mã khung khung WZ tƣơng ứng với tốc độ Bitrate khung video Từ kết thu đƣợc, số kết luận rút nhƣ sau: Về tổng thế, mơ hình mã hóa DVC-HEVC tốt so với mơ hình mã hóa DVC-AVC chuỗi video, đặc biệt với chuỗi video có chuyển động nhƣ Hall monitor hay Coastguard Lý việc tạo thông tin phụ dễ dàng hiệu với chuỗi video có đặc trƣng Với chuỗi video có nhiều chuyển động nhƣ Soccer, mơ hình mã hóa DVC chƣa thể mơ hình mã hóa chuẩn nhƣ H.264/AVC hay HEVC Điều đƣợc khắc phục tƣơng lai thông qua phƣơng pháp tạo thông tin phụ tốt 45 KẾT LUẬN Nhu cầu cao mã hóa video có khả nén tốt nhƣng địi hỏi thời gian mã hóa thấp đƣợc dùng mạng cảm biến trọng tâm xuyên suốt luận văn Luận văn tập trung vào việc giới thiệu mã hóa video dựa chuẩn HEVC, khái niệm bản, mơ hình mã hóa video phân tán sử dụng HEVC Từ đƣa cải tiến việc tạo thông tin phụ, khối quan trọng định đến chất lƣợng mã hóa DVC Chƣơng I trình bày kỹ thuật mã hóa video dùng chuẩn HEVC, kiến trúc tổng quan mã hóa video phân tán, lý thuyết tảng mã hóa video phân tán Chƣơng II trình bày kiến trúc tổng quan mã hóa video phân tán sử dụng HEVC cho mã hóa intra lý thuyết q trình tạo thơng tin phụ, ứng dụng DVC để giảm mức độ tiêu thụ lƣợng cảm biến Chƣơng III đƣa kịch mơ đánh giá tính hiệu mơ hình mã hóa video phân tán hệ mới, DVC-HEVC Nhƣ trình bày, chƣơng I chƣơng II đề cập đến hai mơ hình mã hóa video phân tán với khác nằm việc mã hóa khung sử dụng H.264 intra H.265/HEVC intra với số lƣợng mode dự đoán tăng lên H.265/HEVC intra so với H.264 intra Chƣơng III bắt đầu mục mô tả điều kiện đánh giá, mục đánh giá chất lƣợng khung đƣợc đƣa với chuẩn HEVC, cuối kết đo lƣợng hiệu nén chất lƣợng giải mã mã hóa DVCHEVC Thực so sánh chất lƣợng (theo PSNR) cho thấy: DVC-HEVC cho kết đánh giá chất lƣợng tốt chuỗi video so với mơ hình DVC-AVC HEVC chuẩn mã hóa video tiên tiến hƣớng nghiên cứu mã hóa video phân tán kết hợp HEVC tiếp tục đƣợc phát triển tƣơng lai 46 TÀI LIỆU THAM KHẢO [1] A Habibi, “Hybrid coding of pictorial data”, IEEE Transactions on Communications, vol 22, no 5, pp 614–624, May 1974 [2] C Brites and F Pereira, “Distributed video coding: Bringing new applications to life”, th Conference on Telecommunications – ConfTele, Apr 2005 [3] D Slepian and J Wolf, “Noiseless coding of correlated information sources”, IEEE Transactions on Information Theory, vol 19, no 4, pp 471-480, 1973 [4] B Girod, A Aaron, S Rane, and D Rebollo-Monedero, “Distributed Video Coding,” Proceedings of the IEEE, vol 93, no 1, pp 71–83, Jan 2005 [5] A D Liveris, “Compression of binary sources with side information at the decoder using LDPC codes,” IEEE Communication Letters, vol 6, no 10, October 2002 [6] R Puriand and K Ramchandran, “PRISM: a new robust video coding architecture based on distributed compression principles”, Proceedings of the 40th Allerton Conference Communication, Control and Computing, 2002 [7] G.J Sullivan et al, „Overview of the High Efficiency Video Coding (HEVC) Standard‟, IEEE Transactions on Circuits and Systems for Video Technology, vol 22, no 12, pp 1649-1668, 2012 [8] T Wiegand et al, „Overview of the H.264/AVC video coding standard‟, IEEE Transactions on Circuits and Systems for Video Technology, vol 13, no 7, pp 560-576, 2003 [9] X Artigas, J Ascenso, M Dalai, S Klomp, D Kubasov, and M Ouaret, “The discover codec: architecture, techniques and evaluation,” in Proceedings of Picture Coding Symposium (PCS ’07), Portugal, Nov 2007 [10] L Wei, Y Zhao, and A Wang, “Improved side-information in distributed video coding”, in Proceedings of International Conference on Innovative Computing, Information and Control, Beijing, China, Sept 2006 [11] J Ascenso, C Brites, and F Pereira, „A flexible side information generation framework for distributed video coding‟, Multimedia Tools and Applications, vol 48, no 3, pp 381-409, 2010 [12] A Wyner and J Ziv, “The rate-distortion function for source coding with side information at the decoder”, IEEE Transactions on Information Theory, vol 22, no 1, pp 1-10, 1976 [13] L Alparone, M Barni, F Bartolini, V Cappellini, “Adaptively Weighted VectorMedian Filters for Motion Fields Smoothing”, IEEE ICASSP, Georgia, USA, May 1996 47 [14] J J Ahmad, H A Khan, S A Khayam, “Energy Efficient Video Compression rd for Wireless Sensor Networks” 43 Annual Conference on Information Sciences and Systems, Baltimore, MD, USA, March 2009 48 ... Đây kiến trúc mã hóa video phân tán phổ biến đƣợc kiểm chứng có hiệu so với mơ hình trƣớc 22 Hình 1.8 Kiến trúc mã hóa video phân tán DVC DISCOVER[2] Trong mã hóa DVC DISCOVER, chuỗi video đƣợc... mô hình DVC - Mơ hình mã hóa video phân tán DVC- HEVC - Các chuỗi video với khung hình thƣớc nhỏ sử dụng mã video phân tán 4.Phạm vi phƣơng pháp nghiên cứu Luận văn đƣa nhìn tổng quan mã hóa video. .. 1: Tổng quan mã hóa video dự đốn HEVC mã hóa phân tán DVC Chƣơng giới thiệu bối cảnh nghiên cứu mã hóa video cấu trúc tổng quan mã hóa video 10 Chương 2: Xây dựng mơ hình mã hóa video tiên tiến