Hiện thực các kỹ thuật mã hóa trong ứng dụng đa hướng nhìn

Đại Học Quốc Gia Tp Hồ Chí Minh TRƢỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG THỊ THANH TƢƠI HIỆN THỰC CÁC KỸ THUẬT MÃ HÓA TRONG ỨNG DỤNG ĐA HƢỚNG NHÌN Chun ngành: Khoa học máy tính Mã số ngành: 604801 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, Tháng 12 năm 2012 CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG - TPHCM Cán hƣớng dẫn khoa học : TS LÊ THÀNH SÁCH (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ đƣợc bảo vệ Trƣờng Đại học Bách Khoa, ĐHQG Tp HCM, ngày tháng năm Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trƣởng Khoa quản lý chuyên ngành sau luận văn đƣợc sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐẠI HỌC QUỐC GIA TP HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc _ Tp HCM, ngày 30 tháng 11 năm 2012 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: ĐẶNG THỊ THANH TƢƠI…………………… MSHV: 10070506 Ngày, tháng, năm sinh: 28/01/1984 ….Nơi sinh: TP HCM Chuyên ngành: Khoa học máy tính … Mã số: 604801 I TÊN ĐỀ TÀI: HIỆN THỰC CÁC KỸ THUẬT MÃ HÓA TRONG ỨNG DỤNG ĐA HƢỚNG NHÌN II NHIỆM VỤ VÀ NỘI DUNG: Luận văn khảo sát đánh giá giải thuật mã hóa video đa hƣớng nhìn (Multiview Video Coding) Từ kết đó, đề tài đề xuất thực giải thuật cải tiến nhằm giảm thời gian mã hóa (encoding time) nhƣng đảm bảo chất lƣợng độ nén cho video III NGÀY GIAO NHIỆM VỤ 06/02/2012 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 30/11/2012 V CÁN BỘ HƢỚNG DẪN : TS Lê Thành Sách Tp HCM, ngày tháng năm 20 CÁN BỘ HƢỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƢỞNG KHOA ……………… (Họ tên chữ ký) LỜI CÁM ƠN Đầu tiên, xin gửi lời cảm ơn chân thành đến TS Lê Thành Sách định hƣớng, truyền đạt kinh nghiệm nhƣ tận tình hƣớng dẫn, hỗ trợ tơi suốt q trình nghiên cứu để hồn thành luận văn tốt nghiệp Bên cạnh đó, tơi xin cảm ơn gia đình, bạn bè bạn đồng nghiệp động viên, giúp đỡ tạo điều kiện tốt để tơi theo đuổi việc học tập nghiên cứu Thành phố Hồ Chí Minh, tháng 11 năm 2012 Trang i TÓM TẮT Các ứng dụng video 3D nhƣ truyền hình 3D (3DTV) video đa hƣớng nhìn ngày phát triển mạnh ngành cơng nghiện điện tử Vấn đề đặt liệu cần xử lý tăng lên đáng kể so với video đơn hƣớng nhìn số lƣợng góc nhìn tăng Dữ liệu lớn đồng nghĩa với thời gian xử lý lớn, thời gian yếu tố quan trọng ứng dụng thời gian thực Do đó, luận văn trình bày kết khảo sát, đánh giá nghiên cứu tối ƣu hiệu suất mã hóa mặt thời gian nhƣng đảm bảo chất lƣợng ảnh tỉ lệ nén Dựa vào kết đó, đề tài đề xuất thuật tốn nhằm giảm thời gian mã hóa Đồng thời, đề tài kết hợp thuật toán đề xuất với thuật toán khảo sát nhằm làm tối ƣu thời gian mã hóa Cuối cùng, hồn chỉnh mơ hình đánh giá cải tiến hiệu suất mã hóa theo ba tiêu chí: thời gian mã hóa, tỉ lệ nén chất lƣợng ảnh Trang ii ABSTRACT The application of 3D video such as 3D television (3DTV) and multi-view video is expanded and grow up rapidly in electronic industrial The problem here is the processing data increases so much compared with video single view because the number of view increases Huge processing data is corresponding to huge processing time, time is one of important factor in real-time application Therefore, this thesis will describe the result of investigation and evaluation of the related work focus on optimizing encoding time but still keep or reduce in appropriate ratio compression ratio and output image quality Based on that result of investigation, thesis proposed algorithm to reduce encoding time Beside that, the thesis combines available algorithm and proposed algorithm to reduce encoding time more Finally, thesis completed the evaluation scheme for encoding efficiency optimization in creteria: encoding time, compression ratio, output image quality Trang iii LỜI CAM ĐOAN Tơi cam đoan rằng, ngồi tài liệu tham khảo tài liệu khác thích đính kèm tồn nội dung cơng việc khác luận văn tơi thực chƣa có phần nội dung luận văn đƣợc nộp để lấy cấp trƣờng trƣờng khác Thành phố Hồ Chí Minh, tháng 11 năm 2012 Đặng Thị Thanh Tƣơi Trang iv MỤC LỤC LỜI CÁM ƠN i TÓM TẮT ii ABSTRACT iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC CÁC TỪ VIẾT TẮT vii DANH MỤC BẢNG BIỂU viii DANH MỤC HÌNH ẢNH ix CHƢƠNG TỔNG QUAN VỀ ĐỀ TÀI 11 1.1 Hình thành vấn đề 11 1.2 Phạm vi nghiên cứu 13 1.2.1 Mục tiêu đề tài 13 1.2.2 Các bƣớc thực 14 1.3 Tóm lƣợc kết đạt đƣợc 14 1.4 Bố cục luận văn 15 CHƢƠNG CƠ SỞ LÝ THUYẾT 16 2.1 Mơ hình hệ thống video đơn hƣớng nhìn 16 2.2 Mơ hình hệ thống video đa hƣớng nhìn 20 2.3 Chuẩn H.264/MPEG-4 AVC 23 2.3.1 Định dạng liệu đầu vào, đầu 23 2.3.2 Cấu trúc ảnh 24 2.3.3 Cấu trúc H.264 stream 25 2.3.4 Sơ đồ khối q trình mã hóa 25 2.4 Chuẩn mở rộng H.264/MPEG-4 AVC cho video đa hƣớng nhìn (MVC) 31 2.5 Phƣơng pháp đánh giá kết 31 CHƢƠNG CÁC KẾT QUẢ NGHIÊN CỨU LIÊN QUAN 34 3.1 Cấu trúc dự đoán (Prediction Structure) 34 Trang v 3.2 Kiểu macroblock (Macroblock mode) 35 3.3 Tổng kết nghiên cứu liên quan 40 CHƢƠNG ĐỀ XUẤT VÀ HIỆN THỰC CHƢƠNG TRÌNH 41 4.1 Cấu trúc chƣơng trình mã hóa 41 4.2 Đề xuất luận văn 45 4.3 Sơ đồ khối chức thuật toán tham khảo thuật toán đề xuất 48 4.3.1 Chƣơng trình FastInter 48 4.3.2 Chƣơng trình Proposed_SR 51 4.3.3 Chƣơng trình Proposed_Merge 52 4.4 Tập tin cấu hình 52 CHƢƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 58 5.1 Tập liệu kiểm tra chƣơng trình 58 5.2 Cấu hình hệ thống kiểm thử 58 5.3 Kết thực thi chƣơng trình 59 5.4 Đánh giá kết thu đƣợc 68 CHƢƠNG KẾT LUẬN VÀ KIẾN NGHỊ 70 TÀI LIỆU THAM KHẢO v LÝ LỊCH TRÍCH NGANG vii Trang vi DANH MỤC CÁC TỪ VIẾT TẮT 3DTV - Three Dimensions Television: truyền hình kĩ thuật số ba chiều 3DV - Three Dimensions Video : video ba chiều FTV - Free Viewpoint Television: truyền hình đa góc nhìn H.264/AVC - H.264 Advance Video Coding: định dạng mã hóa video tiên tiến H264 JMVC – Joint Multiview Video Coding : chƣơng trình mã hóa/giả mã tham khảo MERL - Mitsubishi Electric Research Laboratories : phịng thí nghiệm nghiên cứu điện tử Mitsubishi MPEG - Moving Picture Experts Group : hội chuyên gia phim ảnh giới NAL - Network Abstraction Layer : lớp trừu tƣợng mạng PSNR - Peak Signal to Noise Ratio: tỉ số tín hiệu cực đại nhiễu VLC – Variable Length Code: mã chiều dài thay đổi Trang vii Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ 5.3 Kết thực thi chƣơng trình Tiến hành thực thi chƣơng trình mã hóa với mơ hình trình bày trên, kết chƣơng trình thu đƣợc bao gồm liệu YUV thông số để đánh giá hiệu suất mã hóa theo tiêu chí : thời gian mã hóa, tỉ lệ nén chất lƣợng ảnh Một số tham số cấu hình tập tin cấu hình đƣợc mơ tả Bảng 5-2 Bảng 5-2 Tham số cấu hình cho chương trình Tham số Giá trị cho tập liệu Ballroom Exit Vassar Flamenco2 Race1 32 32 32 32 32 12 12 12 15 15 2 2 SearchRange 64 64 64 64 64 BiPredIter 4 4 Quantization (BasicQP) Kích thƣớc GOP (GOP size) Số frame tham khảo (NumberReferenceF rames) Dƣới bảng thống kê đồ thị kết đánh giá thuật tốn tối ƣu thời gian mã hóa khác Với tập liệu, đo kết cho chƣơng trình mã hóa gốc(JMVC), thuật tốn FastInter, thuật tốn Proposed_SR, thuật toán kết hợp Proposed_Merge Trang 59 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Bảng 5-3 Kết tổng hợp tập liệu Hiệu suất Thời gian (s) Bitrate (kbit/s) PSNR (dB) Thuật toán Ballroom JMVC 16.2940 15.0415 11.0495 17.2260 18.4700 FastInter 9.5265 7.8850 5.2115 9.2900 9.4433 Proposed_ 14.4990 SR 11.5420 9.2825 13.6153 13.3342 Proposed_ 8.527 Merge 6.349 4.5655 7.76134 7.456663 JMVC 348.1269 173.0836 153.7894 395.5722 269.88 FastInter 349.1784 173.2496 153.9256 396.1067 270.0154 Proposed_ 351.5687 SR 179.8925 155.1027 402.0622 292.5617 Proposed_ 353.0865 Merge 180.0774 155.2923 402.7406 292.7672 JMVC 37.23114 39.433263 38.298188 37.35774 37.00313 FastInter 37.2313 39.432325 38.2983 37.35756 37.00254 Proposed_ 37.20739 SR 39.402838 38.2914 37.3599 36.92976 Proposed_ 37.20749 Merge 39.402275 38.291363 37.36028 Exit Trang 60 Vassar Flamenco2 Race1 36.92988 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ sec/frame So sánh thời gian mã hóa 20.00 18.00 16.00 14.00 12.00 10.00 8.00 6.00 4.00 2.00 0.00 JMVC FastInter Proposed_SR Proposed_Merge Tập liệu Hình 5-1 So sánh thời gian mã hóa thuật tốn So sánh bitrate 450.00 400.00 350.00 kbit/s 300.00 250.00 200.00 JMVC 150.00 FastInter 100.00 Proposed_SR 50.00 Proposed_Merge 0.00 Tập liệu Hình 5-2 So sánh bitrate thuật toán Trang 61 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ So sánh PSNR 40.00 39.50 39.00 dB 38.50 38.00 37.50 JMVC 37.00 FastInter 36.50 Proposed_SR 36.00 Proposed_Merge 35.50 Tập liệu Hình 5-3 So sánh PSNR thuật toán Bảng 5-4 Bảng so sánh kết thuật toán với JMVC 8.5 Hiệu suất Thuật toán Ballroom Exit Vassar Flamenco2 Race1 FastInter -34.45 -39.09 -45.09 -41.49 -41.59 Proposed_ SR -10.64 -21.57 -15.52 -20.39 -25.46 Proposed_ Merge -41.18 -50.41 -51.83 -51.11 -53.09 0.36 0.10 0.10 0.14 0.06 Dbitrate Proposed_ (%) SR 1.11 4.09 0.92 1.57 8.98 Proposed_ Merge 1.62 4.21 1.06 1.76 9.09 0.0002 -0.0009 0.0001 -0.0002 -0.0006 DPSNR Proposed_ (dB) SR -0.0237 -0.0304 -0.0068 0.0022 -0.0734 Proposed_ Merge -0.0236 -0.0310 -0.0068 0.0025 -0.0732 Dthời_ gian (%) FastInter FastInter Trang 62 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Bảng 5-5 Bảng kết chi tiết thuật toán FastInter cho tập liệu View ballroom exit vassar flamenco2 race1 PSNR Y (dB) PSNR U (dB) PSNR trung bình (dB) Thời gian mã hóa (%) Bitrate (%) 0.0000 0.0000 0.0000 -0.0032 -0.0010 -0.0024 -0.0001 0.0001 -0.0002 -0.0027 -0.0001 -0.0054 0.0002 -0.0003 0.0002 -0.0053 0.0143 -0.0032 0.0000 -0.0006 0.0001 -0.0001 0.0133 -0.0002 Trung bình (trên view) 0.0000 -0.0022 0.0000 -0.0027 0.0000 0.0020 -0.0001 0.0043 0.0002 -1.35 -53.60 -25.83 -53.18 -19.32 -55.65 -25.01 -41.65 -34.45 0.00 0.46 0.00 0.94 -0.02 0.64 0.00 0.82 0.36 -0.0002 0.0005 -0.0001 -0.0051 -0.0012 -0.0016 0.0006 -0.0008 0.0001 -0.0031 -0.0018 0.0033 -0.0003 0.0006 -0.0017 -0.0051 -0.0023 -0.0008 0.0011 0.0018 0.0004 -0.0016 -0.0027 -0.0020 Trung bình (trên view) 0.0001 -0.0027 -0.0001 -0.0006 -0.0004 -0.0028 0.0011 -0.0021 -0.0009 -1.88 -61.17 -30.26 -61.28 -26.50 -59.84 -22.24 -49.60 -39.09 0.00 0.26 0.00 0.08 0.02 0.13 0.04 0.27 0.10 0.0000 0.0000 0.0001 -0.0006 -0.0006 0.0010 -0.0002 0.0001 -0.0003 -0.0021 0.0000 0.0014 0.0002 0.0004 0.0007 -0.0008 0.0049 -0.0013 -0.0002 -0.0002 -0.0008 -0.0008 -0.0012 0.0032 Trung bình (trên view) 0.0000 -0.0001 -0.0002 -0.0002 0.0004 0.0010 -0.0004 0.0004 0.0001 0.06 -62.45 -39.99 -63.95 -35.02 -67.62 -33.47 -58.29 -45.09 0.00 0.20 -0.01 0.13 0.02 0.27 0.01 0.18 0.10 0.0000 0.0000 0.0000 -0.0083 0.0049 0.0055 -0.0043 0.0001 0.0020 -0.0027 0.0041 0.0030 -0.0029 -0.0014 -0.0027 Trung bình (trên view) 0.0000 0.0006 -0.0007 0.0015 -0.0023 -0.0002 1.15 -52.05 -50.88 -53.22 -52.44 -41.49 0.00 0.05 0.25 0.24 0.14 0.14 0.0000 -0.0046 -0.0007 0.0000 -0.0008 -0.0021 0.96 -61.12 -34.72 0.00 -0.08 0.10 0.0000 0.0012 -0.0033 PSNR V (dB) 0.0000 0.0008 -0.0021 Trang 63 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ 0.0009 -0.0004 0.0009 -0.0037 0.0007 -0.0007 -0.0047 0.0022 0.0029 0.0002 0.0001 -0.0004 -0.0054 0.0017 0.0001 Trung bình (trên view) 0.0005 -0.0012 0.0002 -0.0001 -0.0012 -0.0006 -59.70 -42.21 -64.79 -19.04 -52.14 -41.59 0.18 -0.06 0.05 0.04 0.22 0.06 Bảng 5-6 Bảng kết chi tiết thuật toán Proposed_SR cho tập liệu View ballroom exit vassar flamenco2 PSNR Y (dB) PSNR V(dB) PSNR trung bình (dB) Thời gian mã hóa (%) Bitrate (%) -0.0110 -0.0117 -0.0444 -0.0335 -0.0153 -0.0358 -0.0370 -0.0241 -0.0098 -0.0185 -0.0772 -0.0197 -0.0115 -0.0305 -0.0223 -0.0129 Trung bình (trên view) -0.0104 -0.0099 -0.0133 -0.0282 -0.0117 -0.0370 -0.0240 -0.0207 -0.0110 -0.0293 -0.0214 -0.0297 -0.0134 -0.0446 -0.0220 -0.0186 -0.0237 -10.46 -12.31 -9.38 -11.98 -9.34 -11.15 -10.08 -10.42 -10.64 0.06 1.77 1.19 1.66 0.84 2.19 0.79 0.35 1.11 -0.0128 -0.0079 -0.0387 -0.0390 0.0005 -0.0583 -0.0500 -0.0658 -0.0032 -0.0670 -0.0999 -0.0551 -0.0122 -0.0404 -0.0325 -0.0699 Trung bình (trên view) -0.0046 -0.0083 0.0062 -0.0160 0.0409 -0.0488 -0.0146 -0.0325 -0.0085 -0.0287 -0.0172 -0.0439 -0.0097 -0.0680 -0.0224 -0.0450 -0.0304 -18.69 -29.61 -19.36 -28.93 -18.05 -23.22 -16.11 -18.58 -21.57 0.03 5.34 4.74 3.92 6.24 6.07 3.24 3.17 4.09 -0.0101 -0.0040 -0.0050 -0.0203 -0.0069 0.0054 -0.0108 -0.0095 0.0038 -0.0250 -0.0265 0.0022 0.0007 -0.0182 0.0231 -0.0224 -0.0142 0.0114 -0.0060 -0.0109 -0.0001 -0.0049 -0.0093 -0.0054 Trung bình (trên view) -0.0063 -0.0073 -0.0056 -0.0164 0.0019 -0.0084 -0.0056 -0.0066 -0.0068 -14.31 -17.68 -15.58 -17.63 -14.43 -16.19 -14.12 -14.21 -15.52 0.30 0.72 0.60 1.62 1.16 1.49 1.27 0.18 0.92 0.0041 -0.0013 -15.13 -21.53 -0.03 0.45 0.0001 -0.0414 PSNR U(dB) 0.0083 0.0195 0.0039 0.0182 Trang 64 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ -0.0227 0.0312 0.0136 -0.0095 0.0342 -0.0026 -0.0175 0.0194 -0.0223 Trung bình (trên view) race1 -0.1331 -0.2144 -0.1265 -0.1054 -0.1579 -0.2213 -0.1250 -0.1115 -0.0381 0.0245 -0.0233 0.0001 -0.0691 -0.0833 -0.0175 -0.0290 -0.0339 -0.0311 -0.0463 -0.0260 -0.0815 -0.0550 0.0059 -0.0618 0.0074 0.0074 -0.0068 0.0022 -21.42 -22.22 -21.67 -20.39 1.62 1.12 4.69 1.57 -0.0684 -0.0737 -0.0654 -0.0437 -0.1028 -0.1198 -0.0456 -0.0675 -0.0734 -18.18 -31.04 -20.29 -33.60 -23.28 -32.42 -18.99 -25.92 -25.46 5.53 13.06 9.54 18.75 7.31 7.57 6.82 3.24 8.98 Bảng 5-7 Bảng kết chi tiết thuật toán Proposed_Merge cho tập liệu View ballroom exit vassar PSNR Y (dB) PSNR U (dB) PSNR V (dB) PSNR trung bình (dB) Thời gian mã hóa (%) Bitrate (%) -0.0105 -0.0134 -0.0134 -0.0327 -0.0126 -0.0388 -0.0242 -0.0248 -0.0111 -0.0325 -0.0215 -0.0323 -0.0134 -0.0407 -0.0222 -0.0155 -0.0236 -10.54 -59.33 -34.04 -58.17 -27.00 -60.51 -32.75 -47.08 -41.18 0.06 2.69 1.20 2.74 0.82 3.30 0.81 1.38 1.62 -0.0048 -0.0096 0.0060 -0.0160 0.0410 -0.0518 -0.0144 -0.0085 -0.0305 -0.0173 -0.0463 -0.0096 -0.0697 -0.0224 -19.37 -70.64 -42.83 -70.47 -38.89 -67.75 -35.14 0.05 5.57 4.74 4.21 6.23 6.22 3.24 -0.0322 -0.0682 -0.0303 Trung bình (trên view) -0.0436 -0.0310 -58.20 -50.41 3.43 4.21 -0.0101 -0.0213 -0.0109 -0.0257 -0.0063 -0.0069 -0.0056 -0.0164 -14.38 -67.85 -47.29 -68.76 0.30 1.03 0.60 1.79 -0.0111 -0.0117 -0.0499 -0.0340 -0.0156 -0.0355 -0.0428 -0.0216 -0.0099 -0.0178 -0.0817 -0.0017 -0.0101 -0.0324 -0.0211 -0.0005 Trung bình (trên view) -0.0126 -0.0445 0.0004 -0.0569 -0.0032 -0.1035 -0.0120 -0.0081 -0.0374 -0.0583 -0.0660 -0.0666 -0.0537 -0.0406 -0.0040 -0.0057 -0.0095 -0.0260 -0.0050 0.0065 0.0037 0.0024 Trang 65 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ flamenco2 race1 0.0007 -0.0183 0.0229 -0.0223 -0.0137 0.0113 -0.0057 -0.0108 -0.0002 -0.0066 -0.0090 -0.0068 Trung bình (trên view) 0.0018 -0.0082 -0.0055 -0.0075 -0.0068 -42.15 -71.73 -40.32 -62.14 -51.83 1.16 1.82 1.28 0.47 1.06 0.0000 0.0081 0.0036 -0.0486 0.0229 0.0175 -0.0224 0.0367 0.0205 -0.0127 0.0335 0.0002 -0.0183 0.0189 -0.0215 Trung bình (trên view) 0.0039 -0.0028 0.0116 0.0070 -0.0070 0.0025 -15.37 -60.27 -59.09 -61.03 -59.78 -51.11 -0.03 0.61 2.14 1.46 4.61 1.76 -0.1332 -0.0380 -0.0339 -0.2204 0.0351 -0.0322 -0.1293 -0.0254 -0.0485 -0.1127 0.0064 -0.0244 -0.1590 -0.0683 -0.0833 -0.2197 -0.0885 -0.0564 -0.1245 -0.0169 0.0079 -0.1115 -0.0253 -0.0557 Trung bình (trên view) -0.0684 -0.0725 -0.0678 -0.0436 -0.1035 -0.1215 -0.0445 -0.0642 -0.0732 -18.56 -70.03 -44.70 -70.65 -53.41 -73.61 -32.35 -61.43 -53.09 5.53 13.24 9.35 19.24 7.23 7.86 6.80 3.46 9.09 Bên cạnh kết so sánh định lƣợng, dƣới kết định tính chất lƣợng ảnh tái tạo sau mã hóa cho vài tập liệu Trang 66 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Hình 5-4 Kết định tính Ballroom view frame Hình 5-5 Kết định tính Exit view frame Trang 67 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ 5.4 Đánh giá kết thu đƣợc Dựa kết kết thu đƣợc trên, so sánh đánh giá thời gian mã hóa, tỉ lệ nén chất lƣợng ảnh liệu dựa thuật toán khác Ở so sánh thuật tốn cải tiến với chƣơng trình JMVC phiên 8.5 Đối với thuật toán FastInter, luận văn khơng so sánh chi tiết với cơng trình tham khảo [11] khơng có nguồn liệu để so sánh Chƣơng trình tham khảo thực JMVC phiên 4.0 khơng rõ cấu hình máy tính kiểm thử Trong luận văn thực JMVC phiên 8.5 với cấu hình máy tính kiểm thử nhƣ mơ tả 5.2 Thuật tốn FastInter thực lại đạt kết tƣơng đối so với cơng trình tham khảo Kết kiểm tra view tập liệu Ballroom, Exit Race1 cho tiêu chí đánh giá Với thuật tốn FastInter, kết hợp chọn Skip Mode nhanh giảm dự đoán interview, trung bình giảm từ 34.5% đến 45% thời gian mã hóa, kết tốt Chất lƣợng ảnh giảm khơng đáng kể, dƣới 0.01dB Tỉ lệ nén giảm không nhiều, dƣới 0.5% Phần giảm dự đoán inter-view thuật tốn FastInter tác động nhiều đến view có tham khảo view trƣớc sau (view 1, 3, 5, ) nên thời gian mã hóa view đạt 50% view 0, 2, 4, tham khảo view trƣớc frame giảm khoảng nửa so với view cịn lại Tập Flamenco2 khơng có tham khảo inter-view đến view sau view nên kết view giống Thuật toán đề xuất Proposed_SR, thời gian mã hóa giảm từ 10% đến 25% Tập Ballroom giảm so tập liệu khác ảnh có nhiều chi tiết Các tập liệu lại vùng lớn Chất lƣợng ảnh giảm không đáng kể từ 0.006 đến 0.07dB, giảm nhiều tập Race1 Tỉ lệ nén tăng lên dƣới 5%, cá biệt tập liệu Race1 tăng lên 8.9% Tập liệu Race1 có chuyển động phức tạp, nên việc giảm vùng tìm kiếm ảnh hƣởng đến chất lƣợng ảnh tỉ lệ nén lớn tập liệu cịn lại So với thuật tốn FastInter, Proposed_SR khơng có khác biệt nhiều tỉ lệ giảm thời gian mã hóa view Giảm vùng tìm kiếm phụ thuộc vào tính chất ảnh, khơng phụ thuộc vào khác biệt kiểu dự đoán frame Trang 68 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Về mặt giải thuật, thuật toán FastInter Proposed_SR đƣợc thực hai phần xử lý tƣơng đối độc lập q trình mã hóa nên việc kết hợp hai thuật toán đạt đƣợc kết tốt, gần nhƣ tổng hai thuật toán Tất nhiên, đạt hiệu suất thời gian kèm với hi sinh chất lƣợng ảnh tỉ lệ nén nhƣ trình bày Trang 69 CHƢƠNG KẾT LUẬN VÀ KIẾN NGHỊ Thơng qua việc tìm hiểu kỹ thuật mã hóa video đa hƣớng nhìn, khảo sát đánh giá nghiên cứu liên quan, đề tài xây dựng chƣơng trình nhằm tối ƣu thời gian mã hóa dựa thuật toán giảm số lƣợng macroblock mode, giảm kiểu dự đốn giảm vùng tìm kiếm theo điều kiện định Chƣơng trình đạt đƣợc số kết khả quan, nghiên cứu sử dụng tiếp tục cải tiến Chúng tơi cố gắng hồn thành tất u cầu đề tài với kết tốt có thể, thời gian hạn hẹp Luận văn Tuy nhiên, kết đạt đƣợc số hạn chế Thuật toán đề xuất chƣa tổng quát cho tất trƣờng hợp Ví dụ, kết chƣa đƣợc tối ƣu tỉ lệ nén chất lƣợng ảnh cho số trƣờng hợp có chuyển động phức tạp Với hạn chế này, tƣơng lai, cố gắng tiếp tục nghiên cứu cải tiến thuật toán, xem xét điều kiện để giảm ảnh hƣởng đến tỉ lệ nén chất lƣợng ảnh Ngoài ra, bên cạnh giảm thời gian mã hóa giải thuật phần mềm, hƣớng phát triển đề tài tối ƣu thời gian mã hóa phần cứng Dựa vào cấu trúc dự đoán, phụ thuộc ảnh q trình mã hóa, phân tách phần xử lý song song, ví dụ GOP xử lý song song TÀI LIỆU THAM KHẢO [1] Anthony Vetro, Thomas Wiegand, Gary J Sullivan, ―Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC standard‖, Proceedings of the IEEE, 2011 [2] Yo-Sung Ho and Kwan-Jung Oh, ―Overview of Multi-view Video Coding‖, IEEE, 2007 [3] Internet, http://mpeg.chiariglione.org/ [4] MPEG JVT /ITU-T VCEG, ‖MVC Software Manual‖ [5] ITU-T, standard ―H.264, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS – Infrastructure of audiovisual services – Coding of moving video‖, 6/2011 [6] Iain E G Richardson, book ―H.264 and MPEG-4 Video Compression Video Coding for Next-generation Multimedia‖, 2003 [7] Philipp Merkle, Aljoscha Smolic, Karsten Miller, Thomas Wiegand, ―Efficient Prediction Structures for Multi-view Video Coding‖, Circuits and Systems for Video Technology, IEEE Transactions, 2007 [8] Gary J Sullivan, Thomas Wiegand, ―Video Compression—From Concepts to the H.264/AVC Standard‖, PROCEEDINGS OF THE IEEE, VOL 93, NO 1, Jan 2005 [9] Heiko Schwarz, Detlev Marpe, and Thomas Wiegand , ―Analysis of Hierarchical B Pictures and MCTF‖, Multimedia and Expo, 2006 IEEE International Conference, 2006 [10] Mingjing Ai, Jingkle Wang, ―A Fast Mode Decision Algorithm for Multiview Video Coding‖, Image and Signal Processing (CISP), 2010 [11] Wei Zhu, Wei Jian, and Yaowu Chen, ―A Fast Inter Mode Decision for Multiview Video Coding‖, Information Engineering and Computer Science, 2009 [12] Zongju Peng, Gangyi Jiang, Mei Yu, ―A FAST MULTIVIEW VIDEO CODING ALGORITHM BASED ON DYNAMIC MULTI-THRESHOLD ―, ICME, 2009 [13] Liquan Shen, Zhi Liu, Suxing Liu, Zhaoyang Zhang, and Ping An, ―Selective Disparity Estimation and Variable Size Motion Estimation Based on v Motion Homogeneity for Multi-View Coding‖, IEEE TRANSACTIONS ON BROADCASTING, VOL 55, NO 4, Dec 2009 [14] Anthony Vetro, Morgan McGuire, Wojciech Matusik, Alexander Behrens Jinho Lee, Hanspeter Pfister, ―Multiview Video Test Sequences from MERL‖, Mitsubishi Electric Research Labs, USA, 2005 [15] KDDI Lab, ―Multiview Video Test Sequences from KDDI‖ Internet: ftp://ftp.ne.jp/KDDI/multiview, Jan 27, 2006 vi LÝ LỊCH TRÍCH NGANG Họ tên học viên: Đặng Thị Thanh Tƣơi Ngày, tháng, năm sinh: 28/01/1984 Nơi sinh: Tp HCM Địa liên lạc: 16A/11/6A Nguyễn Tuyển, phƣờng Bình Trƣng Tây, quận 2, Thành Phố Hồ Chí Minh Q TRÌNH ĐÀO TẠO 2002 – 2006: Sinh viên - Tốt nghiệp Khoa Công Nghệ Thông Tin , Đại Học Khoa học Tự nhiên, Đại Học Quốc gia Thành phố Hồ Chí Minh 2010 – 2012: Học viên cao học Ngành Khoa Học Máy Tính, Khoa Khoa Học Kỹ Thuật Máy Tính, Đại Học Bách Khoa TP Hồ Chí Minh, Đại Học Quốc Gia Q TRÌNH CÔNG TÁC 09/2006 – 11/2012 (đến nay): Quản lý kỹ thuật – Kỹ sƣ bậc II Phịng Phần Mềm, Cơng ty thiết kế Renesas Việt Nam vii ... tính … Mã số: 604801 I TÊN ĐỀ TÀI: HIỆN THỰC CÁC KỸ THUẬT MÃ HĨA TRONG ỨNG DỤNG ĐA HƢỚNG NHÌN II NHIỆM VỤ VÀ NỘI DUNG: Luận văn khảo sát đánh giá giải thuật mã hóa video đa hƣớng nhìn (Multiview... nghiên cứu: ― Hiện thực kỹ thuật mã hóa ứng dụng đa hƣớng nhìn? ?? đƣợc đề xuất 1.2 Phạm vi nghiên cứu 1.2.1 Mục tiêu đề tài Đề tài có hai mục tiêu Thứ khảo sát đánh giá kỹ thuật mã hóa video bao... cơng cụ mã hóa cho video đa hƣớng nhìn đề tài khả thi Trang 40 CHƢƠNG ĐỀ XUẤT VÀ HIỆN THỰC CHƢƠNG TRÌNH Phần trình bày chi tiết chƣơng trình thực kỹ thuật mã hóa video đa hƣớng nhìn Các chƣơng