phát triển thuật toán nội suy nhằm tăng cường chất lượng video trong 3d hevc

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ  VŨ DUY KHƯƠNG PHÁT TRIỂN THUẬT TOÁN NỘI SUY NHẰM TĂNG CƯỜNG CHẤT LƯỢNG VIDEO TRONG 3D-HEVC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ  VŨ DUY KHƯƠNG PHÁT TRIỂN THUẬT TỐN NỘI SUY NHẰM TĂNG CƯỜNG CHẤT LƯỢNG VIDEO TRONG 3D-HEVC Ngành : Công Nghệ Thông Tin Chuyên ngành : Kỹ Thuật Phần Mềm - 60.48.01.03 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Thanh Hà TS Đinh Triều Dương HÀ NỘI - 2016 LỜI CAM ĐOAN Tôi xin cam đoan : Luận văn “Phát triển thuật toán nội suy nhằm tăng cường chất lượng video 3D-HEVC” cơng trình nghiên cứu riêng tôi, không chép Các số liệu luận văn sử dụng trung thực Kết nghiên cứu trình bày luận văn chưa cơng bố cơng trình khác Hà Nội, Ngày… tháng….năm 2016 Tác giả Vũ Duy Khương LỜI CÁM ƠN Luận văn hồn thành khơng giúp đỡ, hỗ trợ khuyến khích nhiều người, đặc biệt thực biết ơn đến thầy hướng dẫn tôi: PGS.TS Lê Thanh Hà, TS Đinh Triều Dương Các thầy cho tơi nhiều lời khun có giá trị phương pháp nghiên cứu, văn phong viết, kỹ trình bày Tơi thực cảm thấy may mắn học sinh thầy Tôi muốn cảm ơn tất bạn bè tôi, bạn bè phịng thí nghiệm tương tác người máy HMI thảo luận hữu ích cuả họ chủ đề nghiên cứu Tôi xin gửi lời cảm ơn đến tất quý thầy cô giảng dạy chương trình Cao học Cơng nghệ thơng tin - Trường Đại học công nghệ, người truyền đạt cho tơi kiến thức hữu ích Công nghệ làm sở cho thực tốt luận văn Hà Nội, Ngày….tháng….năm 2016 Học viên Vũ Duy Khương MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT DANH MỤC HÌNH VẼ .7 DANH MỤC BẢNG BIỂU .9 MỞ ĐẦU 10 CHƯƠNG 1: ĐẶT VẤN ĐỀ 13 1.1 Lý chọn đề tài .13 1.2 Mục tiêu luận văn .13 1.3 Cấu trúc luận văn 13 CHƯƠNG 2: CÁC KHÁI NIỆM CƠ BẢN 15 2.1 Các ứng dụng video giả lập 3D……………………………………………15 2.1.1 Tivi 3D (3DTV) 15 2.1.2 Tivi Free Viewpoint (FTV) 16 2.2 Các định dạng biểu diễn video 3D .17 2.2.1 Video đa khung hình (MVV) Video đa khung hình với độ sâu (MVVD) 18 2.2.2 Bản đồ độ sâu 20 2.3 Biểu diễn dựa đồ độ sâu (DIBR) 23 2.3.1 Tổng hợp 3D 23 2.3.2 Sáp nhập khung hình .27 2.3.3 Hole filling vùng Disocclusions .28 2.4 Phần mềm tham chiếu tổng hợp khung hình (VSRS) 30 2.4.1 Trạng thái tổng quát 30 2.4.2 Trạng thái 1D 32 2.5 Thuật toán tổng hợp khung hình Fast 1-D……… 33 2.5.1 Chuẩn hóa mẫu 35 2.5.2 Tổng hợp, nội suy hole filling 35 2.5.3 Tạo đồ xác thực……… 37 2.5.4 Tăng cường đồng 37 2.5.5 Kết hợp…… 38 CHƯƠNG 3: THUẬT TOÁN HOLE FILLING SWA 39 3.1 Giới thiệu thuật toán Hole filling SWA 39 3.2 Thuật toán Hole filling SWA .39 3.2.1 Phát nhiễu biên 39 3.2.2 Xác định thứ tự Hole filling vùng nền……….……… …42 3.2.3 Thuật tốn trọng số trung bình đường xoắn ốc .43 3.2.4 Thuật tốn tìm kiếm Gradient .45 CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ THỰC NGHIỆM 46 4.1 Cài đặt thực nghiệm……………………………………………………… 46 4.2 Kết tổng hợp khung hình…………………………………………… 48 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO .58 DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT Số 10 11 12 Thuật Ngữ TV 3D MVD MVV DIBR MPEG VSRS HEVC MVF DIBR PSNR SWA Giải Thích Television Three Dimension Multiview Video plus Depth Multi Vew Video Depth Image Based Rendering Moving Pictures Experts Group View Synthesis Reference Software High Efficiency Video Coding Motion View Field Depth Image Based Rendering Peak Signal to Noise Ratio Spiral weighted average algorithm DANH MỤC HÌNH VẼ Số Hình 2.1 Tên Hình Minh họa nguyên lý nhìn người Trang 16 Hình 2.2 Hệ thống FTV tổng quát 17 Hình 2.3 Ví dụ cảnh biểu diễn video đa khung hình 18 Hình 2.4 Ví dụ xếp hệ thống camera đa khung hình 19 Hình 2.5 Ví dụ video đa khung hình với chiều sâu 20 Hình 2.6 Một khung màu đồ độ sâu liên quan 20 Hình 2.7 Cơng thức tính độ lệch 22 Hình 2.8 Framework khung hình tổng hợp sử dụng camera đầu 23 vào Hình 2.9 Chuyển đổi hệ tọa độ thực sang hệ tọa độ camera 24 Hình 2.10 Cấu trúc hình học camera pin-hole (a) 3D (b) 2D 24 Hình 2.11 Tổng hợp khung hình với hai khung hình liệu MVD 26 Hình 2.12 Cấu hình lập thể, tất điểm ảnh khơng nhìn thấy từ điểm 29 quan sát camera Hình 2.13 Phương pháp hole filling truyền thống 30 Hình 2.14 Biểu đồ luồng liệu phần mềm VSRS trạng thái tổng 31 quát Hình 2.15 Biểu đồ luồng phần mềm VSRS 1D mode 33 Hình 2.16 Thuật tốn tổng hợp khung hình 34 Hình 2.17 Sự phụ thuộc tín hiệu đầu vào, trung gian đầu 36 bước tính tốn lỗi, biểu diễn Hình 3.1 Nhiễu biên 40 Hình 3.2 Các hố chung 40 Hình 3.3 Sơ đồ khối thuật tốn Hole filling SWA 41 Hình 3.4 Thuật tốn Hole filling SWA loại bỏ nhiễu biên 42 Hình 3.5 (a) Thứ tự thuật tốn Hole filling SWA; (b) Kết 42 Hình 3.6 Biểu đồ luồng thuật tốn trọng số trung bình đường xoắn ốc 44 Hình 3.7 Thuật tốn tìm kiếm Gradient, bước (1) bước (2) 45 Hình 4.1 File cấu hình chương trình cfg 47 Hình 4.2 Giao diện chạy chương trình 47 Hình 4.3 Tổng hợp khung hình trường hợp nội suy 48 Hình 4.4 Khung hình ảo tổng hợp – “Balloons” 49 Hình 4.5 Khung hình ảo tổng hợp – “Champagne” 49 Hình 4.6 Khung hình ảo tổng hợp – “Kendo” 50 Hình 4.7 Khung hình ảo tổng hợp – “Pantomime” 51 Hình 4.8 Khung hình ảo tổng hợp - “Lovebird” 51 Hình 4.9 Khung hình ảo tổng hợp - “Newspaper” 52 Hình 4.10 Đánh giá PSNR khung hình tổng hợp phương pháp truyền thống thuật toán Hole filling SWA 56 DANH MỤC BẢNG BIỂU Số Bảng 4.1 Bảng 4.2 Tên Bảng Các chuỗi sử dụng thí nghiệm So sánh hiệu PSNR thuật toán phần mềm Trang 46 54 W(p,q) hệ số trọng số, khoảng cách Euclidian điểm ảnh (x,y) (p,q) 3.2.4 THUẬT TỐN TÌM KIẾM GRADIENT Thuật tốn trọng số trung bình đường xoắn ốc tạo hiệu ứng màu lan truyền đặc tính lọc băng thơng thấp Để giải vấn đề này, sử dụng thông tin gradient Thông tin gradient lưu trữ chi tiết khung hình tổng hợp (a) (b) Hình 3.7: Thuật tốn tìm kiếm Gradient, bước (1) bước (2) (1) Trước tiên, tính tốn khác biệt cường độ điểm ảnh điểm ảnh lân cận (vùng đánh dấu màu vàng hình 3.7a hố ban đầu điểm ảnh từ điểm ảnh liền kề 12 hướng (vùng màu đỏ hình 3.7a) Sau xác định điểm ảnh với giá trị khác lớn từ điểm ảnh lân cận (vùng đỏ hình 3.7a) (2) Tiếp theo, lặp lại bước (1) điểm ảnh lựa trọn bước (1), theo hướng đơn giản, minh họa Hình 3.7b (3) Lặp lại bước (2) cho tất điểm ảnh phạm vi tìm kiếm xác định trước (4) Cuối cùng, giá trị hố gán giá trị trung bình điểm ảnh xác định bước (1) bước (3) 45 CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ THỰC NGHIỆM 4.1 CÀI ĐẶT THỰC NGHIỆM Luận văn tiến hành thực nghiệm dựa thuật toán Hole filling SWA (được trình bày Chương 3) chuỗi đa khung hình xác định thực nghiệm với phần mềm tham chiếu 3D-HEVC: Pantomime, Balloons, Kendo, Lovebird, Newspaper, Cafe Champagne Với chuỗi, xem xét khung hình tham chiếu tổng hợp thành khung hình với thuật toán Hole filling SWA với phần mềm tham chiếu VSRS1D-Fast 3D-HEVC, thuật toán VSRS phần mềm VSRS 4.0 Để có kết so sánh khách quan, luận văn sử dụng thuật toán Hole filling với tập liệu mẫu, ảnh độ sâu Bảng 4.1 chi tiết chuỗi thực nghiệm Luận văn đánh giá PSNR khung hình tổng hợp so với khung hình ban đầu chuỗi kiểm thử Quá trình thực với 3D-HEVC, khung hình trái thiết đặt khung hình khung hình phải coi khung hình độc lập Độ phân giải Số lượng Các khung khung hình hình Pantomime 250 37 39 41 Champagne 150 Balloons 150 135 Kendo 150 135 Lovebird 300 468 Newspaper 300 246 Cafe 300 246 Chuỗi Rộng*Cao 1280x 960 1024x 768 1920x1080 Bảng 4.1 : Các chuỗi sử dụng thí nghiệm 46 Hình 4.1: File cấu hình chương trình cfg Chương trình đầu vào sau biên dịch TAppRenderer.exe Để chạy chương trình tạo khung hình ảo Ta thực cú pháp đây: TAppRenderer.exe [-c config.cfg ] Trong đó: TAppRenderer.exe: Tên chương trình biên dịch -c: Định nghĩa file cấu hình sử dụng Nhiều file cấu hình, tham số -c lặp lại Config.cfg : File cấu Hình 4.1 47 Hình 4.2 : Giao diện chạy chương trình 4.2 KẾT QUẢ TỔNG HỢP KHUNG HÌNH Hình 4.3: Tổng hợp khung hình trường hợp nội suy Trong Hình 4.1 trường hợp tổng hợp khung hình nội suy Kết sinh hình ảnh điểm quan sát ảo vị trí phía khung hình tham chiếu thuật toán Hole filling SWA so sánh hiệu so với thuật tốn Hole filling VSRS 4.0 anpha; thuật toán Hole filling 3D-HEVC 48 Các kết hình ảnh chụp từ khung hình tổng hợp lên chạy thực nghiệm thí nghiệm: (a) (b) (c) (d) Hình 4.4: Khung hình ảo tổng hợp - “Balloon”; (Khung hình thứ 2) (a): VSRS3.5; (b): VSRS4.0; (c): 3D-HEVC ; (d) Thuật tốn Hole filling SWA 49 (a) (b) (c) (d) Hình 4.5: Khung hình ảo tổng hợp - “Champagne” (Khung hình 38 ) (a): VSRS3.5; (b): VSRS4.0 ;(c): 3D-HEVC ; (d) Thuật toán Hole filling SWA (a) (b) 50 (c) (d) Hình 4.6: Khung hình ảo tổng hợp - “Kendo”; (Khung hình thứ 2) (a): VSRS3.5; (b): VSRS4.0; (c): 3D-HEVC ; (d) Thuật toán Hole filling SWA (a) (b) (c) (d) 51 Hình 4.7: Khung hình ảo tổng hợp - “Pantomime” (Khung hình 38) (a): VSRS3.5; (b): VSRS4.0; (c): 3D-HEVC ; (d) Thuật toán Hole filling SWA (a) (b) (b) (d) Hình 4.8: Khung hình ảo tổng hợp - “Lovebird” (Khung hình 7) (a): VSRS3.5; (b): VSRS4.0; (c): 3D-HEVC ; (d) Thuật toán Hole filling SWA 52 (a) (b) (c) (d) Hình 4.9: Khung hình ảo tổng hợp - “Newspaper” (Khung hình 3) (a): VSRS3.5; (b): VSRS4.0; (c): 3D-HEVC ; (d) Thuật toán Hole filling SWA Tất liệu chuỗi kiểm thử bảng giá trị trung bình cho tất khung hình chuỗi, Bảng 4.2 Tương tự vậy, số lượng khung hình tham chiếu vị trí camera tham chiếu Và số lượng khung hình ảo vị trí camera ảo Trong Hình 4.1 4.2, thuật tốn Hole filling SWA thực tốt so với thuật toán khác trường hợp nội suy Chúng ta thấy thuật tốn Hole filling SWA cho kết tốt thuật toán khác vùng màu đỏ đánh dấu hai hình 4.1 4.2 Tên chuỗi kiểm thử VSRS 3.5 VSRS 4.0 3D-HEVC Thuật toán Hole filling SWA Pantomime 36.92823 26.56432 36.14031 36.15579 Balloons 36.22950 26.50836 36.11454 36.17031 Kendo 35.77918 29.82488 36.36218 36.00484 Champagne 34.09464 19.08684 28.69579 28.72952 Lovebird 20.62912 23.80880 27.92411 27.89786 53 Newspaper 14.68198 15.04415 32.01516 31.81163 Bảng 4.2: So sánh hiệu PSNR thuật toán phần mềm Trong Bảng 4.2, so sánh hiệu PSNR thuật toán Hole filling SWA trường hợp nội suy Bảng 4.2 nhìn chung thuật toán Hole filling SWA cho kết tốt có vài chuỗi kết khơng tốt khác biệt lớn Biểu đồ PSNR - Pantomime - Chuỗi 38 160 140 100 80 60 40 20 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 PSNR (dB) 120 Số khung hình VSRS 4.0 3D-HEVC Thuật toán Hole filling SWA (a) 54 VSRS 3.5 Biểu đồ PSNR - Champagne - Chuỗi 38 120 PSNR (dB) 100 80 60 40 20 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 Số khung hình VSRS 4.0 3D-HEVC Thuật tốn Hole filling SWA VSRS 3.5 (b) Biểu đồ PSNR - Balloons - Chuỗi 160 140 100 80 60 40 20 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 PSNR (dB) 120 Số khung hình VSRS 4.0 3D-HEVC Thuật tốn Hole filling SWA (c) 55 VSRS 3.5 Biểu đồ PSNR - Kendo - Chuỗi 160 140 PSNR (dB) 120 100 80 60 40 20 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 Số khung hình VSRS 4.0 3D-HEVC Thuật toán Hole filling SWA VSRS 3.5 (d) Biểu đồ PSNR - Newspaper - Chuỗi 120 80 60 40 20 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 PSNR (dB) 100 Số khung hình VSRS 4.0 3D-HEVC Thuật toán Hole filling SWA (e) 56 VSRS 3.5 Biểu đồ PSNR - Lovebird - Chuỗi 120 PSNR (dB) 100 80 60 40 20 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 Số khung hình VSRS 4.0 3D-HEVC Thuật tốn Hole filling SWA VSRS 3.5 (f) Hình 4.10 :Đánh giá PSNR khung hình tổng hợp phương pháp truyền thống thuật toán Hole filling SWA – (a): Chuỗi Pantomime; (b): Chuỗi Champagne; (c): Chuỗi Balloons; (d): Chuỗi Kendo; (e): Chuỗi Newsletter; (f): Chuỗi Lovebird 57 KẾT LUẬN Luận văn trình bày phương pháp Hole filling SWA bao gồm tiền xử lý xóa bỏ nhiễu biên sử dụng cho tổng hợp khung hình ảo Nhiễu biên xảy ánh xạ lỗi ảnh độ sâu ảnh vân suốt trình tổng hợp Sau loại bỏ nhiễu biên Để lấp đầy hố, luận văn sử dụng thuật toán trọng số trung bình đường xoắn ốc kỹ thuật tìm kiếm gradient Thuật tốn trọng số trung bình theo đường xoắn ốc giữ biên đối tượng tốt cách sử dụng thơng tin độ sâu thuật tốn tìm kiếm gradient giữ thông tin chi tiết Luận văn kết hợp điểm mạnh hai thuật toán 58 TÀI LIỆU THAM KHẢO [1] M Tanimoto, “Targets of MPEG FTV” FTV Seminar, July 2014 [2] https://en.wikipedia.org/wiki/Free_viewpoint_television [3] “Proposal on a New Activity for the Third Phase of FTV” ISO/IEC JTC1/SC29/WG11 MPEG2012/M30229, July 2013, Vienna, Austria [4] http://www.epixea.com/research/multi-view-coding-thesisse18.html [5] https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding [6] Min Soo Ko* and Jisang Yoo “Virtual View Generation by a New Hole Filling Algorithm”, 2014, J Electr Eng Technol Vol [7] https://en.wikipedia.org/wiki/Inpainting [8] http://www.fujii.nuee.nagoya-u.ac.jp/multiview-data/mpeg/mpeg_ftv.html [9] F Dufaux, B Pesquet-Popescu, M Cagnazzo, “Emerging Technologies for 3D Video: Creation, Coding, Transmission and Rendering” [10] https://en.wikipedia.org/wiki/Time-of-flight_camera [11] “Depth estimation reference software (DERS) 5.0 “, M Tanimoto, T Fujii, K Suzuki, N Fukushima, Y Mori - ISO/IEC JTC1/SC29/WG11 M, 2009 [12] https://en.wikipedia.org/wiki/Computer_stereo_vision [13] W SUN, L XU, Oscar C AU, S H CHUI, C W KWOK, “An overview of free viewpoint Depth-Image-Based Rendering (DIBR)”, Proceedings of the APSIPA, Singapore, December 2010 [14] Tian D, Lai P, Lopez P, Gomila C, "View synthesis techniques for 3D video.", Proceedings applications of digital image processing XXXII, vol 7443, pp 74430T– 1– 11, 2009 59 ... QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ  VŨ DUY KHƯƠNG PHÁT TRIỂN THUẬT TOÁN NỘI SUY NHẰM TĂNG CƯỜNG CHẤT LƯỢNG VIDEO TRONG 3D- HEVC Ngành : Công Nghệ Thông Tin Chuyên ngành : Kỹ Thuật Phần... PGS.TS Lê Thanh Hà TS Đinh Triều Dương HÀ NỘI - 2016 LỜI CAM ĐOAN Tôi xin cam đoan : Luận văn ? ?Phát triển thuật toán nội suy nhằm tăng cường chất lượng video 3D- HEVC? ?? cơng trình nghiên cứu riêng tôi,... bách Trên sở thực tiễn Luận văn trình bày thuật toán nội suy tối ưu nhằm nâng cao chất lượng hình ảnh 3D Thuật tốn nội suy mà luận văn đề cập thuật toán Hole filling SWA [6] trình bày chi tiết