PHÁT TRIỂN THUẬT TOÁN NỘI SUY NHẰM TĂNG CƯỜNG CHẤT LƯỢNG VIDEO TRONG 3D-HEVC

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ  VŨ DUY KHƯƠNG PHÁT TRIỂN THUẬT TOÁN NỘI SUY NHẰM TĂNG CƯỜNG CHẤT LƯỢNG VIDEO TRONG 3D-HEVC Ngành : Công Nghệ Thông Tin Chuyên ngành : Kỹ Thuật Phần Mềm - 60.48.01.03 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Thanh Hà TS Đinh Triều Dương HÀ NỘI - 2016 LỜI CAM ĐOAN Tôi xin cam đoan : Luận văn “Phát triển thuật toán nội suy nhằm tăng cường chất lượng video 3D-HEVC” cơng trình nghiên cứu riêng tôi, không chép Các số liệu luận văn sử dụng trung thực Kết nghiên cứu trình bày luận văn chưa cơng bố cơng trình khác Hà Nội, Ngày… tháng….năm 2016 Tác giả Vũ Duy Khương LỜI CÁM ƠN Luận văn hồn thành khơng giúp đỡ, hỗ trợ khuyến khích nhiều người, đặc biệt tơi thực biết ơn đến thầy hướng dẫn tôi: PGS.TS Lê Thanh Hà, TS Đinh Triều Dương Các thầy cho tơi nhiều lời khun có giá trị phương pháp nghiên cứu, văn phong viết, kỹ trình bày Tơi thực cảm thấy may mắn học sinh thầy Tôi muốn cảm ơn tất bạn bè tôi, bạn bè phịng thí nghiệm tương tác người máy HMI thảo luận hữu ích cuả họ chủ đề nghiên cứu Tôi xin gửi lời cảm ơn đến tất quý thầy cô giảng dạy chương trình Cao học Cơng nghệ thơng tin - Trường Đại học công nghệ, người truyền đạt cho tơi kiến thức hữu ích Cơng nghệ làm sở cho thực tốt luận văn Hà Nội, Ngày….tháng….năm 2016 Học viên Vũ Duy Khương MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT DANH MỤC HÌNH VẼ .7 DANH MỤC BẢNG BIỂU .9 MỞ ĐẦU 10 CHƯƠNG 1: ĐẶT VẤN ĐỀ 13 1.1 Lý chọn đề tài .13 1.2 Mục tiêu luận văn .13 1.3 Cấu trúc luận văn 13 CHƯƠNG 2: CÁC KHÁI NIỆM CƠ BẢN 15 2.1 Các ứng dụng video giả lập 3D……………………………………………15 2.1.1 Tivi 3D (3DTV) 15 2.1.2 Tivi Free Viewpoint (FTV) 16 2.2 Các định dạng biểu diễn video 3D .17 2.2.1 Video đa khung hình (MVV) Video đa khung hình với độ sâu (MVVD) 18 2.2.2 Bản đồ độ sâu 20 2.3 Biểu diễn dựa đồ độ sâu (DIBR) 23 2.3.1 Tổng hợp 3D 23 2.3.2 Sáp nhập khung hình .27 2.3.3 Hole filling vùng Disocclusions .28 2.4 Phần mềm tham chiếu tổng hợp khung hình (VSRS) 30 2.4.1 Trạng thái tổng quát 30 2.4.2 Trạng thái 1D 32 2.5 Thuật toán tổng hợp khung hình Fast 1-D……… 33 2.5.1 Chuẩn hóa mẫu 35 2.5.2 Tổng hợp, nội suy hole filling 35 2.5.3 Tạo đồ xác thực……… 37 2.5.4 Tăng cường đồng 37 2.5.5 Kết hợp…… 38 CHƯƠNG 3: THUẬT TOÁN HOLE FILLING SWA 39 3.1 Giới thiệu thuật toán Hole filling SWA 39 3.2 Thuật toán Hole filling SWA .39 3.2.1 Phát nhiễu biên 39 3.2.2 Xác định thứ tự Hole filling vùng nền……….……… …42 3.2.3 Thuật tốn trọng số trung bình đường xoắn ốc .43 3.2.4 Thuật tốn tìm kiếm Gradient .45 CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ THỰC NGHIỆM 46 4.1 Cài đặt thực nghiệm……………………………………………………… 46 4.2 Kết tổng hợp khung hình…………………………………………… 48 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO .58 DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT Số 10 11 12 Thuật Ngữ TV 3D MVD MVV DIBR MPEG VSRS HEVC MVF DIBR PSNR SWA Giải Thích Television Three Dimension Multiview Video plus Depth Multi Vew Video Depth Image Based Rendering Moving Pictures Experts Group View Synthesis Reference Software High Efficiency Video Coding Motion View Field Depth Image Based Rendering Peak Signal to Noise Ratio Spiral weighted average algorithm DANH MỤC HÌNH VẼ Số Hình 2.1 Tên Hình Minh họa nguyên lý nhìn người Trang 16 Hình 2.2 Hệ thống FTV tổng quát 17 Hình 2.3 Ví dụ cảnh biểu diễn video đa khung hình 18 Hình 2.4 Ví dụ xếp hệ thống camera đa khung hình 19 Hình 2.5 Ví dụ video đa khung hình với chiều sâu 20 Hình 2.6 Một khung màu đồ độ sâu liên quan 20 Hình 2.7 Cơng thức tính độ lệch 22 Hình 2.8 Framework khung hình tổng hợp sử dụng camera đầu 23 vào Hình 2.9 Chuyển đổi hệ tọa độ thực sang hệ tọa độ camera 24 Hình 2.10 Cấu trúc hình học camera pin-hole (a) 3D (b) 2D 24 Hình 2.11 Tổng hợp khung hình với hai khung hình liệu MVD 26 Hình 2.12 Cấu hình lập thể, tất điểm ảnh khơng nhìn thấy từ điểm 29 quan sát camera Hình 2.13 Phương pháp hole filling truyền thống 30 Hình 2.14 Biểu đồ luồng liệu phần mềm VSRS trạng thái tổng 31 quát Hình 2.15 Biểu đồ luồng phần mềm VSRS 1D mode 33 Hình 2.16 Thuật tốn tổng hợp khung hình 34 Hình 2.17 Sự phụ thuộc tín hiệu đầu vào, trung gian đầu 36 bước tính tốn lỗi, biểu diễn Hình 3.1 Nhiễu biên 40 Hình 3.2 Các hố chung 40 Hình 3.3 Sơ đồ khối thuật tốn Hole filling SWA 41 Hình 3.4 Thuật tốn Hole filling SWA loại bỏ nhiễu biên 42 Hình 3.5 (a) Thứ tự thuật tốn Hole filling SWA; (b) Kết 42 Hình 3.6 Biểu đồ luồng thuật tốn trọng số trung bình đường xoắn ốc 44 Hình 3.7 Thuật tốn tìm kiếm Gradient, bước (1) bước (2) 45 Hình 4.1 File cấu hình chương trình cfg 47 Hình 4.2 Giao diện chạy chương trình 47 Hình 4.3 Tổng hợp khung hình trường hợp nội suy 48 Hình 4.4 Khung hình ảo tổng hợp – “Balloons” 49 Hình 4.5 Khung hình ảo tổng hợp – “Champagne” 49 Hình 4.6 Khung hình ảo tổng hợp – “Kendo” 50 Hình 4.7 Khung hình ảo tổng hợp – “Pantomime” 51 Hình 4.8 Khung hình ảo tổng hợp - “Lovebird” 51 Hình 4.9 Khung hình ảo tổng hợp - “Newspaper” 52 Hình 4.10 Đánh giá PSNR khung hình tổng hợp phương pháp truyền thống thuật toán Hole filling SWA 56 DANH MỤC BẢNG BIỂU Số Bảng 4.1 Bảng 4.2 Tên Bảng Các chuỗi sử dụng thí nghiệm So sánh hiệu PSNR thuật toán phần mềm Trang 46 54 MỞ ĐẦU Các kỹ thuật 3D video ngày mang lại trải nghiệm thực tế người sử dụng Vì hầu hết phim 3DTV [1] 3D hiển thị thực thể 3D, nội dung 3D sẵn có định dạng thực thể 3D Trong trường hợp này, vấn đề phát sinh góc nhìn hẹp u cầu người xem phải đeo kính để xem nội dung 3D Để giải vấn đề này, việc nghiên cứu hiển thị thực thể tự động FTV [2] đặt Hiển thị thực thể tự động cung cấp nhận thức chiều sâu 3D mà khơng cần phải đeo kính cách cung cấp đồng thời số lượng hình ảnh khác FTV cho phép người xem xem điều kiện xem Tuy nhiên, trường hợp đó, cần nhiều băng thông để truyền tải cần lưu trữ liệu lớn chi phí đáng kể cho việc thiết đặt nhiều camera Nhìn chung, hệ thống hiển thị tự động thực thể 3D cần nhiều hình ảnh đầu vào Có phương pháp thu thập hình ảnh đa điểm Đầu tiên, có hình ảnh đa điểm cách sử dụng nhiều camera số quan sát yêu cầu Tuy nhiên, trường hợp này, việc đồng hóa tính tốn camera khó khăn Lựa chọn sử dụng hệ thống camera có hình ảnh màu với đồ độ sâu tương ứng với ảnh màu tổng hợp lên hình ảnh trung gian ảo từ liệu thu Lựa chọn cuối ước lượng độ chênh lệch từ hình ảnh thu từ camera màu tổng hợp lên hình ảnh MPEG coi TV dịch vụ phương tiện truyền thông 3D hứa hẹn bắt đầu chuẩn hóa theo tiêu chuẩn quốc tế từ năm 2002 Nhóm 3DV [3] MPEG làm việc theo tiêu chuẩn sử dụng để sử dụng cho loạt định dạng hiển thị 3D 3DV framework bao gồm hiển thị thông tin đa điểm video thông tin độ sâu để hỗ trợ hệ Do đó, việc ước lượng chiều sâu trình tổng hợp trình quan trọng 3DV cần thuật tốn chất luợng cao Chúng ta sử dụng giới hạn số lượng hình ảnh camera để sinh nhiều hình ảnh cách sử dụng thuật toán DIBR [4] (depth image based rendering) DIBR kỹ thuật phổ biến sử dụng để biểu diễn khung hình ảo Một hình ảnh màu đồ độ sâu cho điểm ảnh tương ứng 10 2.2 CÁC ĐỊNH DẠNG BIỂU DIỄN VIDEO 3D Trong kỹ thuật video, video 3D ngày phổ biến hữu ích chúng nhiều ứng dụng Hiển nhiên rằng, biểu diễn 3D cách hiệu cần thiết cho ứng dụng 3D video thành cơng liên quan chặt chẽ tới thành phần khác hệ thống 3D video như: thu thập nội dung, truyền tải, biểu diễn hiển thị Phần sau xem xét hai định dạng biểu diễn 3D: định dạng video đa khung hình (MVV) video đa khung hình định dạng chiều sâu (MVD) 2.2.1 VIDEO ĐA KHUNG HÌNH (MVV) VÀ VIDEO ĐA KHUNG HÌNH THEO CHIỀU SÂU (MVVD) Video đa khung hình (MVV) định dạng video bao gồm vài video màu từ điểm khung hình khác cảnh đạt hệ thống camera Hình 2.3 Video đa khung hình (MVV) định dạng video bao gồm vài video màu từ điểm khung hình khác cảnh đồng hệ thống camera hiển thị Hình 2.3 Thơng thường, có kiểu bố trí camera: tuyến tính, phẳng trịn Hình 2.4 Hình 2.3: Ví dụ cảnh biểu diễn video đa khung hình – Break Dance Mã hóa video đa khung hình nén cách hiệu nội dung MVV cách kết hợp dự đoán dựa chuyển động khung hình thơng thường dự đốn dựa độ lệch khung hình tỉ lệ bit tăng lên cách tuyến tính với số lượng khung hình mã hóa 2.2.2 BẢN ĐỒ ĐỘ SÂU Bản đồ chiều sâu ( ảnh chiều sâu ) ảnh với kích thước với ảnh màu, giá trị điểm ảnh ảnh chiều sâu giá trị chiều sâu điểm ảnh màu tương ứng, thấy Hình 2.6 Độ lệch đối tượng hệ tọa độ camera suy cách dễ dàng từ công thức sau: 16 𝒅𝒊𝒔𝒑𝒂𝒓𝒊𝒕𝒚 = 𝒙𝒍 − 𝒙𝒓 = 𝒇∗𝑻 𝒁∗𝒕𝒑𝒊𝒙𝒆𝒍 (1) đây: 𝒙𝒍 𝒙𝒓 vị trí đối tượng bên trái bên phải camera tương ứng 𝑓 chiều dài tiêu cự 𝑇 khoảng cách camera (cơ bản) 𝑍 khoảng cách đối tượng mặt phẳng ảnh camera chụp 𝑡𝑝𝑖𝑥𝑒𝑙 độ rộng điểm ảnh cảm biến camera 2.3 BIỂU DIỄN DỰA TRÊN BẢN ĐỒ ĐỘ SÂU (DIBR) Biễu diễn dựa độ sâu ảnh (Depth-Image-Based Rendering - DIBR) [4] trình tổng hợp ảnh khung hình ảo từ cảnh chụp từ ảnh video màu với thông tin độ sâu liên quan [13] Với M (M ≥ 1) khung hình đầu vào ( cịn gọi khung hình tham chiếu ) , khung hình ảo tổng hợp thơng qua ba bước Hình 2.8: Framework khung hình tổng hợp sử dụng camera đầu vào 2.3.1 TỔNG HỢP KHUNG HÌNH 3D TỪ 2D Tổng hợp 3D (3D Wraping) sử dụng để xác định tọa độ thực hình ảnh có sử dụng thơng số bên bên ngồi máy ảnh Sau đó, tổng hợp 3D sử dụng để tạo hình ảnh mong muốn thơng qua việc tái chiếu không gian 2D sử dụng tham số camera ảo 17 2.3.2 SÁP NHẬP KHUNG HÌNH Tổng hợp khung hình phân thành hai phương pháp Phương pháp thứ nội suy khung hình có nghĩa khung hình ảo ( đích ) nằm hai khung hình tham chiếu tồn tại, thơng tin màu sắc chiều sâu từ hai khung hình sử dụng để tạo khung hình trung gian Phương pháp thứ ngoại suy khung hình có nghĩa khung hình ảo nằm ngồi khung hình tồn Phương án thứ hai chọn từ khung hình tổng hợp bên trái từ khung hình tổng hợp bên phải gọi khung hình chi phối điểm ảnh từ khung hình tổng hợp khác sử dụng để lấp hố khung hình chi phối Phương pháp cuối lựa chọn điểm ảnh với giá trị độ sâu cao dựa phương pháp z-buffer [14] Phương pháp làm việc tốt đồ độ sâu khơng có lỗi Tuy nhiên, phương pháp có xu hướng tạo hình giả liệu độ sâu tạm thời không phù hợp 2.3.3 HOLE FILLING CÁC VÙNG DISOCCLUSIONS Để cung cấp cho người xem trải nghiệm hồn thiện, hố khung hình biểu diễn cần loại bỏ Có hai hướng để giải vấn đề Một hướng xử lý trước đồ độ sâu cách làm mịn vùng không liên tục đồ độ sâu trước dùng phương pháp DIBR loại bỏ vùng disocclusion khung hình tổng hợp Phương pháp nhằm giải vấn đề lấp đầy vùng disocclusion trường hợp khoảng cách camera nhỏ 2.4 PHẦN MỀM THAM CHIẾU TỔNG HỢP KHUNG HÌNH (VSRS) Phần mềm tham chiếu tổng hợp khung hình (VSRS) phát triển phần thí nghiệm nghiên cứu 3DV MPEG VSRS cần hai khung hình tham chiếu hai đồ độ sâu đầu vào để tạo khung hình ảo tổng hợp Các tham số bên bên camera yêu cầu thiết đặt camera 1D song song không song song hỗ trợ 2.4.1 TRẠNG THÁI TỔNG QUÁT Quá trình biểu diễn trạng thái tổng quát VSRS minh họa Hình 2.14 18 Hình 2.14: Biểu đồ luồng liệu phần mềm VSRS trạng thái tổng quát 2.4.2 TRẠNG THÁI 1D Trong trạng thái 1D VSRS, có giả định trục quang học máy ảnh song song khơng có độ lệch theo phương thẳng đứng Sự thiệt đặt làm cho tiến trình tổng hợp 3D giảm thay đổi đơn giản theo chiều ngang chi tiết cơng thức (9) Hình 21 mơ tả biểu đồ luồng VSRS 1D-mode 2.5 THUẬT TỐN TỔNG HỢP KHUNG HÌNH FAST 1-D (VSRS 1D FAST) VSRS 1D Fast biến thể VSRS Nó phát triển theo chuẩn 3DHEVC để kiểm thử kết mã hóa khung hình tổng hợp Phần mềm bao gồm gói HTM dẫn chứng kiểu kiểm thử 3D-HEVC VSRS 1D Fast cần khung hình tham chiếu, đồ độ sâu tham số camera tương ứng kết đầu vào để sinh khung hình ảo VSRS 1D Fast yêu cầu thiết đặt camera trục song song 1D Có hai cấu hình VSRS 1D Fast: 19 trạng thái nội suy tổng hợp khung hình ảo sử dụng khung hình ảo trạng thái nội suy biểu diễn khung hình ảo cách thức từ khung hình tham chiếu 2.5.1 CHUẨN HĨA MẪU Các vân đầu vào 𝑆𝑇,𝑙 𝑆𝑇,𝑟 trước tiên chuẩn hóa để thành 𝑆̂𝑇,𝑙 and 𝑆̂𝑇,𝑟 thành phần luma chuẩn hóa với phân số ¼ theo chiều ngang thành phần chroma chuẩn hóa với phân số 1/8 theo chiều ngang ½ theo chiều dọc Mục đích bước nhằm giảm hố sinh điểm ảnh ánh xạ xung quanh Định dạng đầu vào VSRS 1D Fast video YUV 4:2:0 sau đầu vào chuyển đổi thành YUV 4:4:4 Bước thực đơn giản hóa kênh luma chroma có độ phân giải 2.5.2 TỔNG HỢP VÀ HOLE FILLING Tổng hợp, nội suy hay hole filling thực bước kết hợp Do độ lệch tổng hợp tính tốn miêu tả đầu bước Các bước tổng hợp, nội suy hay hole filling thực line wise line interval wise Được xử lý trực tiếp từ trái qua phải 2.5.3 TẠO BẢN ĐỒ XÁC THỰC ′ ′ Trong bước này, đồ filling 𝑠𝐹,𝑙 chuyển đổi thành đồ xác thực 𝑠𝑅,𝑙 ′ Nếu biểu diễn nội suy sử dụng, vị trí đánh dấu discclusion 𝑠𝐹,𝑙 ánh xạ tới độ tin cậy Trong phân vùng xác định bên phải disocclusion với độ rộng lần mẫu độ tin cậy tăng tuyến tính từ đến 255 từ trái sang phải theo chiều ngang Tất mẫu khác gán với độ tin cậy 255 2.5.4 TĂNG CƯỜNG TÍNH ĐỒNG NHẤT Trong bước biểu đồ histogram 𝑠′ 𝑇,𝑙 tương ứng với histogram 𝑠′ 𝑇,𝑟 Vì vậy, bảng tìm kiếm (LUT) thực thi hàm 𝑓 tạo ra, sau áp dụng để lập đồ mẫu 𝑠′ 𝑇,𝑙 tương ứng với giá trị 2.5.5 KẾT HỢP 𝑠′ 𝑇,𝑙 𝑠′ 𝑇,𝑟 kết hợp để tạo khung hình tổng hợp đầu bước Trong trạng thái biểu diễn nội suy sử dụng, việc định cách pha trộn ′ ′ thực phụ thuộc vào đồ độ tin cậy 𝑠𝑅,𝑙 𝑠𝑅,𝑟 đồ độ sâu biểu diễn ′ ′ 𝑠𝐷,𝑙 𝑠𝐷,𝑟 20 CHƯƠNG 3: THUẬT TOÁN HOLE FILLING SWA 3.1 GIỚI THIỆU THUẬT TOÁN Nhằm tăng cường chất lượng cho khung hình ảo 3D, xóa bỏ nhiễu biên, hình giả lấp đầy vùng hố sinh trình tổng hợp khung hình ảo Thực tế, có nhiều thuật toán Hole filling đề xuất, Tuy nhiên kết thực nghiệm cho thấy thuật toán không cho hiệu rõ rệt Một số thuật tốn lấp đầy hố có kích thước nhỏ, số loại bỏ nhiễu sinh q trình tổng hợp Trong số thuật tốn cho kết tốt nay, thuật toán Hole filling SWA (Spiral weighted average algorithm) [6] có nhiều ưu điểm Thuật toán Hole filling SWA trước tiên loại bỏ nhiễu biên, tìm vùng occlusion mở rộng vùng đến vùng lỗ trống khung hình tổng hợp Sau đó, thuật tốn xác định giá trị điểm ảnh hố dựa thuật tốn trọng số trung bình đường xoắn ốc thuật tốn tìm kiếm gradient Thuật tốn trọng số trung bình đường xoắn ốc giữ lại biên đối tượng tương đối tốt với thông tin chiều sâu Tuy nhiên, nhược điểm thuật toán mang lại hiệu ứng màu xung quanh hố, dẫn đến chất lượng video không tốt Để giải vấn đề này, thuật tốn tìm kiếm gradient giữ lại thành phần tần số cao để giữ chi tiết khung hình tổng hợp Mặt hạn chế khác thuật toán sinh điểm khiếm khuyết Để loại bỏ điểm khiếm khuyết, thuật toán Hole filling SWA sử dụng mặt nạ xác suất 3.2 CÁC BƯỚC THỰC HIỆN TRONG THUẬT TOÁN HOLE FILLING SWA 3.2.1 PHÁT HIỆN NHIỄU BIÊN 21 Như kết tổng hợp 3D trình tổng hợp khung hình, nhiễu biên cịn độ khơng xác biên đồ chiều sâu ảnh vân khung hình tham chiếu đưa Các hố chung tạo tổng hợp kết khung hình ảo, Nhìn chung, hố chung bao phủ vùng lân cận khung hình tham chiếu tổng hợp Nhiễu biên xảy sai lệch biên độ sâu vân ảnh 3D tổng hợp 3.2.2 XÁC ĐỊNH THƯ TỰ HOLE FILLING ĐỐI VỚI VÙNG NỀN Hình 3.5 tiến trình thuật tốn hole filling, bắt đầu với điểm ảnh kết thúc trung tâm Trong trường hợp này, thông tin màu sắc đối tượng gần vùng hố sử dụng chất lượng kết hình ảnh thấp Vì thuật tốn Hole filling SWA, lấp đầy vùng trước 3.2.3 THUẬT TỐN TRỌNG SỐ TRUNG BÌNH ĐƯỜNG XOẮN ỐC Tiến trình thuật tốn trọng số trung bình đường xoắn ốc Hình 3.6 đây: (1) Trước tiên, tìm đường biên bên vùng hố Sau đó, chọn điểm ảnh từ ranh giới biên bắt đầu tiến trình filling điểm ảnh (2) Các điểm ảnh hố ban đầu chọn bước (1) gán với giá trị độ sâu nhỏ giá trị lân cận mà không phụ thuộc vào vùng hố chung Thực tìm kiếm theo đường xoắn ốc vị trí hố chung ban đầu theo thứ tự tìm kiếm (3) Trong trình tìm kiếm theo đường xoắn ốc, trọng số vân giá trị độ sâu điểm ảnh với trọng số khác phụ thuộc vào khoảng cách điểm ảnh ban đầu với điểm ảnh lưu giá trị khác độ sâu phụ thuộc vào khoảng cách vân ban đầu vân nhỏ ngưỡng Giá trị trung bình tất giá trị trọng số vân giá trị độ sâu điểm ảnh ban đầu sau gán lại giá trị vân độ sâu điểm ảnh ban đầu Tiến trình gọi trọng số trung bình theo đường xoắn ốc biểu diễn công thức 𝑆𝑇(𝑥,𝑦,𝑡) = ∑ ( (𝑝,𝑞)∈𝑆𝑅 𝑒(𝑝, 𝑞)𝑇(𝑝, 𝑞, 𝑡) ) 𝐸 22 (𝟖) ∑ ( 𝑆𝐷(𝑥,𝑦,𝑡) = (𝑝,𝑞)∈𝑆𝑅 𝑒(𝑝, 𝑞)𝑑 (𝑝, 𝑞, 𝑡 ) ) 𝐸 ∑ 𝑒(𝑝, 𝑞), 𝑒(𝑝, 𝑞) = 𝐸 = (𝑝,𝑞)∈𝑆𝑅 𝐷(𝑝, 𝑞) 𝑊(𝑝, 𝑞) (𝟗) (𝟏𝟎) Hình 3.6: Biểu đồ luồng thuật tốn trọng số trung bình đường xoắn ốc 𝐷 (𝑝, 𝑞) = { 1, |𝐼𝑛𝑖𝑡𝑖𝑎𝑙𝑑𝑒𝑝𝑡ℎ − 𝑑 (𝑝, 𝑞) < 𝑡ℎ| 0, 𝑒𝑙𝑠𝑒 (𝟏𝟏) Trong : T(p,q,t) d(p,q,t) giá trị vân giá trị độ sâu lưu điểm ảnh (p,q) thứ tự tìm kiếm SR 23 𝑆𝑇(𝑥,𝑦,𝑡) 𝑆𝐷(𝑥,𝑦,𝑡) giá trị vân giá trị độ sâu gán hố vị trí (x,y) tương ứng D(p,q) khác giá trị độ sâu điểm ảnh ban đầu vị trí (x,y) điểm ảnh tại vị trí (p,q) W(p,q) hệ số trọng số, khoảng cách Euclidian điểm ảnh (x,y) (p,q) 3.2.4 THUẬT TỐN TÌM KIẾM GRADIENT Thuật tốn trọng số trung bình đường xoắn ốc tạo hiệu ứng màu lan truyền đặc tính lọc băng thơng thấp Để giải vấn đề này, sử dụng thơng tin gradient Thơng tin gradient lưu trữ chi tiết khung hình tổng hợp (1) Trước tiên, tính tốn khác biệt cường độ điểm ảnh điểm ảnh lân cận (vùng đánh dấu màu vàng hình 3.7a hố ban đầu điểm ảnh từ điểm ảnh liền kề 12 hướng (vùng màu đỏ hình 3.7a) Sau xác định điểm ảnh với giá trị khác lớn từ điểm ảnh lân cận (vùng đỏ hình 3.7a) (2) Tiếp theo, lặp lại bước (1) điểm ảnh lựa trọn bước (1), theo hướng đơn giản, minh họa Hình 3.7b (3) Lặp lại bước (2) cho tất điểm ảnh phạm vi tìm kiếm xác định trước (4) Cuối cùng, giá trị hố gán giá trị trung bình điểm ảnh xác định bước (1) bước (3) CHƯƠNG 4: CÀI ĐẶT VÀ KẾT QUẢ THỰC NGHIỆM 4.1 CÀI ĐẶT THỰC NGHIỆM 24 Luận văn tiến hành thực nghiệm dựa thuật toán Hole filling SWA (được trình bày Chương 3) chuỗi đa khung hình xác định thực nghiệm với phần mềm tham chiếu 3D-HEVC: Pantomime, Balloons, Kendo, Lovebird, Newspaper, Cafe Champagne Độ phân giải Chuỗi Số lượng Các khung khung hình hình Pantomime 250 37 39 41 Champagne 150 Balloons 150 135 Kendo 150 135 Lovebird 300 468 Newspaper 300 246 Cafe 300 246 Rộng*Cao 1280x 960 1024x 768 1920x1080 Bảng 4.1 : Các chuỗi sử dụng thí nghiệm 25 Hình 4.2 : Giao diện chạy chương trình 4.2 KẾT QUẢ TỔNG HỢP KHUNG HÌNH Hình 4.3: Tổng hợp khung hình trường hợp nội suy Trong Hình 4.1 trường hợp tổng hợp khung hình nội suy Kết sinh hình ảnh điểm quan sát ảo vị trí phía khung hình tham chiếu thuật tốn Hole filling SWA so sánh hiệu so với thuật toán Hole filling VSRS 4.0 anpha; thuật toán Hole filling 3D-HEVC 26 Các kết hình ảnh chụp từ khung hình tổng hợp lên chạy thực nghiệm thí nghiệm: (a) (b) (c) (d) Hình 4.4: Khung hình ảo tổng hợp - “Balloon”; (Khung hình thứ 2) (a): VSRS3.5; (b): VSRS4.0; (c): 3D-HEVC ; (d) Thuật toán Hole filling SWA 27 Tên chuỗi kiểm thử VSRS 3.5 VSRS 4.0 3D-HEVC Thuật toán Hole filling SWA Pantomime 36.92823 26.56432 36.14031 36.15579 Balloons 36.22950 26.50836 36.11454 36.17031 Kendo 35.77918 29.82488 36.36218 36.00484 Champagne 34.09464 19.08684 28.69579 28.72952 Lovebird 20.62912 23.80880 27.92411 27.89786 Newspaper 14.68198 15.04415 32.01516 31.81163 Bảng 4.2: So sánh hiệu PSNR thuật toán phần mềm Biểu đồ PSNR - Balloons - Chuỗi 160 140 PSNR (dB) 120 100 80 60 40 20 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 Số khung hình VSRS 4.0 3D-HEVC Thuật tốn Hole filling SWA VSRS 3.5 Hình 4.10 :Đánh giá PSNR khung hình tổng hợp phương pháp truyền thống thuật toán Hole filling SWA – Chuỗi Balloons 28 KẾT LUẬN Luận văn trình bày phương pháp Hole filling SWA bao gồm tiền xử lý xóa bỏ nhiễu biên sử dụng cho tổng hợp khung hình ảo Nhiễu biên xảy ánh xạ lỗi ảnh độ sâu ảnh vân suốt trình tổng hợp Sau loại bỏ nhiễu biên Để lấp đầy hố, luận văn sử dụng thuật toán trọng số trung bình đường xoắn ốc kỹ thuật tìm kiếm gradient Thuật tốn trọng số trung bình theo đường xoắn ốc giữ biên đối tượng tốt cách sử dụng thơng tin độ sâu thuật tốn tìm kiếm gradient giữ thông tin chi tiết Luận văn kết hợp điểm mạnh hai thuật toán 29 TÀI LIỆU THAM KHẢO [1] M Tanimoto, “Targets of MPEG FTV” FTV Seminar, July 2014 [2] https://en.wikipedia.org/wiki/Free_viewpoint_television [3] “Proposal on a New Activity for the Third Phase of FTV” ISO/IEC JTC1/SC29/WG11 MPEG2012/M30229, July 2013, Vienna, Austria [4] http://www.epixea.com/research/multi-view-coding-thesisse18.html [5] https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding [6] Min Soo Ko* and Jisang Yoo “Virtual View Generation by a New Hole Filling Algorithm”, 2014, J Electr Eng Technol Vol [7] https://en.wikipedia.org/wiki/Inpainting [8] http://www.fujii.nuee.nagoya-u.ac.jp/multiview-data/mpeg/mpeg_ftv.html [9] F Dufaux, B Pesquet-Popescu, M Cagnazzo, “Emerging Technologies for 3D Video: Creation, Coding, Transmission and Rendering” [10] https://en.wikipedia.org/wiki/Time-of-flight_camera [11] “Depth estimation reference software (DERS) 5.0 “, M Tanimoto, T Fujii, K Suzuki, N Fukushima, Y Mori - ISO/IEC JTC1/SC29/WG11 M, 2009 [12] https://en.wikipedia.org/wiki/Computer_stereo_vision [13] W SUN, L XU, Oscar C AU, S H CHUI, C W KWOK, “An overview of free viewpoint Depth-Image-Based Rendering (DIBR)”, Proceedings of the APSIPA, Singapore, December 2010 [14] Tian D, Lai P, Lopez P, Gomila C, "View synthesis techniques for 3D video.", Proceedings applications of digital image processing XXXII, vol 7443, pp 74430T– 1– 11, 2009 30