Tổng hợp ảnh dựa trên chiều sâu để hỗ trợ các ứng dụng đa hướng nhìn

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA [ TẠ THỊ TÙNG LY TỔNG HỢP ẢNH DỰA TRÊN CHIỀU SÂU ĐỂ HỖ TRỢ CÁC ỨNG DỤNG ĐA HƢỚNG NHÌN Chuyên ngành: Khoa học máy tính Mã số: 604801 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, Tháng 06 năm 2012 LỜI CÁM ƠN Đầu tiên, xin gửi lời cảm ơn chân thành đến TS Lê Thành Sách cung cấp tài liệu tận tình hướng dẫn, hỗ trợ tơi suốt q trình nghiên cứu để hồn thành luận văn tốt nghiệp Thầy tạo điều kiện tốt để giúp tơi hồn thành đề tài Bên cạnh đó, tơi xin cảm ơn giúp đỡ nhiệt tình bạn đồng nghiệp nhóm nghiên cứu Xử lý ảnh Đồ họa máy tính Khoa Khoa Học Kĩ Thuật Máy Tính hỗ trợ chia sẻ thông tin liên quan đến đề tài tơi q trình nghiên cứu thực ứng dụng Cuối cùng, xin cảm ơn đến gia đình bạn bè, người ln ủng hộ giúp đỡ sống để hồn thành tốt luận văn Thành phố Hồ Chí Minh, tháng 06 năm 2012 Trang TĨM TẮT Các ứng dụng video 3D truyền hình 3D (3DTV) video đa hướng nhìn chiếm thị phần rộng lớn ngành công nghiệp điện tử, người dùng tương tác chọn góc nhìn tùy thích khơng gian 3D để sử dụng ứng dụng video hấp dẫn sinh động Vấn đề đặt liệu ảnh tương ứng với nhiều góc nhìn tăng lên đáng kể so với việc trình chiếu đơn góc nhìn Tổng hợp góc nhìn ảo từ góc nhìn tham khảo cho trước giải pháp để giảm liệu thô truyền Luận Văn trình bày kết nghiên cứu mơ hình Tổng hợp ảnh dựa chiều sâu bao gồm bước ánh xạ 3D, pha trộn ảnh lấp lỗ trống Đồng thời luận văn thực mơ hình đánh giá hồn chỉnh cho ứng dụng Tổng hợp ảnh Mơ hình đánh giá bao gồm tập liệu đầu vào, chương trình tổng hợp ảnh theo chiều sâu kết hợp số phương pháp lấp chỗ trống khác nhau, cuối áp dụng phương pháp đánh giá định tính định lượng cho hệ thống tổng hợp ảnh Với kết đạt được, nghiên cứu sử dụng mơ hình để bổ sung, đánh giá phương pháp cải tiến cho ứng dụng tổng hợp ảnh cách thuận lợi hiệu Trang MỤC LỤC LỜI CÁM ƠN TÓM TẮT MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH ẢNH CHƢƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Hình thành vấn đề 1.2 Phạm vi nghiên cứu 10 1.2.1 Đối tượng nghiên cứu 10 1.2.2 Mục tiêu đề tài 10 1.2.3 Phương pháp nghiên cứu 11 1.3 Tóm lược kết đạt 11 1.4 Kết cấu đề tài 12 CHƢƠNG CƠ SỞ LÝ THUYẾT 14 2.1 Mô hình hệ thống video 3D 14 2.2 Hệ tọa độ thông số camera 15 2.3 Bản đồ chiều sâu ảnh 18 2.4 Tổng hợp ảnh cho video 3D 20 2.5 Phương pháp đánh giá kết 25 CHƢƠNG CÁC KẾT QUẢ NGHIÊN CỨU LIÊN QUAN 27 3.1 Tổng hợp ảnh theo vùng ảnh tin cậy 27 3.1.1 Mã hóa Tổng hợp ảnh cho Multiview Video 27 3.1.2 Cải tiến tổng hợp ảnh dựa tách lớp đối tượng 30 3.1.3 Dự đoán ảnh tổng hợp cho Multiview Video 33 3.2 Tổng hợp ảnh theo hiệu chỉnh ảnh 34 3.2.1 Tổng hợp ảnh khơng có thơng số hiệu chỉnh 34 Trang 3.2.2 Nội suy ngoại suy ảnh cho MVC 36 3.3 Tổng hợp ảnh theo chiều sâu thích nghi 40 3.4 Tổng kết nghiên cứu liên quan 43 CHƢƠNG HIỆN THỰC CHƢƠNG TRÌNH 44 4.1 Tập tin cấu hình 44 4.2 Tập tin tham số camera 51 4.3 Dữ liệu ảnh đầu vào 53 4.4 Sơ đồ khối chức chương trình 54 4.4.1 Hàm ForwardWarp 56 4.4.2 Hàm Merge 57 4.4.3 Hàm Fillholes 58 CHƢƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 64 5.1 Cài đặt thực thi chương trình 64 5.2 Tập liệu kiểm tra chương trình 65 5.2.1 Thiết lập camera cho tập liệu 65 5.2.2 Đặc tả tập liệu 66 5.3 Kết thực thi chương trình 67 5.4 Đánh giá kết thu 75 CHƢƠNG KẾT LUẬN VÀ KIẾN NGHỊ 78 TÀI LIỆU THAM KHẢO 79 LÝ LỊCH TRÍCH NGANG 81 Trang DANH MỤC CÁC TỪ VIẾT TẮT 3DTV - Three Dimensions Television: truyền hình kĩ thuật số ba chiều 3DV - Three Dimensions Video : video ba chiều DIBR - Depth Image-Based Rendering: mô hình ảnh dựa chiều sâu ETRI – Electronic and Telecommunications Reseach Institute FTV - Free Viewpoint Television: truyền hình đa góc nhìn GIST - Gwangju Institute of Science and Technology H.264/AVC - H.264 Advance Video Coding: định dạng mã hóa video tiên tiến H264 LDI - Layer Depth Image : ảnh độ sâu theo lớp MPEG - Moving Picture Experts Group : hội chuyên gia phim ảnh giới MVD - Multiview Video plus Depth : video đa góc nhìn với liệu chiều sâu PSNR - Peak Signal to Noise Ratio: tỉ số tín hiệu cực đại nhiễu RVI - Rectification-based Interpolation : nội suy dựa hiệu chỉnh ảnh ViSBD - View Synthesis Based on Disparity/Depth: tổng hợp ảnh dựa chiều sâu VSRS - View Synthesis Reference Software: phần mềm tổng hợp ảnh tham khảo Trang DANH MỤC BẢNG BIỂU Bảng 1: Cấu trúc thư mục chương trình tổng hợp ảnh 65 Bảng 2: Các tập liệu kiểm tra chương trình 66 Bảng 3: Kết PSNR tập liệu Balloon 68 Bảng 4: Kết PSNR tập liệu Kendo 69 Bảng 5: Kết PSNR tập liệu Champagne 70 Bảng 6: Kết PSNR tập liệu LoveBird 71 Bảng 7: Kết PSNR tập liệu LoveBird 72 Trang DANH MỤC HÌNH ẢNH Hình 2.2: Mối quan hệ hình học hệ tọa độ camera hệ tọa độ ảnh 16 Hình 2.3: Ví dụ đồ chiều sâu ảnh 18 Hình 2.4 : Ví dụ giá trị chiều sâu ảnh 19 Hình 2.5: Chiều sâu tương quan hai ảnh thông qua đồ disparity 19 Hình 2.6: Sơ đồ tổng hợp ảnh trung gian dựa chiều sâu 21 Hình 2.7: Khái niệm chung 3D warping 22 Hình 3.1: Sơ đồ xử lý tổng hợp ảnh dựa độ tin 29 Hình 3.2: Kết tổng hợp ảnh có khơng sử dụng độ tin cậy 30 Hình 3.3: Ví dụ trạng thái khởi tạo thuật tốn Region Growing 31 Hình 3.4: Kết áp dụng Region Growing cho lớp phân loại 32 Hình 3.5: So sánh rendering LDI thông thường dựa đôi tượng 32 Hình 3.6: Kết tổng hợp sử dụng Parallax, 35 Hình 3.7: Sơ đồ khối giải thuật RVI 36 Hình 3.8: Nội suy ảnh cho trường hợp điểm ảnh khác 39 Hình 3.9 Ví dụ tổng hợp ảnh theo chiều sâu thích nghi 42 Hình 4.1: Sơ đồ khối chức chương trình tổng hợp ảnh 54 Hình 4.2: Sơ đồ khối chức nội suy trung gian 55 Hình 5.1: Thiết lập camera thu hình 65 Hình 5.2: Kết so sánh PSRN tập Balloon 68 Hình 5.3: Kết so sánh PSNR tập Kendo 69 Hình 5.4: Kết so sánh PSNR tập Champagne 70 Hình 5.5: Kết so sánh PSNR tập LoveBird 71 Hình 5.6: Kết so sánh PSNR tập Newspaper 72 Hình 5.7: Kết định tính tập liệu Balloon 73 Hình 5.8: Kết định tính tập liệu Champagne 73 Hình 5.9: Kết định tính tập liệu Kendo 74 Trang Hình 5.10: Kết định tính tập liệu Newspaper 74 Hình 5.11: Kết định tính tập liệu LoveBird 75 Hình 5.12: Ví dụ đánh giá định tính tập Champagne 76 Hình 5.13: Ví dụ đánh giá định tính tập LoveBird 77 Trang CHƢƠNG TỔNG QUAN VỀ ĐỀ TÀI Phần giới thiệu tổng quan đề tài bao gồm hoàn cảnh đời đề tài, phạm vi nghiên cứu xét đến đối tượng nghiên cứu phương pháp thực đề tài, xác định mục tiêu, ý nghĩa đề tài 1.1 Hình thành vấn đề Những tiến công nghệ chế tạo máy ảnh thiết bị hiển thị giúp cho việc thu hình cảnh với nhiều góc nhìn (Free Viewpoint) hỗ trợ tốt mặt công nghệ phần cứng Điều khiến cho nhu cầu ứng dụng video 3D truyền hình 3D (3DTV) video đa hướng nhìn chiếm thị phần rộng lớn ngành công nghiệp điện tử Ứng dụng video 3D (3DV) dựa vào việc mở rộng video 2D với khả tạo dựng 3D (3D rendering) để có hai góc nhìn trái-phải tạo hiệu ứng 3D, cần có thêm góc quay giải mã hiển thị cách đồng thời Đối với ứng dụng đa góc nhìn, người dùng tương tác chọn góc nhìn tùy thích khơng gian 3D để cầu sử dụng ứng dụng video hấp dẫn sinh động trở nên thực tế quan sát hình ảnh giới thực Các ứng dụng phục vụ cho nhu cầu giải trí đa phương tiện mà cịn áp dụng lĩnh vực giáo dục, y tế… nhằm đem đến hiệu hình ảnh tốt nhất, gần gũi với giới thực Vấn đề đặt liệu ảnh tương ứng với nhiều góc nhìn (Multiview) tăng lên đáng kể so với việc trình chiếu đơn góc nhìn Do đó, việc khai thác mối tương quan vốn có xử lý ảnh từ nhiều góc quay để làm giảm liệu ảnh truyền ứng dụng video đa hướng nhìn truyền hình 3D (3DTV) ngày nhiều tổ chức nghiên cứu công nghiệp quan tâm đến Các dịnh dạng 3D video đời cho phép giảm tỉ lệ liệu thô (raw data) truyền cách đáng kể Khi sử dụng định dạng video nhiều góc quay cộng thêm chiều sâu (MVD –Multiview Video plus Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ  Tập Lovebird: liệu gồm 12 tập tin ảnh màu định dạng YUV(1024x768) chứa 500 frame ảnh tập tin ảnh độ sâu chứa 300 frame ảnh cung cấp ETRI [13] khoảng cách camera 50 mm Khoảng cách đối tượng gần camera 1.4m, xa camera 156m, tập liệu thu trời nên khoảng cách camera lớn 5.3 Kết thực thi chƣơng trình Với tập liệu kiểm tra chương trình trên, sau thực thi chương trình tổng hợp ảnh kết đầu chuỗi YUV Để tính toán kết định lượng PSNR, sử dụng phần mềm chuyển đổi YUV thành định dạng bitmap (RBG) cho góc nhìn gốc góc nhìn tổng hợp Kết PSNR tính dựa tỉ số tín hiệu cực đại nhiễu góc nhìn ảo tổng hợp so với góc nhìn gốc Dưới bảng thống kê đồ thị kết định lượng đánh giá phương pháp lấp lỗ trống khác chương trình tổng hợp ảnh Mỗi liệu chọn góc nhìn ảo để đo kết phương pháp FillHoles1, FillHoles2 Proposed-FillHoles Balloon (virtual view 3) PSNR(DB) Frame 10 30.8061 30.6758 Proposed FillHoles 30.8218 20 30.8061 30.8399 30.9147 30 30.8798 30.8523 30.9685 40 30.9626 31.1601 31.2005 50 31.1855 30.7513 30.8601 60 30.8467 30.6217 30.7295 70 30.7231 30.6968 30.8131 80 30.8049 30.9262 31.0209 90 30.9989 31.3511 31.3714 100 31.3560 31.5799 31.6345 FillHoles1 FillHoles2 Trang 67 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Average 30.9693 30.9018 30.9863 Bảng 3: Kết PSNR tập liệu Balloon Hình 5.2: Kết so sánh PSRN tập Balloon Kendo(virtual view 3) PSNR(DB) Frame FillHoles1 FillHoles2 10 32.5411 32.5395 Proposed FillHoles 32.5410 20 32.7427 32.7378 32.7426 30 33.1458 33.1304 33.1460 40 33.0917 33.0917 33.0922 50 33.6151 33.6050 33.6171 60 33.4524 33.4496 33.4528 70 33.3553 33.3552 33.3556 80 33.4222 33.4183 33.4225 90 33.4749 33.4683 33.4759 Trang 68 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ 100 33.0072 32.9987 33.0098 Average 33.1333 33.1314 33.1342 Bảng 4: Kết PSNR tập liệu Kendo Hình 5.3: Kết so sánh PSNR tập Kendo Champagne (virtual view 39) PSNR(DB) Frame FillHoles1 FillHoles2 10 26.4836 26.4660 Proposed FillHoles 26.4880 20 26.4696 26.4426 26.4725 30 26.4477 26.4256 40 26.3746 26.3516 50 26.3462 26.3201 26.3493 60 26.3421 26.3102 26.3462 70 26.3210 26.2985 80 26.2791 26.2496 26.4525 26.3787 26.3258 26.2829 Trang 69 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ 90 26.0756 26.0496 26.0775 100 26.3119 26.2796 26.3141 Average 26.3577 26.3323 26.3609 Bảng 5: Kết PSNR tập liệu Champagne Hình 5.4: Kết so sánh PSNR tập Champagne LoveBird (virtual view 6) PSNR(DB) Frame FillHoles1 FillHoles2 10 26.4836 26.8399 Proposed FillHoles 26.8428 20 26.7539 26.7524 26.7551 30 26.7776 26.7728 26.7777 40 26.7789 26.7774 26.7796 50 26.8153 26.8142 26.8167 60 26.7554 26.7520 26.7568 70 26.7424 26.7355 80 26.7577 26.7588 26.7434 26.7616 Trang 70 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ 90 26.6410 26.6644 26.6487 100 26.7498 26.7605 26.7535 Average 26.7666 26.7704 26.7695 Bảng 6: Kết PSNR tập liệu LoveBird Hình 5.5: Kết so sánh PSNR tập LoveBird Newspaper (virtual view 4) PSNR(DB) Frame FillHoles1 FillHoles2 10 26.6593 26.7113 Proposed FillHoles 26.6731 20 26.6506 26.6980 26.6668 30 26.7502 26.7851 26.7644 40 26.9271 26.9750 26.9424 50 27.5542 27.6028 27.5729 60 27.7780 27.8251 27.7924 70 27.5656 27.6016 27.5799 Trang 71 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ 80 27.3960 27.4108 27.4074 90 27.3869 27.3937 27.3963 100 27.1487 27.1303 27.1537 Average 27.1633 27.1964 27.1766 Bảng 7: Kết PSNR tập liệu LoveBird Hình 5.6: Kết so sánh PSNR tập Newspaper Bên cạnh kết định lượng kết định tính chương trình tổng hợp ảnh trung gian Dưới số kết từ tập dataset , thứ tự trình bày hình ảnh gồm: ảnh gốc , ảnh trước lấp lỗ trống, ảnh áp dụng phương pháp FillHoles1, FillHoles2, Proposed FillHoles, vùng vòng tròn đỏ vùng xuất hole lấp ba phương pháp Trang 72 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Hình 5.7: Kết định tính tập liệu Balloon Hình 5.8: Kết định tính tập liệu Champagne Trang 73 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Hình 5.9: Kết định tính tập liệu Kendo Hình 5.10: Kết định tính tập liệu Newspaper Trang 74 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Hình 5.11: Kết định tính tập liệu LoveBird 5.4 Đánh giá kết thu đƣợc Dựa kết kết định tính định lượng trên, so sánh đánh giá chất lượng tổng hợp ảnh liệu dựa phương pháp lấp chỗ trống khác Đối với tập Champagne, có nhiều lỗ trống sau ánh xạ 3D trộn ảnh nên kết PSNR thu thấp Đối với phương pháp lấp chỗ trống, phương pháp đề xuất nhỉnh định lượng (chỉ số PSNR cao hơn) định tính tốt hơn, giảm tượng sọc ngang so với phương pháp FillHoles1, nhiên, kết định tính ví dụ, FillHole2 cho kết gần với ảnh gốc nhất, lý phương pháp thực lấp lỗ trống theo cửa sổ (window) duyệt từ xuống dưới, trái qua phải theo độ sâu thích ứng nên giảm tượng sọc ngang kết Hình 5.12 Trang 75 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Hình 5.12: Ví dụ đánh giá định tính tập Champagne Đối với tập Kendo Balloon, tính chất tập liệu có lỗ trống sau ánh xạ 3D trộn ảnh nên kết PSNR thu cao Cũng tương tự trên, phương pháp đề xuất tốt định lượng (chỉ số PSNR cao hơn) định tính khó xác định mắt thường tính chất màu ảnh khơng có khác biệt lớn lỗ trống xuất vùng (background) Đối với tập LoveBird, tập liệu thu hình ngồi trời, khoảng cách camera đến điểm gần xa lớn, nên kết PSNR thấp, nhiên lỗ trống sau ánh xạ 3D trộn ảnh không nhiều Cũng tương tự trên, phương pháp đề xuất Proposed FillHoles tốt định lượng (chỉ số PSNR cao hơn) định tính tốt Kết phóng to Hình 5.13 tượng sọc ngang giảm hẳn với phương pháp Proposed FillHoles Trang 76 Chƣơng KẾT QUẢ VÀ ĐÁNH GIÁ Hình 5.13: Ví dụ đánh giá định tính tập LoveBird Có thể đánh giá kết chương trình tổng hợp ảnh góc nhìn ảo thu so với liệu tham khảo gốc cho hiệu ứng tốt mặt hình ảnh áp dụng ứng dụng đa góc nhìn Tuy nhiên, chất lượng ảnh sau tổng hợp tồn hạn chế chất lượng liệu độ sâu phương pháp lấp chỗ trống chưa tổng quát cho trường hợp Trang 77 CHƢƠNG KẾT LUẬN VÀ KIẾN NGHỊ Dựa yêu cầu đề tài, luận văn xây dựng hệ thống hoàn chỉnh thực tổng hợp ảnh dựa chiều sâu Ngoài đáp ứng đầy đủ yêu cầu đề tài tổng kết kỹ thuật tổng hợp ảnh khác cộng đồng nghiên cứu ứng dụng 3DV thực mơ hình đánh giá chương trình tổng hợp ảnh dựa liệu chiều sâu, chương trình cịn kết hợp thực thuật toán khác cho phương pháp lấp chỗ trống để cải tiến nâng cao chất lượng ảnh sau tổng hợp Với mơ hình này, việc đánh giá cải tiến phương pháp khác cho ứng dụng tổng hợp ảnh đơn giản hơn, nhờ mà nghiên cứu sử dụng cách hiệu Chúng tơi cố gắng hồn thành tất yêu cầu đề tài với kết tốt có thể, thời gian hạn hẹp Luận văn Tuy nhiên, kết đạt cịn số hạn chế mặt thời gian tính toán cho bước nội suy để tổng hợp ảnh, điều ảnh hưởng đến ứng dụng cần đáp ứng thời gian thực Về mặt chất lượng ảnh ảo sau tổng hợp, khoảng lấp chỗ trống chưa trùng khớp với màu hình dáng ảnh gốc, chất lượng ảnh độ sâu thuật toán lấp chỗ trống chưa tổng quát cho tất trường hợp Với hạn chế này, tương lai, cố gắng tiếp tục nghiên cứu đề xuất đề tài liên quan đến việc nâng cao chất lượng ảnh độ sâu đầu vào, cải tiến kĩ thuật lấp chỗ trống cách tổng quát để hoàn thiện chương trình tổng hợp ảnh TÀI LIỆU THAM KHẢO [1] Karsten Muller, A.Smolic, “Coding and Intermediate View Synthesis of Multiview Video Plus Depth”, Image Processing (ICIP), 16th IEEE International Conference., 2009 [2] Xiaoyu Xiu, Pang.D, “Rectification-Based View Interpolation and Extrapolation for Multiview Video Coding”, Circuits and Systems for Video Technology, IEEE Transactions , Jun 2011 [3] Fusiello A , Caldrer S., Ceglie S , “View synthesis from uncalibrated images using parallax”,Image Analysis and Processing (ICIAP’03) , the 12th International Conference IEEE, 2003 [4] Smolic A., Muller K., Dix K., Merkle P., “Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems”, Image Processing, 2008 ICIP 15th IEEE International Conference, 2008 [5] Vincent Jantet, Christine Guillemot, Luce Morin, “Object-based Layered Depth Images for improved virtual view synthesis in rate constrained contextt, IEEE International Conference on Image Processing (ICIP), Brussels, Belgium, September, 2011 [6] Dong Tian, Po-Lin Lai, Patrick Lopez, “View Synthesis Techniques for 3D Video”, Applications of Digital Image Processing XXXII, vol 7443, 74430T 2009 [7] Kwan-Jung Oh, “Hole-Filling Method Using Depth Based In-Painting For View Synthesis in Free Viewpoint Television (FTV) and 3D Video”, Picture Coding Symposium, 2009 [8] Chen , Weixing Wan “ Depth-Level-Adaptive View Synthesis for 3D Video”, Multimedia and Expo (ICME), 2010 IEEE International Conference, Suntec City, July 2010 [9] Sehoon Yea, Anthony Vetro , “View synthesis prediction for multiview video coding” , Signal Processing: Image Communication, Volume 24, Issues 1-2, Pages 89-100, Jan 2009 [10] M Tanimoto, T Fujii , N.Fukushima, “1D Parallel Test Sequences for MPEG-FTV”, Archamps, France, 2008 79 [11] Yin Zhao, M Tanimoto, Toshiaki Fujii, "View Synthesis Algorithm in View Synthesis Reference Software 3.5 (VSRS3.5)", MPEG document M16090, May 2009 [12] Y S Ho, E K Lee, and C Lee, “Multiview video test sequence and camera parameters”, ISO/IEC JTC1/SC29/WG11, Archamps, France, Tech Rep M15419, Apr 2008 [13] G M Um, G Bang, N Hur, J Kim, and Y S Ho, “3D video test material of outdoor scene”, ISO/IEC JTC1/SC29/WG11, Archamps, France, Tech Rep M15371, Apr 2008 [14] ISO/IEC 23003-3, “Mpeg-c part 3:Representation of auxiliary video and supplemental information,” Oct 2007 [15] H Hirschmüller, “Evaluation of cost functions for stereo matching”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), Minneapolis, MN, June 2007 [16] http://en.wikipedia.org/wiki/Depth_map ( Sep 19th, 2012) [17] http://home.comcast.net/~holographics/disparity.html ( Sep 19th, 2012) 80 LÝ LỊCH TRÍCH NGANG Họ tên học viên: TẠ THỊ TÙNG LY Ngày sinh: 20/04/1984, nơi sinh: Đà Nẵng Địa liên lạc: 217 Trường Chinh, quận Thanh Khê, Thành Phố Đà Nẵng Địa email: kienlua85@gmail.com , ly.ta.ur@rvc.renesas.com Điện thoại liên lạc: 0935015839 QUÁ TRÌNH ĐÀO TẠO 2002 – 2007: Sinh viên - Tốt nghiệp Khoa Công Nghệ Thông Tin , Đại Học Bách Khoa, Đại Học Đà Nẵng 2010 – 2012: Học viên cao học Ngành Khoa Học Máy Tính, Khoa Khoa Học Kỹ Thuật Máy Tính, Đại Học Bách Khoa TP Hồ Chí Minh, Đại Học Quốc Gia Q TRÌNH CƠNG TÁC 08/2007 – 06/2012 (đến nay): Quản lý kỹ thuật – Kỹ sư bậc II Phịng Phần Mềm, Cơng ty thiết kế Renesas Việt Nam 81 ... sâu Ảnh màu Ảnh chiều sâu Uốn cong 3D dựa chiều sâu Trộn ảnh trái phải Lấp chỗ trống sau ghép ảnh Ảnh tổng hợp góc nhìn ảo Hình 2.6: Sơ đồ tổng hợp ảnh trung gian dựa chiều sâu Bước tổng hợp ảnh. .. lượng ảnh sau tổng hợp  Tổng kết đánh giá kết nghiên cứu liên quan đến tổng hợp ảnh cho ứng dụng 3DV đa góc nhìn  Sử dụng phần mềm thao khảo VSRS phiên 3.5 để tổng hợp ảnh theo phương pháp dựa chiều. .. cứu: ? ?Tổng hợp ảnh dựa chiều sâu để hỗ trợ ứng dụng đa góc nhìn? ?? đề xuất 1.2 Phạm vi nghiên cứu 1.2.1 Đối tƣợng nghiên cứu Ảnh trung gian (Intermediate View) tổng hợp từ cặp máy ảnh liền kề cách