CHƯƠNG 4 : KẾT QUẢ THỬ NGHIỆM VÀ BÀN LUẬN
4.2. Đối sánh ảnh và khôi phục thông tin 3 chiều
4.2.2. Đối sánh ảnh và lấy độ sâu
Đối sánh cho toàn bộ các điểm ảnh được tiến ảnh trên cặp ảnh đã được chỉnh sửa. Chiều rộng và chiều cao của cửa sổ tìm kiếm tương ứng bằng ¼ chiều rộng và chiều cao của ảnh, kích cỡ cửa sổ tương quan là 9x9. Hàm giá tương quan SAD [3.9]
được sử dụng để tính độ lệch tuyệt đối cường độ mức xám riêng cho từng thành phần màu RGB.
Sau khi tổng hợp các thành phần màu riêng biệt độ lệch của các cặp điểm ảnh trong toàn bộ 2 ảnh hay nói cách khác từng cặp điểm ảnh tương ứng giữa 2 ảnh đã được xác định. Từ cặp các điểm đối sánh áp dụng thuật toán tối ưu tam giác được file kết quả gồm có 414.720 điểm 3 chiều. Chúng tôi thiết kế một module hiển thị thực hiện texture ảnh gốc vào tập các điểm 3 chiều vừa được tìm ra và được mô hình 3 chiều của cặp ảnh đầu vào biểu diễn ở hình 4.4.
Module thực hiện việc đối sánh tìm ra độ chênh lệch (hay cặp điểm đối sánh) dựa trên việc lấy giá trị nhỏ nhất của hàm tương quan SAD trong khi ảnh chưa được xử
KẾT LUẬN Kết quảđạt được
Luận văn đã nêu tổng quan về một số vấn đề xung quanh bài toán dựng mô hình 3 chiều, xuất phát từ việc tổng hợp ảnh 3 chiều của hệ thống thị giác của con người từ đó đi vào các mô hình toán, phương pháp và kĩ thuật tổng hợp ảnh 3 chiều của máy tính, xét đến một số khái niệm liên quan, các dạng ứng dụng của các thông tin 3 chiều.
Luận văn tập trung vào tìm hiểu một qui trình phục hồi thông tin 3 chiều từ hai ảnh
đầu vào. Nêu các bước chính trong qui trình này. Trong mỗi bước nêu lên các cơ sở
phương pháp luận các kĩ thuật liên quan và đi sâu vào một kĩ thuật nào đó. Các bước được trình bày liền mạch tạo thành một qui trình phục hồi thông tin 3 chiều một cách trọn vẹn.
Từ những phân tích và nghiên cứu trên, luận văn đã lựa chọn và đi sâu vào triển khai kĩ thuật trích chọn điểm góc SUSAN trong bước trích chọn đặc trưng, dùng kĩ
thuật đối sánh cửa sổ tương quan khi đối sánh các điểm đặc trưng cũng như toàn bộ điểm ảnh. Cuối cùng phục hồi thông tin 3 chiều từ tập các cặp điểm đối sánh dựa vào thuật toán tam giác tối ưu.
Kết quả đạt được là các module trong bộ công cụ dựng mô hình 3 chiều:
• Module chỉnh sửa cặp ảnh đầu vào sao cho các đường epipolar song song với nhau và song song với đường cơ bản.
• Module đối sánh cặp ảnh chỉnh sửa đầu vào lấy ra các cặp đối sánh trên toàn bộảnh.
• Cài đặt thuật toán tam giác tối ưu lấy ra thông tin về độ sâu của từng cặp
điểm đối sánh.
• Cài đặt module texture ảnh gốc vào tập các điểm 3 chiều để đưa ra mô hình 3 chiều kết quả.
Hạn chế của luận văn
Có rất nhiều kĩ thuật, phương pháp giải quyết vấn đề trong từng bước của bài toán dựng hình 3 chiều từảnh chụp chưa được xem xét đến. Các kĩ thuật nghiên cứu sâu
ở từng bước chưa phải là những kĩ thuật tối ưu nhất hiện nay. Như trong việc chỉnh sửa ảnh ngoài việc chỉnh sửa ảnh bằng việc chuyển sang hệ trục tạo độ cực, còn có việc biến đổi ảnh theo mặt phẳng, theo trụ… Hiện bài toán đối sánh được chia thành nhiều loại với nhiều thuật toán khác nhau ở từng loại. Luận văn mới chỉ nghiên cứu và sử dụng giải pháp dùng cửa sổ tương quan để tìm điểm đối sánh. Bên cạnh đó việc xử lý nhiễu của cặp ảnh đầu vào chưa tốt.
Một số module chưa được giải quyết trọn vẹn. Các module đã hoàn thành thì còn chậm đặc biệt là module khôi phục điểm 3 chiều bằng thuật toán tam giác.
Định hướng phát triển tiếp đề tài
Tối ưu hoá các module đã triển khai được nhằm giảm bớt thời gian tính toán, xử lý các trường hợp riêng đặc biệt có thể xảy ra đối với cặp ảnh đầu vào nhằm dưa ra kết quả chính xác hơn và nhanh hơn.
Hoàn thiện và tối ưu các module trong bước tiền xử lý để tạo bộ công cụ hoàn chỉnh.
Tìm kiếm, nghiên cứu và sử dụng các phương pháp, kĩ thuật tiên tiến và tối ưu hơn cho từng bước dựng mô hình 3 chiều.
Tiếp theo chúng tôi sẽ tìm hiểu bài toán dựng mô hình 3 chiều từ chuỗi nhiều hơn 2
ảnh chụp: nghiên cứu các phương pháp, kĩ thuật liên quan cũng như triển khai các module để có được một sản phẩm hoàn chỉnh có thể ứng dụng được.
TÀI LIỆU THAM KHẢO Tài liệu Tiếng Anh:
[1] C. Harris and M. Stephens, (1988), “A combined corner and edge detector, Fourth Alvey Vision Conference”, tr.147-151.
[2] Guelch E., (1988), “Results of Test on Image Matching of ISPRS WG III/4”,
Institute of Photogrammetry, University of Stuttgart.
[3] H. K. Nishihara. PRISM, (1984), “A Practical Real-Time Imaging Stereo matcher”, Technical Report A.I. Memo 780, MIT, Cambridge, MA.
[4] H. P. Moravec, (1979), “Visual mapping by a robot rover”, In Proc. of the 6th International Joint Conference on Artificial Intelligence, tr. 598—600.
[5] H. P. Moravec, (1977), “Towards automatic visual obstacle avoidance”, In Proc. of the International Joint Conference on Artificial Intelligence, tr. 584.
[6] H. Wang và J.M. Brady, (1992), “Corner detection with subpixel accuracy”,
Technical Report OUEL 1925/92, Dept. Engineering Science, University of Oxford.
[7] L. Kitchen và A. Rosenfeld, (1982), “Gray-level corner detection. Pattern Recognition Letters”, tr. 95-102.
[8] M. Polleyfeys, R. Koch, M. Vergauwen, and L. Van Gool. “A simple and efficient rectification method for general motion”. In Proceedings of International Cenference on Computer Vision.
[9] O. D. Faugeras, (1992), “What can be seen in three dimensions with an unclibrated stereo rig?”, In European conference on computer vision.
[10] P. E. Debevec, C.J. Taylor and J.Malik, (1996), “Modeling and rendering architecture from photographs. A hybrid geometry and image-based approach”. In
SIGGRAPH’96 Computer Graphics Proceeding, Annual Conference Series. [11] Philippe Leclercq and John Morris, “Asessing Stereo Algorithm Accuracy”
[12] Q. T. Luong and T. Viéville, (1996), “Canonical representations for geometries of multiple projective views”, Computer vision and Image Understanding, vol. 64, no. 2
[13] Q. Zheng, R. Chellappa and B. S. Manjunath, (1991), “Balloon motion estimation using two frame”, In Proc 25th Asilomar Conference on Signals, Systems and Computers, tr.1057-1061, Pacific Grove, CA.
[14] R. Hartley, (1993), “Cheirality invariants”. In Proc. DARPA Image Understanding Workshop, tr. 743-753.
[15] Richard Hartley and Andrew Zisserman, (2000), Multiple View Geometry in computer vision, University Press, Cambridge, United Kingdom.
[16] R. I. Hartley, (1995), “Theory and practice of projective rectification”,
Technical Report 2538, INRIA.
[17] R. I. Hartley and R. Gupta, (1993), “Computing matched epipolar projections”, In Proc. CVPR, tr. 549-555, New York.
[18] R. I. Hartley, (1992), “Estimation of relative camera positions for uncalibrated cameras”, In European conference on computer vision.
[19] R. Sablatnig and M. Kampel, (2001), “Computing relative disparity maps from stereo images”.
[20] R. Sébastien, J. Meunier and J. C. Ingemar, (1997), “Cylindrical rectification to minimize epipolar distortion”. In Proc. ICVPR, tr. 393-399.
[21] S. M. Smith and J. M. Brady. “SUSAN - a new approach to low level image processing”.
[22] T. Kanade and M. Okutomi, (1994), “A Stereo Matching Algorithm with an adaptive window: Theory and Experiment”.
[23] Zhengyou Zhang, Rachid Deriche, Olivier Faugeras and Quang-Tuan Luong, (2004) “A Robust technique for matching two uncalibrated Images Through the Recovery of the Unknown Epipolar Geometry”.
[24] http://www.biology-online.org/dictionary/vision_disparity [25] http://public.lanl.gov/mewall/kluwer2002.html [26] http://www1.cs.columbia.edu/~jebara/htmlpapers/SFM/node8.html [27] http://www.the3dstudio.com/ [28] http://www1.cs.columbia.edu/~jebara/htmlpapers/SFM/node8.html [29] http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/OWENS/LECT11/n ode5.html [30] http://www.fmrib.ox.ac.uk/~steve/susan/susan/node10.html Mã nguồn và công cụ hỗ trợ: [31] http://www.cv.iit.nrc.ca/~gerhard/PVT/toc.html
PHỤ LỤC