Nghiên cứu kỹ thuật ghép ảnh panorama từ nhiều đối tượng ảnh

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN NGỌC TUẤN C C R L T NGHIÊN CỨU KỸ THUẬT GHÉP ẢNH DU PANORAMA TỪ NHIỀU ĐỐI TƯỢNG ẢNH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2021 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN NGỌC TUẤN NGHIÊN CỨU KỸ THUẬT GHÉP ẢNH C C PANORAMA TỪ NHIỀU ĐỐI TƯỢNG ẢNH R L T DU Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS TRẦN THẾ VŨ Đà Nẵng – Năm 2021 -i- LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn trực tiếp TS Trần Thế Vũ Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả C C DU R L T Trần Ngọc Tuấn -ii- TÓM TẮT ĐỀ TÀI NGHIÊN CỨU KỸ THUẬT GHÉP ẢNH PANORAMA TỪ NHIỀU ĐỐI TƯỢNG ẢNH Học viên: Trần Ngọc Tuấn Chuyên ngành: Khoa học máy tính Mã số: 8480101 Khóa: 36 Trường Đại học Bách khoa – ĐHĐN Tóm tắt – Cắt ghép hình ảnh công nghệ giải giới hạn tầm quan sát ảnh, hình ảnh với góc nhìn rộng tạo nhiều hình ảnh C C chồng lên sử dụng nhiều lĩnh vực khác xử lý hình ảnh, thị giác máy tính, đa phương tiện giải trí Việc ghép hình R L T ảnh trước tiên tính tốn điểm liên kết tương ứng nhiều hình DU ảnh chồng chéo, làm biến dạng chỉnh hình ảnh phù hợp, sau trộn hình ảnh chỉnh để tạo hình ảnh có góc nhìn rộng Tuy nhiên ghép ảnh phải đối mặt với thách thức lâu dài đường sở rộng, thị sai lớn kết cấu thấp vùng chồng lấn Các công nghệ mang lại hội để giải vấn đề Luận văn bao gồm nội dung sau: (1) Nghiên cứu tổng quan hình ảnh (2) Giải pháp đề xuất chỉnh cắt ghép hình ảnh (3) Triển khai nhận xét Từ khóa – Ghép ảnh, ghép hình tồn cảnh, đăng ký, chỉnh, tối ưu hoá lưới -iii- TECHNICAL RESEARCH COMBINING PANORAMA IMAGES FROM MULTIPLE IMAGES Abstract - Image stitching is a technology for solving the field of view (FOV) limitation of images It stitches multiple overlapping images to generate a wide-FOV image, and has been used in various fields such as image processing, computer vision, multimedia, and entertainment Image stitching first calculates the corresponding relationships between multiple overlapping images, deforms and aligns the matched images, and then blends the aligned images to generate a wide FOV image C C However, Image stitching faces long-term challenges such as wide R L T baseline, large parallax, and low-texture problem in the overlapping region New technologies may present new opportunities to address these issues DU The thesis includes the following contents: (1) Research about the Image stitching (2) The solution to stitch multiple overlapping images to generate a panorama (3) Deploy, analyze and evaluate the results of the system Key words - Image stitching, Panoramic stitching, Registration, Alignment, Mesh optimization -iv- MỤC LỤC LỜI CAM ĐOAN i TÓM TẮT ĐỀ TÀI ii MỤC LỤC iv DANH MỤC CÁC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU viii DANH MỤC TỪ VIẾT TẮT ix MỞ ĐẦU 1 LÝ DO CHỌN ĐỀ TÀI MỤC TIÊU VÀ NHIỆM VỤ C C 2.1 Mục tiêu 2.2 Nhiệm vụ R L T ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 3.1 Đối tượng DU 3.2 Phạm vi nghiên cứu PHƯƠNG PHÁP NGHIÊN CỨU 4.1 Phương pháp nghiên cứu tài liệu 4.2 Phương pháp nghiên cứu thực nghiệm BỐ CỤC LUẬN VĂN CHƯƠNG NGHIÊN CỨU TỔNG QUAN 1.1 TỔNG QUAN VỀ ẢNH SỐ 1.1.1 Ảnh số 1.1.2 Điểm ảnh 1.1.3 Mức xám ảnh 1.1.4 Lược đồ mức xám 1.1.5 Độ phân giải ảnh 1.2 MỘT SỐ VẤN ĐỀ TRONG XỬ LÝ ẢNH 1.2.1 Phân tích ảnh 1.2.2 Nhận dạng ảnh -v- 1.2.3 Nén ảnh 1.2.4 Biến đổi ảnh 1.2.5 Biểu diễn ảnh 1.3 CÁC ĐẶC TRƯNG CỦA ẢNH SỐ 1.3.1 Đặc trưng toàn cục cục 1.3.2 Đặc trưng màu sắc 1.3.3 Đặc trưng kết cấu 1.3.4 Đặc trưng hình dạng 10 1.3.5 Đặc trưng cục bất biến 10 1.4 ĐỐI SÁNH ẢNH 11 1.4.1 Giới thiệu 11 C C 1.4.2 Các phương pháp đối sánh ảnh 12 R L T CHƯƠNG 2: CĂN CHỈNH VÀ CẮT GHÉP HÌNH ẢNH 16 2.1 TỔNG QUAN VỀ CĂN CHỈNH VÀ CẮT GHÉP HÌNH ẢNH 16 DU 2.2 MƠ HÌNH CHUYỂN ĐỘNG 18 2.2.1 Chuyển động 2D 19 2.2.2 Biến đổi 3D 21 2.3 PHƯƠNG PHÁP GHÉP ẢNH 26 2.3.1 Phương pháp dựa Pixel 27 2.3.2 Phương pháp dựa đặc trưng 30 2.3.3 Phương pháp tạo ảnh Panorama 35 2.4 KẾT LUẬN VÀ SO SÁNH 39 CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 42 3.1 ĐẶC TẢ CHƯƠNG TRÌNH 42 3.2 LỰA CHỌN CÔNG CỤ 42 3.2.1 Ngôn ngữ Python 42 3.2.2 Cấu trúc chương trình 44 3.3 CÁC BƯỚC TRIỂN KHAI 45 3.3.1 Trích chọn điểm đặc trưng 45 -vi- 3.3.2 Tạo ảnh panorama 48 3.4 ĐÁNH GIÁ 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 56 TÀI LIỆU THAM KHẢO 57 C C DU R L T -vii- DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Cường độ sáng ảnh đầu vào thể lược đồ xám Hình 1.2 Đặc trưng ảnh tồn cục đặc trưng ảnh cục Hình 2.1 Ánh xạ từ toạ độ pixel sang toạ độ thiết bị chuẩn hóa 18 Hình 2.2 Tập hợp phép biến đổi 2D 19 Hình 2.3 Phép chiếu trung tâm .21 Hình 2.4 Một điểm chiếu thành hai hình ảnh 23 Hình 2.5 Quay camera 3D túy 24 Hình 2.6 Căn chỉnh dải đăng ký từ ba hình ảnh 28 Hình 2.7 Vùng chênh lệch (ROD) 29 C C Hình 2.8 Cấu trúc mơ tả Sift 31 Hình 2.9 Phân loại đường ghép dựa đặc điểm 32 R L T Hình 2.10 Biến dạng chỉnh hình ảnh dựa lưới 34 DU Hình 2.11 Thuật toán SIFT 37 Hình 2.12 Thuật toán tạo Panorama .38 Hình 3.1 Hình thử nghiệm 45 Hình 3.2 Hình ảnh đánh dấu keypoint 46 Hình 3.3 Ảnh đối sánh 47 Hình 3.4 Ảnh panorama ghép thô .48 Hình 3.5 Cửa sổ làm mịn phiên bên trái 49 Hình 3.6 Cửa sổ làm mịn phiên bên phải 50 Hình 3.7 Ảnh kết cuối 51 Hình 3.8 Ví dụ ghép ảnh 51 Hình 3.9 Ví dụ ghép ảnh 52 Hình 3.10 Ví dụ ghép ảnh 53 Hình 3.11 Ví dụ ghép ảnh 53 Hình 3.12 Ví dụ ghép ảnh 54 Hình 3.13 Tập liệu thực nghiệm 55 -viii- DANH MỤC BẢNG BIỂU Bảng 2.1 Phân cấp phép biến đổi toạ độ 2D .20 Bảng 2.2 So sánh phương pháp trực tiếp 39 Bảng 2.3 So sánh phương pháp dựa đặc trưng khác 41 C C DU R L T -57- TÀI LIỆU THAM KHẢO [1] Szeliski R “Image Alignment and Stitching: A Tutorial” Foundations and Trends® in Computer Graphics and Vision, 2007 [2] Kaynig V, Fischer B, Buhmann J M "“Probabilistic image registration and anomaly detection by nonlinear warping,” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition," Anchorage, Alaska, USA, 2008, pp 1-8 [3] Prof C S Gode and Ms A N Ganar, 2014, “Image Retrieval by Using Color, texture and shape features” C C [4] Peleg S, Rousso B, Rav-Acha A, Zomet A “Mosaicing on adaptive R L T manifolds IEEE Transactions on Pattern Analysis and Machine Intelligence”, 2000, pp 1144–1154 DU [5] Levin A, Zomet A, Peleg S, Weiss Y "“Seamless image stitching in the gradient domain.” In: Computer Vision-ECCV 2004", Berlin, Heidelberg Springer Berlin Heidelberg, 2004, pp 377–389 [6] Zomet A, Levin A, Peleg S, Weiss Y “Seamless image stitching by minimizing false edges”, IEEE Transactions on Image Processing, 2006, pp 969–977 [7] Jia J, Tang C K "“Eliminating structure and intensity misalignment in image stitching”, In: Tenth IEEE International Conference on Computer Vision" Beijing, China, 2005, pp 1651–1658 [8] Brown M, Lowe D G "“Recognizing Panoramas”, In: Proceedings of the IEEE International Conference on Computer Vision", Nice, France, 2003, pp 1218 [9] Brown M, Lowe D G “Automatic panoramic image stitching using invariant features”, International Journal of Computer Vision, 2007, pp 59–73 -58- [10] Gao J, Kim S J, Brown M S "“Constructing image panoramas using dual- homography warping,” In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition", Colorado Springs, CO, USA, 2011, pp 49–56 [11] S Peleg and A Rav Acha, "“Lucas-Kanade without iterative warping,” in International Conference on Image Processing,"Atlanta, 2006, pp 1097– 1100 [12] Lin W Y, Liu S, Matsushita Y, Ng T T, Cheong L F "“Smoothly varying affine stitching,” In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition," Colorado Springs, CO, USA, 2011, pp 345–352 C C [13] Zaragoza J, Chin T J, Brown M S, Suter D "“As-projective-as-possible R L T image stitching with moving DLT,” In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition," Portland, OR, USA, 2013, pp 2339–2346 DU [14] OpenGL-ARB, “OpenGL Reference Manual: The Official Reference Document to OpenGL, Version 1.1.”, Second Edition, Addison-Wesley, Reading, MA,1997 [15] A Watt, “3D Computer Graphics.” Addison-Wesley, Third Edition, 1995 [16] R I Hartley and A Zisserman, “Multiple View Geometry.” Cambridge, UK: Cambridge University Press, March 2004 [17] S Mann and R W Picard, "“Virtual bellows: Constructing high-quality images from video,” in First IEEE International Conference on Image Processing (ICIP-94)," Austin, vol I, 1994, pp 363–367 [18] H.-Y Shum and R Szeliski, “Construction of panoramic mosaics with global and local alignment,” International Journal of Computer Vision, vol 36, no 2, pp 101–130, 2000, Erratum published July 2002, vol 48, no 2, pp 151–152, 2000 -59- [19] M Okutomi and T Kanade, “A multiple baseline stereo,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 15, no 4, 1993, pp 353– 363 [20] Szeliski R, Shum H Y "“Creating full view panoramic image mosaics and texture-mapped models.” In: SIGGRAPH Los Angeles, " 1997, pp 251–258 [21] Lee J, Kim B, Kim K, Kim Y, Noh J “Rich360: optimized spherical representation from structured panoramic camera arrays,” ACM Transactions on Graphics (TOG), 2016, pp 1–11 [22] Zhang Z “A flexible new technique for camera calibration.” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, pp 1330– 1334 C C [23] Zhi Q, Cooperstock J R “Toward dynamic image mosaic generation with R L T robustness to parallax,” IEEE Transactions on Image Processing, 2012, pp 366–378 DU [24] Uyttendaele M, Eden A, Skeliski R "“Eliminating ghosting and exposure artifacts in image mosaics,” In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition." Kauai, HI, USA, 2001 [25] Lowe D G “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, 2004, pp 91–110 [26] Harris C, Stephens M "“A combined corner and edge detector,” In: Proceedings of Alvey vision conference," Manchester, UK, 1988 [27] Bay H, Ess A, Tuytelaars T, Van Gool L “Speeded-Up Robust Features (SURF),” Computer Vision and Image Understanding, 2008, pp 346–359 [28] Rosten E, Drummond T "“Machine Learning for High-Speed Corner Detection,” In: Computer Vision – ECCV 2006," Berlin, Heidelberg: Springer Berlin Heidelberg, 2006, pp 430–443 [29] Liu W X, Chin T J “Correspondence Insertion for As-Projective-As- Possible Image Stitching”, 2016 -60- [30] Chang C H, Sato Y, Chuang Y Y "“Shape-preserving half-projective warps for image stitching,” In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition," Columbus, OH, USA, 2014, pp.3254– 3261 [31] Lin K, Jiang N, Cheong L-F, Do M, Lu J "“Seagull: seam-guided local alignment for parallax-tolerant image stitching,” In: Computer Vision – ECCV 2016," Cham: Springer International Publishing, 2016, pp 370–385 [32] Herrmann C, Wang C, Bowen R S, Keyder E, Zabih R "“Object-Centered Image Stitching,” In: Computer Vision – ECCV 2018," Springer International Publishing, 2018, pp 846–861 [33] Bujnák M, Sara R "“A robust graph-based method for the general C C correspondence problem demonstrated on image stitching,” In:2007 IEEE R L T 11th International Conference on Computer Vision," Rio de Janeiro, Brazil, 2007 DU [34] Šára R “The principle of stability applied to matching problems in computer vision,” 2007 Center for Machine Perception, Czech Technical University, 2007 [35] Collins R T "“A space-sweep approach to true multi-image matching,” In: Proceedings CVPR IEEE Computer Society Conference on Computer Vision and Pattern Recognition," San Francisco, CA, USA, 1996, pp 358– 363 [36] Boykov Y, Kolmogorov V “An experimental comparison of min-cut/max flow algorithms for energy minimization in vision,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, pp 1124–1137 [37] Lin C C, Pankanti S U, Natesan Ramamurthy K, Aravkin A Y "“Adaptive as-natural-as-possible image stitching,” In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition," Boston, MA, USA, 2015, pp 1155–1163 -61- [38] Li N, Xu Y, Wang C “Quasi-homography warps in image stitching,” IEEE Transactions on Multimedia, 2018, pp.1365-1375 [39] Zhang F, Liu F "“Parallax-tolerant image stitching,” In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition," Columbus, OH, USA, 2014, pp 3262–3269 [40] Liu F, Gleicher M, Jin H, Agarwala A "“Content-preserving warps for 3D video stabilization,” In: Acm Siggraph," 2009, pp 1–9 [41] Gao J, Li Y, Chin T J, Brown M S "“Seam-Driven Image Stitching,” In: Proceedings of Euro-Graphics," Girona, Spain, 2013, pp 45–48 [42] Ren S, He K, Girshick R, Sun J Faster "“R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” In: International Conference on C C Neural Information Processing Systems," 2015, pp 91–99 R L T [43] Herrmann C, Wang C, Bowen R S, Keyder E, Krainin M, Liu C, Zabih R "“Robust Image Stitching with Multiple Registrations,” In: Computer Vision DU – ECCV 2018," Munich, Germany: Cham: Springer International Publishing, 2018, pp 53–69 [44] Chen Y S, Chuang Y Y "“Natural Image Stitching with the Global Similarity Prior,” In: Computer Vision - ECCV 2016," Cham: Springer International Publishing, 2016, pp 186–201 [45] Zhang G, He Y, Chen W, Jia J, Bao H “Multi-Viewpoint Panorama Construction With Wide-Baseline Images,” IEEE Transactions on Image Processing, 2016, pp 3099–3111 [46] Xiang T Z, Xia G S, Bai X, Zhang L “Image stitching by line-guided local warping with global similarity constraint,” Pattern Recognition, 2018, pp 481–497 [47] Barnes C, Shechtman E, Finkelstein A, Goldman D B “PatchMatch: a randomized correspondence algorithm for structural image editing,” ACM Trans Graph 2009, pp 1–11 C C DU R L T C C U D R L T C C U D R L T C C DU R L T C C DU R L T C C U D R L T C C U D R L T C C U D R L T C C U D R L T U D L T C C R ... thuật tốn ghép hình ảnh từ đưa giải pháp ứng dụng để ghép ảnh panorama 2.2 Nhiệm vụ - Nghiên cứu đặc trưng ảnh số phương pháp phân tích đối sánh ảnh - Nghiên cứu thuật toán phương pháp ghép ảnh. .. ảnh - Các phương pháp ghép ảnh 3.2 Phạm vi nghiên cứu Nghiên cứu thuật toán ghép ảnh phương pháp ghép ảnh PHƯƠNG PHÁP NGHIÊN CỨU 4.1 Phương pháp nghiên cứu tài liệu - Tìm hiểu báo ngồi nước ghép. .. demo ứng dụng để ghép ảnh panorama ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 3.1 Đối tượng C C R L T - Các hình ảnh kỹ thuật số chất lượng cao - Các thuật tốn kỹ thuật nhận dạng, chỉnh hình ảnh DU - Các phương