ỨNG DỤNG KỸ THUẬT SFM ĐỂ TẠO ẢNH 3D

TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN ĐIỆN TỬ TRẦN VĂN HÀ ỨNG DỤNG KỸ THUẬT SFM ĐỂ TẠO ẢNH 3D ĐỒ ÁN TỐT NGHIỆP ĐÀ NẴNG, NĂM 2022 TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP Đề tài ỨNG DỤNG KỸ THUẬT SFM ĐỂ TẠO ẢNH 3D. MỤC LỤC MỞ ĐẦU................................................................................................................1 CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI.............................................................3 1.1 MỘT SỐ KHÁI NIỆM...................................................................................3 1.1.1 Điểm ảnh và ảnh ......................................................................................3 1.1.2 Độ phân giải của ảnh................................................................................3 1.1.3 Mức xám của ảnh (Gray level) .................................................................3 1.1.4 Cấu trúc của ảnh số ..................................................................................4 1.1.5 Phân loại ảnh số .......................................................................................4 1.1.6 Hệ màu RGB............................................................................................5 1.2 HÌNH ẢNH 3D ..............................................................................................6 1.2.1 Khái niệm 3D...........................................................................................6 1.2.2 Đồ họa 3D................................................................................................6 1.2.3 Nguyên lý chung ......................................................................................7 1.3 CÁC PHƯƠNG PHÁP TÁI TẠO ẢNH .........................................................7 1.3.1 Phương pháp thụ động .............................................................................7 1.3.2 Các phương pháp tái tạo một góc nhìn .....................................................7 1.4 Ứng dụng .......................................................................................................8 CHƯƠNG 2: KỸ THUẬT TẠO ẢNH 3D.......................................................... 11 2.1 Cấu trúc từ chuyển động (SFM) ................................................................... 11 2.1.1 Khái niệm cấu trúc từ chuyển động ........................................................ 11 2.1.2 Tóm tắt kỹ thuật SFM ............................................................................ 12 2.2 Kỹ thuật thực hiện cấu trúc từ chuyển động.................................................. 16 2.2.1 Hiệu chỉnh máy ảnh ............................................................................... 16 2.2.2 Trích chọn đặc trưng và đối sánh các điểm............................................. 18 2.2.3 Thuật toán RANSAC ............................................................................. 26 2.2.4 Hình học Epipolar .................................................................................. 27 2.2.5 Phép đạc tam giác .................................................................................. 29 2.2.6 Phương pháp điều chỉnh nhóm ............................................................... 30 CHƯƠNG 3: KẾT QUẢ ..................................................................................... 33 3.1 Công cụ thực hiện ........................................................................................ 33 3.2 Thuật toán tái tạo mô hình 3D ...................................................................... 34 3.3 Đối tượng..................................................................................................... 35 3.4 Kết quả các bước thực hiện .......................................................................... 36 KẾT LUẬN.......................................................................................................... 40 TÀI LIỆU THAM KHẢO................................................................................... 41

TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN- ĐIỆN TỬ TRẦN VĂN HÀ ỨNG DỤNG KỸ THUẬT SFM ĐỂ TẠO ẢNH 3D ĐỒ ÁN TỐT NGHIỆP ĐÀ NẴNG, NĂM 2022 TRƯỜNG ĐẠI HỌC DUY TÂN KHOA ĐIỆN- ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP Đề tài: ỨNG DỤNG KỸ THUẬT SFM ĐỂ TÁI TẠO ẢNH 3D CHUYÊN NGÀNH: ĐIỆN TỬ - VIỄN THÔNG GVHD SVTH LỚP MSSV : ThS NGUYỄN LÊ MAI DUYÊN : TRẦN VĂN HÀ : K23EVT : 2321122012 ĐÀ NẴNG 2022 LỜI CẢM ƠN Đầu tiên em xin gửi lời cảm ơn sâu sắc tới cô Th.S Nguyễn Lê Mai Duyên Người hướng dẫn, tận tình bảo, giúp đỡ em thực đề tài Trong trình thực đồ án, giúp đỡ tận tình Th.S Nguyễn Lê Mai Dun em tiếp thu nhiều kiến thức quý báu giúp em nhiều trình học tập làm việc tương lai Em xin bày tỏ lòng biết ơn đến Quý Thầy, Cô – Trường Đại Học Duy Tân, thầy cô trực tiếp giảng dạy truyền đạt kiến thức cho em, tạo điều kiện giúp đỡ em trình học tập nghiên cứu Trong trình thực đề tài em chưa có nhiều kinh nghiệm nên khơng tránh khỏi sai sót Mong nhận góp ý thầy (cơ) để hồn thiện Một lần em xin chân thành cảm ơn giúp đỡ quý thầy (cơ) q trình thực để em hồn thành tốt đồ án Sinh viên thực TRẦN VĂN HÀ NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… Đà Nẵng, ngày…, tháng…, năm 2022 Giảng viên hướng dẫn Th.S Nguyễn Lê Mai Duyên LỜI CAM ĐOAN Tôi xin cam đoan đồ án tổng quát lại kết q trình nghiên cứu tơi hướng dẫn trực tiếp cô Th.S Nguyễn Lê Mai Duyên Các số liệu, hình ảnh, thơng tin đồ án trung thực, tơi tìm hiểu, tham khảo từ nhiều nguồn tư liệu Đồ án không chép đồ án có từ trước Nếu phát có gian lận tơi xin hồn toàn chịu trách nhiệm nội dung đề tài Trường đại học Duy Tân khơng liên quan đến vi phạm tác quyền, quyền gây q trình thực (nếu có) Đà Nẵng, ngày…, tháng…, năm 2022 Người cam đoan TRẦN VĂN HÀ MỤC LỤC MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI 1.1 MỘT SỐ KHÁI NIỆM 1.1.1 Điểm ảnh ảnh 1.1.2 Độ phân giải ảnh 1.1.3 Mức xám ảnh (Gray level) 1.1.4 Cấu trúc ảnh số 1.1.5 Phân loại ảnh số 1.1.6 Hệ màu RGB 1.2 HÌNH ẢNH 3D 1.2.1 Khái niệm 3D 1.2.2 Đồ họa 3D 1.2.3 Nguyên lý chung 1.3 CÁC PHƯƠNG PHÁP TÁI TẠO ẢNH 1.3.1 Phương pháp thụ động 1.3.2 Các phương pháp tái tạo góc nhìn 1.4 Ứng dụng CHƯƠNG 2: KỸ THUẬT TẠO ẢNH 3D 11 2.1 Cấu trúc từ chuyển động (SFM) 11 2.1.1 Khái niệm cấu trúc từ chuyển động 11 2.1.2 Tóm tắt kỹ thuật SFM 12 2.2 Kỹ thuật thực cấu trúc từ chuyển động 16 2.2.1 Hiệu chỉnh máy ảnh 16 2.2.2 Trích chọn đặc trưng đối sánh điểm 18 2.2.3 Thuật toán RANSAC 26 2.2.4 Hình học Epipolar 27 2.2.5 Phép đạc tam giác 29 2.2.6 Phương pháp điều chỉnh nhóm 30 CHƯƠNG 3: KẾT QUẢ 33 3.1 Công cụ thực 33 3.2 Thuật tốn tái tạo mơ hình 3D 34 3.3 Đối tượng 35 3.4 Kết bước thực 36 KẾT LUẬN 40 TÀI LIỆU THAM KHẢO 41 DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT Nghĩa Thuật ngữ, kí hiệu SIFT Scale-Invariant Feature Transform SURF Speed Up Robust Feature RANSAC Random Sample Consensus CGA Color Graphic Adaptor SFM Structure from motion BA Bundle adjustment 3D Dimension DANH MỤC BẢNG Bảng 3.1: Đối tượng thu thập từ điện thoại cá nhân máy ảnh chuyên nghiệp 35 Bảng 3.2: Kết bước thực 36 Bảng 3.3: Một số kết khơng hồn thiện lúc thực nghiệm 37 Bảng 3.4: Thống kê kết thực 38 DANH MỤC HÌNH ẢNH Hình 1.1: Minh họa ảnh số Hình 1.2: Biểu diễn ảnh số ma trận hai chiều Hình 1.3: Thang màu xám Hình 1.4: Ví dụ việc chia ảnh màu RBG thành kênh màu ảnh xám tương đương kênh màu Hình 1.5: Ghép màu hệ RGB Hình 1.6: Minh họa ảnh 3D Hình 1.7: Mơ mơ hình 3D Hình 1.8: Ứng dụng việc tái tạo 3D lĩnh vực y khoa Hình 1.9: Ứng dụng việc tái tạo 3D lĩnh vực xe tự lái Hình 1.10: Ứng dụng việc bảo tồn di sản văn hóa 10 Hình 2.1: Mơ kỹ thuật cấu trúc từ chuyển động (SFM) 11 Hình 2.2: Sơ đồ khối kỹ thuật SFM 12 Hình 2.3: Điểm x biểu diễn song song tọa độ Oxy Oxyz 12 Hình 2.4: Hình chiếu điểm X qua điểm x1, x2, x3 14 Hình 2.5: Sử dụng phép đạc tam giác để tìm tọa độ điểm 3D 14 Hình 2.6: Tọa độ điểm 3D từ ảnh kề 15 Hình 2.7: Sự chuyển đổi khung tọa độ khôn gian qua khung tọa độ máy ảnh 17 Hình 2.8: Mơ tả trích chọn đặc trưng 20 Hình 2.9: Q trình tính khơng gian đo (L) hàm sai khác D 22 Hình 2.10: Quá trình tìm điểm cực trị hàm sai khác DoG 23 Hình 2.11: Minh họa bước trình lựa chọn điểm bật 24 Hình 2.12: Mô tả tạo mô tả cục 26 Hình 2.13: Thuật tốn RANSAC ước lượng mơ hình đường thẳng 27 Hình 2.14: Các yếu tố hình học Epipolar 28 Hình 2.15: Trường hợp lý tưởng phép đạc tam giác 29 Hình 2.16: Trường hợp thực tế phép đạc tam giác 29 Hình 3.1: Biểu đồ tỉ lệ trung bình điểm đặc trưng khớp ảnh 39 MỞ ĐẦU Lý chọn đề tài: Ý tưởng vật dụng hay đồ vật hiển thị không gian chiều ngày nhiều Trong phim điện ảnh, thăm dò địa chất, đồ, trò chơi điện tử [1],[2], chuyến tham quan ảo [3], … cần có cơng nghệ hỗ trợ để xác định vị trí đồ vật, đồ dùng có độ tin cậy cao Hình ảnh 3D tái tạo lại ảnh 2D chụp nhiều góc độ khác đối tượng Áp dụng thuật tốn sau sử dụng phép biến đổi hình học, phép chiếu để hiển thị đối tượng thực máy tính khơng gian chiều Nhờ phát triển kỹ thuật mở kỷ nguyên công nghệ 3D, tiềm để phát triển công nghệ vô hạn Trong phim 3D, trải nghiệm phim mà cảnh vật, đối tượng sống động, chân thật với góc quay diễn thực tế Cũng ứng dụng tái tạo 3D thiết bị di động [4 - 6] Các nghiên cứu y khoa [7] nhờ công nghệ mà phát triển mạnh mẽ Thành công việc ứng dụng công nghệ độc đáo vào phim hay, đồ 3D, lưu trữ vật thể có giá trị nghệ thuật cao [8], xe tự động lái, … Với lý việc muc tiêu cập nhật công nghệ, kỹ thuật nhằm phục vụ trình nghiên cứu học tập nên em chọn đề tài: “Ứng dụng kỹ thuật SFM để tái tạo ảnh 3D” để làm khóa luận tốt nghiệp Mục đích nghiên cứu: - Mơ hình hóa hiển thị đối tượng 3D theo phương pháp SFM - Giảm nhiễu ảnh 3D sau tái tạo - Quan sát hiệu chỉnh đối tượng 3D, kết xuất mơ hình mẫu định dạng file nhằm phục vụ cho bước Đối tượng phạm vi nghiên cứu: - Nghiên cứu thuật toán xử lý ảnh - Tìm hiểu lý thuyết cách biểu diễn đối tượng 3D - Tìm hiểu nghiên cứu cơng cụ phần mềm cho phép tái tạo 3D - Nguyên lý tạo ảnh 3D từ hai hình ảnh 2D từ kỹ thuật SFM - Nghiên cứu điều kiện để tái tạo ảnh 3D từ hình ảnh 2D - Tìm hiểu ngơn ngữ phần mềm lập trình MATLAB, thư viện cần có để xử lý ảnh Phương pháp nghiên cứu: - Thu thập, phân tích tài liệu liên quan đến đề tài 28 ảnh lập thể chuẩn hóa, thị sai dọc [24] Kỹ thuật cho phép thu hẹp vùng khơng gian tìm kiếm điểm ảnh tên Các thuật toán chủ yếu áp dụng phần mềm đo ảnh phục vụ cho khâu tự động tìm điểm tên áp dụng dựa sở lý thuyết hình học epipolar [25] Hình 2.14: Các yếu tố hình học Epipolar Trong hình (a) hai máy chụp ảnh (có thơng số kỹ thuật giống nhau), máy chụp ảnh chụp đối tượng hai vị trí khác tâm chụp xác định hai tâm chụp ảnh S1, S2 mặt phẳng ảnh tương ứng mặt phẳng ảnh trái M’ mặt phẳng ảnh phải M’’ Đường thẳng nối S1 với S2 gọi đường đáy ảnh B X điểm hệ tọa độ không gian vật, x’ x’’ điểm ảnh tương ứng M’, M’’, 𝑅 = 𝑆 𝑋, 𝑅 = 𝑆 𝑋 tương ứng vector tọa độ điểm vật hệ tọa độ không gian ảnh trái, hệ tọa độ không gian ảnh phải Các yếu tố hình học epipolar thể hình (b) bao gồm: điểm epipole e’, e’’ giao điểm đường đáy ảnh với hai mặt phẳng ảnh; mặt phẳng epipolar (mặt phẳng π) mặt phẳng chứa giao điểm hai tia chiếu tên S1x’, S2x’’ đường đáy ảnh S1S2 (có vơ số mặt phẳng epipolar), hình chiếu (vết) mặt phẳng hai ảnh đường epipolar l’ l’’, đường thường không song song với đồng quy điểm epipole (hình 2) Hình học epipolar hai ảnh cặp ảnh lập thể thực chất quan hệ hình học giao mặt phẳng ảnh với chùm mặt phẳng có trục đường đáy ảnh S1S2 Mối quan hệ hình học thu hẹp phạm vi tìm điểm tên phương pháp đo ảnh lập thể (stereo matching) Theo lý thuyết đo ảnh thì: S1, S2, X, x’, x’’ nằm mặt phẳng (mặt phẳng π), gọi mặt phẳng đáy Đây điều kiện đồng phẳng đo ảnh, đóng vai trị quan trọng thuật tốn tìm điểm ảnh tên, việc tìm điểm ảnh tương ứng với x’ khơng cần phải thực tồn mặt 29 phẳng ảnh, mà giới hạn đường l’’ cơng việc tìm kiếm thực nhanh Do vậy, việc xác định đường l’’ có ý nghĩa vô quan trọng 2.2.5 Phép đạc tam giác Phép đạc tam giác [23] thị giác máy tính thuật tốn đề cập đến q trình xác định điểm không gian 3D với phép chiếu lên hai nhiều hình ảnh Để giải vấn đề này, cần phải biết thông số camera từ 3D sang 2D, trường hợp đơn giản biểu diễn ma trận camera Hình 2.15: Trường hợp lý tưởng phép đạc tam giác Điểm x không gian 3D chiếu lên hai hình ảnh máy ảnh qua đường màu xanh cắt với tiêu điểm máy ảnh 𝑂1 𝑂2 Điểm ảnh thu 𝑦1 𝑦2 Các đường cắt x Hình 2.16: Trường hợp thực tế phép đạc tam giác 30 Các điểm ảnh 𝑦1 𝑦2 khơng thể đo với độ xác tùy ý Thay vào đó, điểm 𝑦1′ 𝑦2′ phát sử dụng cho thuật tốn tam giác Nói chung, đường chiếu tương ứng (màu xanh lam) không giao khơng gian 3D khơng giao với điểm x Hình ảnh cho thấy trường hợp thực tế Vị trí điểm hình ảnh 𝑦1 𝑦2 khơng thể đo lường xác Lý kết hợp yếu tố biến dạng hình học, ví dụ biến dạng ống kính, có nghĩa ánh xạ 3D sang 2D máy ảnh lệch khỏi mơ hình máy ảnh lỗ kim Ở mức độ đó, sai số chỉnh sửa Một tia sáng từ x (điểm 3D) phân tán hệ thống thấu kính máy ảnh theo chức lan truyền điểm Việc khôi phục điểm ảnh tương ứng từ phép đo hàm cường độ phân tán ảnh cho sai số Trong máy ảnh kỹ thuật số, chức cường độ hình ảnh đo cảm biến phần tử rời rạc Phép nội suy hàm cường độ rời rạc phải sử dụng để khơi phục giá trị thực Các điểm hình ảnh 𝑦1′ 𝑦2′ sử dụng cho phép đo tam giác thường tìm thấy cách sử dụng loại cơng cụ trích đặc trưng khác Thuật tốn đạc tam giác mơ tả dạng hàm 𝜏: 𝒙~𝜏(𝑦1′ ,𝑦2′ ,𝐶1 , 𝐶2 ) (2.19) Trong 𝑦1′ 𝑦2′ tọa độ đồng điểm hình ảnh phát 𝐶1 , 𝐶2 ma trận máy ảnh x biểu diễn đồng điểm 3D thu Tùy theo ứng dụng mà 𝜏 có phương pháp tính tốn khác 2.2.6 Phương pháp điều chỉnh nhóm Điều chỉnh nhóm [23] ln sử dụng bước cuối thuật toán tái tạo 3D Phương pháp tối ưu hóa cấu trúc 3D thơng số mơ hình (tức tư máy ảnh hiệu chỉnh nội biến dạng xuyên tâm), để tối ưu yếu tố liên quan đến nhiễu đặc điểm hình ảnh quan sát Điều chỉnh nhóm ban đầu hình thành lĩnh vực đo quang năm 1950 ngày nhà nghiên cứu thị giác máy tính sử dụng năm gần Thuật ngữ điều chỉnh khối điều chỉnh nhóm xuất phát từ phép đo quang đề cập đến việc tối ưu hóa "gói tia thị giác" cảnh 3D ghi lại số máy ảnh máy ảnh từ số góc nhìn Với điều chỉnh khối gói, vị trí điểm khơng gian 3D, vị trí hướng camera quan sát thông số hiệu chuẩn bên chúng điều chỉnh 31 cho sai số cịn lại (ví dụ: biến dạng hình ảnh, phép đo lỗi) áp dụng tối ưu cho tất phép đo Đặc biệt, thuật ngữ không sử dụng để điều chỉnh đối xứng cặp hình ảnh riêng lẻ (mỗi cặp hình ảnh chồng lên hình ảnh) mà cịn để liên kết nhiều hình ảnh kết nối (khối) với Khơng quan trọng việc nhóm hình ảnh đại diện cho khu vực định bề mặt trái đất (phép đo quang không ) hay đối tượng phép đo quang tầm gần ghi lại từ số điểm quan sát mặt đất Người ta nói nhóm pixel hình ảnh xác định tia qua tâm chiếu (ống kính máy ảnh) tất pixel đo hình ảnh gói lại thành nhóm tâm chiếu (phép chiếu trung tâm) Sự liên kết hình ảnh thực với trợ giúp điểm tương ứng, nhận số hình ảnh chồng lên hình ảnh định vị xác Q trình gọi phép đạc tam giác Việc lựa chọn điểm thực hỗ trợ thuật toán tự động để nhận dạng mẫu Một hệ thống phương trình sử dụng để tính tốn, lập đồ tốn học đường chùm tia hiển thị Vì có nhiều phép đo đáng kể so với ẩn số, sai số tọa độ hình ảnh giảm thiểu với trợ giúp tính tốn điều chỉnh Theo kết phép tính điều chỉnh, yếu tố định hướng (hướng hướng trong) tất ảnh ra, tọa độ đối tượng chưa biết trước tất điểm kết nối thu lúc Càng nhiều điểm bao gồm điều chỉnh khối gói nhiều hình ảnh khác tốt, việc tính tốn điều chỉnh xác Sau điều chỉnh khối thành cơng, bạn tiếp tục với phép đo quang thông thường ghi lại đối tượng khác không gian ba chiều Về mặt toán học: Điều chỉnh nhóm có nghĩa tinh chỉnh tập hợp ước tính thơng số cấu trúc camera ban đầu để tìm tập hợp thơng số dự đốn xác vị trí điểm quan sát tập hợp hình ảnh có sẵn Chính thức hơn, giả định n Các điểm 3D nhìn thấy m quan điểm cho phép xij hình chiếu i điểm thứ hình ảnh j Để cho vij biểu thị biến nhị phân điểm i nhìn thấy hình ảnh j khơng Cũng giả sử máy ảnh j tham số hóa vectơ aj điểm 3D i vectơ bi Điều chỉnh nhóm giảm thiểu tổng lỗi chiếu lại tất thông số điểm 32 3D máy ảnh, đặc biệt ∑𝑛𝑖=1 ∑𝑚 𝑗=1 𝑣𝑖𝑗 𝑑(𝑄(𝑎𝑗 , 𝑏𝑖 ), 𝑥𝑖𝑗 ) 𝑎𝑗 ,𝑏𝑖 (2.20) Ở Q(aj, bi) hình chiếu dự đốn điểm i hình ảnh j d(x, y) biểu thị khoảng cách Euclide điểm hình ảnh biểu thị vectơ x y Rõ ràng, theo định nghĩa, điều chỉnh nhóm chấp nhận phép chiếu hình ảnh bị thiếu giảm thiểu tiêu chí có ý nghĩa vật lý 33 CHƯƠNG 3: KẾT QUẢ 3.1 CÔNG CỤ THỰC HIỆN Matlab tên viết tắt Matrix laboratory phần mềm MathWorks thiết kế để cung cấp mơi trường lập trình tính tốn kỹ thuật số Matlab cho phép bạn sử dụng ma trận để tính tốn số, vẽ thông tin cho hàm đồ thị, chạy thuật toán, tạo giao diện người dùng liên kết với chương trình máy tính viết nhiều ngơn ngữ lập trình khác Với thư viện Toolbox, MATLAB cho phép mơ tính tốn, thực nghiệm nhiều mơ hình thực tế kỹ thuật Matlab phần mềm sử dụng rộng rãi nhiều lĩnh vực nghiên cứu ứng dụng với khối lượng tính tốn lớn Một số ưu điểm mạnh Matlab khả lập trình Lập trình Matlab giải tốn nhiều lĩnh vực khoa học kỹ thuật đáp ứng yêu cầu người lập trình Hơn nữa, năm gần thư viện Matlab bổ sung cơng cụ cho phép kết nối điều khiển hệ đo, thu thập liệu làm mạnh tính hiệu sử dụng Từ đây, việc chọn ngơn ngữ lập trình để thực tốn khơng cịn vấn đề phức tạp nữa, người lập trình thiết kế tốn, xử lý, hiển thị kết biện luận chúng phần mềm Sử dụng phần mềm Matlab nghiên cứu giải tốn kỹ thuật khơng giải triệt để vấn đề cần quan tâm mà cịn thay đổi tham số để hiểu rõ chất toán tiên đoán số tượng xảy Trong báo cáo em ứng dụng phần mềm Matlab để thiết kế mơ mơ hình chiều vật thể 34 3.2 THUẬT TỐN TÁI TẠO MƠ HÌNH 3D Bắt đầu mơ hình Hình ảnh đầu vào Trích chọn khớp điểm Ước tính tư máy ảnh đặc trưng Ước tính ma trận Essential Có Phép đạc tam giác Điều chỉnh nhóm Thành cơng? Khơng Kết thúc vịng lặp? Khơng Có Tái tạo hình ảnh bị bỏ qua Hợp mơ hình Điều chỉnh mơ hình Mơ hình 3D 35 3.3 ĐỐI TƯỢNG Bảng 3.1: Đối tượng thu thập từ điện thoại cá nhân máy ảnh chuyên nghiệp Mẫu Số ảnh Máy ảnh Tiêu cự Kích thước Tượng đá cơng viên 29/3 19 hình Oppo CPH1605 mm 1200 x 1600 pixel Quả bí ngơ hình NIKON D60 30 mm 1936 x 1296 pixel Tượng sư tử đá 11 hình Oppo CPH1605 mm 1200 x 1600 pixel Hòn đá 53 hình NIKON D90 35 mm 2155 x 1324 pixel Gốc 43 hình Canon EOS 1000D 32 mm 3888 x 2592 pixel Tượng đá cầu Sơng Hàn 22 hình Xiaomi 2201116SC mm 720 x 1280 pixel Tượng đội 13 hình Oppo CPH1605 mm 1200 x 1600 pixel Chai nước 10 hình Oppo CPH1605 mm 1200 x 1600 pixel Bình hoa hình Casio EX-S5 mm 1200 x 1600 pixel Chim cánh cụt 11 hình Oppo CPH1605 mm 1200 x 1600 pixel Giày trắng 11 hình Oppo CPH1605 mm 1200 x 1600 pixel Giày nâu 12 hình Oppp CHP1605 mm 1200 x 1600 pixel Các mẫu sinh viên tự thu thập điện thoại cá nhân với cường độ ánh sáng đầy đủ đồng Góc chụp hình tương đối nhỏ, bé 15o Các mẫu hình chụp điện thoại Oppo A39 [720 x 1280 pixels, 16:9 ratio (~282 ppi density) 13 MP, f/2.2, 1/3″, AF LED flash, panorama, HDR, Video 1080p@30fps] Xiaomi [1080 x 2400 pixels, 20:9 ratio (~395 ppi density) 108 MP, f/1.9, 26mm (wide), 1/1.52″, 0.7µm, PDAF MP, f/2.2, 118˚ (ultrawide) MP, f/2.4, (macro) LED flash, HDR, panorama Video 1080p@30fps] 36 3.4 KẾT QUẢ CÁC BƯỚC THỰC HIỆN Bảng 3.2: Kết bước thực Mẫu Hình ảnh ban đầu Sau sift Sau dùng phép đạc tam giác Sau điều chỉnh theo nhóm Kết Mẫu Mẫu Mẫu 37 Nhận xét:  Màu sắc chân thực, giống thực tế  Khơng có đổ bóng, cường độ sáng ổn định  Hình dáng giống với thực tế nhiên có nhiều điểm nhiễu khuyết  Ở bước đạc tam giác điều chỉnh theo nhóm có số lượng ảnh lớn nên khơng hiển thị số góc nhìn Bảng 3.3: Một số kết khơng hồn thiện lúc thực nghiệm Nguyên nhân kết chưa hoàn thiện do:  Hình ảnh thu thập q tái tạo phần  Hình ảnh bị phần đa số  Chất lượng ảnh, góc chụp, cách chụp hình sai dẫn đến điểm khớp hình  Các vật thể có độ chi tiết lớn 38 Bảng 3.4: Thống kê kết thực Mẫu Tượng 29/3 Quả bí ngơ Số lượng ảnh 19 hình hình Máy ảnh Oppo CPH1605 NIKON D60 TB % Thời gian Số điểm Tiêu cự khớp thực ảnh tái tạo hình mm 95.7 % 30 mm 97.66 % 20 phút mm 92.8 % 35 mm 98.5 % 1.399.557 điểm 281.064 điểm Tượng sư tử đá 11 hình Hịn đá 53 hình Gốc 43 hình Canon EOS 1000D 32 mm 98.58 % 842.781 điểm 22 hình Xiaomi 2201116SC mm 96.2 % 1.375.766 Điểm 13 hình Oppo CPH1605 mm 67.3 % 192.663 điểm 10 hình Oppo CPH1605 mm 78.7 % 79.354 điểm Oppo CPH1605 NIKON D90 891.246 điểm 1.563.233 điểm Tượng đá cầu Sông Hàn Tượng đội Chai nước 39 Tỉ lệ trung bình điểm đặc trưng (%) Biểu đồ tỉ lệ trung bình điểm đặc trưng khớp ảnh 100 90 80 70 60 50 95.7 97.66 99 98.58 96.2 98.5 40 78.7 67.3 30 20 10 Tượng Quả bí ngơ Tượng sư công viên tử đá 29/3 Gốc Tượng đá cầu sơng Hàn Hịn đá Tượng Chai nước đội Hình 3.1: Biểu đồ tỉ lệ trung bình điểm đặc trưng khớp ảnh Nhận xét: Từ biểu đồ kết cho thấy mơ hình có độ khớp điểm đặc trưng cao cho hình đẹp hồn thiện hình có độ khớp điểm đặc trưng thấp Cùng số lượng ảnh, chất lượng số điểm ảnh tái tạo nhiều Các mơ hình có phần trăm điểm khớp đặc trưng thấp kết khơng tốt khơng tái tạo mơ hình, số điểm ảnh kết không đẹp mắt 40 KẾT LUẬN Kết đạt - Trình bày biểu thức toán học cho thuật toán tái tạo ảnh 3D - Tái tạo thành công ảnh 3D với hình ảnh trực quan giống với thực tế - Phân tích yếu tố ảnh hưởng đến kết mơ hình Ngồi ra, đề tài giúp em nắm bắt kiến thức ảnh xử lý ảnh Đồng thời, hiểu phương pháp tái tạo ảnh 3D Những mặt hạn chế - Mơ hình mơ hình đám mây điểm ảnh trích xuất ra, chưa tạo đươc mơ hình hồn thiện bề mặt - Các hình có độ chi tiết phức tạp mơ khái quát Hướng phát triển Một số đề xuất cho hướng nghiên cứu, phát triển tiếp tục đề tài sau: - Cải tiến kĩ thuật bước đề tài nhằm giảm thời gian tính tốn đưa mơ hình hồn chỉnh - Triển khai ứng dụng tái tạo ảnh 3D lên thiết bị chụp hình kĩ thuật số chạy hệ điều hành Android, IOS hay Windows Phone - Bổ sung thêm số tính cho hệ thống để sử dụng tốt cho nhiều trường hợp phát triển phần mềm có khả ứng dụng Việt Nam 41 TÀI LIỆU THAM KHẢO [1] Poznanski, A Visual Revolution of the Vanishing of Ethan Carter 2014 Available online: http://www.theastronauts.com/2014/03/visual-revolutionvanishing-ethan-carter/ (accessed on 18 June 2018) [2] Hamilton, A.; Brown, K Photogrammetry and Star Wars Battlefront (2016) Available online: https: //www.ea.com/frostbite/news/photogrammetry-andstar-wars-battlefront (accessed on 18 June 2018) [3] Saurer, O.; Fraundorfer, F.; Pollefeys, M OmniTour “Semi-automatic generation of interactive virtual tours from omnidirectional video” In Proceedings of the 3DPVT2010 (International Symposium on 3D Data Processing, Visualization and Transmission), Paris, France, 17–20 May 2010 [4] Nocerino, E.; Lago, F.; Morabito, D.; Remondino, F.; Porzi, L.; Poiesi, F.; Rota Bulo, S.; Chippendale, P.; Locher, A.; Havlena, M.; et al A smartphone-based 3D pipeline for the creative industry-The replicate eu project 3D Virtual Reconstr Vis Complex Arch 2017, 42, 535–541 [5] Muratov, O.; Slynko, Y.; Chernov, V.; Lyubimtseva, M.; Shamsuarov, A.; Bucha, V 3DCapture: 3D Reconstruction for a Smartphone In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, Las Vegas, NV, USA, 26 June–1 July 2016; pp 75–82 [6] SmartMobileVision SCANN3D Available online: http://www.smartmobilevision.com (accessed on 18 June 2018) [7] Carlbom, I.; Terzopoulos, D.; Harris, K.M Computer-assisted registration, segmentation, and 3D reconstruction from images of neuronal tissue sections IEEE Trans Med Imaging 1994, 13, 351–362 [8] Remondino, F Heritage recording and 3D modeling with photogrammetry and 3D scanning Remote Sens 2011, 3, 1104–1138 [9] Ưzye¸sil, O.; Voroninski, V.; Basri, R.; Singer, A A survey of structure from motion Acta Numer 2017, 26, 305–364 [10] Schönberger, J.L.; Frahm, J.M Structure-from-Motion Revisited In Proceedings of the Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 26 June–1 July 2016 [11] Ko, J.; Ho, Y.S 3D Point Cloud Generation Using Structure from Motion with Multiple View Images In Proceedings of the The Korean Institute of Smart Media Fall Conference, Kwangju, South Korea, 28–29 October 2016; pp 91– 92 42 [12] Wu, C Towards linear-time incremental structure from motion In Proceedings of the 2013 International conference on IEEE 3D Vision-3DV 2013, Seattle, WA, USA, 29 June–1 July 2013, pp 127–134 13 Snavely, N.; Seitz, S.M.; Szeliski, R Photo tourism: Exploring photo collections in 3D ACM Trans Graph (TOG) 2006, 25, 835–846 [CrossRef] [14] Cheng, H D., & Nho, S.-G (1996) Transformation of gray level and color images Information Sciences, 90(1-4), 179–202 15 Jin, X., Yin, S., Liu, N., Li, X., Zhao, G., & Ge, S (2017) Color image encryption in non-RGB color spaces Multimedia Tools and Applications, 77(12), 15851–15873 [16] Kleffner, D A., & Ramachandran, V S (1992) On the perception of shape from shading Perception & Psychophysics, 52(1), 18–36 [17] Cho, D., Matsushita, Y., Tai, Y W., & Kweon, I S (2018) Semi-Calibrated Photometric Stereo IEEE Transactions on Pattern Analysis and Machine Intelligence, 1–1 [18] Yang, C (2021) Plant leaf recognition by integrating shape and texture features [19] Ambrosch, K., Humenberger, M., Olufs, S., & Schraml, S (2009) Embedded Stereo Vision Smart Cameras, 137–157 [20] Fischler, M.A.; Bolles, R.C Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography Commun ACM 1981, 24, 381–395 [CrossRef] [21] Long, L., & Dongri, S (2019) Review of Camera Calibration Algorithms Advances in Computer Communication and Computational Sciences, 723– 732 [22] Lowe, D G (2004) Distinctive Image Features from Scale-Invariant Keypoints International Journal of Computer Vision, 60(2), 91–110 [23] Triggs, B., McLauchlan, P F., Hartley, R I., & Fitzgibbon, A W (2000) Bundle Adjustment — A Modern Synthesis Lecture Notes in Computer Science, 298–372 doi:10.1007/3-540-44480-7_21 [24] T Schenk, 1990 Computation of Epipolar Geometry, vol [25] T T Anh, 2009 Epipolar Resampling of Stereo Image Base on Airbase in the Digital Photogrammetry In 7th FIG Regional Conference Spatial Data Serving People: Land Governance and the Environment – Building the Capacity Hanoi, Vietnam, no October 2009, pp 19–22 ... hình học 3D tái tạo lại cấu hình vị trí 3D 1.4 Ứng dụng Có nhiều ứng dụng cho phương pháp tái tạo ảnh 3D SFM sử dụng để tạo ảnh ghép trực quan, tạo đám mây điểm 3D mơ hình độ cao kỹ thuật số... Hình 1.8: Ứng dụng việc tái tạo 3D lĩnh vực y khoa Hình 1.9: Ứng dụng việc tái tạo 3D lĩnh vực xe tự lái 10 Hình 1.10: Ứng dụng việc bảo tồn di sản văn hóa 11 CHƯƠNG 2: KỸ THUẬT TẠO ẢNH 3D 2.1 Cấu... Minh họa ảnh 3D Hình 1.7: Mơ mơ hình 3D Hình 1.8: Ứng dụng việc tái tạo 3D lĩnh vực y khoa Hình 1.9: Ứng dụng việc tái tạo 3D lĩnh vực xe tự lái Hình 1.10: Ứng dụng việc