Luận văn thạc sĩ VNU UET xây dựng các mô hình 3 chiều sử dụng camera cầm tay

LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU MỞ ĐẦU .1 CHƯƠNG 1: GIỚI THIỆU CHƯƠNG 2: TỔNG QUAN 2.1 Các vấn đề liên quan đến tốn dựng mơ hình chiều 2.1.1 Thị giác máy 2.1.2 Thị giác lập thể 2.1.3 Hình học epipolar số ma trận biến đổi 10 2.1.4 Phân cấp phép biến đổi .14 2.2 Các kĩ thuật toán dựng mơ hình chiều 16 2.2.1 Qui trình dựng mơ hình chiều 16 2.2.2 Trích chọn đặc trưng 19 2.2.3 Bài toán đối sánh 22 2.2.4 Tìm ma trận F 28 2.2.5 Chỉnh sửa ảnh 30 2.2.6 Khôi phục độ sâu 32 CHƯƠNG 3: XÂY DỰNG BỘ CÔNG CỤ DỰNG MƠ HÌNH CHIỀU TỪ CẶP ẢNH CHỤP 34 3.1 Mơ hình cơng cụ dựng mơ hình chiều từ cặp ảnh 34 3.2 Điểm góc SUSAN 34 3.2.1 Một vài khái niệm 34 3.2.2 Thuật tốn tìm điểm góc SUSAN 36 3.3 Đối sánh điểm góc SUSAN .39 3.3.1 Tìm tập ứng cử viên 39 3.3.2 Tìm tập cặp đối sánh tương ứng 40 3.4 Thuật tốn tính ma trận sử dụng RANSAC 42 3.5 Chỉnh sửa ảnh phương pháp chuyển đổi sang tọa độ cực .43 3.5.1 Các đường epipolar định hướng 44 3.5.2 Ma trận đồng hình tương thích H ma trận F 45 3.5.3 Xây dựng ảnh chỉnh sửa 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ 3.6 Đối sánh miền dựa vào cửa sổ tương quan 48 3.7 Thuật toán tam giác tối ưu tính độ sâu cho cặp điểm ảnh đối sánh 52 3.7.1 Tính ma trận camera từ ma trận F 52 3.7.2 Tính độ sâu 53 CHƯƠNG 4: KẾT QUẢ THỬ NGHIỆM VÀ BÀN LUẬN .59 4.1 Tiền xử lý .59 4.2 Đối sánh ảnh khôi phục thông tin chiều 60 4.2.1 Chỉnh sửa ảnh 60 4.2.2 Đối sánh ảnh lấy độ sâu 61 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 65 Tài liệu Tiếng Anh: 65 Mã nguồn công cụ hỗ trợ: .67 PHỤ LỤC 68 Một số định nghĩa 68 Một số thuật toán .69 A Thuật tốn điểm chuẩn hố tính F 69 B RANSAC (RANdom Sample Consensus) 71 C Không gian rỗng phải (Right Null-Space) 71 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ DANH MỤC HÌNH VẼ Hình 2.1 Hệ thống thị giác người Hình 2.2 Liên hệ cặp điểm đối sánh x, x’ 11 Hình 2.3 Một số thuật ngữ 11 Hình 2.4 Qui trình dựng mơ hình chiều từ chuỗi ảnh đầu vào 16 Hình 2.5 Độ chênh lệch mối quan hệ với độ sâu 18 Hình 2.6 Dựng mơ hình chiều từ cặp ảnh 19 Hình 2.7 Các dạng đặc trưng khác ảnh 21 Hình 2.8 Đối sánh ảnh 22 Hình 2.9 So sánh số thuật toán đối sánh dựa miền .25 Hình 2.10 Tìm điểm tương ứng x’ x qua mặt phẳng π .29 Hình 2.11 Ràng buộc epipolar 31 Hình 2.12 Chỉnh sửa ảnh 32 Hình 2.13 Mối liên hệ độ chênh lệch độ sâu 33 Hình 3.7 Đối sánh khơng đối xứng 41 Hình 3.12 Biểu diễn đối sánh cặp điểm ảnh trái phải .50 Hình 3.13 Khoảng cách tới đường epipolar nhỏ .52 Hình 4.1 Cặp ảnh gốc 59 Hình 4.2 Các điểm góc SUSAN ảnh bên phải .59 Hình 4.3 Cặp ảnh chỉnh sửa 61 Hình 4.4 Mơ hình chiều kết 62 DANH MỤC BẢNG BIỂU Bảng 2.1 Phân cấp phép biến đổi 15 Bảng 2.2 Một số thuật toán đối sánh dựa miền 25 Bảng 3.1 Tóm tắt thuật tốn tìm điểm góc SUSAN 38 Bảng 3.2 Thủ tục tìm cặp đối sánh tốt .42 Bảng 3.3 Thuật toán sử dụng RANSAC 43 Bảng 3.4 Chiến lược tối ưu hoá 54 Bảng 3.5 Thuật toán tam giác tối ưu tìm điểm chiều X 58 Thuật tốn tính ma trận F 69 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ MỞ ĐẦU Trong năm gần đây, việc dựng mơ hình chiều từ ảnh chiều thu hút ngày nhiều quan tâm nhà nghiên cứu Điều phần yêu cầu kĩ thuật ứng dụng tăng lên lĩnh vực bảo tồn cổ vật, phân tích trường phạm tội, thiết kế kiến trúc, xử lý phim, trị chơi chiều…Bên cạnh đó, phần cứng đồ họa có giá thành hạ, lực tính tốn nâng cao yếu tố góp phần thúc đẩy phát triển phương pháp kĩ thuật mô hình hố dựng lại mơ hình chiều Hơn nữa, camera cầm tay thiết bị số hóa tiện dụng, sẵn có rẻ tiền việc cung cấp thông tin đầu vào dùng camera dễ dàng Bài tốn dựng mơ hình chiều từ chuỗi ảnh đầu vào tốn xây dựng thơng tin chiều từ thông tin ảnh chiều Một cách toán học, cấu trúc chiều dựng lại từ phép chiếu chiều Bên cạnh ảnh đầu vào lại ảnh texture tự nhiên cấu trúc chiều đạt hiệu Rất nhiều nhà nghiên phát triển phương pháp kĩ thuật khác để giải tốn Chúng tơi tập trung tìm hiểu qui trình dựng mơ hình chiều từ cặp ảnh đầu vào, phương pháp nghiên cứu, kĩ thuật triển khai bước qui trình Từ đó, chúng tơi xây dựng cơng cụ dựng mơ hình chiều cảnh hay đối tượng với đầu vào ảnh màu chụp chung cảnh hay đối tượng Với nội dung nghiên cứu nêu trên, chúng tơi mong muốn sau hồn thành đề tài hiểu biết thêm xu phát triển ứng dụng chiều, hướng nghiên cứu triển khai lĩnh vực Đặc biệt chúng tơi muốn sâu tìm hiểu qui trình dựng mơ hình chiều từ chuỗi ảnh đầu vào (số lượng ban đầu 2) kết thu công cụ triển khai thành công qui trình nêu Mở đầu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ Luận văn bao gồm bốn chương: Chương một: Giới thiệu tốn dựng mơ hình chiều nói chung tốn dựng mơ hình chiều từ chuỗi ảnh nói riêng, đặc trưng xu phát triển Đồng thời nêu mục tiêu hướng giải luận văn giải tốn dựng mơ hình chiều từ ảnh chiều chụp camera cầm tay Chương hai: Nêu vấn đề, khái niệm mơ hình tốn học liên quan đến tốn dựng mơ hình chiều từ ảnh chiều Đồng thời, nêu tổng quan, phân tích so sánh kỹ thuật, phương pháp giải toán Chương ba: Xây dựng cơng cụ dựng mơ hình chiều từ cặp ảnh chụp Lựa chọn kỹ thuật, phương pháp, thuật toán phù hợp để triển khai công cụ Chương bốn: Đưa số kết thử nghiệm module cài cài đặt LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ CHƯƠNG 1: GIỚI THIỆU Đồ hoạ chiều nghiên cứu trường đại học từ năm 1970 thương mại hoá Hollywood ý đến nghiên cứu vào năm 1980 [10] Hình ảnh chuyển động lúc sơ khai nghành công nghiệp xa xỉ sử dụng hạn chế công cụ tài Cùng với phát triển gói phần mềm chuẩn mơ hình hố chuyển động, chiều dần xuất công nghệ truyền hình video chun nghiệp Hay nói cách khác, nghệ thuật chiều tìm chỗ đứng dịch vụ đa phương tiện Việc sử dụng mô hình chiều cho mục đích hiển thị ngày trở nên quan trọng Những năm vừa qua, lĩnh vực thị giác máy, người ta trọng nhiều đến vấn đề điều khiển điều hướng robot, nhiên gần đây, hướng quan tâm có thay đổi Người ta trọng nhiều đến vấn đề tương tác hiển thị Các mơ hình chiều có tính chân thực cao thành phần thiếu mô hiển thị vật, kiện Đồ họa chiều trải rộng nhiều ứng dụng trị chơi điện tử, cơng nghiệp làm phim, trình chiếu đối tượng thực trộn phục vụ cho y tế, qn sự, hàng khơng, giáo dục… Trong trị chơi điện tử, đồ hoạ chiều thực bộc lộ đặc tính ưu việt đáp ứng nhu cầu, thị hiếu khách hàng Chất lượng đồ hoạ khả đáp ứng thời gian thực ứng dụng chiều thay đổi nhanh chóng thay đổi chóng mặt thiết bị phần cứng cơng nghệ Tiếp đó, bùng nổ ứng dụng chiều Internet Do vậy, đồ hoạ chiều ngày trở nên quen thuộc Hơn thập kỉ qua, mơ hình hố chuyển động chiều chuẩn hoá phần mềm thương mại Maya, 3Dstudio Max, Softimage hay Lightwave [27] gói ứng dụng điển hình sử dụng giáo dục công nghệ chiều Tất gói ứng dụng tương tự liên quan đến kĩ nghệ thuật đồ họa truyền thống áp dụng môi trường kĩ thuật số: mơ hình hố tương tự nghệ thuật điêu khắc, texturing liên quan đến kĩ thuật vẽ minh hoạ Giới thiệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ Một hạn chế lớn kĩ thuật dựng mơ hình chiều truyền thống giá thành cao mà người ta phải thao tác thủ công sử dụng thiết bị chuyên dụng Các thiết bị dùng cho thiết kế hiển thị đồ họa máy quét laze, hình hiển thị thiết bị số hoá khác thiết bị đắt tiền, yêu cầu cẩn trọng sử dụng, phức tạp điều khiển Do vậy, người ta tiến hành “mềm hóa” dựng mơ hình chiều Các thuật toán áp dụng nhiều việc lấy thông tin chiều đối tượng, nguồn liệu để lấy thông tin chiều phong phú Khôi phục lại thông tin chiều sử dụng camera cầm tay thiếu thông tin môi trường chụp ảnh (camera, ánh sáng,…) thử thách lớn Bởi vì, sử dụng camera cầm tay, vị trí hướng quay camera tự Do vậy, khung nhìn ảnh tự Tuy nhiên, dựng mơ hình chiều từ ảnh chiều thành cơng ý nghĩa lớn, vì, thiết bị phần cứng rẻ tiền sẵn có Ban đầu người ta tiến hành đối sánh dựa quan sát Các điểm đối sánh tương ứng dạng điểm điều khiển lựa chọn cần có tương tác với người Do tiêu tốn thêm thời gian đồng thời số lượng điểm đối sánh không nhiều Một hướng giải khác người ta điều khiển mơi trường chụp ảnh: Ví dụ, gắn camera vị trí cố định cho đối tượng cần chụp lên bàn xoay hay gắn nhiều camera cố định xung quanh đối tượng cần chụp ảnh thu nhận có góc độ khác xác định tâm chiếu, thơng số trong/ngồi camera nhằm phục vụ tốt cho q trình khơi phục điểm chiều Tuy nhiên với cách này, ta lại phải tiêu tốn thời gian thủ tục để hiểu chỉnh camera Trong năm gần đây, người ta quan tâm đến việc lấy thông tin chiều từ khung nhìn khơng hiệu chỉnh (uncalibrated view) Các kĩ thuật tự hiệu chỉnh chiếm phần lớn thời gian [9,18,12], phương pháp bắt nguồn từ hình học epipolar trifocal tensor [15,26] nhờ điểm đối sánh tương ứng tự động tính tốn dễ dàng Giới thiệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu Luận văn thạc sỹ Thơng tin chiều trích chọn từ ảnh yêu cầu tương tác với người dùng Dựng mơ hình chiều từ ảnh phương pháp phát triển kết hợp đồ họa, thị giác máy nhiếp ảnh Con người thu nhận thông tin chiều nhờ quan sát đối tượng hai mắt hay nói cách khác hai khung nhìn khác Trong lĩnh vực thị giác máy, nhà nghiên cứu cố gắng nhiều việc cung cấp khả “quan sát” tương tự người cho máy tính Ban đầu, họ hướng tới ngành robot tự động hóa nhằm mục đích cho phép robot tự điều hướng qua môi trường Gần hướng nghiên cứu dịch chuyển sang hiển thị trực quan giao tiếp đồng thời có kết hợp nhiều với lĩnh vực đồ họa Một mối quan tâm lớn nhà nghiên cứu cung cấp thuật tốn để tự động lấy thông tin từ chuỗi ảnh Mười năm trở lại đây, người ta thường nhấn mạnh đến hình học đa ảnh, đa khung nhìn [15] cho phép nhiều cách tiếp cận linh hoạt việc lấy thông tin chiều từ ảnh khác Thực tế, hướng hiển thị trực quan phát triển từ trước ngữ cảnh khác, dựa nghệ thuật nhiếp ảnh Nửa cuối kỉ 19, ảnh chụp sử dụng lấy thông tin chiều để tạo đồ, đo đạc cơng trình Cách tiếp cận dựa ảnh đưa có nhiều ưu điểm Cảnh cần mơ hình hóa chụp khung nhìn khác Các thiết bị để thu nhận đầu ảnh đầu vào lại sẵn có máy ảnh kĩ thuật số, máy quay camera Mối quan hệ ảnh tính tốn tự động từ thông tin lấy trực tiếp ảnh thơng qua thuật tốn Do khơng cần đến số đo khung cảnh, hay thủ tục hiệu chỉnh thiết bị tay kĩ thuật truyền thống Xu cải tiến việc tự động hố nhận dạng dựng mơ hình chiều đối tượng từ ảnh Bên cạnh cách tiếp cận dựa ảnh lại linh hoạt chỗ dễ dàng mơ hình đối tượng có kích cỡ nhỏ mơ hình khung cảnh rộng lớn Lấy thông tin chiều từ ảnh chiều thu hút ngày nhiều quan tâm nhà nghiên cứu Điều phần yêu cầu kĩ thuật ứng dụng tăng lên lĩnh vực bảo tồn cổ vật, phân tích trường phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi chiều…Bên cạnh đó, phần cứng Giới thiệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 57 Ma Thị Châu Luận văn thạc sỹ (b) Phương pháp tam giác tối ưu tóm tắt bảng sau: (i) Định nghĩa ma trận biến đổi: ⎡1 − x' ⎤ − x⎤ ⎡1 ⎥ ⎢ T = ⎢⎢ − y ⎥⎥ T ' = ⎢ − y ' ⎥ ⎢ ⎢⎣ ⎥⎦ ⎥⎦ ⎣ (ii) Thay F T '−T FT −1 Ma trận F tương ứng với hệ toạ độ dịch chuyển (iii) ( Tính epipole trái phải e = (e1 , e2 , e3 )T e ' = e1' , e2 ' , e3 ' ) T cho e 'T F = Fe = Chuẩn hoá hệ số co dãn cho e12 + e22 = e1'2 + e2'2 = (iv) Dựng ma trận ⎡ e1 R = ⎢⎢− e2 ⎢⎣ ⎡ e '1 ⎤ ⎥ R ' = ⎢− e' ⎢ ⎥ ⎢ 1⎥⎦ ⎣ e2 e1 e'2 e'1 ⎤ ⎥ ⎥ 1⎥⎦ R R’ hai ma trận quay Re = (1,0, e3 )T R 'e ' = (1,0, e ' ) T (v) Thay F R ' FR T F có kết dạng ⎛ ff ' d ⎜ F = ⎜ − fb ⎜ − fd ⎝ − f 'c − f ' d ⎞ ⎟ a b ⎟ c d ⎟⎠ (vi) Đặt f = e3 , f ' = e ' , a = F 22 , b = F23 , d = F33 (vii) Định nghĩa đa thức g(t) sau: ( g (t ) = t (at + b ) + f '2 (ct + d ) ) − (ad − bc )(1 + f t ) (at + b)(ct + d ) = 2 2 Giải phương trình nghiệm theo t (viii) Đánh giá giá trị hàm sau: Xây dựng công cụ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 58 Ma Thị Châu Luận văn thạc sỹ (ct + d ) t2 + s (t ) = 2 1+ f t (at + b )2 + f '2 (ct + d )2 chọn tmin cho s(t) nhỏ (ix) Đánh giá đường epipolar l ' (t ) = F (0, t ,1) = (− f ' (ct + d ), at + b, ct + d ) T T ∧ l = (tf ,1,−t ) ∧ tìm x x ' điểm gần đường thẳng Với đường thẳng có dạng (λ , µ , v ) điểm cần tìm có toạ độ sau (− λv,− µv, λ2 + µ ) (x) ∧ Biến đổi điểm hệ trục toạ độ ban đầu cách thay x ∧ ∧ ∧ T −1 R T x x ' T '−1 R 'T x ' (xi) ∧ ∧ ∧ Điểm chiều X có theo phương pháp sau: ta có x = P X ∧ ∧ ∧ ∧ x ' = P ' X suy A X = , toạ độ X tính nhờ thuật toán SVD Bảng 3.5 Thuật toán tam giác tối ưu tìm điểm chiều X Xây dựng công cụ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 59 Ma Thị Châu Luận văn thạc sỹ CHƯƠNG 4: KẾT QUẢ THỬ NGHIỆM VÀ BÀN LUẬN Bộ công cụ bao gồm module triển khai kĩ thuật, thuật toán nêu chương Dưới số kết thử nghiệm đạt số bàn luận xung quanh kết 4.1 Tiền xử lý Như trình bày trên, tiền xử lý bao gồm việc tính tốn điểm góc cho ảnh, tìm đối sánh góc cho cặp ảnh tính ma trận liên hệ F Chúng sử dụng cặp ảnh đầu vào Image0.png Image1.png có kích cỡ 480x640 theo thứ tự trái, phải hình Hình 4.1 Cặp ảnh gốc Hình 4.2 Các điểm góc SUSAN ảnh bên phải Kết thử nghiệm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 60 Ma Thị Châu Luận văn thạc sỹ Module cho việc tiền xử lý triển khai, sử dụng công cụ PVT (Projective Vision Tookit) [31] việc trích chọn điểm góc SUSAN, đối sánh tính ma trận đối sánh F Khi tiến hành trích chọn ảnh image0.png có 290 điểm góc SUSAN ảnh image1.png có 305 điểm (hình 4.2) Từ điểm góc SUSAN riêng biệt cho ảnh, phương pháp đối sánh điểm đặc trưng dựa cửa sổ tương quan áp dụng kết cho 123 cặp điểm góc tương ứng đối sánh với với cặp ảnh đầu vào 123 cặp điểm đối sánh tương ứng sử dụng để tính ma trận F cho kết sau: Ma trận F có kết sau: ⎡ 0.00000008725053776565 0.00000130762039646640 - 0.00025491850857916145⎤ F = ⎢⎢- 0.00000078659141661558 0.00000022175769797735 - 0.00171455077409715570⎥⎥ ⎢⎣ 0.00024478490822636831 0.00147134854934413500 0.01892189053402115700 ⎥⎦ 4.2 Đối sánh ảnh khôi phục thông tin chiều 4.2.1 Chỉnh sửa ảnh Module chỉnh sửa có đầu vào gồm file ảnh, file chứa tập cặp điểm đối sánh file chứa ma trận F tính từ giai đoạn tiền xử lý dùng kĩ thuật chỉnh sửa dựa biến đổi hệ trục toạ độ ảnh sang hệ trục toạ độ cực: ban đầu hai ảnh biến đổi đồng hình cho mặt phẳng ảnh ảnh thứ hai trùng với mặt phẳng ảnh ảnh thứ Lúc hai ảnh có đường epipolar trùng Tiếp theo, hai ảnh dựng dựa vào bảng tra cứu Hình 4.3 minh họa cặp ảnh kết Trong trường hợp điểm epipole nằm miền ảnh xử lý chưa tốt có nhiều cặp ảnh cho kết cặp ảnh có kích thước lớn không cân đối (tỉ lệ chiều dài rộng không cân xứng) Kết thử nghiệm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu 61 Luận văn thạc sỹ Hình 4.3 Cặp ảnh chỉnh sửa 4.2.2 Đối sánh ảnh lấy độ sâu Đối sánh cho toàn điểm ảnh tiến ảnh cặp ảnh chỉnh sửa Chiều rộng chiều cao cửa sổ tìm kiếm tương ứng ¼ chiều rộng chiều cao ảnh, kích cỡ cửa sổ tương quan 9x9 Hàm giá tương quan SAD [3.9] sử dụng để tính độ lệch tuyệt đối cường độ mức xám riêng cho thành phần màu RGB Sau tổng hợp thành phần màu riêng biệt độ lệch cặp điểm ảnh tồn ảnh hay nói cách khác cặp điểm ảnh tương ứng ảnh xác định Từ cặp điểm đối sánh áp dụng thuật toán tối ưu tam giác file kết gồm có 414.720 điểm chiều Chúng tơi thiết kế module hiển thị thực texture ảnh gốc vào tập điểm chiều vừa tìm mơ hình chiều cặp ảnh đầu vào biểu diễn hình 4.4 Module thực việc đối sánh tìm độ chênh lệch (hay cặp điểm đối sánh) dựa việc lấy giá trị nhỏ hàm tương quan SAD ảnh chưa xử lý nhiễu tốt mơ hình chiều kết chưa “mịn” Kết thử nghiệm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu 62 Luận văn thạc sỹ Hình 4.4 Mơ hình chiều kết Kết thử nghiệm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu 63 Luận văn thạc sỹ KẾT LUẬN Kết đạt Luận văn nêu tổng quan số vấn đề xung quanh tốn dựng mơ hình chiều, xuất phát từ việc tổng hợp ảnh chiều hệ thống thị giác người từ vào mơ hình tốn, phương pháp kĩ thuật tổng hợp ảnh chiều máy tính, xét đến số khái niệm liên quan, dạng ứng dụng thông tin chiều Luận văn tập trung vào tìm hiểu qui trình phục hồi thơng tin chiều từ hai ảnh đầu vào Nêu bước qui trình Trong bước nêu lên sở phương pháp luận kĩ thuật liên quan sâu vào kĩ thuật Các bước trình bày liền mạch tạo thành qui trình phục hồi thơng tin chiều cách trọn vẹn Từ phân tích nghiên cứu trên, luận văn lựa chọn sâu vào triển khai kĩ thuật trích chọn điểm góc SUSAN bước trích chọn đặc trưng, dùng kĩ thuật đối sánh cửa sổ tương quan đối sánh điểm đặc trưng tồn điểm ảnh Cuối phục hồi thơng tin chiều từ tập cặp điểm đối sánh dựa vào thuật toán tam giác tối ưu Kết đạt module công cụ dựng mơ hình chiều: • Module chỉnh sửa cặp ảnh đầu vào cho đường epipolar song song với song song với đường • Module đối sánh cặp ảnh chỉnh sửa đầu vào lấy cặp đối sánh tồn ảnh • Cài đặt thuật tốn tam giác tối ưu lấy thơng tin độ sâu cặp điểm đối sánh • Cài đặt module texture ảnh gốc vào tập điểm chiều để đưa mơ hình chiều kết Kết luận LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 64 Ma Thị Châu Luận văn thạc sỹ Hạn chế luận văn Có nhiều kĩ thuật, phương pháp giải vấn đề bước tốn dựng hình chiều từ ảnh chụp chưa xem xét đến Các kĩ thuật nghiên cứu sâu bước chưa phải kĩ thuật tối ưu Như việc chỉnh sửa ảnh việc chỉnh sửa ảnh việc chuyển sang hệ trục tạo độ cực, cịn có việc biến đổi ảnh theo mặt phẳng, theo trụ… Hiện toán đối sánh chia thành nhiều loại với nhiều thuật toán khác loại Luận văn nghiên cứu sử dụng giải pháp dùng cửa sổ tương quan để tìm điểm đối sánh Bên cạnh việc xử lý nhiễu cặp ảnh đầu vào chưa tốt Một số module chưa giải trọn vẹn Các module hồn thành cịn chậm đặc biệt module khơi phục điểm chiều thuật tốn tam giác Định hướng phát triển tiếp đề tài Tối ưu hoá module triển khai nhằm giảm bớt thời gian tính tốn, xử lý trường hợp riêng đặc biệt xảy cặp ảnh đầu vào nhằm dưa kết xác nhanh Hoàn thiện tối ưu module bước tiền xử lý để tạo cơng cụ hồn chỉnh Tìm kiếm, nghiên cứu sử dụng phương pháp, kĩ thuật tiên tiến tối ưu cho bước dựng mơ hình chiều Tiếp theo chúng tơi tìm hiểu tốn dựng mơ hình chiều từ chuỗi nhiều ảnh chụp: nghiên cứu phương pháp, kĩ thuật liên quan triển khai module để có sản phẩm hồn chỉnh ứng dụng Kết luận LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 65 Ma Thị Châu Luận văn thạc sỹ TÀI LIỆU THAM KHẢO Tài liệu Tiếng Anh: [1] C Harris and M Stephens, (1988), “A combined corner and edge detector, Fourth Alvey Vision Conference”, tr.147-151 [2] Guelch E., (1988), “Results of Test on Image Matching of ISPRS WG III/4”, Institute of Photogrammetry, University of Stuttgart [3] H K Nishihara PRISM, (1984), “A Practical Real-Time Imaging Stereo matcher”, Technical Report A.I Memo 780, MIT, Cambridge, MA [4] H P Moravec, (1979), “Visual mapping by a robot rover”, In Proc of the 6th International Joint Conference on Artificial Intelligence, tr 598—600 [5] H P Moravec, (1977), “Towards automatic visual obstacle avoidance”, In Proc of the International Joint Conference on Artificial Intelligence, tr 584 [6] H Wang J.M Brady, (1992), “Corner detection with subpixel accuracy”, Technical Report OUEL 1925/92, Dept Engineering Science, University of Oxford [7] L Kitchen A Rosenfeld, (1982), “Gray-level corner detection Pattern Recognition Letters”, tr 95-102 [8] M Polleyfeys, R Koch, M Vergauwen, and L Van Gool “A simple and efficient rectification method for general motion” In Proceedings of International Cenference on Computer Vision [9] O D Faugeras, (1992), “What can be seen in three dimensions with an unclibrated stereo rig?”, In European conference on computer vision [10] P E Debevec, C.J Taylor and J.Malik, (1996), “Modeling and rendering architecture from photographs A hybrid geometry and image-based approach” In SIGGRAPH’96 Computer Graphics Proceeding, Annual Conference Series [11] Philippe Leclercq and John Morris, “Asessing Stereo Algorithm Accuracy” Tài liệu tham khảo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 66 Ma Thị Châu Luận văn thạc sỹ [12] Q T Luong and T Viéville, (1996), “Canonical representations for geometries of multiple projective views”, Computer vision and Image Understanding, vol 64, no [13] Q Zheng, R Chellappa and B S Manjunath, (1991), “Balloon motion estimation using two frame”, In Proc 25th Asilomar Conference on Signals, Systems and Computers, tr.1057-1061, Pacific Grove, CA [14] R Hartley, (1993), “Cheirality invariants” In Proc DARPA Image Understanding Workshop, tr 743-753 [15] Richard Hartley and Andrew Zisserman, (2000), Multiple View Geometry in computer vision, University Press, Cambridge, United Kingdom [16] R I Hartley, (1995), “Theory and practice of projective rectification”, Technical Report 2538, INRIA [17] R I Hartley and R Gupta, (1993), “Computing matched epipolar projections”, In Proc CVPR, tr 549-555, New York [18] R I Hartley, (1992), “Estimation of relative camera positions for uncalibrated cameras”, In European conference on computer vision [19] R Sablatnig and M Kampel, (2001), “Computing relative disparity maps from stereo images” [20] R Sébastien, J Meunier and J C Ingemar, (1997), “Cylindrical rectification to minimize epipolar distortion” In Proc ICVPR, tr 393-399 [21] S M Smith and J M Brady “SUSAN - a new approach to low level image processing” [22] T Kanade and M Okutomi, (1994), “A Stereo Matching Algorithm with an adaptive window: Theory and Experiment” Tài liệu tham khảo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 67 Ma Thị Châu Luận văn thạc sỹ [23] Zhengyou Zhang, Rachid Deriche, Olivier Faugeras and Quang-Tuan Luong, (2004) “A Robust technique for matching two uncalibrated Images Through the Recovery of the Unknown Epipolar Geometry” [24] http://www.biology-online.org/dictionary/vision_disparity [25] http://public.lanl.gov/mewall/kluwer2002.html [26] http://www1.cs.columbia.edu/~jebara/htmlpapers/SFM/node8.html [27] http://www.the3dstudio.com/ [28] http://www1.cs.columbia.edu/~jebara/htmlpapers/SFM/node8.html [29] http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/OWENS/LECT11/n ode5.html [30] http://www.fmrib.ox.ac.uk/~steve/susan/susan/node10.html Mã nguồn công cụ hỗ trợ: [31] http://www.cv.iit.nrc.ca/~gerhard/PVT/toc.html Tài liệu tham khảo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 68 Ma Thị Châu Luận văn thạc sỹ PHỤ LỤC Một số định nghĩa Toán tử giả nghịch đảo: Cho trước ma trận A, ma trận A+ gọi ma trận giả nghịch đảo A A+ thỏa mãn tiêu chuẩn sau đây: i AA+A=A ii A+AA+=A+ iii (AA+)*=AA+ iv (A+A)*=A+A M* ma trận chuyển vị liên hợp ma trận M Để lấy chuyển vị liên hợp ma trận M, trước hết ta tiến hành chuyển vị ma trận M sau tiến hành liên hợp phức cho phần tử ma trận chuyển vị M * [i, j ] = M [ j , i ] Ma trận phản đối xứng: Cho vectơ chiều e = [e1 , e2 , e3 ]T ma trận phản đối xứng e định nghĩa sau: ⎡ [e]× = ⎢⎢ e3 ⎢⎣− e2 − e3 e1 e2 ⎤ − e1 ⎥⎥ ⎥⎦ Giá trị riêng vectơ riêng: Một biến đổi tuyến tính biểu diễn ma trận A Nếu có vectơ cho: λ gọi giá trị riêng (eigenvalue) A, X vectơ riêng (eigenvector) A Phụ lục LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu 69 Luận văn thạc sỹ Giá trị đơn: Cho ma trận vuông A, bậc hai giá trị riêng A*A gọi giá trị đơn ma trận A Trong A* chuyển vị liên hợp A Vectơ đơn: Cho ma trận vuông A, vectơ riêng A*A gọi vectơ đơn ma trận A Một số thuật toán A Thuật tốn điểm chuẩn hố tính F { } Bài toán: Cho trước n ≥ cặp điểm đối sánh xi ↔ xi' xác định ma trận F cho xi'T Fxi = Thuật toán: (i) − − Chuẩn hoá: Biến đổi toạ độ điểm ảnh theo công thức x i = Txi x' i = T ' x'i , T T’ ma trận chuẩn hoá bao gồm phép quay phép dịch (a) (ii) − − − Tìm ma trận F ' với cặp đối sánh x i ↔ xi' sau: − (a) Giải pháp tuyến tính: Tính F từ vectơ đơn (Phụ lục A) ứng với giá trị đơn (Phụ − − − − lục A) nhỏ A với A xác định từ cặp tương ứng x i ↔ xi' (b) − − − (b) Ràng buộc: Thay F F ' cho F '= sử dụng SVD (c) − (iii) Phi chuẩn: Thiết lập ma trận F = T 'T F ' T Ma trận F ma trận ứng với cặp đối sánh xi ↔ xi' Bảng phụ lục Thuật toán tính ma trận F a Chuẩn hố Các ảnh đầu vào có gốc toạ độ đặt góc trái ảnh có đặt tâm ảnh Nếu để tình trạng ảnh hưởng đến kết biến đổi sau Phụ lục LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma Thị Châu 70 Luận văn thạc sỹ nhân ảnh với hệ số hay biến đổi tương tự, affin Do cần phải chuẩn hoá ảnh số phép biến đổi quay dịch chuyển Nhiệm vụ tốn chuẩn hố tính tốn ma trận biến đổi tương tự T bao gồm − phép quay phép dịch chuyển cho đầu vào xi biến đổi thành x i trọng tâm − tất điểm x i đặt gốc toạ độ (0,0)T khoảng cách trung bình tới gốc toạ độ − − − Xác định ma trận F từ cặp đối sánh x i ↔ xi' b − − − Ma trận F tương ứng với cặp đối sánh x i ↔ xi' thoả mãn ràng buộc − xi'T F xi = − − biểu diễn x i ↔ xi' dạng toạ độ xi = (x i , y i ,1)T x'i = (x'i , y 'i ,1)T , F = ( f ij )i =1,3; j =1,3 , f vectơ phần tử định nghĩa từ phần tử ma trận F − theo thứ tự hàng Mỗi cặp đối sánh cho ta phương trình sau: − − − − − − − − − − − − x' i x i f 11 + x' i y i f 12 + x' i f 13 + y 'i x i f 21 + y 'i y i f 22 + y ' i f 23 + x i f 31 + y i f 31 + f 33 = hay − − − − − − − − ⎞ ⎛ − − − − ⎜ x ' i x i , x ' i y i , x ' i , y ' i x i , y ' i y i , y ' i , x i , y i ,1 ⎟ f = ⎠ ⎝ từ n cặp đối sánh ta có phương trình tuyến tính sau: ⎡ − − ⎢ x'i1 x i1 − A f = ⎢ ⎢ − − ⎢ x'in x in ⎣ − − x'i1 y i1 − − x'in y in − − − x'i1 y 'i1 x i1 − − − x'in y 'in x in − − − − y 'i1 y i1 y 'i1 x i1 y 'in y in y 'in x in − − − − − y i1 − y in ⎤ 1⎥ ⎥ f = ⎥ 1⎥ ⎦ Phụ lục LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 71 Ma Thị Châu Luận văn thạc sỹ − − Ma trận F phải có hạng lời giải cho f F = UDV T , giá trị đơn − nhỏ F tương ứng với cột cuối V, từ ta xác định f − F c Ràng buộc ma trận Ma trận F phải thoả mãn ràng buộc Det F=0 Để đảm bảo ràng buộc ma − − − − − − trận F thay ma trận F ' cho tối thiểu hoá F − F ' Det F ' = F ' − có thơng qua phương pháp SVD: F = UDV T D ma trận đường chéo − D=diag(r,s,t) thoả mãn r ≥ s ≥ t Lúc F ' = Udiag (r , s,0)V T B RANSAC (RANdom Sample Consensus) Nếu ước lượng epsilon cặp điểm đối sánh bị sai N RANSAC mẫu tính theo epsilon sau: ( N = log(1 − p ) / − (1 − epsilon ) No ) p xác suất tính hiệu việc chọn N, thông thường p chọn 0.99 C Không gian rỗng phải (Right Null-Space) Không gian rỗng phải ma trận A cỡ mxn tập tất giải pháp ⎡ξ1 ⎤ x = ⎢⎢ ⎥⎥ = [ξ1 ⎢⎣ξ n ⎥⎦ ξ n ]T phương trình Ax = Phụ lục LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... 2.2.5 Chỉnh sửa ảnh 30 2.2.6 Khôi phục độ sâu 32 CHƯƠNG 3: XÂY DỰNG BỘ CÔNG CỤ DỰNG MƠ HÌNH CHIỀU TỪ CẶP ẢNH CHỤP 34 3. 1 Mơ hình cơng cụ dựng mơ hình chiều từ... download : add luanvanchat@agmail.com 34 Ma Thị Châu Luận văn thạc sỹ CHƯƠNG 3: XÂY DỰNG BỘ CƠNG CỤ DỰNG MƠ HÌNH CHIỀU TỪ CẶP ẢNH CHỤP 3. 1 Mơ hình cơng cụ dựng mơ hình chiều từ cặp ảnh Để có cơng cụ... Chương luận văn giới thiệu số vấn đề liên quan đến tốn dựng mơ hình chiều, tổng quan qui trình dựng mơ hình chiều, số kĩ thuật nghiên cứu triển khai dựng mơ hình chiều Trong chương 3, xây dựng