Ước lượng tập điểm tương đồng giữa hai ảnh dựa trên đối sánh đặc trưng SIFT

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG - ISO 9001:2015 ĐỒ ÁN TỐT NGHIỆP NGÀNH: CÔNG NGHỆ THÔNG TIN Sinh viên : Vũ Lê Minh Hoàng Giảng viên hướng dẫn: TS Ngơ Trường Giang HẢI PHỊNG - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG - ƯỚC LƯỢNG TẬP ĐIỂM TƯƠNG ĐỒNG GIỮA HAI ẢNH DỰA TRÊN ĐỐI SÁNH ĐẶC TRƯNG SIFT ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY NGÀNH: CƠNG NGHỆ THƠNG TIN Sinh viên : Vũ Lê Minh Hoàng Giảng viên hướng dẫn: TS Lê Trường Giang HẢI PHÒNG - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG NHIỆM VỤ ĐỀ TÀI TỐT NGHIỆP Sinh viên: Vũ Lê Minh Hoàng Mã SV: 1412101034 Lớp: CT1802 Ngành: Công nghệ thông tin Tên đề tài: Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Sinh viên: Bùi Thị Bích Phương – QT1805K MỤC LỤC LỜI CẢM ƠN LỜI MỞ ĐẦU DANH MỤC HÌNH VẼ CHƯƠNG 1: PHÁT HIỆN VÀ MÔ TẢ ĐẶC TRƯNG ẢNH 1.1 Giới thiệu 1.2 Các loại đặc trưng ảnh 1.2.1 Đặc trưng toàn cục cục 1.2.2 Đặc điểm phát đặc trưng 1.2.3 Bất biến với tỷ lệ biến đổi Affine 10 1.3 Phát đặc trưng ảnh 11 1.3.1 Phát đơn tỉ lệ 12 1.3.2 Phát đa tỉ lệ 19 1.4 Mô tả đặc trưng ảnh 23 1.4.1 Scale Invariant Feature Transform (SIFT) 23 1.4.2 Gradient Location-Orientation Histogram (GLOH) 24 1.4.3 Speeded-Up Robust Features Descriptor (SURF) 25 CHƯƠNG 2: ĐỐI SÁNH ẢNH DỰA TRÊN ĐẶC TRƯNG SIFT 28 2.1 Giới thiệu về đối sánh ảnh 28 2.2 Các phương pháp đối sánh ảnh 29 2.2.1 Phương pháp dựa vùng (Area based methods) 29 2.2.2 Phương pháp dựa theo đặc trưng (Feature based methods) 40 2.3 Đối sánh ảnh dựa đặc trưng SIFT 44 2.3.1 Trích chọn đặc trưng SIFT 44 2.3.2 Đối sánh SIFT 46 CHƯƠNG 3: CHƯƠNG TRÌNH THỰC NGHIỆM 48 3.1 Môi trường thực nghiệm 48 3.1.1 Cấu hình phần cứng 48 3.1.2 Môi trường cài đặt 48 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT 3.1.3 Thư viện OpenCV (Open Source Computer Vision Library 48 3.2 Trích chọn đặc trưng SIFT 50 3.3 Ước lượng tập điểm tương đồng 52 3.4 Một số kết thực nghiệm 55 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 58 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành đến quý thầy Trường Đại Học Dân Lập Hải Phịng, người dìu dắt em tận tình, truyền đạt cho em kiến thức học quý báu suốt thời gian em theo học trường Em xin trân trọng gửi lời cảm ơn đến tất thầy cô khoa Công Nghệ Thông Tin, đặc biệt thầy giáo TS Ngô Trường Giang, thầy tận tình hướng dẫn giúp đỡ em suốt trình làm tốt nghiệp Với bảo Thầy, em có định hướng tốt việc triển khai thực yêu cầu trình làm đồ án tốt nghiệp Ngoài ra, em xin gửi lời cảm ơn tới tất bạn bè, đặc biệt bạn lớp CT1802 gắn bó, học tập giúp đỡ em năm qua suốt trình thực đồ án Em xin chân thành cảm ơn! Hải Phòng, ngày 03 tháng 11 năm 2018 Sinh viên Vũ Lê Minh Hoàng Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT LỜI MỞ ĐẦU Trong lĩnh vực nhận dạng đối tượng ngày nay, hướng nghiên cứu phổ biến giới việc sử dụng điểm bất biến (Invarian Feature) ảnh làm đặc trưng để nhận dạng Tiêu biểu thuật toán đối sánh sử dụng đặc trưng dạng thuật toán SIFT (Scale-Invarian Feature Transform, David Lowe 1999 2004), SIFT coi thuật tốn tiền đề cho ứng dụng giải thuật khác về trích chọn biến đổi đặc trưng bất biến ảnh Các giải thuật ứng dụng thực tế khác đều dựa hay phát triển theo nhánh riêng SIFT Các đặc trưng SIFT không phụ thuộc vào phép biến đổi ảnh xoay, co dãn, thay đổi độ sáng,v.v nên xem tập đặc trưng ảnh thể cho nội dung ảnh Vì kết việc nhận dạng có độ xác cao chí khơi phục đối tượng bị che khuất ảnh Tuy nhiên giải thuật SIFT phức tạp cài đặt, đòi hỏi thời gian nghiên cứu am hiểu nhiều thuật toán thành phần Trong phạm vi đề tài này, em sử dụng đặc trưng SIFT để ước lượng tập điểm tương đồng hai ảnh nhằm mục đích hiểu biết thêm về phương pháp trích chọn đặc trưng việc triển khai ứng dụng thực tế về lĩnh vực tầm nhìn máy tính Ngồi đề tài cịn giúp em nắm kiến thức kết hợp kiến thức môn em học nhà trường Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT DANH MỤC HÌNH VẼ Hình 1-1: Biểu diễn đặc trưng ảnh toàn cục cục Hình 1-2: Thực loại bỏ điểm khơng cực đại 13 Hình 1-3: Phân loại điểm ảnh dựa giá trị riêng ma trận tự tương quan M 14 Hình 1-4: Phát đặc trưng phần ảnh FAST 17 Hình 1-5: Tìm kiếm cực trị khơng gian tỷ lệ 3D hàm LoG 21 Hình 1-6: Tìm kiếm cực trị không gian tỷ lệ 3D hàm DoG 22 Hình 1-7: Sơ đồ biểu diễn mơ tả SIFT cho phần ảnh 16×16 điểm ảnh mảng mơ tả 4×4 24 Hình 1-8: Sơ đồ thuật toán GLOH 25 Hình 1-9: Chia vùng đặc trưng thành x vùng để tính mơ tả SURF 26 Hình 2-1: Nguyên lý hình học epipolar Một mặt phẳng epipolar xác định trung tâm chiếu O1 O2 điểm đối tượng P Các đường epipolar e’ e’’ giao điểm mặt phẳng epipolar với mặt phẳng ảnh (được chuyển thể từ Schenk, 1999) 31 Hình 2-2: Giải thích hình học hệ số tương quan r = cos = vT v S / ( vT vS ) 32 Hình 2-3: [Tài liệu “Image matching and its applications”] Nguyên lý đối sánh hình ảnh dựa việc tìm hệ số tương quan cực đại r 33 Hình 2-4: Biểu diễn hình học khoảng cách hình ảnh D =| v |=| vT − vS | 38 Hình 2-5: Ảnh gốc 44 Hình 2-6: Phát cạnh 44 Hình 2-7: Đối sáng hai ảnh quay về đối sánh hai tập điểm đặc trưng không gian đặc trưng 46 Hình 3-1: Ảnh hiển thị 51 Hình 3-2: Ảnh phát đặc trưng 52 Hình 3-3: Các cặp đối sánh ảnh a1.png a2.png 55 Hình 3-4: Các cặp đối sánh ảnh b1.png b2.png 56 Hình 3-5: Các cặp đối sánh ảnh c1.png c2.png 56 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT CHƯƠNG 1: PHÁT HIỆN VÀ MÔ TẢ ĐẶC TRƯNG ẢNH 1.1 Giới thiệu Trong thập kỷ qua, phát đặc trưng mô tả ảnh trở thành công cụ phổ biến cộng đồng thị giác máy tính Các phương pháp có áp dụng rộng rãi lượng lớn ứng dụng như: khôi phục ảnh, phân lớp tra cứu ảnh, nhận dạng đối sánh đối tượng, khôi phục cảnh 3D, theo dõi chuyển động đối tượng, phân lớp cấu trúc ảnh, định vị rô bốt hệ thống sinh trắc học, tất đều dựa biểu diễn ổn định đặc trưng đại diện ảnh Do đó, phát trích chọn đặc trưng ảnh bước quan trọng cho ứng dụng Để thiết lập cặp điểm tương ứng hai ảnh việc tìm điểm bật ảnh cần thiết Trong nhiệm vụ phân lớp, đặc trưng ảnh truy vấn đem đối sánh với đặc trưng ảnh huấn luyện, cặp ảnh có nhiều đối sánh coi đối sánh tốt Trong trường hợp này, đối sánh đặc trưng dựa độ đo khoảng cách Euclide Mahalanobis Trong khôi phục ảnh, việc hiệu chỉnh ảnh thu nhận điều kiện thời điểm khác cần thiết Các bước để thực khôi phục ảnh hiệu chỉnh là: mô tả đặc trưng, đối sánh đặc trưng, xác định hàm biến đổi dựa đặc trưng tương ứng hai ảnh ảnh khơi phục hình ảnh dựa hàm biến đổi Trong đối sánh nhận dạng, bước phát điểm đặc trưng ảnh mô tả chúng Khi mơ tả tính tốn, chúng so sánh với để tìm mối quan hệ ảnh để thực nhiệm vụ đối sánh / nhận dạng Phát đặc trưng bước quan trọng đối sánh ảnh Ý tưởng phát đặc trưng phát điểm chính, điểm bất biến với lớp biến đổi Sau đó, điểm phát hiện, Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT xây dựng véc tơ để biểu diễn đặc trưng bất biến cho điểm ảnh xung quanh điểm phát Các mô tả đặc trưng trích chọn từ ảnh dựa thống kê bậc hai, mơ hình tham số, hệ số thu từ phép biến đổi ảnh, chí kết hợp độ đo Hai kiểu đặc trưng ảnh trích chọn từ mô tả nội dung ảnh đặc trưng toàn cục đặc trưng cục Đặc trưng tồn cục (ví dụ: màu sắc kết cấu) nhằm mục đích mơ tả tồn ảnh giải thích thuộc tính đặc biệt tất điểm ảnh ảnh Trong đó, đặc trưng cục nhằm mục đích phát điểm vùng bật ảnh mô tả chúng Việc sử dụng đặc trưng tồn cục chứng minh thành cơng cho việc tìm hình ảnh tương tự sở liệu, đặc trưng có hướng cấu trúc cục xem phù hợp cho việc phân lớp đối tượng tìm phần xuất khác đối tượng cảnh tương tự Mặt khác, ứng dụng thời gian thực phải xử lý nhiều liệu chạy thiết bị di động với khả tính tốn hạn chế cần thiết phải mô tả cục để tính tốn nhanh, đối sánh nhanh, sử dụng nhớ hiệu đưa độ xác tốt Hơn nữa, mô tả đặc trưng cục chứng minh lựa chọn tốt cho đối sánh ảnh nền tảng di động, nơi xuất đối tượng khuyết cần phải xác định Với ứng dụng phân lớp ảnh, truy xuất ảnh, theo dõi nhận dạng đối tượng, mô tả đặc trưng cục quan trọng để khắc phục ảnh hưởng từ thay đổi về độ sáng, thay đổi góc nhìn biến dạng ảnh (ví dụ: nhiễu, mờ, chiếu sáng) Trong đó, nhiệm vụ tra cứu đặc biệt khác chẳng hạn phát khuôn mặt nhận dạng, cần phải sử dụng kỹ thuật phát mơ tả đặc biệt Có nhiều phương pháp đề xuất để mơ tả hình dạng, điển SIFT (Scale Invariant Feature Transform), SURF (Speeded-up Robust Features) Mô tả SIFT sử dụng cực trị cục đạo hàm DoG Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 10 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Hình 2-5: Ảnh gốc Hình 2-6: Phát cạnh 2.3 Đối sánh ảnh dựa đặc trưng SIFT 2.3.1 Trích chọn đặc trưng SIFT Phương pháp trích rút đặc trưng bất biến SIFT tiếp cận theo phương pháp lọc kim tự tháp, theo phương pháp thực theo bước sau: − Phát điểm cực trị (Scale-Space extrema detection): Bước áp dụng đạo hàm hàm Gaussian (DoG - Deffirence of Gaussisan) để tìm điểm có khả làm điểm đặc trưng tiềm năng, đểm phụ thuộc (bất biến) vào thu phóng ảnh xoay ảnh Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 44 47 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT − Định vị điểm đặc trưng (keypoint localization): Từ điểm tiềm lọc lấy tập điểm đặc trưng tốt (các điểm chính) − Gán hướng cho điểm đặc trưng (Orientation assignment): Mỗi điểm đặc trưng gán cho nhiều hướng dựa hướng gradient ảnh Mọi phép toán xử lý bước sau thực liệu ảnh mà biến đổi tương đối so với hướng gán, kích cỡ vị trí điểm đặc trưng Nhờ đó, tạo bất biến phép xử lý − Mô tả điểm đặc trưng (Keypoint descriptor): Các hướng gradient cục đo ảnh có kích cỡ cụ thể vùng lân cận với điểm đặc trưng Sau đó, chúng biễu diễn thành dạng mà cho phép mô tả tầng quan trọng q trình bóp méo hình dạng cục thay đổi về độ sáng Tập điểm đặc biệt thu thường phụ thuộc vào phép biến đổi xoay, phóng to, thu nhỏ, tăng giảm cường độ sáng, xem đặc trưng mang tính cục ảnh Để đối sánh nhận dạng hai ảnh ta tìm tập điểm giống hai ảnh, dựa vào hướng tỉ lệ để biết đối tượng ảnh gốc xoay, thu phóng so với ảnh đem đối sánh Cách tiếp cận thuật toán dựa vào điểm bất biến cục ảnh, chúng trích xuất ra, định hướng mô tả cho hai điểm hai vùng khác khác Tuy nhiên yếu tố ảnh hưởng không nhỏ đến tốc độ thuật toán số lượng điểm lấy khơng nhỏ Trung bình ảnh kích thước 500×500 điểm ảnh trích xuất khoảng 1000 điểm (số lượng điểm phụ thuộc vào tùy ảnh tham số lọc khác nhau) Số lượng điểm đặc trưng có tầm quan trọng vấn đề nhận dạng đối tượng, để nhận dạng đối Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 45 48 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT tượng nhỏ ảnh chứa tập hợp đối tượng hỗn độn cần điểm đặc trưng giống để phát và bóc tách đối tượng 2.3.2 Đối sánh SIFT 2.3.2.1 Độ đo khoảng cách độ đo tương tự Độ đo tương tự phương pháp tốt để máy tính phân biệt hình ảnh qua nội dung chúng Độ đo mang ý nghĩa định kết tìm kiếm nào, mức độ xác Nhiều phép đo khoảng cách sử dụng như: khoảng cách Euclide, khoảng cách Cosin, khoảng cách giao biểu đồ histogram, khoảng cách Minkowski… 2.3.2.2 Đối sánh đặc trưng cục bất biến Trước hết để đối sánh ảnh với cần trích xuất tập điểm tương ứng từ ảnh bước Sau việc đối sánh thực tập điểm Bước kĩ thuật đối sánh thực tìm tập điểm so khớp hai ảnh, để thực việc tìm cặp điểm trùng hai ảnh Tập điểm so khớp vùng ảnh tương đồng Việc đối sánh hai tập hợp điểm đặc trưng quy về tốn tìm láng giềng gần điểm đặc trưng Hình 2-7 Hình 2-7: Đối sáng hai ảnh quay đối sánh hai tập điểm đặc trưng khơng gian đặc trưng Vũ Lê Minh Hồng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 46 49 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Có vấn đề cần quan tâm: − Tổ chức tập hợp điểm cho phép tìm kiếm láng giềng cách hiệu − Việc đối sánh phải đạt độ xác định Một phương pháp đề xuất D Mount cho phép tìm kiếm nhanh điểm lân cận sử dụng, KNN viết tắt k-Nearest Neighbour Nó cho phép tổ chức liệu dạng kd-tree, việc tìm kiếm láng giềng gần mang tính xấp xỉ kd-tree Cụ thể hai điểm không gian đặc trưng coi giống khoảng cách Euclidean hai điểm nhỏ tỉ số khoảng cách gần với khoảng cách gần nhì phải nhỏ ngưỡng cho trước Giả sử cặp điểm có mơ tả là: A = (a1 , a2 , a3 , , a128 ) B = (b1 , b2 , b3 , ,b128 ) Thì khoảng cách Euclidean A B tính cơng thức: D ( A, B ) = i i − b (a ) [2.12] 2.3.2.3 Một số độ đo khoảng cách cho ảnh sử dụng đặc trưng SIFT − Độ đo Cosin: x, y x.y d (x, y) = − Khoảng cách góc: d (x, y ) = cos − [2.13] −1 (x, y) Độ đo Euclid: n xi − y i d (x, y ) =i =1 − [2.14] [2.15] Độ đo Jensen-Shannon divergence: n d JSD (H , H ' ) = m =1 H m log 2Hm H 'm H m + H 'm + H ' m log H 'm + H m Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K [2.16] 47 50 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT CHƯƠNG 3: CHƯƠNG TRÌNH THỰC NGHIỆM 3.1 Mơi trường thực nghiệm 3.1.1 Cấu hình phần cứng Bảng 3.1 Cấu hình phần cứng sử dụng thực nghiệm Thành phần Thông số CPU Core i7-6500U 2.50GHz RAM 4GB Hệ điều hành Windows 10 Pro 64-bit Bộ nhớ 1TB 3.1.2 Môi trường cài đặt Bảng 3.3 Công cụ phần mềm sử dụng thực nghiệm Tên phần mềm Nguồn Visual Studio 2013 https://www.microsoft.com/enus/download/details.aspx?id=40769 STT 3.1.3 Thư viện OpenCV (Open Source Computer Vision Library) Đây thư viện mã nguồn mở về thị giác máy tính học máy Thư viện xây dựng để cung cấp nền tảng cho ứng dụng thị giác máy tính nhằm đẩy mạnh phát triển về hàm lượng tri thức máy tính sản phẩm thương mại Nhờ giấy phép quyền BSD nhiều công ty lớn hàng đầu giới Google, Yahoo, Microsoft, Intel, IBM,…cùng đóng góp xây dựng thư viện, OpenCV công cụ mạnh sử dụng rộng rãi trường học công ty khởi nghiệp OpenCV bao gồm nhiều giao diện dành cho C++, C, Python, Java, MATLAB hỗ trợ cho hệ điều hành khác Windows, Linux, Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 48 51 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Android, MacOS Trong phiên OpenCV 3.1, giao diện sử dụng cho CUDA OpenCL phát triển hoàn thiện OpenCV viết nguyên ngơn ngữ C++ OpenCV có nhiều chức Sau tóm tắt về hệ thống về chức hàm OpenCV − Image and Video I/O Những giao diện giúp ta đọc dự liệu ảnh từ file trực tiếp từ video Ta tạo file ảnh video với giao diện − Các thuật toán xử lý ảnh thị giác máy (General computer-vision and image-processing algorithms (mid – and low level APIs)) Sử dụng giao diện này, ta thực hành với nhiều chuẩn thị giác máy mà không cần phải có mã nguồn chúng − Đồ họa Những giao diện giúp ta viết chữ vẽ hình ảnh Thêm vào chức sử dụng nhiểu ghi nhãn đánh dấu Ví dụ ta viết chương trình cần nhận dạng nhiểu đối tượng có ích cho tạo nhãn ảnh (label image) với kích thước vị trí Với Window, cài đặt OpenCV, copy file OpenCV vào thư mục mà ta chọn Cách thức lựa chọn đường dẫn hệ thống chứa mã nhị phân OpenCV, đăng kí vài lọc DirectX Mặc định cài đặt đến C:/Program Files/OpenCV/ Trong thư mục OpenCV có chứa vài thư mục khác Thư mục docs chứa file văn html cho toàn hàm OpenCV kiểu liệu Từ file văn ta làm ví dụ, ta muốn xem thư mục “samples” Những file header cần thiết ta dịch chương trình sử dụng OpenCV Ta xác định file header cách tìm kiếm thư mục cài đặt thư mục khác file có dạng *.h, *.hpp Header dùng cho Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 49 52 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT tất module trừ HighGUI tách riêng “include” Ta bỏ header thư mục “src” 3.2 Trích chọn đặc trưng SIFT Quá trình trích chọn đặc trưng SIFT thực theo bước sau: Bước 1: Đọc ảnh Hàm đọc ảnh imread(const string& filename, int flags ) đọc ảnh từ tệp định trả về ma trận giá trị mức xám Nếu ảnh không đọc hàm trả lại ma trận rỗng Các tham số sử dụng hàm: − Filename: Tên ảnh cần nạp − Flags: Cờ định kiểu màu ảnh load, khơng đọc theo định dạng ảnh o CV_LOAD_IMAGE_ANYDEPTH: Trả về ảnh 16 32 bit ảnh đầu vào có chiều sâu tương ứng Ngược lại ảnh chuyển về bit o CV_LOAD_IMAGE_COLOR: Chuyển đổi ảnh thành màu o CV_LOAD_IMAGE_GRAYSCALE: Chuyển đổi thành ảnh đa mức xám Hàm hiển thị ảnh imshow(const string& winname, InputArray mat) hiển thị ảnh cửa sổ định Nếu cửa sổ tạo cờ ảnh hiển thị với kích thước ban đầu, nhiên bị giới hạn độ phân giải hình Ngược lại ảnh thu nhỏ để vừa với cửa sổ Các tham số hàm có ý nghĩa sau: − Winname: Tên cửa sổ − mat: Ma trận ảnh hiển thị Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 50 53 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Ví dụ đọc hiển thị ảnh Kết đọc hiển thị ảnh Hình 3-1: Ảnh hiển thị Bước 2: Phát điểm đặc trưng Trong OpenCV, phương thức sau cho phép phát điểm đặc trưng: SiftFeatureDetector::detect(…) Ví dụ Trong đó: − img1, img2: Ma trận điểm ảnh ảnh ảnh tương ứng − keypoint 1, keypoint2: véc tơ lưu trữ tập điểm đặc trưng cho ma trận ảnh img1và img2 tương ứng Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 51 54 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Kết tính tốn hiển thị hình 3-2: Hình 3-2: Ảnh phát đặc trưng Bước 3: Tính tốn mơ tả đặc trưng Chức thực cách gọi thủ tục DescriptorExtractor::compute(…) Ví dụ Trong đó: − img1, img2: Ma trận điểm ảnh ảnh tương ứng − keypoints1, keypoints2: véc tơ lưu trữ tập điểm đặc trưng cho ma trận ảnh img1 img2 tương ứng − descriptors1, descriptors2: Các mô tả ảnh img1 ảnh img2 tính tốn 3.3 Ước lượng tập điểm tương đồng Ước lượng tập điểm tương đồng hai ảnh thực dựa việc đối sánh tập điểm đặc trưng Công việc thực việc sử dụng thuật toán đối sánh Brute Force(BF) OpenCV Đây biến đối Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 52 55 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT sánh đơn giản cách lấy mô tả đặc trưng tập thứ đối sánh với tất đặc trưng khác tập thứ hai sử dụng số độ đo khoảng cách Cặp đối sánh có khoảng cách gần chọn Với đối sánh BF, trước hết cần tạo đối tượng BFMatcher sử dụng phương thức cv2.BFmatcher() Nó có hai tham số tùy chọn Tham số thứ normType kiểu chuẩn, sử dụng để định độ đo khoảng cách, Mặc định chuẩn L2(cv2.NORM_L2) Tham số thứ hai crossCheck giá trị boolean, mặc định đặt False Nếu đặt True kết trả về đối sánh với giá trị (i,j) cho mô tả thứ i tập a đối sánh tốt với mô tả thứ j tập b ngược lại Khi đối tượng BFMatcher tạo ra, hai phương thức quan trọng sử dụng để đối sánh BFMatcher.match() BFMather.knnMatch() Phương thức thứ trả lại đối sánh tốt nhất, phương thức thứ hai trả về k đối sánh tốt Với k định người dùng Để vẽ điểm cần sử dụng phương thức cv2.drawMatches() Phương thức ghép hai ảnh theo chiều ngang vẽ đường đối sánh tốt từ ảnh thứ sang ảnh thứ hai Khi cần vẽ tất k đối sánh tốt phải sử dụng phương thức cv2.drawMathesKnn() Nếu k=2 vẽ hai đường từ điểm Ví dụ: Giả sử ta có hai tập mô tả đặc trưng sử dụng mô tả SIFT descriptors1, descriptors2 tính tốn bước (mục 3.2) Bước 1: Tìm đối sánh − Trước hết cần phải tạo đối tượng mathcer với độ đo khoảng cách chuẩn norm_L2 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 53 56 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT − Tiếp theo sử dụng phương thức matcher.match() để nhận đối sánh tốt hai ảnh Trong matches đối sánh thu Cỡ đối sánh nhỏ số lượng mô tả Nếu sử dụng phương thức knn thực lệnh sau để tìm đối sánh: Trong knn_matches k cho mô tả, k số đối sánh tốt tìm thấy cho mơ tả mơ tả có tổng số k đối sánh Bước 2: Tìm đối sánh tốt − Tính tốn nhanh khoảng cách tối đa tối thiểu: Ban đầu, khoảng cách tối thiểu gán 0, khoảng cách tối đa gán 100 Sau tìm khoảng cách tối thiểu tối đa theo: − Chọn đối sánh tốt nhất: đối sánh có khoảng cách nằm khoảng từ 0.03 tới 2*min_dist Bước 3: Vẽ đối sánh hiển thị Hàm drawMatches(…) sử dụng để vẽ đối sánh, sau hiển thị hàm imshow() Ví dụ: Vũ Lê Minh Hồng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 54 57 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT 3.4 Một số kết thực nghiệm Kết tìm điểm tương đồng dựa đối sánh cho số cặp ảnh bảng 3.1 Các kết biểu diễn trực quan hình: Hình 3-3 đến Hình 3-5 Bảng 3.1 Bảng thống kê kết đối sánh số cặp ảnh Cặp ảnh đối sánh Khoảng cách Khoảng cách nhỏ Số điểm tương lớn nhất đồng a1.png - a2.png 440.3 100 20 b1.png - b2.png 413.1 29.2 23 c1.png - c2.png 408.9 55.9 17 Ảnh kết thực nghiệm Hình 3-3: Các cặp đối sánh ảnh a1.png a2.png Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 55 58 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Hình 3-4: Các cặp đối sánh ảnh b1.png b2.png Hình 3-5: Các cặp đối sánh ảnh c1.png c2.png Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 56 59 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT KẾT LUẬN Sau thời gian tìm hiểu thực đề tài, đồ án đạt kết sau: − Nắm nguyên lý kỹ thuật đối sánh ảnh − Mô tả giải thích vấn đề đối sánh ảnh − Nắm phương pháp tìm, trích chọn điểm biểu diễn đặc trưng SIFT − Áp dụng thành cơng kỹ thuật BFMatcher vào chương trình để ước lượng tập điểm tương đồng hai ảnh Tuy nhiên, thời gian khả có hạn, nên em chưa sâu tìm hiểu thêm về ứng dụng, xử lý code OpenCV cịn chưa tốt, chương trình cịn nhiều thiết sót Trong thời gian tới, em tìm hiểu thêm cải tiến SIFT xây dựng ứng dụng hoàn chỉnh bao gồm giao diện người dùng CSDL đặc trưng cách đầy đủ, hệ thống Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 57 60 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT TÀI LIỆU THAM KHẢO [1] Markéta Potůčková, “Image matching and its applications in photogrammetry”, February 2006 [2] M Hassaballah, Aly Amin Abdelmgeid and Hammam A Alshazly, “Image Features Detection, Description and Matching” [3] Tuytelaars, T., Mikolajczyk, K., “Local invariant feature detectors: a survey”, (2007) [4] Moravec, H.P., “Towards automatic visual obstacle avoidance In: 5th International Joint Conference on Artificial Intelligence, pp 584–594”, (1977) [5] Harris, C., Stephens, M., “A combined corner and edge detector”, Manchester - UK, (1988) [6] Smith, S.M., Brady, J.M., “A new approach to low level image processing.”, J Comput Vis, (1997) [7] Yussof, W., Hitam, M., “Invariant Gabor-based interest points detector under geometric transformation Digital Signal Process.”, (2014) [8] Mikolajczyk, K., Tuytelaars, T., Schmid, C., Zisserman, A., Matas, J., Schaffalitzky,F., Kadir, T., Gool, L., “A comparison of affine region detectors.”, (2005) [9] Bay, H., Ess, A., Tuytelaars, T., Gool, L., “Speeded-up robust features (SURF).”, (2008) Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 58 61 ... QT1805K 43 46 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Hình 2-5: Ảnh gốc Hình 2-6: Phát cạnh 2.3 Đối sánh ảnh dựa đặc trưng SIFT 2.3.1 Trích chọn đặc trưng SIFT Phương... 45 48 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT tượng nhỏ ảnh chứa tập hợp đối tượng hỗn độn cần điểm đặc trưng giống để phát và bóc tách đối tượng 2.3.2 Đối sánh SIFT. .. Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT vùng hình ảnh gọi vùng đặc trưng (các điểm chính) Mơ tả đặc trưng tồn cục cục ảnh minh họa Hình 1-1 Hình 1-1: Biểu diễn đặc trưng