Ước lượng tập điểm tương đồng giữa hai ảnh dựa trên đối sánh đặc trưng SIFT

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG - ISO 9001:2015 ĐỒ ÁN TỐT NGHIỆP NGÀNH: CÔNG NGHỆ THÔNG TIN Sinh viên : Vũ Lê Minh Hoàng Giảng viên hướng dẫn: TS Ngơ Trường Giang HẢI PHỊNG - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG - ƯỚC LƯỢNG TẬP ĐIỂM TƯƠNG ĐỒNG GIỮA HAI ẢNH DỰA TRÊN ĐỐI SÁNH ĐẶC TRƯNG SIFT ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY NGÀNH: CƠNG NGHỆ THƠNG TIN Sinh viên : Vũ Lê Minh Hoàng Giảng viên hướng dẫn: TS Lê Trường Giang HẢI PHÒNG - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG NHIỆM VỤ ĐỀ TÀI TỐT NGHIỆP Sinh viên: Vũ Lê Minh Hoàng Mã SV: 1412101034 Lớp: CT1802 Ngành: Công nghệ thông tin Tên đề tài: Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Sinh viên: Bùi Thị Bích Phương – QT1805K MỤC LỤC LỜI CẢM ƠN .3 LỜI MỞ ĐẦU .4 DANH MỤC HÌNH VẼ CHƯƠNG 1: PHÁT HIỆN VÀ MÔ TẢ ĐẶC TRƯNG ẢNH 1.1 Giới thiệu .6 1.2 Các loại đặc trưng ảnh 1.2.1 Đặc trưng toàn cục cục .8 1.2.2 Đặc điểm phát đặc trưng 1.2.3 Bất biến với tỷ lệ biến đổi Affine 10 1.3 Phát đặc trưng ảnh .11 1.3.1 Phát đơn tỉ lệ .12 1.3.2 Phát đa tỉ lệ 19 1.4 Mô tả đặc trưng ảnh 23 1.4.1 Scale Invariant Feature Transform (SIFT) 23 1.4.2 Gradient Location-Orientation Histogram (GLOH) 24 1.4.3 Speeded-Up Robust Features Descriptor (SURF) 25 CHƯƠNG 2: ĐỐI SÁNH ẢNH DỰA TRÊN ĐẶC TRƯNG SIFT 28 2.1 Giới thiệu về đối sánh ảnh 28 2.2 Các phương pháp đối sánh ảnh 29 2.2.1 Phương pháp dựa vùng (Area based methods) 29 2.2.2 Phương pháp dựa theo đặc trưng (Feature based methods) 40 2.3 Đối sánh ảnh dựa đặc trưng SIFT 44 2.3.1 Trích chọn đặc trưng SIFT 44 2.3.2 Đối sánh SIFT 46 CHƯƠNG 3: CHƯƠNG TRÌNH THỰC NGHIỆM 48 3.1 Môi trường thực nghiệm 48 3.1.1 Cấu hình phần cứng 48 3.1.2 Môi trường cài đặt .48 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT 3.1.3 Thư viện OpenCV (Open Source Computer Vision Library .48 3.2 Trích chọn đặc trưng SIFT 50 3.3 Ước lượng tập điểm tương đồng 52 3.4 Một số kết thực nghiệm 55 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 58 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành đến quý thầy cô Trường Đại Học Dân Lập Hải Phòng, người dìu dắt em tận tình, truyền đạt cho em kiến thức học quý báu suốt thời gian em theo học trường Em xin trân trọng gửi lời cảm ơn đến tất thầy cô khoa Công Nghệ Thông Tin, đặc biệt thầy giáo TS Ngô Trường Giang, thầy tận tình hướng dẫn giúp đỡ em suốt trình làm tốt nghiệp Với bảo Thầy, em có định hướng tốt việc triển khai thực yêu cầu q trình làm đồ án tốt nghiệp Ngồi ra, em xin gửi lời cảm ơn tới tất bạn bè, đặc biệt bạn lớp CT1802 ln gắn bó, học tập giúp đỡ em năm qua suốt trình thực đồ án Em xin chân thành cảm ơn! Hải Phòng, ngày 03 tháng 11 năm 2018 Sinh viên Vũ Lê Minh Hoàng Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT LỜI MỞ ĐẦU Trong lĩnh vực nhận dạng đối tượng ngày nay, hướng nghiên cứu phổ biến giới việc sử dụng điểm bất biến (Invarian Feature) ảnh làm đặc trưng để nhận dạng Tiêu biểu thuật toán đối sánh sử dụng đặc trưng dạng thuật toán SIFT (Scale-Invarian Feature Transform, David Lowe 1999 2004), SIFT coi thuật tốn tiền đề cho ứng dụng giải thuật khác về trích chọn biến đổi đặc trưng bất biến ảnh Các giải thuật ứng dụng thực tế khác đều dựa hay phát triển theo nhánh riêng SIFT Các đặc trưng SIFT không phụ thuộc vào phép biến đổi ảnh xoay, co dãn, thay đổi độ sáng,v.v nên xem tập đặc trưng ảnh thể cho nội dung ảnh Vì kết việc nhận dạng có độ xác cao chí khơi phục đối tượng bị che khuất ảnh Tuy nhiên giải thuật SIFT phức tạp cài đặt, đòi hỏi thời gian nghiên cứu am hiểu nhiều thuật toán thành phần Trong phạm vi đề tài này, em sử dụng đặc trưng SIFT để ước lượng tập điểm tương đồng hai ảnh nhằm mục đích hiểu biết thêm về phương pháp trích chọn đặc trưng việc triển khai ứng dụng thực tế về lĩnh vực tầm nhìn máy tính Ngồi đề tài giúp em nắm kiến thức kết hợp kiến thức mơn em học nhà trường Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT DANH MỤC HÌNH VẼ Hình 1-1: Biểu diễn đặc trưng ảnh tồn cục cục 13 Hình 1-2: Thực loại bỏ điểm không cực đại Hình 1-3: Phân loại điểm ảnh dựa giá trị riêng ma trận tự tương quan M 14 Hình 1-4: Phát đặc trưng phần ảnh FAST 17 Hình 1-5: Tìm kiếm cực trị khơng gian tỷ lệ 3D hàm LoG 21 Hình 1-6: Tìm kiếm cực trị khơng gian tỷ lệ 3D hàm DoG 22 Hình 1-7: Sơ đồ biểu diễn mô tả SIFT cho phần ảnh 16×16 điểm ảnh mảng mơ tả 4×4 24 Hình 1-8: Sơ đồ thuật tốn GLOH 25 Hình 1-9: Chia vùng đặc trưng thành x vùng để tính mơ tả SURF 26 Hình 2-1: Ngun lý hình học epipolar Một mặt phẳng epipolar xác định trung tâm chiếu O1 O2 điểm đối tượng P Các đường epipolar e’ e’’ giao điểm mặt phẳng epipolar với mặt phẳng ảnh (được chuyển thể từ Schenk, 1999) 31 Hình 2-2: Giải thích hình học hệ số tương quan r = cos = v v / ( v v ) 32 T S T S Hình 2-3: [Tài liệu “Image matching and its applications”] Nguyên lý đối sánh hình ảnh dựa việc tìm hệ số tương quan cực đại r 33 Hình 2-4: Biểu diễn hình học khoảng cách hình ảnh D =| v |=| vT − vS | 38 Hình 2-5: Ảnh gốc 44 Hình 2-6: Phát cạnh 44 Hình 2-7: Đối sáng hai ảnh quay về đối sánh hai tập điểm đặc trưng không gian đặc trưng 46 Hình 3-1: Ảnh hiển thị 51 Hình 3-2: Ảnh phát đặc trưng 52 Hình 3-3: Các cặp đối sánh ảnh a1.png a2.png 55 Hình 3-4: Các cặp đối sánh ảnh b1.png b2.png 56 Hình 3-5: Các cặp đối sánh ảnh c1.png c2.png 56 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT CHƯƠNG 1: PHÁT HIỆN VÀ MÔ TẢ ĐẶC TRƯNG ẢNH 1.1 Giới thiệu Trong thập kỷ qua, phát đặc trưng mô tả ảnh trở thành công cụ phổ biến cộng đồng thị giác máy tính Các phương pháp có áp dụng rộng rãi lượng lớn ứng dụng như: khôi phục ảnh, phân lớp tra cứu ảnh, nhận dạng đối sánh đối tượng, khôi phục cảnh 3D, theo dõi chuyển động đối tượng, phân lớp cấu trúc ảnh, định vị rô bốt hệ thống sinh trắc học, tất đều dựa biểu diễn ổn định đặc trưng đại diện ảnh Do đó, phát trích chọn đặc trưng ảnh bước quan trọng cho ứng dụng Để thiết lập cặp điểm tương ứng hai ảnh việc tìm điểm bật ảnh cần thiết Trong nhiệm vụ phân lớp, đặc trưng ảnh truy vấn đem đối sánh với đặc trưng ảnh huấn luyện, cặp ảnh có nhiều đối sánh coi đối sánh tốt Trong trường hợp này, đối sánh đặc trưng dựa độ đo khoảng cách Euclide Mahalanobis Trong khôi phục ảnh, việc hiệu chỉnh ảnh thu nhận điều kiện thời điểm khác cần thiết Các bước để thực khơi phục ảnh hiệu chỉnh là: mô tả đặc trưng, đối sánh đặc trưng, xác định hàm biến đổi dựa đặc trưng tương ứng hai ảnh ảnh khơi phục hình ảnh dựa hàm biến đổi Trong đối sánh nhận dạng, bước phát điểm đặc trưng ảnh mô tả chúng Khi mô tả tính tốn, chúng so sánh với để tìm mối quan hệ ảnh để thực nhiệm vụ đối sánh / nhận dạng Phát đặc trưng bước quan trọng đối sánh ảnh Ý tưởng phát đặc trưng phát điểm chính, điểm bất biến với lớp biến đổi Sau đó, điểm phát hiện, Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT tượng nhỏ ảnh chứa tập hợp đối tượng hỗn độn cần điểm đặc trưng giống để phát và bóc tách đối tượng 2.3.2 Đối sánh SIFT 2.3.2.1 Độ đo khoảng cách độ đo tương tự Độ đo tương tự phương pháp tốt để máy tính phân biệt hình ảnh qua nội dung chúng Độ đo mang ý nghĩa định kết tìm kiếm nào, mức độ xác Nhiều phép đo khoảng cách sử dụng như: khoảng cách Euclide, khoảng cách Cosin, khoảng cách giao biểu đồ histogram, khoảng cách Minkowski… 2.3.2.2 Đối sánh đặc trưng cục bất biến Trước hết để đối sánh ảnh với cần trích xuất tập điểm tương ứng từ ảnh bước Sau việc đối sánh thực tập điểm Bước kĩ thuật đối sánh thực tìm tập điểm so khớp hai ảnh, để thực việc tìm cặp điểm trùng hai ảnh Tập điểm so khớp vùng ảnh tương đồng Việc đối sánh hai tập hợp điểm đặc trưng quy về tốn tìm láng giềng gần điểm đặc trưng Hình 2-7 Hình 2-7: Đối sáng hai ảnh quay đối sánh hai tập điểm đặc trưng không gian đặc trưng Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 46 49 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Có vấn đề cần quan tâm: − Tổ chức tập hợp điểm cho phép tìm kiếm láng giềng cách hiệu − Việc đối sánh phải đạt độ xác định Một phương pháp đề xuất D Mount cho phép tìm kiếm nhanh điểm lân cận sử dụng, KNN viết tắt k-Nearest Neighbour Nó cho phép tổ chức liệu dạng kd-tree, việc tìm kiếm láng giềng gần mang tính xấp xỉ kd-tree Cụ thể hai điểm không gian đặc trưng coi giống khoảng cách Euclidean hai điểm nhỏ tỉ số khoảng cách gần với khoảng cách gần nhì phải nhỏ ngưỡng cho trước Giả sử cặp điểm có mô tả là: A = (a1 , a2 , a3 , , a128 ) B = (b1 , b2 , b3 , ,b128 ) Thì khoảng cách Euclidean A B tính cơng thức: D ( A, B) = i i (a −b) [2.12] 2.3.2.3 Một số độ đo khoảng cách cho ảnh sử dụng đặc trưng SIFT − Độ đo Cosin: d (x, y) = x, y x.y [2.13] − Khoảng cách góc: d (x, y ) = cos −1 (x, y) [2.14] − Độ đo Euclid: n d (x, y ) =i =1 [2.15] x i − yi − Độ đo Jensen-Shannon divergence: n 2Hm H 'm d JSD (H , H ' ) =m =1 H m log H m + H 'm + H ' m log H 'm + Hm Vũ Lê Minh Hoàng - CT1802 [2.16] 47 Sinh viên: Bùi Thị Bích Phương – QT1805K 50 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT CHƯƠNG 3: CHƯƠNG TRÌNH THỰC NGHIỆM 3.1 Mơi trường thực nghiệm 3.1.1 Cấu hình phần cứng Bảng 3.1 Cấu hình phần cứng sử dụng thực nghiệm Thành phần Thông số CPU Core i7-6500U 2.50GHz RAM 4GB Hệ điều hành Windows 10 Pro 64-bit Bộ nhớ 1TB 3.1.2 Môi trường cài đặt Bảng 3.3 Công cụ phần mềm sử dụng thực nghiệm STT Tên phần mềm Nguồn Visual Studio 2013 https://www.microsoft.com/enus/download/details.aspx?id=40769 3.1.3 Thư viện OpenCV (Open Source Computer Vision Library) Đây thư viện mã nguồn mở về thị giác máy tính học máy Thư viện xây dựng để cung cấp nền tảng cho ứng dụng thị giác máy tính nhằm đẩy mạnh phát triển về hàm lượng tri thức máy tính sản phẩm thương mại Nhờ giấy phép quyền BSD nhiều công ty lớn hàng đầu giới Google, Yahoo, Microsoft, Intel, IBM,…cùng đóng góp xây dựng thư viện, OpenCV công cụ mạnh sử dụng rộng rãi trường học công ty khởi nghiệp OpenCV bao gồm nhiều giao diện dành cho C++, C, Python, Java, MATLAB hỗ trợ cho hệ điều hành khác Windows, Linux, Vũ Lê Minh Hoàng - CT1802 48 Sinh viên: Bùi Thị Bích Phương – QT1805K 51 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Android, MacOS Trong phiên OpenCV 3.1, giao diện sử dụng cho CUDA OpenCL phát triển hoàn thiện OpenCV viết nguyên ngơn ngữ C++ OpenCV có nhiều chức Sau tóm tắt về hệ thống về chức hàm OpenCV − Image and Video I/O Những giao diện giúp ta đọc dự liệu ảnh từ file trực tiếp từ video Ta tạo file ảnh video với giao diện − Các thuật toán xử lý ảnh thị giác máy (General computer-vision and image-processing algorithms (mid – and low level APIs)) Sử dụng giao diện này, ta thực hành với nhiều chuẩn thị giác máy mà không cần phải có mã nguồn chúng − Đồ họa Những giao diện giúp ta viết chữ vẽ hình ảnh Thêm vào chức sử dụng nhiểu ghi nhãn đánh dấu Ví dụ ta viết chương trình cần nhận dạng nhiểu đối tượng có ích cho tạo nhãn ảnh (label image) với kích thước vị trí Với Window, cài đặt OpenCV, copy file OpenCV vào thư mục mà ta chọn Cách thức lựa chọn đường dẫn hệ thống chứa mã nhị phân OpenCV, đăng kí vài lọc DirectX Mặc định cài đặt đến C:/Program Files/OpenCV/ Trong thư mục OpenCV có chứa vài thư mục khác Thư mục docs chứa file văn html cho toàn hàm OpenCV kiểu liệu Từ file văn ta làm ví dụ, ta muốn xem thư mục “samples” Những file header cần thiết ta dịch chương trình sử dụng OpenCV Ta xác định file header cách tìm kiếm thư mục cài đặt thư mục khác file có dạng *.h, *.hpp Header dùng cho Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 49 52 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT tất module trừ HighGUI tách riêng “include” Ta bỏ header thư mục “src” 3.2 Trích chọn đặc trưng SIFT Q trình trích chọn đặc trưng SIFT thực theo bước sau: Bước 1: Đọc ảnh Hàm đọc ảnh imread(const string& filename, int flags ) đọc ảnh từ tệp định trả về ma trận giá trị mức xám Nếu ảnh khơng đọc hàm trả lại ma trận rỗng Các tham số sử dụng hàm: − Filename: Tên ảnh cần nạp − Flags: Cờ định kiểu màu ảnh load, khơng đọc theo định dạng ảnh o CV_LOAD_IMAGE_ANYDEPTH: Trả về ảnh 16 32 bit ảnh đầu vào có chiều sâu tương ứng Ngược lại ảnh chuyển về bit o CV_LOAD_IMAGE_COLOR: Chuyển đổi ảnh thành màu o CV_LOAD_IMAGE_GRAYSCALE: Chuyển đổi thành ảnh đa mức xám Hàm hiển thị ảnh imshow(const string& winname, InputArray mat) hiển thị ảnh cửa sổ định Nếu cửa sổ tạo cờ ảnh hiển thị với kích thước ban đầu, nhiên bị giới hạn độ phân giải hình Ngược lại ảnh thu nhỏ để vừa với cửa sổ Các tham số hàm có ý nghĩa sau: − Winname: Tên cửa sổ − mat: Ma trận ảnh hiển thị Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 50 53 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Ví dụ đọc hiển thị ảnh Kết đọc hiển thị ảnh Hình 3-1: Ảnh hiển thị Bước 2: Phát điểm đặc trưng Trong OpenCV, phương thức sau cho phép phát điểm đặc trưng: SiftFeatureDetector::detect(…) Ví dụ Trong đó: − img1, img2: Ma trận điểm ảnh ảnh ảnh tương ứng − keypoint 1, keypoint2: véc tơ lưu trữ tập điểm đặc trưng cho ma trận ảnh img1và img2 tương ứng Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 51 54 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Kết tính tốn hiển thị hình 3-2: Hình 3-2: Ảnh phát đặc trưng Bước 3: Tính tốn mơ tả đặc trưng Chức thực cách gọi thủ tục DescriptorExtractor::compute(…) Ví dụ Trong đó: − img1, img2: Ma trận điểm ảnh ảnh tương ứng − keypoints1, keypoints2: véc tơ lưu trữ tập điểm đặc trưng cho ma trận ảnh img1 img2 tương ứng − descriptors1, descriptors2: Các mô tả ảnh img1 ảnh img2 tính tốn 3.3 Ước lượng tập điểm tương đồng Ước lượng tập điểm tương đồng hai ảnh thực dựa việc đối sánh tập điểm đặc trưng Công việc thực việc sử dụng thuật toán đối sánh Brute Force(BF) OpenCV Đây biến đối Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 52 55 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT sánh đơn giản cách lấy mô tả đặc trưng tập thứ đối sánh với tất đặc trưng khác tập thứ hai sử dụng số độ đo khoảng cách Cặp đối sánh có khoảng cách gần chọn Với đối sánh BF, trước hết cần tạo đối tượng BFMatcher sử dụng phương thức cv2.BFmatcher() Nó có hai tham số tùy chọn Tham số thứ normType kiểu chuẩn, sử dụng để định độ đo khoảng cách, Mặc định chuẩn L2(cv2.NORM_L2) Tham số thứ hai crossCheck giá trị boolean, mặc định đặt False Nếu đặt True kết trả về đối sánh với giá trị (i,j) cho mô tả thứ i tập a đối sánh tốt với mô tả thứ j tập b ngược lại Khi đối tượng BFMatcher tạo ra, hai phương thức quan trọng sử dụng để đối sánh BFMatcher.match() BFMather.knnMatch() Phương thức thứ trả lại đối sánh tốt nhất, phương thức thứ hai trả về k đối sánh tốt Với k định người dùng Để vẽ điểm cần sử dụng phương thức cv2.drawMatches() Phương thức ghép hai ảnh theo chiều ngang vẽ đường đối sánh tốt từ ảnh thứ sang ảnh thứ hai Khi cần vẽ tất k đối sánh tốt phải sử dụng phương thức cv2.drawMathesKnn() Nếu k=2 vẽ hai đường từ điểm Ví dụ: Giả sử ta có hai tập mô tả đặc trưng sử dụng mô tả SIFT descriptors1, descriptors2 tính tốn bước (mục 3.2) Bước 1: Tìm đối sánh − Trước hết cần phải tạo đối tượng mathcer với độ đo khoảng cách chuẩn norm_L2 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 53 56 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT − Tiếp theo sử dụng phương thức matcher.match() để nhận đối sánh tốt hai ảnh Trong matches đối sánh thu Cỡ đối sánh nhỏ số lượng mô tả Nếu sử dụng phương thức knn thực lệnh sau để tìm đối sánh: Trong knn_matches k cho mô tả, k số đối sánh tốt tìm thấy cho mơ tả mơ tả có tổng số k đối sánh Bước 2: Tìm đối sánh tốt − Tính tốn nhanh khoảng cách tối đa tối thiểu: Ban đầu, khoảng cách tối thiểu gán 0, khoảng cách tối đa gán 100 Sau tìm khoảng cách tối thiểu tối đa theo: − Chọn đối sánh tốt nhất: đối sánh có khoảng cách nằm khoảng từ 0.03 tới 2*min_dist Bước 3: Vẽ đối sánh hiển thị Hàm drawMatches(…) sử dụng để vẽ đối sánh, sau hiển thị hàm imshow() Ví dụ: Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 54 57 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT 3.4 Một số kết thực nghiệm Kết tìm điểm tương đồng dựa đối sánh cho số cặp ảnh bảng 3.1 Các kết biểu diễn trực quan hình: Hình 3-3 đến Hình 3-5 Bảng 3.1 Bảng thống kê kết đối sánh số cặp ảnh Cặp ảnh đối sánh Khoảng cách Khoảng cách nhỏ Số điểm tương lớn nhất đồng a1.png - a2.png 440.3 100 20 b1.png - b2.png 413.1 29.2 23 c1.png - c2.png 408.9 55.9 17 Ảnh kết thực nghiệm Hình 3-3: Các cặp đối sánh ảnh a1.png a2.png Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 55 58 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Hình 3-4: Các cặp đối sánh ảnh b1.png b2.png Hình 3-5: Các cặp đối sánh ảnh c1.png c2.png Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 56 59 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT KẾT LUẬN Sau thời gian tìm hiểu thực đề tài, đồ án đạt kết sau: − Nắm nguyên lý kỹ thuật đối sánh ảnh − Mô tả giải thích vấn đề đối sánh ảnh − Nắm phương pháp tìm, trích chọn điểm biểu diễn đặc trưng SIFT − Áp dụng thành công kỹ thuật BFMatcher vào chương trình để ước lượng tập điểm tương đồng hai ảnh Tuy nhiên, thời gian khả có hạn, nên em chưa sâu tìm hiểu thêm về ứng dụng, xử lý code OpenCV chưa tốt, chương trình nhiều thiết sót Trong thời gian tới, em tìm hiểu thêm cải tiến SIFT xây dựng ứng dụng hoàn chỉnh bao gồm giao diện người dùng CSDL đặc trưng cách đầy đủ, hệ thống Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 57 60 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT TÀI LIỆU THAM KHẢO [1] Markéta Potůčková, “Image matching and its applications in photogrammetry”, February 2006 [2] M Hassaballah, Aly Amin Abdelmgeid and Hammam A Alshazly, “Image Features Detection, Description and Matching” [3] Tuytelaars, T., Mikolajczyk, K., “Local invariant feature detectors: a survey”, (2007) [4] Moravec, H.P., “Towards automatic visual obstacle avoidance In: 5th International Joint Conference on Artificial Intelligence, pp 584–594”, (1977) [5] Harris, C., Stephens, M., “A combined corner and edge detector”, Manchester - UK, (1988) [6] Smith, S.M., Brady, J.M., “A new approach to low level image processing.”, J Comput Vis, (1997) [7] Yussof, W., Hitam, M., “Invariant Gabor-based interest points detector under geometric transformation Digital Signal Process.”, (2014) [8] Mikolajczyk, K., Tuytelaars, T., Schmid, C., Zisserman, A., Matas, J., Schaffalitzky,F., Kadir, T., Gool, L., “A compari son of affine region detectors.”, (2005) [9] Bay, H., Ess, A., Tuytelaars, T., Gool, L., “Speeded -up robust features (SURF).”, (2008) Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thị Bích Phương – QT1805K 58 61 ... Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT vùng hình ảnh gọi vùng đặc trưng (các điểm chính) Mơ tả đặc trưng tồn cục cục ảnh minh họa Hình 1-1 Hình 1-1: Biểu diễn đặc trưng. .. là: mô tả đặc trưng, đối sánh đặc trưng, xác định hàm biến đổi dựa đặc trưng tương ứng hai ảnh ảnh khơi phục hình ảnh dựa hàm biến đổi Trong đối sánh nhận dạng, bước phát điểm đặc trưng ảnh mô tả... QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT 3.1.3 Thư viện OpenCV (Open Source Computer Vision Library .48 3.2 Trích chọn đặc trưng SIFT 50 3.3 Ước lượng tập điểm