Ước lượng tập điểm tương đồng giữa hai ảnh dựa trên đối sánh đặc trưng SIFT

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG - ISO 9001:2015 ĐỒ ÁN TỐT NGHIỆP NGÀNH: CÔNG NGHỆ THÔNG TIN Sinh viên : Vũ Lê Minh Hoàng Giảng viên hướng dẫn: TS Ngơ Trường Giang HẢI PHỊNG - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG - ƯỚC LƯỢNG TẬP ĐIỂM TƯƠNG ĐỒNG GIỮA HAI ẢNH DỰA TRÊN ĐỐI SÁNH ĐẶC TRƯNG SIFT ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY NGÀNH: CƠNG NGHỆ THƠNG TIN Sinh viên : Vũ Lê Minh Hoàng Giảng viên hướng dẫn: TS Lê Trường Giang HẢI PHÒNG - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG NHIỆM VỤ ĐỀ TÀI TỐT NGHIỆP Sinh viên: Vũ Lê Minh Hoàng Mã SV: 1412101034 Lớp: CT1802 Ngành: Công ngh ệ thông tin Tên đê tài: Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT Sinh viên: Bùi Thi Bích Phương – QT1805K MỤC LỤC LỜI CẢM ƠN LỜI MỞ ĐẦU DANH MỤC HÌNH VẼ CHƯƠN G 1: PHÁT HIỆN VÀ MÔ TẢ Đ ẶC TRƯN G ẢNH 1.1 Giới thiệu 1.2 Các loại đặc trưng ảnh 1.2.1 Đặc trưng toàn cục cục 1.2.2 Đặc điểm phát đặc trưng 1.2.3 Bất biến với tỷ lệ biến đổi Affine 10 1.3 Phát đặc trưng ảnh 11 1.3.1 Phát đơn tỉ lệ 12 1.3.2 Phát đa tỉ lệ 19 1.4 Mô tả đặc trưng ảnh 23 1.4.1 Scale Invariant Feature Transform (SIFT) 23 1.4.2 Gradient Location-Orientation Histogram (GLOH) 24 1.4.3 Speeded-Up Robust Features Descriptor (SURF) 25 CHƯƠNG 2: ĐỐI SÁNH ẢNH DỰA TRÊN ĐẶC TRƯNG SIFT 28 2.1 Giới thiệu vê đối sánh ảnh 28 2.2 Các phương pháp đối sánh ảnh 29 2.2.1 Phương pháp dựa vùng (Area based methods) 29 2.2.2 Phương pháp dựa theo đặc trưng (Feature based methods) 40 2.3 Đối sánh ảnh dựa đặc trưng SIFT 44 2.3.1 Trích chọn đặc trưng SIFT 44 2.3.2 Đối sánh SIFT 46 CHƯƠN G 3: CHƯƠN G TRÌNH THỰC NG HIỆM 48 3.1 Môi trường thực nghiệm 48 3.1.1 Cấu hình phần cứng 48 3.1.2 Môi trường cài đặt 48 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thi Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT 3.1.3 Thư viện OpenCV (Open Source Computer Vision Library 48 3.2 Trích chọn đặc trưng SIFT 50 3.3 Ước lượng tập điểm tương đồng 52 3.4 Một số kết thực nghiệm 55 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 58 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thi Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành đến quý thầy cô Trường Đại Học Dân Lập Hải Phòng, người dìu dắt em tận tình, truyền đạt cho em kiến thức học quý báu suốt thời gian em theo học trường Em xin trân trọng gửi lời cảm ơn đến tất thầy cô khoa Công Nghệ Thông Tin, đặc biệt thầy giáo TS Ngơ Trường Giang, thầy tận tình hướng dẫn giúp đỡ em suốt trình làm tốt nghiệp Với bảo Thầy, em có định hướng tốt việc triển khai thực yêu cầu trình làm đồ án tốt nghiệp Ngoài ra, em xin gửi lời cảm ơn tới tất bạn bè, đặc biệt bạn lớp CT1802 ln gắn bó, học tập giúp đỡ em năm qua suốt trình thực đồ án Em xin chân thành cảm ơn! Hải Phòng, ngày 03 tháng 11 năm 2018 Sinh viên Vũ Lê Minh Hoàng Sinh viên: Bùi Thi Bích Phương – QT1805K ƯớcLêlượng điểm -tương đồng hai ảnh dựa đối sánh đặc trưng Vũ Minhtập Hoàng CT1802 SIFT Sinh viên: Bùi Thi Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT LỜI MỞ ĐẦU Trong lĩnh vực nhận dạng đối tượng ngày nay, hướng nghiên cứu phổ biến giới việc sử dụng điểm bất biến (Invarian Feature) ảnh làm đặc trưng để nhận dạng Tiêu biểu thuật toán đối sánh sử dụng đặc trưng dạng thuật toán SIFT (Scale -Invarian Feature Transform, David Lowe 1999 2004), SIFT coi thuật toán tiền đê cho ứng dụng giải thuật khác vê trích chọn biến đổi đặc trưng bất biến ảnh Các giải thuật ứng dụng thực tế khác đều dựa hay phát triển theo nhánh riêng SIFT Các đặc trưng SIFT không phụ thuộc vào phép biến đổi ảnh xoay, co dãn, thay đổi độ sáng,v.v nên xem tập đặc trưng ảnh thể cho nội dung ảnh Vì kết việc nhận dạng có độ xác cao chí khơi phục đối tượng bị che khuất ảnh Tuy nhiên giải thuật SIFT phức tạp cài đặt, đòi hỏi thời gian nghiên cứu am hiểu nhiều thuật toán thành phần Trong phạm vi đê tài này, em sử dụng đặc trưng SIFT để ước lượng tập điểm tương đồng hai ảnh nhằm mục đích hiểu biết thêm vê phương pháp trích chọn đặc trưng việc triển khai ứng dụng thực tế vê lĩnh vực tầm nhìn máy tính Ngồi đê tài giúp em nắm kiến thức kết hợp kiến thức môn em học nhà trường Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thi Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT DANH MỤC HÌNH VẼ Hình 1-1: Biểu diễn đặc trưng ảnh toàn cục cục Hình 1-2: Thực loại bỏ điểm khơng cực đại 13 Hình 1-3: Phân loại điểm ảnh dựa giá trị riêng ma trận tự tương quan M 14 Hình 1-4: Phát đặc trưng phần ảnh FAST 17 Hình 1-5: Tìm kiếm cực trị không gian tỷ lệ 3D hàm LoG 21 Hình 1-6: Tìm kiếm cực trị không gian tỷ lệ 3D hàm DoG 22 Hình 1-7: Sơ đồ biểu diễn mơ tả SIFT cho phần ảnh 16×16 điểm ảnh mảng mơ tả 4×4 24 Hình 1-8: Sơ đồ thuật toán GLOH 25 Hình 1-9: Chia vùng đặc trưng thành x vùng để tính mơ tả SURF 26 Hình 2-1: Nguyên lý hình học epipolar Một mặt phẳng epipolar xác định trung tâm chiếu O1 O2 điểm đối tượng P Các đường epipolar e’ e’’ giao điểm mặt phẳng epipolar với mặt phẳng ảnh (được chuyển thể từ Schenk, 1999) 31 Hình 2-2: Giải thích hình học hệ số tương quan r = cos = vT v S / ( vT vS ) 32 Hình 2-3: [Tài liệu “Image matching and its applications”] Nguyên lý đối sánh hình ảnh dựa việc tìm hệ số tương quan cực đại r 33 Hình 2-4: Biểu diễn hình học khoảng cách hình ảnh D =| v |=| vT − vS | 38 Hình 2-5: Ảnh gốc 44 Hình 2-6: Phát cạnh 44 Hình 2-7: Đối sáng hai ảnh quay vê đối sánh hai tập điểm đặc trưng không gian đặc trưng 46 Hình 3-1: Ảnh hiển thị 51 Hình 3-2: Ảnh phát đặc trưng 52 Hình 3-3: Các cặp đối sánh ảnh a1.png a2.png 55 Hình 3-4: Các cặp đối sánh ảnh b1.png b2.png 56 Hình 3-5: Các cặp đối sánh ảnh c1.png c2.png 56 Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thi Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT CHƯƠNG 1: PHÁT HIỆN VÀ MÔ TẢ ĐẶC TRƯNG ẢNH 1.1 Giới thiệu Trong thập kỷ qua, phát đặc trưng mô tả ảnh trở thành công cụ phổ biến cộng đồng thị giác máy tính Các phương pháp có áp dụng rộng rãi lượng lớn ứng dụng như: khôi phục ảnh, phân lớp tra cứu ảnh, nhận dạng đối sánh đối tượng, khôi phục cảnh 3D, theo dõi chuyển động đối tượng, phân lớp cấu trúc ảnh, định vị rô bốt hệ thống sinh trắc học, tất đều dựa biểu diễn ổn định đặc trưng đại diện ảnh Do đó, phát trích chọn đặc trưng ảnh bước quan trọng cho ứng dụng Để thiết lập cặp điểm tương ứng hai ảnh việc tìm điểm bật ảnh cần thiết Trong nhiệm vụ phân lớp, đặc trưng ảnh truy vấn đem đối sánh với đặc trưng ảnh huấn luyện, cặp ảnh có nhiều đối sánh coi đối sánh tốt Trong trường hợp này, đối sánh đặc trưng dựa độ đo khoảng cách Euclide Mahalanobis Trong khôi phục ảnh, việc hiệu chỉnh ảnh thu nhận điều kiện thời điểm khác cần thiết Các bước để thực khôi phục ảnh hiệu chỉnh là: mô tả đặ c trưng, đối sánh đặc trưng, xác định hàm biến đổi dựa đặc trưng tương ứng hai ảnh ảnh khơi phục hình ảnh dựa hàm biến đổi Trong đối sánh nhận dạng, bước phát điểm đặc trưng ảnh mô tả chúng Khi mơ tả tính tốn, chúng so sánh với để tìm mối quan hệ ảnh để thực nhiệm vụ đối sánh / nhận dạng Phát đặc trưng bước quan trọng đối sánh ảnh Ý tưởng phát đặc trưng phát điểm chính, điểm bất biến với lớp biến đổi Sau đó, điểm phát hiện, Vũ Lê Minh Hoàng - CT1802 Sinh viên: Bùi Thi Bích Phương – QT1805K 10 ... QT1805K ƯớcL lượng điểm -tương đồng hai ảnh dựa đối sánh đặc trưng Vũ Minhtập Hoàng CT1802 SIFT Sinh viên: Bùi Thi Bích Phương – QT1805K Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng. .. 12 Ước lượng tập điểm tương đồng hai ảnh dựa đối sánh đặc trưng SIFT vùng hình ảnh gọi vùng đặc trưng (các điểm chính) Mơ tả đặc trưng tồn cục cục ảnh minh họa Hình -1 Hình 1-1: Biểu diễn đặc trưng. .. mô tả đặ c trưng, đối sánh đặc trưng, xác định hàm biến đổi dựa đặc trưng tương ứng hai ảnh ảnh khơi phục hình ảnh dựa hàm biến đổi Trong đối sánh nhận dạng, bước phát điểm đặc trưng ảnh mô tả