Đối sánh ảnh dựa trên đặc trưng bất biến

1 LỜI CẢM ƠN Trước hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo hướng dẫn Ths Ngơ Trường Giang tận tình giúp đỡ em nhiều suốt trình tìm hiểu nghiên cứu hoàn thành báo cáo tốt nghiệp Em xin chân thành cảm ơn thầy cô Khoa Công nghệ Thông tin thầy cô trường trang bị cho em kiến thức cần thiết để em hồn thành đồ án Xin gửi lời cảm ơn đến bạn bè người bên em động viên tạo điều kiện thuận lợi cho em, tận tình giúp đỡ bảo em em thiếu sót q trình làm báo cáo tốt nghiệp Cuối em xin bày tỏ lòng biết ơn sâu sắc tới người thân gia đình giành cho em quan tâm đặc biệt ln động viên em Vì thời gian có hạn, trình độ hiểu biết thân nhiều hạn chế Cho nên đồ án không tránh khỏi thiếu sót, em mong nhận đóng góp ý kiến tất thầy giáo bạn bè để đồ án em hoàn thiện Em xin chân thành cảm ơn! MỤC LỤC LỜI CẢM ƠN MỞ ĐẦU CHƢƠNG 1: Tổng quan tra cứu ảnh dựa nội dung 1.1 Tra cứu thông tin trực quan 1.2 Những thành phần hệ thống tra cứu ảnh dựa nội dung 1.3 Các phương pháp tra cứu ảnh dựa nội dung 1.3.1 Tra cứu ảnh dựa màu sắc 1.3.1.1 Biểu đồ màu toàn cục (Global Color Histogram) 1.3.1.2 Biểu đồ màu cục (Local Color Histogram) 1.3.1.3 Biểu đồ màu tương quan (Color Correlogram Histogram)8 1.3.1.4 Vector liên kết màu (Color Cohenrence Vector) 1.3.1.5 Tương quan màu (Color Correlogram) 1.3.1.6 Độ đo tương đồng màu sắc 1.3.2 Tra cứu ảnh dựa kết cấu 10 1.3.2.1 Phương pháp ma trận đồng mức xám (Gray-Level Co-occurrence Matrices) 11 1.3.2.2 Phương pháp Gray-Level Difference (GLD) 12 1.3.2.3 1.3.3 Độ đo tương đồng cho kết cấu ảnh 13 Tra cứu ảnh dựa hình dạng 13 1.3.3.1 Phương pháp trích chọn đặc trưng dựa đường biên 13 1.3.3.2 Phương pháp trích chọn đặc trưng dựa vùng 16 1.3.3.3 Các phương pháp đối sánh dựa hình dạng 17 1.3.4 Tra cứu ảnh dựa đặc trưng bất biến 19 1.4 Các hệ thống tra cứu ảnh dựa nội dung 19 1.4.1 Google Image Search 19 1.4.2 Bing Image Search 20 1.4.3 Yahoo Image Search 20 1.4.4 PicSearch 21 1.5 Các ứng dụng tra cứu ảnh dựa nội dung 21 CHƢƠNG 2: Đối sánh ảnh dựa đặc trƣng SIFT 23 2.1 Giới thiệu 23 2.2 Trích chọn đặc trưng SIFT 23 2.2.1 Phát điểm cực trị 25 2.2.2 Định vị điểm hấp dẫn: 28 2.2.3 Xác định hướng cho điểm hấp dẫn 31 2.2.4 Mô tả điểm hấp dẫn 32 2.3 Đối sánh đặc trưng SIFT 33 2.3.1 Độ đo khoảng cách độ đo tương tự 33 2.3.2 Đối sánh đặc trưng cục bất biến 34 2.3.2.1 Đối sánh vector đặc trưng 34 2.3.2.2 Một số độ đo tương đồng cho ảnh sử dụng đặc trưng SIFT 35 CHƢƠNG 3: Thực nghiệm 36 3.1 Môi trường công cụ sử dụng thực nghiệm 36 3.2 Xây dựng tập liệu ảnh 36 3.3 Giao diện chương trình 38 3.4 Một số kết 39 KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 MỞ ĐẦU Sự phát triển mạnh mẽ công nghệ ảnh số làm lượng ảnh lưu trữ web tăng lên cách nhanh chóng Mỗi ngày, có hàng triệu ảnh đăng tải trang ảnh trực tuyến như: Flickr, Photobucket, Facebook Theo thống kê có 30 tỉ ảnh Facebook, tỉ ảnh Flickr, 6.2 tỉ ảnh Photobucket Cùng với nhu cầu tìm kiếm văn bản, nhu cầu tìm kiếm ảnh nhận nhiều quan tâm người sử dụng Tuy nhiên, với số lượng ảnh lớn Internet công việc tìm kiếm trở nên vơ khó khăn Để giải vấn đề này, hệ thống tìm kiếm ảnh đời như: Yahoo, Google Image Search, Bing,… Các hệ thống cho phép người sử dụng nhập truy vấn ảnh cần quan tâm Thông qua việc phân tích văn kèm ảnh, hệ thống gửi trả ảnh tương ứng với truy vấn người dùng Ngồi số hệ thống cho phép người dùng nhập câu hỏi dạng ảnh Google Image Search, Tineye, Tiltomo…Đây hướng nghiên cứu nhận quan tâm nhiều công trình khoa học giới Hiện giới việc tra cứu ảnh bước sang thời kỳ mới, thời kỳ tra cứu ảnh dựa vào nội dung Tra cứu liệu hình ảnh dựa vào nội dung ảnh ngày phát triển mạnh mẽ, khắc phục khuyết điểm việc truy tìm ảnh dựa vào văn kí tự Dữ liệu đầu vào mơ gần gũi với người, kết ảnh trả mang ngữ nghĩa gần với ảnh truy vấn Nằm xu đó, đồ án em trình bày mơ hình tra cứu thơng tin hình ảnh dựa đặc trưng bất biến ảnh Nội dung đề tài bao gồm ba chương:  Chương 1: Tổng quan tra cứu ảnh dựa nội dung  Chương 2: Đối sánh ảnh dựa đặc trưng SIFT  Chương 3: Thực nghiệm CHƢƠNG 1: Tổng quan tra cứu ảnh dựa nội dung 1.1 Tra cứu thông tin trực quan Tra cứu thông tin trực quan chủ đề nghiên cứu lĩnh vực công nghệ thông tin Tương tác với nội dung trực quan cách thiết yếu để truy tìm thơng tin trực quan Các yếu tố trực quan màu sắc, kết cấu, hình dáng đối tượng yếu tố không gian trực tiếp liên quan đến khía cạnh cảm nhận nội dung ảnh, với khái niệm mức cao ý nghĩa đối tượng, khung cảnh ảnh, dùng manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ sở liệu Tra cứu ảnh dựa vào nội dung đòi hỏi phải có đóng góp từ lĩnh vực nghiên cứu khác lớn đặt nhiều thử thách nghiên cứu nhà khoa học kỹ sư Các lĩnh vực nghiên cứu khác nhau, phát triển cách độc lập, đóng góp lớn cho chủ đề nghiên cứu mẻ 1.2 Những thành phần hệ thống tra cứu ảnh dựa nội dung Về hệ thống phân tích nội dung nguồn thông tin truy vấn sử dụng, đem so sánh nội dung để tra cứu mục tin liên quan Một hệ thống tra cứu ảnh bao gồm chức sau :  Phân tích nội dung nguồn thông tin, biểu diễn nội dung nguồn phân tích theo cách thích hợp cho việc so sánh truy vấn sử dụng  Phân tích truy vấn người sử dụng biểu diễn chúng dạng thích hợp cho so sánh với sở liệu nguồn  Định nghĩa chiến lược để so sánh truy vấn tìm kiếm với thông tin sở liệu lưu trữ  Thực điều chỉnh cần thiết hệ thống dựa phản hồi từ người sử dụng ảnh tra cứu Người sử dụng Tạo truy vấn Phản hổi liên quan Trích chọn đặc trưng Véc tơ đặc trưng Cơ sở liệu Cơ sở liệu đặc trưng Đánh số So sánh độ tương tự Kết tra cứu Ảnh Hình 1.1 : Mơ hình hệ thống tra cứu ảnh dựa nội dung 1.3 Các phƣơng pháp tra cứu ảnh dựa nội dung 1.3.1 Tra cứu ảnh dựa màu sắc Tìm kiếm ảnh theo màu sắc phương pháp phổ biến sử dụng nhiều hệ thống tìm kiếm ảnh theo nội dung Đây phương pháp đơn giản, tốc độ tìm kiếm tương đối nhanh nhiên kết tìm kiếm có độ xác không cao Nếu coi thông tin màu ảnh tín hiệu một, hai, ba chiều đơn giản việc phân tích tín hiệu sử dụng ước lượng mật độ xác xuất cách dễ để mô tả thông tin màu ảnh Có ba kỹ thuật truyền thống sử dụng tra cứu ảnh dựa màu sắc biểu đồ màu toàn cục (Global Color Histogram), biểu đồ màu cục (Local Color Histogram) biểu đồ màu tương quan (Color Correlogram Histogram) Những kỹ thuật thích hợp với kiểu truy vấn khác 1.3.1.1 Biểu đồ màu toàn cục (Global Color Histogram) Biểu đồ màu loại mô tả phân bố màu sử dụng tập màu Việc sử dụng biểu đồ màu toàn cục ảnh mã hóa với biểu đồ màu khoảng cách hai ảnh xác định khoảng cách biểu đồ màu chúng Với kỹ thuật sử dụng thước đo khác để tính tốn khoảng cách hai biểu đồ màu Ví dụ mô tả hoạt động kỹ thuật này: Trong biểu đồ màu mẫu có màu : black, white and grey Ta kí hiệu biểu đồ màu ảnh A:{25%, 25%, 50%}; biểu đồ màu ảnh B: {18.75%, 37.5%, 43.75%} ảnh C có biểu đồ màu ảnh B Nếu sử dụng thước đo khoảng cách Euclidean để tính tốn khoảng cách biểu đồ khoảng cách hai ảnh A B cho biểu đồ màu toàn là: √ [1.1 ] Biểu đồ màu toàn cục phương pháp truyền thống cho việc tra cứu ảnh dựa màu sắc Mặc dù vậy, khơng chứa thơng tin liên quan đến phân bố màu vùng Vì khoảng cách ảnh khác thực ảnh Ví dụ khoảng cách ảnh Avà C khác so với khoảng cách ảnh A B việc xây dựng biểu đồ màu tồn cục lại thu khoảng cách tương tự Ngồi có trường hợp hai ảnh khác có biểu đồ màu tồn cục giống ví dụ ảnh B C hạn chế biểu đồ màu tồn Hình 1.2: Ba ảnh biểu đồ màu chúng ảnh A:{25%, 25%, 50%}; ảnh B: {18.75%, 37.5%, 43.75%}; ảnh C: {18.75%, 37.5%, 43.75%} 1.3.1.2 Biểu đồ màu cục (Local Color Histogram) Biểu đồ màu cục bao gồm thông tin liên quan đến phân bố màu vùng Trước tiên phân đoạn ảnh thành nhiều khối sau biểu diễn biểu đồ màu cho khối, ảnh biểu diễn biểu đồ màu Khi so sánh hai hình ảnh, khoảng cách tính tốn cách sử dụng biểu đồ chúng vùng ảnh vùng tương ứng ảnh khác Khoảng cách hai ảnh xác định tổng tất khoảng cách Nếu sử dụng bậc hai khoảng cách Euclidean để tính tốn khoảng cách biểu đồ khoảng cách hai ảnh Q I cho biểu đồ màu cục là: [1.2] ∑ √∑ Ở M số vùng phân đoạn ảnh, N số màu biểu đồ màu H[i] giá trị màu i biểu đồ màu đại diện cho vùng k ảnh 1.3.1.3 Biểu đồ màu tƣơng quan (Color Correlogram Histogram) Quan sát thấy lược đồ màu thiếu thông tin cách mà màu sắc phân bố theo không gian, đặc trưng giới thiệu gọi lược đồ tương quan màu Lược đồ tương quan màu hứa hẹn mô tả không phân phối màu điểm ảnh mà tương quan không quan cặp màu Lược đồ quan tâm đến tương quan khơng gian màu giống giảm số chiều chi phí tính tốn Cách tính lược đồ tương quan màu : Gọi [D] tập gồm D khoảng cách d1 , d , , d D đo độ đo L Lược đồ tương quan màu ảnh I xác định với cặp màu ci , c j khoảng cách d sau: [1.3 ] Trong I ảnh, kích thước MxN (Điểm ảnh), I c p I | Ipc, lược đồ tương quan màu thể xác suất cặp điểm ảnh p1 p2 chịu ràng buộc màu (p1 có màu ci, p2 có màu c j ) vị trí (p1p2|Ld) 1.3.1.4 Vector liên kết màu (Color Cohenrence Vector) Vector liên kết màu đề xuất phân ngăn lược đồ thành hai loại: liên kết thuộc vùng màu đồng lớn khơng liên kết không thuộc vùng màu đồng lớn Cho αi biểu thị số pixel gắn kết ngăn thứ i βi biểu thị số pixel không gắn kết ảnh vector liên kết màu ảnh định nghĩa vector Trong đó: < (α1+β1), (α2+ β2),…, (αN+βN)> lược đồ màu ảnh Việc thông tin không gian kết hợp vào biểu đồ màu sắc làm cho Vector liên kết màu cung cấp kết tra cứu tốt lược đồ màu, đặc biệt với ảnh có phần lớn màu đồng có kết cấu theo khu vực 1.3.1.5 Tƣơng quan màu (Color Correlogram) Tương quan màu không để mô tả phân bố màu pixel, mà tương quan khơng gian cặp màu Một tương quan màu bảng đánh số cặp màu Với pixel có màu i ảnh, xác suất tìm thấy pixel có màu j pixel ban đầu khoảng cách k Cho I biểu diễn toàn tập pixel ảnh I c(i) biểu diễn tập pixel có màu C(i) tương quan màu định nghĩa bằng: [1.4 ] Trong đó: p1 Є Ic(i) , p2 Є I i, j Є {1,2,…,N} k Є {1,2,…,d} |p1-p2| khoảng cách pixel p1 p2 Kích thước Correlogram O(N2d) Khi chọn d để tính Correlogram ta cần ý vấn đề sau: Giá trị d lớn cần nhiều chi phí tính tốn khơng gian lưu trữ Giá trị d nhỏ giảm giá trị lưu trữ đặc trưng So sánh với lược đồ màu vector liên kết màu, tương quan màu cho kết tra cứu tốt hơn, cho chi phí tính tốn cao có chiều cao 1.3.1.6 Độ đo tƣơng đồng màu sắc Một số độ đo tương đồng sử dụng như: Độ đo khoảng cách Euclidean, độ đo Jensen-Shannon divergence (JSD) Gọi h(I) h(M) tương ứng 10 lượt đồ màu hai ảnh I ảnh M Khi loại độ đo màu định nghĩa số nguyên (hoặc số thực) theo loại độ đo tương ứng sau:  Khoảng cách Euclidean: Đây khoảng cách Euclidean thông thường K bin: ∑ √ [1.5] Hoặc: [1.6] ∑  ĐộđĐộđửụượ độ để độươđồềắữả [1.7] ∑ Trong : H H’ biểu đồ màu so sánh, m H bin thứ m biểu đồ H 1.3.2 Tra cứu ảnh dựa kết cấu Kết cấu đặc tính quan trọng khác ảnh Các biểu diễn kết cấu đa dạng nghiên cứu nhận dạng mẫu thị giác máy tính Kết cấu sử dụng rộng rãi trực quan khơng có định nghĩa xác tính biến thiên rộng Mặc dù khơng có khái niệm chung cho kết cấu tất nhànghiên cứu tập trung thống hai điểm chính:  Trong phạm vi kết cấu có biến đổi đáng kể mức độ cường độ điểm ảnh liền kề, giới hạn độ phân giải, khơng có đồng  Kết cấu thuộc tính đồng vài không gian lớn độ phân giải ảnh, hàm ý thuộc tính cấu trúc ảnh có độ phân giải định Khác với màu sắc, kết cấu diễn vùng điểm, thường định nghĩa mức xám hiểu màu sắc Các phương pháp phân tích kết cấu bao gồm : phương pháp Gray-Level Co-occurrence Matrices(GLC), phương pháp Gray-Level Difference (LGD) 28 Hình 2.3 : Quá trình tìm điểm cực trị hàm sai khác DoG (X điểm tại, vòng tròn màu xanh láng giềng nó) X đánh dấu điểm hấp dẫn cực đại cực tiểu tất 26 láng giềng Thông thường, vị trí khơng cực đại khơng cực tiểu khơng phải qua tất 26 kiểm tra Một vài kiểm tra ban đầu thường đủ để loại bỏ Vì số lượng cực trị lớn, để tăng hiệu dò tìm điểm cực trị (dò điểm cực trị tốt thay phải dò hết), ta cần xác định tần số lấy mẫu không gian đo tần số lấy mẫu không gian quan sát (không gian ảnh) Thật không may ta xác định loại tần số cách động tiến trình dò tìm Thay vậy, tần số xác định thông qua phương pháp thử nghiệm Sau thử nghiệm với nhiều nguồn liệu ảnh khác nhau, tác giả tần số lấy mẫu không gian đo tốt (giữ lại lớp lớp), tần số lấy mẫu  = 1.6 2.2.2 Định vị điểm hấp dẫn: Sau bước thu nhiều điểm tiềm làm điểm đặc biệt, nhiên số chúng không cần thiết bước loại bỏ điểm có độ tương phản (nhạy cảm với nhiễu) tính đặc trưng cục điểm khác có xu hướng đường biên đối tượng Bước thực gồm công đoạn : a Phép nội suy lân cận cho vị trí điểm tiềm năng: Phép nội suy lân cận sử dụng mở rộng Taylor cho hàm Difference-ofGaussian D(x,y,σ): 29 [2.6 ] Trong đó: D đạo hàm tính điểm tiềm X = (x,y,σ) khoảng cách từ điểm Vị trí điểm cực trị ̂ xác định cách lấy đạo hàm hàm với đối số X tiến dần đến 0: Hình 2.4 : Mơ sử dụng cơng thức mở rộng Taylor cho hàm DoG : độ dịch so với điểm lân cận điểm lấy mẫu Vùng chứa điểm hấp dẫn xác định qua [2.7] ̂̂ Nếu ̂ > 0.5 theo chiều có số cực trị khơng gần với điểm tiềm khác, bị thay đổi phép nội suy thay vai trò điểm khác gần Thực tiếp tục với điểm lấy mẫu khác b Loại trừ điểm có tính tƣơng phản : Những điểm có thỏa mãn (< 0.5) thêm vào tập hợp mẫu tốt nhất, tiếp tục phân tích tiế p Dùng ̂̂ để loại điểm cực trị không ổn định (độ tương phản thấp) Thay ̂ vào ̂̂ ta được: ̂̂ ̂̂ [2.8] Nếu ̂̂ điểm lấy mẫu bị loại c Loại bỏ điểm dƣ thừa theo biên : 30 Sử dụng hàm DoG cho tác động mạnh đến biên vị trí biên khó xác định điểm tiềm biên không bất biến bị nhiễu Và để tăng ổn định cho điểm chọn làm điểm đặc biệt ta loại trừ điểm tiềm khó định vị (tức vị trí dễ thay đổi có nhiễu nằm biên) Sau áp dụng hàm DoG làm đường biên ảnh khơng rõ ràng độ cong có giá trị lớn nhiều so với độ cong dọc theo biên cần loại bỏ bớt điểm đặc biệt dọc theo biên Giải pháp cho việc sử dụng giá trị ma trận Hessian cấp : [ ] [2.9] Các giá trị riêng H tỉ lệ thuận với độ cong D, phần tử H Dxx Dyy Hình 2.5 : Quá trình lựa chọn điểm hấp dẫn a.Ảnh gốc, b Các điểm hấp dẫn phát hiện, c Ảnh sau loại bỏ điểm hấp dẫn có độ tương phản thấp, d Ảnh sau loại bỏ điểm hấp dẫn dọc theo cạnh Trong bước số điểm hấp dẫn giảm, điều giúp tăng hiệu mạnh mẽ thuật tốn Điểm hấp dẫn bị loại bỏ có độ tương phản thấp nằm cạnh 31 2.2.3 Xác định hƣớng cho điểm hấp dẫn Sau bước trên, có điểm hấp dẫn có độ ổn định Chúng ta biết quy mơ mà điểm hấp dẫn phát hiện, có quy mơ bất biến Điều xác định định hướng cho điểm hấp dẫn Bằng cách định hướng phù hợp cho điểm hấp dẫn dựa thuộc tính hình ảnh cục bộ, dựa vào hướng điểm hấp dẫn ta biết điểm hấp dẫn bất biến với phép quay ảnh Cách tiếp cận trái ngược với mô tả định hướng bất biến Schmid and Mohr (1997) Bất lợi cách tiếp cận giới hạn mơ tả sử dụng loại bỏ thơng tin hình ảnh cách khơng u cầu tất biện pháp cần phải dựa quy trình phù hợp Sau thử nghiệm với số phương pháp tiếp cận để xác định hướng, phương pháp sau tìm thấy cho kết ổn định Tại điểm hấp dẫn người ta tính toán biểu đồ hướng Gradient vùng láng giềng điểm hấp dẫn Độ lớn hướng điểm hấp dẫn xác định theo công thức: √ [2.10] [2.11] Trong : : Độ lớn vector định hướng : Hướng vector định hướng (biểu diễn qua góc ) Một biểu đồ hướng hình thành từ định hướng gradient điểm lấy mẫu khu vực xung quanh điểm hấp dẫn Đỉnh biểu đồ hướng tương ứng với hướng chủ đạo gradient Đỉnh cao biểu đồ phát hiện, sau điểm khác có cao điểm 80% so với đỉnh cao sử dụng tạo điểm hấp dẫn với định hướng Vì vậy, địa điểm có nhiều đỉnh cường độ tương tự có nhiểu điểm hấp dẫn tạo vị trí tỷ lệ, có hướng khác 32 Hình 2.6: Tính độ lớn hướng Gradient 2.2.4 Mô tả điểm hấp dẫn Các phép xử lý thực dò tìm gán tọa độ, kích thước, hướng cho điểm hấp dẫn Các tham số yêu cầu hệ thống tọa độ cục chiều lặp lại để mô tả vùng ảnh cục nhờ tạo bất biến tham số Bước tính tốn mơ tả cho mơt vùng ảnh cục mà có tính đặc trưng cao (bất biến với thay đổi khác độ sáng, thu - phóng ảnh, xoay) Một cách tiếp cận đơn giản lấy mẫu mật độ ảnh cục lân cận điểm đặc trưng độ đo thích hợp, đối sánh mật độ sử dụng độ đo tương quan chuẩn Tuy nhiên, số tương quan đơn giản lại nhạy cảm với thay đổi mà gây đăng ký nhầm mẫu, chẳng hạn biến đổi Affine, phối cảnh chiều, bóp méo mềm Cách tiếp cận tốt nhiều đưa Edelman, Intrator Poggio (1997) Cách tiếp cận dựa mơ hình thị giác sinh học, cụ thể mơ hình noron phức tạp hệ thống não Các noron tương ứng với gradient hướng tần số không gian cụ thể, vị trí gradient võng mạc phép trượt phạm vi nhỏ khung nhìn 33 Hình 2.7 : Tạo mạng lưu lược đồ định hướng Điểm hấp dẫn sau xác định hướng biểu diễn dạng vector 4x4x8=128 chiều (Số chiều = hướng × (4×4) điểm hấp dẫn = 128 chiều) cách tổng hợp vector định hướng điểm khu vực, vector có đặc điểm :  Chung gốc  Độ dài vector tương ứng độ lớn gradient m 2.3 Đối sánh đặc trƣng SIFT 2.3.1 Độ đo khoảng cách độ đo tƣơng tự Độ đo tương tự phương pháp tốt để máy tính phân biệt hình ảnh qua nội dung chúng Thông thường hệ thống tra cứu ảnh theo nội dung truy vấn hình ảnh phương pháp đo tương tự dựa đặc trưng, việc xác định nhiều hình thức phát biên, màu sắc, vị trí điểm ảnh phương pháp histogram, màu sắc phân tích histogram dòng cột sử dụng biểu đồ để xác định độ tương tự Do đó, độ đo có ý nghĩa quan trọng tra cứu ảnh dựa theo nội dung Độ đo mang ý nghĩa định kết tìm kiếm nào, mức độ xác Nhiều phép đo khoảng cách khai thác việc tra cứu ảnh chúng bao gồm: khoảng cách Euclide, khoảng cách Cosin, khoảng cách giao biểu đồ histogram, khoảng cách Minkowski…Trong mục này, vài phép đo khoảng cách mơ tả ước lượng Mục đích việc ước lượng để tìm phép đo tương đồng cho mô tả ước lượng hình dạng khác 34 2.3.2 Đối sánh đặc trƣng cục bất biến 2.3.2.1 Đối sánh vector đặc trƣng Trước hết để đối sánh ảnh với cần trích xuất tập keypoint tương ứng từ ảnh bước Sau việc đối sánh thực tập keypoint Bước kĩ thuật đối sánh thực tìm tập keypoint so khớp hai ảnh, để thực việc tìm cặp keypoint trùng hai ảnh Tập keypoint so khớp vùng ảnh tương đồng Việc đối sánh hai tập hợp điểm đặc trưng quy tốn tìm láng giềng gần điểm đặc trưng (hình 2.8) Hình 2.8 : Đối sáng hai ảnh quay đối sánh hai tập điểm đặc trưng khơng gian đặc trưng Có vấn đề cần quan tâm :  Tổ chức tập hợp điểm cho phép tìm kiếm láng giềng cách hiệu  Việc đối sánh phải đạt độ xác định Một phương pháp đề xuất D Mount cho phép tìm kiếm nhanh điểm lân cận sử dụng[7], ANN viết tắt Approximative Nearest Neibour Nó cho phép tổ chức liệu dạng kd-tree , việc tìm kiếm láng giềng gần mang tính xấp xỉ kd-tree Cụ thể hai điểm không gian đặc trưng coi giống khoảng cách Euclidean hai điểm nhỏ tỉ số khoảng cách gần với khoảng cách gần nhì phải nhỏ ngưỡng cho trước Giả sử cặp keypoint có mơ tả là: Thì khoảng cách Euclidean A B tính cơng thứ c: [2.12] ∑ 35 2.3.2.2 Một số độ đo tƣơng đồng cho ảnh sử dụng đặc trƣng SIFT  Độ đo Cosin : [2.13] ‖‖‖‖  Khoảng cách góc : [2.14]  Độ đo Euclidean : √ [2.15] ∑  Độđ [2.16] ∑ Với H, H’ biểu đồ biểu diễn vector đặc trưng SIFT 36 CHƢƠNG 3: Thực nghiệm 3.1 Môi trƣờng công cụ sử dụng thực nghiệm  Cấu hình phần cứng Bảng 3.1 : Cấu hình phần cứng sử dụng thực nghiệm Thành phần Thông số CPU E2180 2x2.0 GHz RAM 2GB Hệ điều hành Windows7 32bit Service Pack Bộ nhớ 160 GB  Công cụ phần mềm sử dụng Bảng 3.2 : Công cụ phần mềm sử dụng thực nghiệm STT Tên phần mềm Matlab 7.0 Nguồn http://www.mathworks.com/products/ 3.2 Xây dựng tập liệu ảnh Tập liệu ảnh gồm 30 ảnh đối tượng bị thay đổi độ chiếu sáng, góc nhìn, co dãn, bị che lấp phần…Các ảnh có kích thước từ 100x100 đến 800x600 (pixel) với nhiều chủ đề khác 37 Hình 3.1 : Tập ảnh liệu sử dụng thực nghiệm 38 3.3 Giao diện chƣơng trình Hình 3.2 : Giao diện chương trình Hình 3.3 : Giao diện đối sánh 39 3.4 Một số kết Hình 3.4 : Ảnh gốc Hình 3.5 : Các điểm hấp dẫn phát Hình 3.6: Các điểm hấp dẫn gán hướng 40 Hình 3.7 : Thực đối sánh ảnh Với ảnh bị biến đổi phép xoay, co dãn che lấp phần, chương trình đối sánh xác 145 cặp điểm đặc trưng Điều cho thấy SIFT bất biến với phép xoay, thu phóng khơng u cầu tính tồn vẹn ảnh Hình 3.8 : Với ảnh chụp ống kính Fisheye chương trình nhận xác đối tượng 41 KẾT LUẬN Có thể nói SIFT thuật tốn mạnh phức tạp lớp toán đối sánh ảnh Trong đồ án em tìm hiểu cài đặt thuật toán với đầy đủ bước SIFT xây dựng chương trình ứng dụng mô việc đối sánh ảnh tương tự sử dụng SIFT Thuật toán SIFT cài đặt bước đầu cho kết tốt với tập liệu thử nghiệm Tuy nhiên, tra cứu ảnh chủ đề phức tạp, cộng với khả kinh nghiệm hạn chế nên em gặp số khó khăn việc tìm hiểu nghiên cứu kỹ thuật tra cứu ảnh Vì em mong nhận đóng góp ý kiến quý báu thầy cô giáo bạn bè để đồ án em hoàn thiện Em xin chân thành cảm ơn! 42 TÀI LIỆU THAM KHẢO [1] Bùi Thị Thúy Nga, Tìm hiểu số phương pháp trích chọn đặc trưng ứng dụng tra cứu ảnh dựa nội dung, đồ án tốt nghiệp CNTT 2011, ĐHDL Hải Phòng [2] Đổng Nam Hà, Tra cứu ảnh dựa đặc trưng kết cấu, đồ án tốt nghiệp ngành CNTT 2010, ĐHDL Hải Phòng [3] Nguyễn Thị Hồn, Phương pháp trích chọn đặc trưng ảnh thuật tốn học máy tìm kiếm ảnh áp dụng vào tốn tìm kiếm sản phẩm, Đại học quốc gia Hà Nội [4] Trần Thị Thanh Hải, Eric Marchand, Một số phương pháp đối sánh ảnh thời gian thực, Trung tâm MICA, Đại học Bách Khoa Hà Nội [5] AI Shack, Scale Invariant Feature Transform, www.aishack.in [6] Andrea Vedaldi, An implementation of SIFT detector and descriptor, University of California at Los Angeles [7] David G Lowe, Distinctive Image Featuresfrom Scale-Invariant Keypoints, Computer Science Department, University of British Columbia [8] Faraj Alhwarin, Chao Wang, Danijela Risti -Durrant, Axel Gräser, Improved SIFT-Features Matching for Object Recognition, Institute of Automation, University of Bremen ... tra cứu thơng tin hình ảnh dựa đặc trưng bất biến ảnh Nội dung đề tài bao gồm ba chương:  Chương 1: Tổng quan tra cứu ảnh dựa nội dung  Chương 2: Đối sánh ảnh dựa đặc trưng SIFT  Chương 3:... vị trí (điểm ảnh) "đặc trưng" ảnh "Đặc trưng" có nghĩa điểm có đặc trưng bất biến với việc quay ảnh, co giãn ảnh hay thay đổi cường độ chiếu sáng ảnh 1.4 Các hệ thống tra cứu ảnh dựa nội dung... cứu ảnh dựa đặc trƣng bất biến Phương pháp tra cứu có tên Scale-Invariant Feature Transform (SIFT) đặc trưng trích rút đựợc gọi đặc trưng SIFT Phương pháp trích rút đặc trưng cục bất biến ảnh