Tra cứu ảnh dựa trên lược đồ khoảng cách và biểu diễn hình dạng

Bộ giáo dục đào tạo Tr-ờng đại học dân lập hải phòng -o0o - TRA CứU ảNH dựa l-ợc đồ khoảng cách biểu diễn hình dạng đồ án tốt nghiệp đại học hệ quy Ngành: Công nghệ Thông tin Sinh viên thực hiện: Trần ngọc d-ơng Giáo viên h-ớng dẫn: pgs - Ts Ngô Quốc tạo MÃ số sinh viên: 1013101001 Hải Phòng - 2012 LI M U Cựng s phát triển cơng nghệ thơng tin, mạng internet tồn cầu gia tăng nhanh chóng liệu đa phương tiện, khiến cho nhu cầu chia sẻ tìm kiếm loại tài nguyên tăng theo cách nhanh chóng Một loại tài nguyên liệu kiểu hình ảnh Mỗi người tìm kiếm hình ảnh có mục đích khác lại người dùng muốn tìm kiếm thơng tin kèm theo hình ảnh họ cần số khác lại tìm kiếm hình ảnh để xác nhận tính xác thơng tin họ nhận được, tìm kiếm với mục đích giải trí, thỏa mãn nhu cầu cá nhân Nó phục vụ cho nhiều lĩnh vực quan trọng sống hệ thống bảo mật, an ninh, y tế, hay hệ thống phát chuyển động … Vì việc nghiên cứu phát triển hệ thống tra cứu ảnh ngày trở nên cấp thiết Có kiểu tìm kiếm tìm kiếm theo từ khóa tìm kiếm theo nội dung ảnh, tìm kiếm theo từ khóa dễ thỏa mãn nhu cầu người dùng với nhu cầu tìm kiếm hình ảnh theo mong muốn xuất suy nghĩ họ, tìm kiếm theo từ khóa nhanh tìm kiếm theo nội dung hoạt động việc phân tích so sánh từ hoăc cụm từ tương ứng với để đưa kết quả, kiểu liệu dạng văn bản, từ ngữ nhanh chóng đưa kết quả, khơng địi hỏi người dùng phải có ảnh mẫu Phương pháp có nhược điểm hình ảnh kết khơng phải lúc xác, phù hợp với việc đáp ứng nhu cầu người dùng thông qua mô tả từ ngữ Một phương pháp khác để tra cứu hình ảnh tra cứu theo nội dung hình ảnh Phương pháp cần ảnh mẫu cho đầu vào để tìm ảnh tương ứng Phương pháp cho kết tốt tính đắn, thơng qua nội dung ảnh biểu diễn đưa kết tương ứng với nội dung ảnh đầu vào Nó đáp ứng tốt cho người dùng, nhiên người dùng cần phải có ảnh mẫu để trích chọn biểu diễn đặc trưng ảnh trước tìm kiếm Tra cứu ảnh theo nội dung phương pháp phù hợp với hệ thống máy tự động, hệ thống an ninh nơi mà họ cần kết hình ảnh tương tự với thông tin lấy trực tiếp từ nội dung ảnh Nói chung, hệ thống người dùng cung cấp ảnh truy vấn hệ thống trả kết tập ảnh tương tự Do đó, làm để mơ tả mơ hình hình ảnh, để so sánh ảnh khác nhau, để đánh số cho ảnh sở liệu, để tìm kiếm ảnh cách hiệu vấn đề quan trọng Một ảnh mơ tả theo đặc trưng mức thấp (low level features) Các đặc trưng đó, bao gồm hình dạng, màu sắc, kết cấu mối liên hệ khơng gian, cịn gọi nội dung ảnh Bằng việc sử dụng đăc trưng, không mô tả mô hình ảnh, mà cịn dùng để so sánh ảnh với Vì thế, hệ thống tra cứu ảnh theo đặc trưng mức thấp gọi hệ thống tra cứu ảnh theo nội dung (CBIR) Ảnh dùng truy vấn chia làm nhiều loại, loại mang đặc trưng trội, có phương pháp khác để phân tích đạt hệ thống tra cứu có kết tốt nhất, cho thí dụ ảnh vân gỗ, vân vải có đặc trưng riêng kết cấu hướng, ảnh thiên nhiên lại mang nhiều đặc trưng màu sắc với trí phức tạp, thường phương pháp người sử dụng lược đồ màu sắc dựa màu vùng tồn ảnh để tìm kiếm đạt hiệu tốt, hình ảnh mang đối tượng bố cục độ phức tạp khơng cao địi hỏi thay đổi vị trí, thay đổi kích thước theo tỷ lệ, hay góc quay đối tượng lại cần tới phương pháp trích chọn biểu diễn theo hình dạng đối tượng Đề tài tập trung vào loại ảnh mang đặc trưng hình dạng đối tượng Đã có nhiều phương pháp đề xuất để biểu diễn hình dạng, nhiên có nhược điểm khó bảo tồn tính bất biến quay, thu nhỏ, hay vị trí đối tượng, thí dụ phương pháp dựa góc quay, phương pháp dựa lưới…phương pháp đề xuất đề tài phương pháp đảm bảo tính bất biến hình dạng Báo cáo chia làm chương : Chƣơng 1: Giới thiệu tra cứu ảnh, đặc trưng ảnh cấu trúc hệ thống tra cứu ảnh Chƣơng 2: Xây dựng sở lý thuyết phương pháp biểu diễn hình dạng đối tượng theo lược đồ khoảng cách tính tốn độ tương tự hai ảnh truy vấn Chƣơng 3: Từ sở lý thuyết xây dựng Chƣơng để đưa ý tưởng, thuật toán áp dụng thử nghiệm đưa kết quả, đánh giá hiệu LỜI CẢM ƠN Em xin chân thành cảm ơn PGS, TS Ngô Quốc Tạo, người trực tiếp hướng dẫn tận tình giúp đỡ em trình thực đồ án này, kiến thức, phương pháp nghiên cứu em học từ Thầy thực quý giá, giúp ích cho em mà cịn tiền đề để em tiếp thu kiến thức cách tốt hơn, lần em xin cảm ơn Thầy nhiều Em xin cảm ơn Thạc sỹ Ngơ Trường Giang thơng qua mơn học Đồ họa máy tính Xử lý ảnh giúp em có niềm đam mê với lĩnh vực đồ họa máy tính, kiến thức từ hai mơn học góp phần giúp em hoàn thành đồ án Em xin gửi lời cảm ơn tới khoa CNTT trường ĐHDL Hải Phịng, thời gian học tập trường em học hỏi kiến thức, tư duy, giúp em phát triển ý tưởng đề Cuối em xin gửi lời cảm ơn tới Gia đình bạn bè bên cạnh giúp đỡ đồng thời ủng hộ em trình thực đồ án Hải Phòng, tháng năm 2012 Sinh viên thực Trần Ngọc Dƣơng MỤC LỤC LỜI MỞ ĐẦU LỜI CẢM ƠN MỤC LỤC 12 DANH MỤC CÁC HÌNH 14 KÝ HIỆU CÁC CỤM TỪ VIẾT TẮT 15 Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH 16 1.1 Giới thiệu hệ thống tra cứu ảnh 16 1.2 Hệ thống CBIR 18 1.3 Ứng dụng CBIR 20 1.4 Cấu trúc hệ thống CBIR 20 1.5 Kết luận chƣơng 21 Chƣơng 2: BIỂU DIỄN HÌNH DẠNG 22 2.1 Giới thiệu biểu diễn hình dạng 22 2.2 Tầm quan trọng biểu diễn hình dạng 23 2.3 Xấp xỉ hình dạng đối tƣợng 24 2.4 Trọng tâm đa giác 26 2.5 Chọn điểm mẫu ( Sample Point ) - tính khoảng cách điểm mẫu trọng tâm đa giác 27 2.6 Lƣợc đồ khoảng cách 29 2.7 Chuẩn hóa 30 2.8 Đo độ tƣơng tự 31 2.9 Kết luận chƣơng 32 Chƣơng 3: CÀI ĐẶT CHƢƠNG TRÌNH THỰC NGHIỆM 33 3.1 Cài đặt thuật toán 33 3.1.1 Thu thập biên đa giác lấy đỉnh đa giác ……………………………….… 33 3.1.2 Tính diện tích xác định trọng tâm đa giác ………………………… 36 3.1.3 Lựa chọn điểm mẫu tính khoảng cách trọng tâm đa giác điểm mẫu 38 3.1.4 Chuẩn hóa khoảng cách …………………………………………………… 41 3.1.5 Xây dựng lược đồ khoảng cách …………………………………………… 42 3.1.6 Độ đo tương tự ……………………………………………………………… 45 3.2 Giao diện chƣơng trình …………………………………………………………… 46 3.2.1 Giao diện tìm kiếm ………………………………………………………… 46 3.2.2 Cơ sở liệu ảnh …………………………………………………………… 47 3.2.3 Lược đồ khoảng cách ……………………………………………………… 48 3.3 Kết luận chƣơng ………………………………………………………………… 48 KẾT LUẬN …………………………………………………………………………… 49 DANH MỤC TÀI LIỆU THAM KHẢO …………………………………………… 50 DANH MỤC CÁC HÌNH Số thứ tự Hình 1.1 Hình 1.2 Hình 1.3 Hình 1.4 Hình 1.5 Hình 2.1 Hình 2.2 Hình 2.3 Hình 2.4 Hình 2.5 Hình 2.6 Hình 2.7 Hình 2.8 Hình 2.9 Hình 2.10 Hình 3.1 Hình 3.2 Hình 3.3 Hình 3.4 Hình 3.5 Nội dung Quá trình thực thi Hình dạng đặc trưng Hình kết cấu Biểu diễn hình dạng qua mối liên hệ không gian Cấu trúc hệ thống tra cứu ảnh theo nội dung (a)Đa giác P, (b)P sau dịch chuyển, (c)P sau quay, (d)Thu nhỏ theo tỷ lệ (a)Hình dạng trọng tâm, (b)Hình dạng trọng tâm sau di chuyển, (c)Hình dạng trọng tâm sau quay Mơ tả hình dạng hình trịn Q trình mơ đối tượng Đa giác có n cạnh Đa giác có n cạnh có điểm mẫu căng biên Li Đa giác, điểm mẫu bán kính Lược đồ khoảng cách đa giác Hai hình dạng tương tự kích thước khác Lược đồ khoảng cách sau chuẩn hóa Một đa giác phóng to với tương ứng điểm ảnh Lược đồ khoảng cách đa giác hình 3.1 Giao diện tìm kiếm kết Cơ sở liệu ảnh Lược đồ khoảng cách Số trang 17 17 18 18 21 22 23 26 27 28 29 29 30 30 32 37 49 46 47 48 KÝ HIỆU CÁC CỤM TỪ VIẾT TẮT CBIR QBIC SIM Content Base Image Retrieval Query By Image Content Similar Image Measure Tra cứu ảnh dựa vào nội dung Truy vấn theo nội dung ảnh Độ đo ảnh tương tự Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Giới thiệu hệ thống tra cứu ảnh Hệ thống tra cứu ảnh hệ thống máy tính cho phép việc tìm kiếm tra cứu ảnh từ sở liệu ảnh số lớn Hầu hết phương pháp chung truyền thống việc tra cứu ảnh dựa vài công thức thêm metadata là: Từ khóa, Chú thích Các miêu tả ảnh Sau việc tra cứu thực qua từ thích Việc thích ảnh cách thủ công công việc tốn thời gian, công sức tốn Để giải vấn đề có nhiều nghiên cứu nhằm tự động hóa trình Ngồi ra, gia tăng ứng dụng mạng xã hội mạng ngữ nghĩa thúc đẩy phát triển hàng loạt công cụ thích hình ảnh dựa web Hệ thống tra cứu sở liệu ảnh dựa microcomputer phát triển Học viện công nghệ MIT vào năm 1980 Banireddy Prasaad, Amar Gupta, Hoo-min Toong, Stuart Madnick Việc tìm kiếm ảnh tìm kiếm liệu chuyên biệt sử dụng để tìm kiếm hình ảnh Để tìm kiếm ảnh, người dùng nhập vào truy vấn là: Từ khóa, File ảnh, Link ảnh bấm chuột vào ảnh đó; sau hệ thống trả ảnh tương tự với truy vấn Sự tương tự sử dụng cho việc tìm kiếm là: Các thẻ meta, Phân bố màu sắc, Thuộc tính vùng hình dạng Việc tra cứu ảnh chia thành hai loại: + Tra cứu ảnh dựa từ khóa: Việc tìm kiếm dựa liệu liên quan từ khóa, văn bản, … + Tra ảnh dựa nội dung (CBIR): Ứng dụng thị giác máy (Computer Vision) vào việc tra cứu ảnh Mục tiêu CBIR tránh sử dụng miêu tả từ thay vào sử dụng tương tự nội dung ảnh như: Kết cấu, Màu sắc, Hình dạng, … Hình 1.1: Quá trình thực thi Quá trình thực thi hệ thống tra cứu ảnh: + Người dùng đưa truy vấn ảnh có sẵn + Hệ thống đón nhận truy vấn ảnh, sau trích chọn đặc trưng + Hệ thống so sánh truy vấn ảnh với sở liệu đặc trưng có + Hệ thống trả kết tra cứu Một hệ thống tra cứu ảnh cần đáp ứng được: + Nhu cầu sử dụng hình ảnh người dùng thông tin kèm ảnh + Cách mô tả nội dung ảnh + Trích chọn đặc trưng từ ảnh + Lưu trữ sở liệu ảnh + Truy vấn lưu trữ hình ảnh tương tự + Truy xuất hình ảnh sở liệu hiệu + Giao diện thân thiện, phù hợp 10 Thỏa mãn điều kiện nên tọa độ (6,2) xếp vào danh sách loại khỏi danh sách Xét tiếp từ điểm ảnh (5,3) Làm tương tự với tọa độ lại ta danh sách chứa tọa độ điểm ảnh xếp theo thứ tự ngược chiều kim đồng hồ (7,1), (6,2), (5,3), (4,4), (3,5), (2,6), (2,7), (2,8), (2,9), (2,10), (2,11), (2,12), (2,13), (2,14), (3,14), (4,13), (5,12), (6,11), (7,12), (8,13), (9,12), (10,11), (11,10), (12,9), (13,8), (14,7), (14,6), (14,5), (13,4), (13,3), (12,3), (11,4), (10,4), (9,3), (8,2) Sau có danh sách tọa độ xắp sếp, xét từ điểm đầu danh sách: + Điểm ảnh tọa độ (7, 1), (6, 2): x giảm, y tăng, m = 0, hai điểm ảnh tạo với gốc tọa độ góc 45o Lưu tọa độ (7, 1) vào danh sách đỉnh Tiếp tục vòng lặp với (5, 3): x giảm, y tăng, m = Tương tự tọa độ (2, 7) + Xét điểm ảnh có tọa độ (2, 6) (2, 7): x2 – x1 = 0, lưu (2, 6) vào danh sách đỉnh, chuyển sang xét y Làm tiếp tục đỉnh (2, 14) Cuối cùng, kết thúc việc duyệt danh sách thu đỉnh đa giác với tọa độ là: (7, 1), (2, 6), (2, 14), (6, 11), (8, 13), (14, 7), (13, 3), (10, 4) 3.1.2 Tính diện tích xác định trọng tâm đa giác 3.1.2.1 Ý tƣởng Để tìm trọng tâm đa giác, phải tính diện tích đa giác, áp dụng Cơng thức Gauss để tính diện tích hình đa giác mặt phẳng biết tọa độ đỉnh đa giác, từ tìm trọng tâm đa giác phục vụ mục đích xây dựng lược đồ khoảng cách 3.1.2.2 Thuật tốn * Thuật tốn tính diện tích đa giác Đầu vào: Danh sách chứa tọa độ đỉnh đa giác Pvertex kiểu List Xử lý: Var int i,j; double Area; area = 0; for(i = 1; i < length(Pvertex); i++) 29 { j = (i + 1) / length(Pvertex); Area = Area + Pvertex[i].X * Pvertex[j].Y; Area = Area - Pvertex[j].X * Pvertex[i].Y; } Area = (abs)Area/2; Đầu ra: Giá trị diện tích đa giác Area *Thuật tốn tính tọa độ trọng tâm đa giác Đầu vào: Pvertex kiểu List gồm danh sách Point lưu trữ giá trị đỉnh đa giác Xử lý: Var int i,j; float alpha; int C[][]; for(i = 0; i < length(Pvertex); i++) { j = (i + 1) / length(Pvertex); alpha = (Pvertex [i].x*Pvertex [j].y-Pvertex [j].x*Pvertex [i].y); c.x = c.x + +(Pvertex [i].x+Pvertex [j].x)*alpha; c.y:= c.y +(Pvertex [i].y+Pvertex [j].y)*alpha; } c.x = c.x / (6 * Area); c.y = c.y / (6 * Area); Đầu ra: Trả tọa độ trọng tâm đa giác C[x,y] 3.1.2.3 Bài tốn cụ thể Từ đa giác hình 3.1, có danh sách chứa tọa độ đỉnh đa giác (7,1), (2,6), (2,14), (6,11), (8,13), (14,7), (13,3), (10,4) Diện tích đa giác: A = 93 Vậy diện tích đa giác 93 Xác định trọng tâm đa giác: C( , ) 30 Ta có 7; Vậy trọng tâm đa giác hình 3.1 là: C(7,7) 3.1.3 Lựa chọn điểm mẫu tính khoảng cách trọng tâm đa giác điểm mẫu 3.1.3.1 Ý tƣởng Trong mục cần giải hai vấn đề, thứ lựa chọn điểm mẫu cạnh biên cho hợp lý, thứ tính khoảng cách điểm mẫu đó tới trọng tâm đa giác * Xác định vị trí số lƣợng điểm mẫu: Đầu vào xử lý bao gồm : - Tổng số lượng điểm ảnh cạnh biên đối tượng, giá trị tính q trình lưu tọa độ biên Số lượng điểm mẫu ước lượng sử dụng biên đó, người dùng nhập vào gán trình phát triển chương trình Số lượng điểm ảnh (chiều dài) cạnh biên xét, xác định số lượng điểm ảnh trình xác định đỉnh đa giác Về mặt chất đồ họa máy tính, điểm ảnh bố trí theo dạng ma trận tọa độ kiểu số nguyên Cho nên việc xác định điểm ảnh tương ứng với vị trí tọa độ thực tế phải dựa nguyên tắc làm tròn chuyển đổi dạng số nguyên Sau xác định số điểm mẫu cạnh biên duyệt điểm ảnh biên theo thứ tự đánh dấu điểm ảnh lại cho điểm mẫu cách biên, chia biên thành đoạn * Tính khoảng cách Các điểm mẫu trọng tâm đa giác Đầu vào tọa độ điểm mẫu điểm trọng tâm đa giác, theo công thức (eq 5) xây dựng phương thức tính khoảng cách hai điểm ma trận tọa độ 31 3.1.3.2 Thuật toán * Xác định vị trí số lƣợng điểm mẫu Đầu vào: Danh sách p kiểu List chứa tập tọa độ đa giác xếp theo thứ tự ngược chiều kim đồng hồ Xử lý: List; // Số điểm ảnh cạnh int count, tempcount, SNum,a,SDistance, Index; List ls_Point; // Danh sách đỉnh List SCoordinates; // Danh sách tọa độ điểm mẫu Index = 0; for(int i = 0; i < length(p); i++) { count = count + 1; Side[Index].X = p[i].X; Side[Index].Y = p[i].Y; p.RemoveAt(i); if(FindVertex(p[i].X,p[i].Y) == true) { SNum = (count / length(p)) * a; SDistance = count / (SNum + 1); for(i = SDistance; i < Side; i++) { SCoordinates[j].X = p[i].X; SCoordinates[j].Y = p[i].Y; SNum = 0; SDistance = 0; } } } Đầu ra: Trả danh sách tọa độ điểm mẫu SCoordinates * Tính khoảng cách Các điểm mẫu trọng tâm đa giác Đầu vào: - Danh sách chứa tọa độ điểm mẫu SCoordinates kiểu List - Tọa độ trọng tâm đa giác kiểu Point 32 Xử lý: List Distances; for(int i = 0; i < length(SamplePointCoordinates); i++) { Distance[i] = Distance(Point.X, SCoordinates[i].X, Point.Y, SCoordinates[i].Y); } Đầu ra: Trả danh sách Distances chứa khoảng cách từ trọng tâm tới điểm mẫu theo thứ tự 3.1.3.2 Bài tốn cụ thể Ví dụ hình 3.1: Tổng số điểm ảnh 35 pixel, có đỉnh là: (7,1), (2,6), (2,14), (6,11), (8,13), (14,7), (13,3), (10,4) Xét từ (7,1) đến (2,6): Có điểm ảnh cạnh nên chiều dài cạnh Số lượng điểm mẫu khoảng điểm Từ công thức (eq 4) Ni = = 8=1 Vậy có điểm căng đỉnh đoạn từ (7,1) đến (2,6) (4,4) Tiếp tục thực với đỉnh lại thu kết đây: 33 (4,4), (2,10), (4,13), (11,10), (14,5) Trọng tâm đa giác C(7,7) Tính khoảng cách từ trọng tâm đến điểm mẫu: D* = {5; 5.385; 5.83; 4.472; 7.615} {0.656; 0.707; 0.765; 0.587; 1} 3.1.4 Chuẩn hóa khoảng cách 3.1.4.1 Ý tƣởng Nhằm đảm bảo thay đổi kích thước đối tượng theo tỉ lệ mà khơng làm ảnh hưởng đến việc so sánh, trước xây dựng lược đồ khoảng cách cần chuẩn hóa khoảng cách Chúng ta xác định khoảng cách lớn khoảng cách thu Sau lấy khoảng cách chia cho khoảng cách lớn Chúng ta thu dãy khoảng cách thuộc khoảng [0,1] Khi thay đổi kích thước đối tượng không làm ảnh hưởng tới kết so sánh hình dạng đối tượng 3.1.4.2 Thuật tốn Đầu vào: Danh sách chứa giác trị khoảng cách đa giác xét D kiểu List Xử lý: List DNormal; float Max; Max = D[0]; for(int i = 0; i < length(D); i++) 34 { if(D[i] > Max) Max = D[i]; } for(int i = 0; i < length(D); i++) { DNormal [i] = D[i] / Max; } Đầu ra: Danh sách chứa khoảng cách chuẩn hóa DNormal 3.1.4.3 Bài tốn cụ thể Áp dụng vào ví dụ đa giác hình 3.1, với D* thu dược, chuẩn hóa khoảng [0,1] D* = {5; 5.385; 5.83; 4.472; 7.615} {0.656; 0.707; 0.765; 0.587; 1} Giá trị cực đại khoảng cách Dmax = 7.615 Chúng ta có tập giá trị sau chuẩn hóa: d[] = {0.656; 0.707; 0.765; 0.587; 1} 3.1.5 Xây dựng lƣợc đồ khoảng cách 3.1.5.1 Ý tƣởng Ý tưởng xây dựng lược đồ khoảng cách phân chia giá trị khoảng cách, hay nói cách khác kích thước tập bán kính đa giác vào nhóm dựa ngưỡng xác định, đề xuất chia thành khoảng 35 Ta có khoảng ngưỡng sau: [0, 0.2], [0.2, 0.4], [0.4, 0.6], [0.6, 0.8], [0.8, 1] Cơ sở liệu tạo bảng lưu giá trị lược đồ khoảng cách Distance_Histogram liên kết với ảnh bao gồm trường sau: (idhistogram, d 0,d1,d2,d3,d4) idhistogram khóa liên kết với khóa ngoại bảng chứa ảnh thơng tin ảnh, d0 vùng 1, d1 vùng 2… tương tự có vùng tương ứng với trường d0 tới d4 bảng Distance_Histogram 3.1.6.2 Thuật toán Đầu vào: - Bao gồm danh sách chứa tập giá trị khoảng cách d kiểu List Xử lý: int c1, c2, c3, c4, c5; c1 = c2 = c3 = c4 = c5 = 0; for(int i = 0; i < length(d); i++) { if(d[i] >= and d[i] = 0.2 and d[i] = 0.4 and d[i] = 0.6 and d[i] = 0.8 and d[i]