Tìm hiểu phương pháp trích chọn dấu hiệu của ảnh dựa vào đặc trưng hình dạng

1 LỜI CẢM ƠN Trong lời báo cáo Đồ án Tốt Nghiệp “Tìm hiểu phương pháp trích chọn dấu hiệu ảnh dựa vào đặc trưng hình dạng” này, em muốn gửi lời cám ơn biết ơn chân thành tới tất người hỗ trợ, giúp đỡ em kiến thức, tinh thần trình thực Đồ án Trước hết, em chân thành cám ơn Thầy Giáo Ths Ngô Trường Giang, Giảng viên Khoa Công Nghệ Thông Tin, Trường ĐHDL Hải Phòng, người trực tiếp hướng dẫn, nhận xét, giúp đỡ em suốt trình thực Đồ án Em chân thành cảm ơn Thầy Cơ Khoa Cơng Nghệ Thơng Tin tồn Thầy Cơ Trường Đại Học Dân Lập Hải Phịng giúp đỡ em suốt trình học tập Em xin bày tỏ lòng biết ơn đến gia đình người bạn ln giúp đỡ động viên em nhiều trình học tập làm Đồ án Tốt Nghiệp Do thời gian thực có hạn, kiến thức cịn nhiều hạn chế nên Đồ án thực chắn không tránh khỏi thiếu sót định Em mong nhận ý kiến đóng góp Thầy Cơ giáo bạn để em có thêm kinh nghiệm tiếp tục hồn thiện báo cáo Em xin chân thành Cám ơn! Hải Phòng, tháng 11/2019 Sinh viên _ Sinh viên: Phùng Thị Lệ – CT1102 MỤC LỤC MỤC LỤC MỞ ĐẦU DANH MỤC HÌNH VẼ CHƯƠNG 1:TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 1.1 Tra cứu thông tin trực quan 1.2 Các thành phần hệ thống CBIR 1.3 Các chức hệ thống CBIR 1.4 Một số phương pháp tra cứu ảnh dựa nội dung 1.5 Một số hệ thống tra cứu ảnh dựa nội dung .10 1.5.1 Hệ thống QBIC (Query By Image Content) 11 1.5.2 Hệ thống Photobook 11 1.5.3 Hệ thống VisualSEEK WebSEEK 11 1.5.4 Hệ thống RetrievalWare 12 1.5.5 Hệ thống Imatch .12 CHƯƠNG 2:CÁC PHƯƠNG PHÁP BIỂU DIỄN HÌNH DẠNG 13 2.1 Giới thiệu .13 2.2 Kỹ thuật biểu diễn hình dạng dựa biên 14 2.2.1 Phương pháp toàn cục 14 2.2.2 Phương pháp cấu trúc .16 2.3 Kỹ thuật biểu diễn hình dạng dựa vùng 18 2.3.1 Phương pháp toàn cục 19 2.3.2 Phương pháp cấu trúc .20 CHƯƠNG 3:MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN DẤU HIỆU CỦA ẢNH DỰA VÀO ĐẶC TRƯNG HÌNH DẠNG 22 3.1 Giới thiệu .22 3.2 Phương pháp trích chọn đặc trưng dựa đường biên 22 3.2.1 Mã xích (chain code) 22 3.2.2 Shape number 24 3.2.3 Đối sánh shape number 25 _ Sinh viên: Phùng Thị Lệ – CT1102 3.3 Phương pháp trích chọn đặc trưng dựa vùng 27 3.3.1 Đồ thị xương 29 3.3.2 Đối sánh đồ thị xương 29 3.3.3 Nhận xét 36 CHƯƠNG 4:THỰC NGHIỆM 37 4.1 Môi trường thử nghiệm 37 4.2 Một số kết thu 37 4.2.1 Giao diện chương trình: 37 4.2.2 Kết số đối tượng khác 38 4.2.3 Một số nhận xét chương trình 40 KẾT LUẬN 41 TÀI LIỆU THAM KHẢO 42 _ Sinh viên: Phùng Thị Lệ – CT1102 MỞ ĐẦU Trong thực tế, tốn tra cứu ảnh có nhiều ứng dụng quan trọng, ví dụ so sánh mẫu vân tay, tìm kiếm ảnh tội phạm áp dụng ngành khoa học hình sự, sở liệu ảnh địa lý, y học làm cho lĩnh vực nghiên cứu phát triển nhanh công nghệ thông tin Tuy nhiên số lượng ảnh lưu trữ trở nên lớn vấn đề phải có phương pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Việc tìm kiếm ảnh mong muốn hàng triệu ảnh khó khăn, địi hỏi phải có phương pháp hiệu xác Một phương pháp nhiều người quan tâm nghiên cứu phương pháp “Tra cứu ảnh dựa theo nội dung” (Content-Based Image Retrieval) Ý tưởng phương pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh màu sắc, kết cấu, hình dạng bố cục không gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh Tra cứu ảnh dựa hình dạng sử dụng đặc trưng hình dạng ảnh mục tiêu để tìm kiếm, khía cạnh quan trọng tra cứu ảnh dựa nội dung Một phần quan trọng tra cứu ảnh dựa hình dạng nghiên cứu trích chọn dấu hiệu đặc trưng Cho đến chưa có, định nghĩa tốn học xác, bao gồm hình học, thống kê, hình thái học đo lường hình dạng, việc mơ tả hình dạng vấn đề phức tạp Đề tài tìm hiểu số phương pháp mơ tả trích chọn dấu hiệu ảnh dựa vào đặc trưng hình dạng ứng dụng tra cứu ảnh dựa nội dung Đồ án bao gồm chương: Chương 1: Trình bày tổng quan tra cứu ảnh dựa nội dung giới thiệu số hệ thống tra cứu ảnh dựa nội dung Chương 2: Trình bày số phương pháp biểu diễn hình dạng cách phân loại phương pháp biểu diễn hình dạng Chương 3: Tìm hiểu hai phương pháp trích chọn dấu hiệu ảnh dựa vào đặc trưng hình dạng: Mã xích xương Chương 4: Trình bày thực nghiệm số kết đạt _ Sinh viên: Phùng Thị Lệ – CT1102 DANH MỤC HÌNH VẼ Hình 1.1: Các thơng tin sử dụng để mơ tả hình ảnh Hình 1.2: Mơ hình hệ thống tra cứu ảnh dựa nội dung Hình 2.1: Phân loại kỹ thuật mơ tả hình dạng 14 Hình 2.2: Minh họa độ lệch tâm tuần hồn hình dạng 15 Hình 2.3: Minh họa phương pháp bề mặt lồi: (a) Bề mặt lồi thiếu hụt lồi nó; (b) Cây lõm biểu diễn bề mặt lồi 20 Hình 2.4: Trục trung vị (xương) hình chữ nhật 20 Hình3.1: Các hướng đoạn thẳng đơn vị: (a): hướng, (b): hướng 23 Hình 3.2: Biểu diễn chuỗi mã ( theo hướng hướng) 23 Hình 3.3: Biểu diễn hình dạng sử dụng shape number 24 Hình 3.4: Các bước tính tốn shape number 25 Hình 3.5: Minh họa tìm kiếm hình dạng tương tự sử dụng shape number: (a) hình dạng; (b) tương tự; (c) ma trận tương tự 26 Hình 3.6: Hình dạng (a) (b) tương tự đồ thị khác 28 Hình 3.7: Hình dạng (a) ( b) khác có đồ thị xương (c) giống 28 Hình 3.8: Minh họa đường dẫn xương: (a) xương hình ngựa, (b) đường dẫn ngắn cặp node cuối 30 Hình 3.9: Sự tương ứng node cuối hai đồ thị xương 32 Hình 3.10: Minh họa xương cắt tỉa DCE 33 Hình 3.11: Sự tương ứng yếu tố 35 Hình 4.1: Giao diện chương trình 37 Hình 4.2: Kết thu với hình ngựa 38 Hình 4.3: Kết thu với hình ngựa kéo xe 38 Hình 4.4: Kết thu với hình cá heo 39 Hình 4.5: Kết thu với hình chữ nhật 39 _ Sinh viên: Phùng Thị Lệ – CT1102 CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 1.1 Tra cứu thông tin trực quan Nội dung ảnh gồm nội dung trực quan nội dung ngữ nghĩa Nội dung trực quan gồm có nội dung tổng quan nội dung đặc tả Nội dung ngữ nghĩa phát thông qua thích suy luận từ nội dung trực quan Có hai phương pháp chung để giải tốn tra cứu thông tin trực quan dựa thông tin trực quan: Phương pháp dựa thuộc tính (tổng quan) phương pháp dựa đặc điểm (đặc tả) Phương pháp dựa thuộc tính dựa vào tra cứu thông tin kết cấu truyền thống phương pháp quản lý sở liệu dựa can thiệp người để trích chọn metadata đối tượng trực quan thích kết cấu Nhưng việc phân tích kết cấu nhiều thời gian tốn nhiều cơng sức Hơn lời thích phụ thuộc nhiều vào cảm nhận chủ quan người, mà cảm nhận chủ quan giải thích mơ hồ nguyên nhân ghép đơi khơng cân xứng q trình xử lý Vấn đề truy cập ảnh video dựa từ khóa thúc đẩy quan tâm đến phát triển giải pháp dựa đặc điểm Đó thay giải thích thủ cơng từ khố dựa văn bản, ảnh trích chọn cách sử dụng số đặc điểm thị giác màu sắc, kết cấu, hình dạng đánh số dựa đặc điểm trực quan Thuật ngữ tra cứu ảnh dựa nội dung (Content Based Image Retrieval CBIR) Kato sử dụng để mơ tả thí nghiệm ơng lĩnh vực tra cứu tự động hình ảnh từ sở liệu dựa đặc điểm hình dạng màu sắc Từ sử dụng rộng rãi để mơ tả q trình tra cứu hình ảnh mong muốn từ tập hợp lớn hình ảnh dựa đặc điểm màu sắc, kết cấu hình dạng đặc điểm trích rút cách tự động từ hình ảnh Những đặc điểm sử dụng cho việc tra cứu đặc điểm nguyên thủy đặc điểm ngữ nghĩa, nhiên trình trích chọn chủ yếu phải tự động [5] Tra cứu ảnh dựa việc gán từ khóa (manually assigned keywords) tra cứu ảnh dựa nội dung thuật ngữ hiểu cách chung chung từ khóa mơ tả nội dung ảnh _ Sinh viên: Phùng Thị Lệ – CT1102 Hình ảnh Văn Từ khóa Thể loại Nội dung Màu sắc Hình dạng Kết cấu Kết hợp đặc trưng Hình 1.1: Các thơng tin sử dụng để mơ tả hình ảnh 1.2 Các thành phần hệ thống CBIR Hiện nay, trọng tâm CBIR nghiên cứu chủ yếu chủ đề chính: Trích chọn đặc trưng, đánh số hiệu quả, giao diện người dùng Trích chọn đặc trưng: Các đặc trưng hình ảnh bao gồm đặc trưng nguyên thủy đặc trưng ngữ nghĩa /đặc trưng logic Đặc trưng nguyên thủy màu sắc, hình dạng, kết cấu mối quan hệ không gian định lượng tự nhiên, chúng trích xuất tự động bán tự động Đặc trưng logic cung cấp mơ tả trừu tượng liệu hình ảnh cấp độ khác nhau.Thông thường, đặc trưng logic chiết xuất tay bán tự động Một nhiều đặc trưng sử dụng ứng dụng cụ thể Ví dụ, hệ thống thông tin vệ tinh, đặc trưng kết cấu quan trọng, hình dạng màu sắc đặc trưng quan trọng hệ thống đăng ký nhãn hiệu hàng hoá.Một nhiềucác đặc trưng chiết xuất, tra cứu trở thành nhiệm vụ đo độ giống đặc trưng hình ảnh Lập số hiệu quả: Để tạo điều kiện truy vấn hiệu xử lý tìm kiếm, số hình ảnh cần thiết tổ chức thành cấu trúc liệu hiệu Đặc trưng hình ảnh hình dung miêu tả, chúng khơng thể nhúng thị chúng có thuộc tính liên quan đến Vì vậy, cấu trúc liệu linh hoạt nên _ Sinh viên: Phùng Thị Lệ – CT1102 sử dụng để tạo điều kiện thuận lợi cho lưu trữ truy xuất hệ thống phục hồi hình ảnh Các cấu trúc k-d-tree, R-tree family, R *- tree, quad-tree, grid file (tập lưới) thường sử dụng Các cấu trúc có ưu điểm nhược điểm riêng số cấu trúc liệu sử dụng lĩnh vực định số cấu trúc liệu có sử dụng đồng thời nhiều lĩnh vực khác Giao diện người dùng: Trong hệ thống thông tin trực quan, tương tác người dùng đóng vai trị quan trọng tất chức Giao diện người dùng bao gồm xử lý truy vấn trình duyệt để cung cấp cơng cụ đồ họa tương tác, chế truy vấn truy cập sở liệu, theo thứ tự định sẵn Các chế truy vấn thông thường cung cấp giao diện người dùng là: truy vấn từ khóa, truy vấn cách phác thảo, truy vấn ví dụ, duyệt theo thể loại, chọn lọc đặc trưng trọng số thu hồi, tinh chỉnh phù hợp thông tin phản hồi Ba tác vụ ba thành phần hệ thống CBIR Trong số ba tác vụ trên,trích chọn đặc trưng (bao gồm đo độ giống nhau) nhiệm vụ quan trọng khó khăn Phần lớn nghiên cứu CBIR vào nhiệm vụ đầy thách thức Nghiên cứu tập trung vào khai thác đặc trưng hình dạng 1.3 Các chức hệ thống CBIR Một hệ thống tra cứu ảnh dựa nội dung không xử lý nguồn thông tin định dạng khác (ví dụ văn bản, ảnh, video) mà xử lý nhu cầu người sử dụng Về bản, hệ thống phân tích nội dung nguồn thông tin truy vấn người sử dụng, sau đối sánh chúng để tìm tiêu chí có liên quan [5] Những chức hệ thống bao gồm nội dung sau: Phân tích nội dung nguồn thơng tin biểu diễn nội dung nguồn thông tin cho phân tích phù hợp với so sánh truy vấn người sử dụng (không gian thông tin nguồn chuyển đổi thành không gian đặc điểm với mục đích đối sánh nhanh bước tiếp theo) Bước thường nhiều thời gian cho việc xử lý thông tin nguồn (hình ảnh) sở liệu Tuy nhiên, bước phải làm lần làm độc lập Phân tích truy vấn người dùng biểu diễn chúng thành dạng phù hợp với việc đối sánh với sở sữ liệu nguồn Nhiệm vụ bước giống với bước trước áp dụng với ảnh truy vấn _ Sinh viên: Phùng Thị Lệ – CT1102 Xác định chiến lược để đối sánh tìm kiếm truy vấn với thơng tin lưu trữ sở liệu Bước thực trực tuyến thực nhanh Cơng nghệ đánh số đại sử dụng để tổ chức lại không gian đặc điểm để tăng tốc độ xử lý đối sánh Thực điều chỉnh cần thiết hệ thống (thường cách đối chiếu tham số công nghệ đối sánh) dựa phản hồi từ người sử dụng hình ảnh tra cứu Từ trình bày ta thấy mặt hệ thống tra cứu ảnh dựa nội dung có nguồn thông tin trực quan dạng khác nhau, bên cạnh lại có yêu cầu người sử dụng Mơ hình hệ thống tra cứu ảnh dựa nội dung [2] hình 1.2: Hình 1.2: Mơ hình hệ thống tra cứu ảnh dựa nội dung 1.4 Một số phương pháp tra cứu ảnh dựa nội dung Một số phương pháp tra cứu ảnh dựa nội dung đưa từ lĩnh vực xử lý ảnh đồ họa máy tính Các phương pháp chủ yếu thơng qua việc nhấn mạnh vào tra cứu ảnh với đặc điểm mong muốn từ tập hình ảnh lớn Việc lựa chọn đặc trưng độ đo thích hợp giúp tăng tốc độ thực _ Sinh viên: Phùng Thị Lệ – CT1102 10 mức độ xác hệ thống tra cứu ảnh Vì phải lựa chọn tập đặc trưng tốt cho đầu vào hệ thống tìm kiếm ảnh Nếu số lượng đặc trưng nhiều che khuất tín hiệu, mặt khác, số lượng đặc trưng q khó nhận dạng ảnh [1] Sau đây, số phương pháp tra cứu ảnh dựa nội dung giới thiệu: Tra cứu ảnh dựa màu sắc: màu sắc đặc trưng bật sử dụng phổ biến tìm kiếm ảnh theo nội dung Mỗi điểm ảnh (thông tin màu sắc) biểu diễn điểm không gian màu sắc ba chiều Các không gian màu thường dùng là: RGB, Munsell, CIE, HSV Tìm kiếm ảnh theo màu sắc tiến hành tính tốn biểu đồ màu cho ảnh để xác định tỉ trọng điểm ảnh chứa giá trị đặc biệt (màu sắc) Các nghiên cứu gần tập trung vào phân vùng ảnh theo màu khác tìm mối quan hệ vùng Tra cứu ảnh dựa kết cấu: Trích xuất nội dung ảnh theo kết cấu nhằm tìm mơ hình trực quan ảnh cách thức chúng xác định không gian Kết cấu cung cấp thông tin xếp mặt không gian màu sắc cường độ ảnh Kết cấu biểu diễn texel mà sau đặt vào số tập phụ thuộc vào số kết cấu phát ảnh Các tập không xác định kết cấu mà cịn rõ vị trí kết cấu ảnh Việc xác định kết cấu đặc biệt ảnh đạt chủ yếu cách mô hình kết cấu biến xám hai chiều Tra cứu ảnh dựa hình dạng: hình dạng ảnh hay vùng đặc trưng quan trọng việc xác định phân biệt ảnh nhận dạng mẫu Mục tiêu biểu diễn hình dạng nhận dạng mẫu đo thuộc tính hình học đối tượng dùng phân lớp, so sánh nhận dạng đối tượng Hình dạng đặc trưng hình ảnh quan trọng đặc trưng nguyên thủy để mô tả nội dung hình ảnh Tuy nhiên, mơ tả nội dung hình dạng nhiệm vụ khó khăn Bởi vì, khó để định nghĩa nhận thức đặc trưng hình dạng đo lường giống hình dạng 1.5 Một số hệ thống tra cứu ảnh dựa nội dung Những năm gần đây, có nhiều hệ thống tra cứu ảnh xây dựng phát triển nhanh Một số hệ thống CBIR biết tới: _ Sinh viên: Phùng Thị Lệ – CT1102 28 ngựa (hình 3.6a hình 3.6b) tương tự, đồ thị xương (hình 3.6c hình 3.6d ) lại khác Ví dụ minh họa khó khăn phải đối mặt cách tiếp cận dựa hoạt động chỉnh sửa đồ thị đối sánh xương Để có đồ thị xương hay xương hiển thị hình 3.6 phải sử dụng số hoạt động chỉnh sửa (cắt, trộn…) Hình 3.6: Hình dạng (a) (b) tương tự đồ thị khác Mặt khác, đồ thị xương đối tượng khác có cấu trúc topo giống nhau, hình 3.7 Các xương bàn chải hình 3.7(a) kìm hình 3.7(b) có topo thể hình 3.7(c) Hình 3.7: Hình dạng (a) ( b) khác có đồ thị xương (c) giống _ Sinh viên: Phùng Thị Lệ – CT1102 29 Đề xuất đối sánh đồ thị xương dựa giả định tương tự xương có tương tự cấu trúc node cuối (sự giống đường ngắn đến node cuối khác) Và việc đo đường dẫn xương mơ tả chuỗi bán kính đĩa cực đại Mặc dù không xem xét tường minh cấu trúc topo đồ thị xương khơng hồn tồn bỏ qua cấu trúc này, ngầm hiểu biểu diễn thực tế chồng chéo phần đường xương tương tự, chồng phần có chuỗi có bán kính Ví dụ hình 3.6(a), 3.6(b) đường từ từ chồng chéo lên Thực tế phân đoạn chồng chéo khác hình 3.6(a), 3.6(b) khơng ảnh hưởng đến giống chuỗi bán kính Vì cách tiếp cận đủ linh hoạt để thực tốt hình dạng khớp khơng gây nhầm lẫn với hình dạng khác 3.3.1 Đồ thị xương Các định nghĩa sau áp dụng cho xương liên tục (continuous skeletons) xương ảnh số (digital images) Định nghĩa 1: Điểm xương có điểm lân cận (adjacent point) gọi điểm cuối xương (endpoint) Điểm xương có từ lân cận trở lên gọi điểm giao (junction point) Điểm xương điểm cuối điểm giao gọi điểm kết nối (connection point) Định nghĩa 2: Chuỗi điểm kết nối điểm xương kết nối trực tiếp gọi nhánh xương (skeleton branch) Một tiêu chuẩn để xây dựng đồ thị xương là: điểm cuối điểm giao chọn node cho đồ thị, nhánh xương node cạnh node Ví dụ, hình 3.6(c) 3.6(d) đồ thị xương hình 3.6(a) 3.6(b) tương ứng Định nghĩa 3: Điểm cuối đồ thị xương gọi node cuối điểm giao đồ thị xương gọi node giao 3.3.2 Đối sánh đồ thị xương Đối sánh đồ thị xương cách thiết lập tương ứng node cuối, node điểm bật đường biên, tất nhánh xương cuối đường biên xem phần trực quan hình dạng ban đầu Vì đối sánh khơng liên quan đến node giao _ Sinh viên: Phùng Thị Lệ – CT1102 30 3.3.2.1 Mô tả đường dẫn Định nghĩa 4: Đường ngắn cặp node cuối đồ thị xương gọi đường dẫn xương (skeleton path), ví dụ xem hình 3.8b Hình 3.8: Minh họa đường dẫn xương: (a) xương hình ngựa, (b) đường dẫn ngắn cặp node cuối Giả sử có N node cuối đồ thị xương G cho v i (i=1,2,…N) với i node cuối dọc theo biên theo chiều kim đồng hồ Cho p(v m,vn) đường dẫn xương từ vm đến Lấy mẫu p(vm,vn) với điểm M cách tất điểm xương Cho Rm,n(t) bán kính đĩa cực đại điểm xương với số t p(vm,vn) Vecto bán kính đĩa cực đại có tâm điểm M p(v m,vn) ký hiệu là: Rm,n = (Rm,n(t))t=1,2,…M = (r1, r2,…rM) (3.1) Trong viết này, bán kính Rm,n(t) xấp xỉ với khoảng cách biến đổi DT(t) (Distance Transfrom) điểm xương có số t Giả sử có N pixel hình dạng S ban đầu, để phương pháp thực bất biến với co dãn, chuẩn hóa Rm,n(t) sau: Rm,n = (3.2) Trong Si (i=1,2,…N) biến đổi tất N0 pixel hình dạng Định nghĩa 5: Sự khác hình dạng hai đường xương gọi khoảng đường dẫn (path distance) Nếu R R’ vecto bán kính đường dẫn p(u,v) p(u’,v’) tương ứng, khoảng đường dẫn định nghĩa là: pd(p(u,v),p(u’,v’) = (3.3) _ Sinh viên: Phùng Thị Lệ – CT1102 31 Trong l l’ độ dài p(u,v) p(u’,v’) α trọng số (weight facter) Để biểu diễn bất biến với co giãn, chiều dài đường dẫn chuẩn hóa Bằng cách này, đường dẫn khoảng cách đường dẫn bất biến với co giãn Để giải giống hình dạng khớp nhau, khoảng đường (3.3) không xét đến biến dạng đường đi, khơng thay đổi vecto bán kính độ dài đường 3.3.2.2 Đối sánh node cuối sử dụng đường xương Trong đồ thị xương, node cuối có đường xương cho tất node khác đồ thị Cho G G’ hai đồ thị đối sánh, v i vjlà node cuối G G’ Cho số lượng node G G K+1 N+1 (K