(Luận văn thạc sĩ) tra cứu ảnh dựa trên lưới và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ LAN ANH TRA CỨU ẢNH DỰA TRÊN LƯỚI VÀ ỨNG DỤNG Ngành Chuyên ngành Mã số : Công nghệ thông tin : Hệ thống thông tin : 60 48 05 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Ngô Quốc Tạo Hà Nội – 2012 MỤC LỤC LỜI CẢM ƠN _ LỜI CAM ĐOAN MỤC LỤC DANH MỤC HÌNH VẼ _ Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Giới thiệu chung _ 1.2 Các đặc trưng mức thấp ảnh 10 1.3 Cấu trúc hệ thống tra cứu ảnh theo nội dung 11 1.4 Một số hệ thống tra cứu ảnh theo nội dung 12 1.4.1 Hệ thống QBIC 12 1.4.2 Hệ thống Photobook 13 1.4.3 Hệ thống VisualSEEK WebSEEK _ 13 1.4.4 Hệ thống RetrievalWare _ 13 1.4.5 Hệ thống Imatch _ 13 1.5 Một số ứng dụng tra cứu ảnh _ 14 1.6 Kết luận chương 14 Chƣơng 2: MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG HÌNH ẢNH 15 2.1 Phương pháp trích chọn đặc trưng theo màu sắc 16 2.1.1 Không gian màu _ 16 2.1.2 Lượng tử hoá màu 18 2.1.3 Các moment màu 19 2.1.4 Biểu đồ màu 19 2.2 Phương pháp trích chọn đặc trưng theo kết cấu 21 2.2.1 Các đặc trưng Tamura _ 21 2.2.2 Các đặc trưng Wold 23 2.2.3 Mơ hình SAR _ 24 2.2.4 Ma trận đồng khả 24 2.2.5 Lọc Gabor 25 2.2.6 Biến đổi dạng sóng _ 26 2.3 Phương pháp trích chọn đặc trưng hình dạng 27 2.3.1 Biên phương pháp phát biên 29 2.3.2 Xử lý ảnh miền tần số biến đổi Fourier 32 2.4 Thông tin không gian 36 2.5 Phân đoạn _ 36 2.6 Kết luận _ 36 Chƣơng 3: TRA CỨU ẢNH DỰA TRÊN LƢỚI 37 3.1 Định nghĩa lưới _ 38 3.2 Phương pháp tra cứu ảnh dựa lưới _ 38 3.2.1 Một số khái niệm _ 38 3.2.1.1 Khái niệm hình dạng 38 3.2.1.2 Trục hình dạng 38 3.2.1.3 Trục phụ hình dạng 38 3.2.1.4 Độ lệch tâm _ 39 3.2.1.5 Độ đo tương tự _ 39 3.2.2 Tra cứu ảnh dựa lưới 39 3.2.2.2 Biểu diễn vùng hình dạng dựa lưới 40 3.2.2.3 Chuần hóa xoay 40 3.2.2.4 Chuẩn hóa co dãn _ 41 3.2.2.5 Chỉ mục vùng hình dạng _ 41 3.2.2.6 Độ đo tương tự _ 42 3.2.2.6 Các phép toán khác _ 43 3.2.2.7 Xử lý trường hợp vùng hì nh dạng có một trục chí nh 43 3.2.2.8 Quy trì nh tạo chỉ mục và tra cứu ảnh dựa lưới _ 44 3.3 Tra cứu ảnh dựa vào chỉ mục kết hợp màu sắc hình dạng 45 3.3.1 Các đặc trưng màu sắc hình dạng 45 3.3.1.1 Phương pháp lập chỉ mục màu sắc 45 3.3.1.2 Biểu diễn hình dạng _ 50 3.3.2 Quá trình lập chỉ mục truy vấn 50 3.3.2.1 Chỉ mục màu sắc _ 50 3.3.2.2 Chỉ mục hình dạng 52 3.3.2.3 Truy vấn 52 3.3.2.4 Độ đo tương tự _ 53 3.4 Kết luận _ 53 Chƣơng 4: THIẾT KẾ VÀ CÀI ĐẶT CHƢƠNG TRÌNH MƠ PHỎNG _ 54 TRA CỨU ẢNH DỰA TRÊN LƢỚI 54 4.1 Phát biểu toán _ 54 4.2 Cài đặt sử dụng phương pháp tra cứu ảnh dựa lưới 54 4.2.1 Chuyển đổi ảnh ảnh đen trắng 54 4.2.2 Tìm hình chữ nhật sở _ 54 4.2.3 Chuẩn hóa vùng hình dạng _ 55 4.2.3.1 Co dãn đối tượng _ 55 4.2.3.2 Tìm trục cho vùng hình dạng _ 55 4.2.3.3 Xoay vùng hình dạng 55 4.2.4 Phủ lưới vùng hình dạng _ 55 4.2.5 Tính độ tương tự _ 56 4.3 Giao diện chương trình _ 56 KẾT LUẬN 58 TÀI LIỆU THAM KHẢO 59 DANH MỤC HÌNH VẼ (1) Hình 1.1 Đặc trưng hình dạng (2) Hình 1.2 Đặc trưng kết cấu (3) Hình 1.3 Biểu diễn hình dạng qua mối quan hệ khơng gian (4) Hình 1.4 Cấu trúc hệ thống tra cứu ảnh theo nội dung (5) Hình 2.1 Khơng gian màu RGB (6) Hình 2.2 Mơ tả khơng gian màu HSV (7) Hình 2.3 Biểu diễn hình dạng theo đường biên theo vùng (8) Hình 2.4 Biểu diễn hình dạng theo miền thời gian miền tần số (9) Hình 2.5 Ảnh thực (a) ảnh thu sau biến đổi Fourier (b) (10) Hình 3.1 Biểu diễn lưới (11) Hình 3.2 Tạo ch̃i bít biểu diễn vùng hình dạng (12) Hình 3.3 Hai hướng của cùng mợt vùng hì nh dạng (13) Hình 3.4 Phép đối xứng (14) Hình 3.5 Bảng tra cứu màu (15) Hình 3.6 Minh họa phân vùng màu (16) Hình 3.7 Ảnh tìm biên (17) Hình 3.8 Bản đồ vị trí (18) Hình 3.9 Minh họa tìm vị trí (19) Hình 3.10 Cấu trúc chỉ mục (20) Hình 3.11 Ví dụ bảng băm (21) Hình 4.1 Phủ lưới ảnh tơ màu đối tượng (22) Hình 4.2 Tra cứu dựa hình dạng (23) Hình 4.3 Tra cứu kết hợp màu sắc hình dạng MỞ ĐẦU Cùng với phát triển vũ bão khoa học công nghệ, công nghệ thông tin ngày ứng dụng rộng rãi vào tất lĩnh vực đời sống xã hội Từ thành thị đến nông thôn, từ tổ chức đến cá nhân hay lĩnh vực tưởng chừng xa vời với cơng nghệ thơng tin áp dụng thành tựu công nghệ thông tin Công nghệ thông tin thực len lỏi vào ngõ ngách đời sống người Công nghệ thông tin làm cho người động hơn, nhanh nhẹn hơn, … thích nghi tốt môi trường tạo suất, hiệu cao Cơng nghệ thơng tin nói chung, Internet nói riêng với phát triển cơng nghệ kỹ thuật số tạo nên kho liệu ảnh khổng lồ vượt kiểm soát người Khi có nhu cầu tra cứu vài ảnh sở liệu, công việc cần thực xem ảnh tiến hành so sánh với ảnh cần tìm đạt kết mong muốn Điều khó khăn sở liệu ảnh có tới hàng trăm ngàn ảnh Do đó, việc xây dựng hệ thống phục vụ công việc tra cứu ảnh cần thiết Hệ thống tra cứu đảm bảo trả kết nhanh so với việc tra cứu thủ công Các cơng cụ tra cứu ảnh dựa vào đặc trưng văn kèm nội dung ảnh Một số công cụ tra cứu ảnh theo văn kèm như: Google Image Search, Yahoo!, … số công cụ tra cứu ảnh dựa vào nội dung ảnh như: Google Image Swirl, Bing, … Do đó, việc xây dựng hệ thống tra cứu cần thiết Các công cụ tra cứu ảnh thường dựa vào hai đặc trưng văn kèm ảnh nội dung ảnh Ngày có số cơng cụ tra cứu ảnh theo văn kèm Google Image Search, Yahoo!, MSN, … số công cụ tra cứu ảnh dựa vào nội dung ảnh Google Image Swirl, Bing, … Trước đây, người ta thường sử dụng phương pháp tra cứu ảnh theo văn kèm (Text Based Image Retrieval) Theo phương pháp người ta gán cho mỗi ảnh lời thích phù hợp với nội dung đặc điểm bật ảnh, sau việc tra cứu ảnh thực dựa lời thích Phương pháp đơn giản Tuy nhiên, việc tra cứu ảnh dựa vào văn kèm cịn có nhiều nhập nhằng nội dung ảnh hiển thị với nội dung văn kèm ảnh q trình tra cứu Ví dụ, với truy vấn có lời thích “Apple” hệ thống tra cứu khó phân biệt người dùng muốn tìm hình ảnh táo hay tìm logo hãng Apple Thêm vào phương pháp tra cứu ảnh theo văn cịn khó áp dụng để tra cứu sở liệu ảnh có số lượng ảnh lớn Tra cứu ảnh theo nội dung (Content Based Image Retrieval) phương pháp nhiều người quan tâm nghiên cứu Ý tưởng phương pháp trích chọn đặc điểm dựa vào nội dung trực quan ảnh màu sắc, kết cấu, hình dạng bố cục khơng gian ảnh để làm sở cho việc tra cứu, xếp, tổ chức sở liệu ảnh Một số hệ thống tra cứu ảnh tiếng QBIC, Virage, Photobook, VisualSEEK, … áp dụng thành công phương pháp tra cứu Khi tra cứu ảnh theo nội dung người ta trích chọn theo đặc trưng màu sắc, kết cấu, hình dạng kết hợp nhiều đặc trưng kết tra cứu tốt Tuy nhiên tra cứu ảnh dựa vào màu sắc hay kết cấu khó cho kết tốt với tìm kiếm liên quan tới hình dạng đối tượng Do tra cứu ảnh theo hình dạng cơng cụ hữu hiệu giải nhu cầu thiết thực Phương pháp tra cứu ảnh theo hình dạng cho phép người dùng yêu cầu đối tượng có hình dạng tương tự với hình dạng đối tượng truy vấn Một phương pháp tra cứu dựa hình đại diện độ tương tự gọi phương pháp tra cứu ảnh dựa lưới Phương pháp sử dụng kỹ thuật phủ lưới lên vùng hình dạng nhằm trích chọn ch̃i bít đặc trưng phục vụ cho việc đối sánh để có kết tra cứu phù hợp Khơng chỉ đơn sử dụng lưới cho vùng hình dạng người ta cịn kết hợp thêm với đặc trưng màu sắc kết tra cứu tốt Một phương pháp giới thiệu gồm hai giai đoạn dựa vào hai đặc trưng mức thấp ảnh màu sắc hình dạng Với phương pháp này, ảnh phân vùng thành vùng màu trội với thông tin mô tả tương ứng vị trí, diện tích, … sử dụng làm chỉ mục cho khâu tra cứu dựa vào màu sắc Kết vùng màu sắc tìm thấy, từ ta thực phương pháp tra cứu ảnh dựa lưới với vùng màu sắc Khi kết hợp hai đặc trưng cho kết tra cứu tốt nhiều Nội dung luận văn gồm có bốn chương: Chƣơng 1: Giới thiệu tra cứu ảnh, đặc trưng ảnh, cấu trúc hệ thống tra cứu ảnh theo nội dung số lĩnh vực ứng dụng tra cứu ảnh Chƣơng 2: Trình bày số phương pháp trích chọn đặc trưng hình ảnh màu sắc, kết cấu, hình dạng … Chƣơng 3: Tập trung tìm hiểu kỹ thuật tra cứu ảnh dựa lưới Đồng thời giới thiệu phương pháp tra cứu ảnh kết hợp đặc trưng màu sắc hình dạng có sử dụng kỹ thuật lưới vùng Chƣơng 4: Từ sở lý thuyết xây dựng chương đưa ý tưởng, thuật toán xây dựng chương trình mơ tra cứu ảnh dựa lưới Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Giới thiệu chung Với lịch sử phát triển từ đầu năm 1920, xử lý ảnh biết đến với ứng dụng truyền ảnh số qua dây cáp - giúp giảm thiểu thời gian truyền tải hình ảnh Bình thường để truyền hình ảnh qua biển Atlantic phải tới tuần qua hệ thống chỉ đồng hồ Đây hệ thống chuyên dụng trang bị để mã hóa ảnh thành dạng tín hiệu sau truyền qua hệ thống dây cáp, đầu nhận tín hiệu có hệ thống chun dụng để giải mã khôi phục lại chúng Ngày phạm vi ứng dụng xử lý ảnh mở rộng nhằm phục vụ cho nhiều mục đích khác Kỹ thuật xử lý ảnh có liên quan tới xử lý tín hiệu hai chiều áp dụng chuẩn riêng kỹ thuật xử lý ảnh cho Q trình thực thi hệ thống xử lý ảnh bao gồm: - Thu nhận ảnh - Số hóa ảnh - Phân tích ảnh - Nhận dạng ảnh Thu nhận ảnh: Ảnh thu nhận từ môi trường thực tế thơng qua thiết bị máy chụp hình (Camera), máy quét hình (Scanner) hay cảm ứng (Sensor) lắp đặt vệ tinh, ảnh thực tế ảnh liên tục không gian giá trị độ sáng, sau trình thu nhận cho đầu ảnh có dạng đồ bit (ảnh bitmap) Ngày ảnh cịn xây dựng hệ thống máy tính, thơng qua thuật tốn xử lý đồ họa máy tính Do vài trường hợp ảnh đầu vào tín hiệu số hóa Số hóa ảnh: Trước phân tích ảnh người ta phải số hóa ảnh đó, ảnh đầu vào dạng bitmap qua số hóa tạo ảnh vector có hướng Phân tích ảnh: Đây q trình tác động vào ảnh số hóa nhằm mục đích tăng cường ảnh, phân vùng, phân đoạn ảnh hay phát biên … để phục vụ cho mục đích khác xử lý ảnh Nhận dạng ảnh: Là q trình mơ tả ảnh, mô tả đối tượng nhằm vào mục đích khác như: Nhận dạng vân tay, nhận dạng mặt người, nhận dạng chữ viết, Muốn thực công việc người ta phải sử dụng sở tri thức lưu trữ gồm tập mẫu hay gọi sở liệu thơng tin Qua q trình tra cứu nhận dạng đối tượng có ảnh ảnh tương tự sở liệu thông tin với ảnh đầu vào để xác nhận tính đắn Ngồi 10 người ta dùng tra cứu ảnh để phục vụ mục đích tra cứu ảnh tương tự với ảnh đầu vào có chất lượng tốt hơn, mang thông tin quan trọng hơn, … Tra cứu ảnh biết đến trình tìm kiếm ảnh sở liệu ảnh ảnh thoả mãn yêu cầu Khi tra cứu ảnh người ta sử dụng phương pháp tra cứu ảnh theo văn kèm hay theo nội dung ảnh Với tra cứu ảnh theo văn kèm gây nên nhập nhằng ngữ nghĩa nội dung văn không lột tả hết nội dung ảnh kết trả thường mang tính chủ quan, cảm ngữ cảnh Tra cứu ảnh theo nội dung cho kết tốt tra cứu ảnh người ta dựa đặc trưng mức thấp ảnh màu sắc, kết cấu hay hình dạng Tra cứu ảnh theo nội dung thực theo nguyên tắc sử dụng đặc trưng mức thấp ảnh màu sắc, kết cấu, … để biểu diễn ảnh Sau tính độ tương tự ảnh cần tìm ảnh sở liệu để đưa kết ảnh có độ tương tự cao 1.2 Các đặc trƣng mức thấp ảnh Đặc trưng mức thấp ảnh vài đặc điểm thu nhận từ ảnh như: Hình dạng, màu sắc, kết cấu, mối liên hệ không gian đối tượng Các đặc trưng quan trọng, người ta dùng đặc trưng để mô tả biểu diễn nội dung ảnh Ngày nay, vài hệ thống tra cứu ảnh theo nội dung (CBIR) sử dụng đặc trưng như: QBIC (Query by Image Content), Photobook, … Trong đặc trưng mức thấp ảnh đặc trưng màu sắc đặc trưng sử dụng phổ biến đặc trưng cho phép người nhận khác biệt rõ ràng hình ảnh Do đó, lược đồ màu kỹ thuật sử dụng nhiều để biển diễn màu sắc ảnh Và độ đo tương tự lược đồ màu nghiên cứu đưa vào sử dụng Hình dạng đối tượng ảnh đặc trưng khác quan trọng nội dung ảnh Ở vài trường hợp người ta nhận dạng đối tượng chỉ qua hình dạng chúng Hình dạng đối tượng thu đường viền bao xung quanh Có hai cách tiếp cận sử dung để phân tích hình dạng, dựa vùng hình dạng dựa đường viền bao quanh đối tượng hay cịn gọi biên Hình 1.1: Đặc trưng hình dạng 11 Ngồi đặc trưng màu sắc hình dạng kết cấu đặc trưng quan trọng nhận dạng mẫu tra cứu ảnh Nó cung cấp mẫu trực quan vùng ảnh Các thuộc tính quan trọng đặc trưng kết cấu như: Độ tương phản, thuộc tính thơ, hướng, tính quy luật, chu kỳ tính ngẫu nhiên Kết cấu ảnh biểu diễn kỹ thuật biến đổi wavelet, kỹ thuật sử dụng nhiều xử lý ảnh Tương tự kỹ thuật biến đổi Fourier, biến đổi tín hiệu từ miền thời gian sang miền tần số Hình 1.2: Đặc trưng kết cấu Mối quan hệ khơng gian (spatial relationship), đặc trưng quan trọng sử dụng nhiều xử lý ảnh, dùng để phân biệt đối tượng khác ảnh Có cách để biểu diễn mối liên hệ khơng gian, theo đối tượng theo quan hệ Hình 1.3: Biểu diễn hình dạng qua mối quan hệ không gian Những năm gần đây, đặc trưng dần hoàn thiện Tuy nhiên, kỹ thuật đưa với đặc trưng chưa tốt nhất, để có hệ thống làm việc hiệu cao đáp ứng nhu cầu sử dụng cần phải tiếp tục nghiên cứu kết hợp đưa cách tiếp cận tốt Có hệ thống tra cứu hiệu đặc trưng màu sắc lại không hiệu hình kết cấu, có hình đạt hiệu tra cứu tốt tra cứu ảnh kết cấu vài loại ảnh có bố cục đầy đủ lại phải sử dụng phương pháp quan hệ không gian mong đạt hiệu tốt Nhiều hệ thống kết hợp kỹ thuật khác nhằm đạt hiệu tra cứu tối ưu 1.3 Cấu trúc hệ thống tra cứu ảnh theo nội dung Một hệ thống tra cứu ảnh thực qua nhiều cơng đoạn: Nhập ảnh truy vấn, nhập liệu ảnh cho sở liệu, chuẩn hóa ảnh, trích chọn đặc trưng ảnh 12 truy vấn ảnh sở liệu, tính tốn độ tương tự cách hiển thị kết lên hình, … Tuy nhiên miêu tả khái quát hệ thống tra cứu ảnh thông qua cơng đoạn hình 1.4 Hình 1.4: Cấu trúc hệ thống tra cứu ảnh theo nội dung Một số công đoạn hệ thống tra cứu ảnh theo nội dung: Trích chọn đặc trƣng cho ảnh truy vấn: Ở công đoạn ảnh truy vấn nhập vào hệ thống xử lý để trích chọn đặc trưng theo đặc trưng định nhằm phục vụ tính tốn độ tương tự, sau đưa kết Trích chọn đặc trƣng: Đây cơng đoạn tính tốn đặc trưng cho ảnh sở liệu sinh sở liệu lưu trữ đặc trưng, công đoạn thường tính tốn từ nhập ảnh vào sở liệu, tiến hành người dùng cho phép thực Đo độ tƣơng tự: Công đoạn công đoạn so sánh ảnh tồn sở liệu ảnh truy vấn thông qua đặc trưng trích chọn trước Tra cứu hiển thị kết quả: Hiển thị kết vừa thu cho người dùng theo giá trị ngưỡng tương tự 1.4 Một số hệ thống tra cứu ảnh theo nội dung 1.4.1 Hệ thống QBIC Hệ thống QBIC (Query By Image Content) hãng IBM hệ thống tra cứu ảnh thương mại tiếng số hệ thống tra cứu ảnh dựa nội dung Nó cho phép người sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng kết cấu QBIC cung cấp số phương pháp: Simple, Multi-feature Multi-pass Phương pháp truy vấn Simple chỉ sử dụng đặc điểm 45 3.3 Tra cứu ảnh dựa vào mục kết hợp màu sắc hình dạng Hầu hết hệ thống tra cứu ảnh theo nội dung sử dụng đặc trưng mức thấp để tra cứu ảnh Nói chung phương pháp nhiều thời gian tính tốn lập chỉ mục không hiệu mà hiệu suất tra cứu lại không cao Trong mục tập trung giới thiệu phương pháp tra cứu dựa vào đặc trưng mức thấp màu sắc hình dạng để lập chỉ mục nhằm đạt kết tra cứu hiệu Đó kết hợp đặc trưng màu sắc với đặc trưng hình dạng Một hình dạng tương tự đưa nhằm nâng cao hiệu tra cứu Các ảnh lập chỉ mục dựa vùng màu trội khn ảnh tương tự nhóm ảnh lưu trữ bảng băm Mỗi vùng ảnh lập chỉ mục dựa hình dạng Hình dạng bất biến với thao tác quay, dịch chuyển co dãn Phương pháp tra cứu ảnh dựa vào chỉ mục kết hợp màu sắc hình dạng ảnh đề xuất nhằm nâng cao hiệu tra cứu Phần giới thiệu chi tiết phương pháp 3.3.1 Các đặc trưng màu sắc hình dạng Để tra cứu trước tiên ta phải tạo chỉ mục ảnh dựa vùng màu trội Các vùng ảnh tạo sau phân vùng lập chỉ mục để làm đầu vào cho môđun hình dạng Đại diện hình dạng dựa phân vùng điều chỉnh để tính đặc trưng hình dạng cần cho độ đo tương tự kĩ thuật lập chỉ mục hình dạng mẫu nhằm hỡ trợ lập chỉ mục độ đo tương tự 3.3.1.1 Phương pháp lập chỉ mục màu sắc Để lập chỉ mục dựa vào màu sắc tìm vùng màu trội có ảnh Việc tìm vùng màu trội ảnh mô tả chi tiết Khơng gian phân loại màu Tồn khơng gian màu RGB mô tả cách sử dụng tập màu mô tả bảng tra cứu màu sắc hình 3.5 sau Tập đưa sử dụng bảng gồm 25 màu lựa chọn 256 màu sắc Việc sử dụng tập màu hữu ích cung cấp mô tả thô màu sắc vùng, đó, cho phép trì giống cho vài biến thể trạng thái hình ảnh 46 Hình 3.5: Bảng tra cứu màu Kết hợp màu sắc vùng lựa chọn Phương pháp dựa vào xuất thay đổi màu sắc cách cảm quan đường biên Sự thay đổi phải tìm thấy trước cụm khơng gian màu cho tương thích với vùng không gian ảnh Không gian màu RGB phân chia không gian gọi mẫu màu Các màu cảm nhận điểm ảnh mơ tả mẫu màu tương ứng Thủ tục phân đoạn ảnh thành vùng tương ứng với màu cảm nhận Nó bao gồm gắn kết tất điểm ảnh với mẫu màu chúng không gian màu gộp nhóm điểm ảnh thuộc mẫu Một màu chọn từ 25 màu định nghĩa trước cho gần so với màu điểm ảnh hình ảnh lưu trữ điểm ảnh màu hình ảnh Sử dụng giá trị màu điểm ảnh p giá trị bảng màu tương ứng C, khoảng cách màu Cd tính tốn cách sử dụng cơng thức tính khoảng cách Euclidean: 2 Cd  MIN i25 1 ( pr  CiR )  ( p g  CiG )  ( pb  CiB ) (3.1) Việc đánh dấu vùng thực ảnh cập nhật Một đường bao hình chữ nhật vẽ mỗi vùng màu trội chọn Diện tích hình chữ nhật bao phủ sử dụng việc xác định khu vực tiêu chuẩn Sau đó, vị trí vùng xác định Đường dẫn ảnh, số lượng vùng tìm thấy, thơng tin mỡi vùng màu sắc, khu vực tiêu chuẩn (nomalized area) vị trí mỡi vùng lưu vào siêu tệp (meta-file) cho mục đích xử lí sau Thông tin tệp dùng để xây dựng chỉ mục ảnh Khi hệ thống tra cứu bắt đầu thực hiện, chỉ mục xây dựng Với truy vấn đưa ra, tìm kiếm ảnh tương tự dựa vào màu sắc, diện tích vùng vị trí vùng ảnh Các bước thực phân đoạn dò biên: 47 Đọc ảnh tạo ma trận ảnh chứa thành phần RGB mỡi điểm ảnh có ảnh For mỡi điểm ảnh ảnh - Tìm kiếm bảng tra cứu màu giá trị màu gần với màu điểm ảnh cách tính khoảng cách màu điểm ảnh (I) với màu bảng tra cứu màu (C), sử dụng công thức: D  ((I r  Cr )  ( I g  Cg )  ( I b  Cb ) (3.2) Trong đó: Ir giá trị màu điểm ảnh I thành phần R Ig giá trị màu điểm ảnh I thành phần G Ib giá trị màu điểm ảnh I thành phần B Cr giá trị màu thành phần R bảng tra cứu màu Cg giá trị màu thành phần G bảng tra cứu màu Cb giá trị màu thành phần B bảng tra cứu màu - Gán thành phần RGB bảng tra cứu màu cho một điểm ảnh có khoảng cách D nhỏ Xác định màu tương ứng mỗi màu ảnh thay đổi lưu lại chúng bảng tần suất Sắp xếp bảng tần suất theo chiều giảm dần Xác định xuất điểm ảnh có giá trị RGB tương tự bảng tần suất xếp Gán vị trí điểm ảnh theo chiều ngang chiều dọc (iseed, jseed) Dựa vào iseed, jseed để đánh dấu toàn vùng sử dụng thuật toán phát biên gián tiếp (8 lân cận) Kết hợp (x,y) tạo thành biên vùng đánh dấu Xác định kích thước chuẩn r(R) hình chữ nhật bao quanh: r ( R)  x1  x2 * y1  y Im age _ size (3.3) Với x1, x2, y1, y2 tọa độ trục x y hình chữ nhật bao quanh Nếu r(R) > T vùng coi vùng màu trội, với T ngưỡng Lặp lại từ bước đến bước tìm vùng màu trội Minh họa phân vùng dò biên chỉ hình 3.6 hình 3.7 48 Hình 3.6: Minh họa phân vùng màu Hình 3.7: Ảnh tìm biên Tìm vị trí vùng màu trội Khơng gian ảnh chia thành khu vực nhỏ Vị trí tương đối vùng xác định Người dùng chỉ rõ khu vực vùng ảnh truy vấn để tìm ảnh từ sở liệu Phân lớp theo đồ khu vực hình 3.8 ví dụ minh họa vùng tra cứu đưa hình 3.9 Hình 3.8: Bản đồ khu vực 49 Hình 3.9: Minh họa tìm khu vực Các bước xác định khu vực vùng ảnh: Xác định vị trí góc theo đồ vị trí Ký hiệu w độ rộng ảnh, h chiều cao ảnh Ta tính x1, x2, y1, y2, x3, x4, y3, y4 sau: x1  w x2  * w w w y2  w w y3  * w y4  * y1  w x3  x4  * (3.4) Xác định vị trí tương đối vùng cách so sánh tương ứng hình chữ nhật bao quanh với giá trị Trong thủ tục trên, việc chỉ định màu mỗi điểm ảnh (đối với điểm ảnh tương ứng với bảng tra cứu màu) tốn thời gian O(L), với L số lượng màu bảng tra cứu màu Thuật tốn dị biên tốn thời gian O(m2) cho mỡi vùng tìm kiếm tồn ảnh kích thước m*m cho điểm ảnh màu tương tự Các đặc trưng vùng màu trội trích chọn màu sắc, diện tích vị trí lưu tệp Cơ sở liệu xây dựng cách xử lí tất ảnh khơng trực tuyến (offline) điều tiết kiệm thời gian xử lí truy vấn Khi truy vấn tạo dựa ảnh mẫu, chỉ có ảnh mẫu xử lí để trích chọn đặc trưng vùng Như vậy, phân đoạn ảnh dựa màu trội, màu lượng tử hóa khơng gian màu RGB sử dụng 25 màu định nghĩa trước Từ ta tìm hình chữ nhật nhỏ bao quanh vùng, vị trí, đường dẫn đến ảnh, số lượng vùng ảnh, … tất lưu trữ vào tệp để xây dựng chỉ mục ảnh Một chỉ mục cho toàn sở liệu xây dựng truy vấn thực Tại thời điểm truy vấn, ảnh tương tự nối với sở màu vị trí khơng gian nhận Từ chỉ mục màu sắc trên, có chỉ mục hình dạng tương ứng với bất biến quay, dịch chuyển co dãn 50 3.3.1.2 Biểu diễn hình dạng Sau có vùng màu trội, ta coi vùng hình dạng cần tìm kiếm Khi sử dụng chỉ mục lưới vùng hình dạng để tìm đặc trưng tương ứng Cách làm tương tự trình bày mục 3.2 luận văn 3.3.2 Quá trình lập mục truy vấn 3.3.2.1 Chỉ mục màu sắc Nhằm cung cấp (cách thức) truy cập dễ dàng nhanh chóng, siêu liệu nói chung phải lưu trữ cấu trúc chỉ mục phù hợp Cấu trúc logic sử dụng để lưu diện tích tiêu chuẩn khoảng không vùng đối tượng ảnh Trước tiên tìm hiểu cấu trúc chỉ số đa chiều Cấu trúc chỉ mục chỉ mục đa chiều đa mức dựa việc phân đoạn cấu trúc R-tree sử dụng để lưu trữ hình ảnh Cấu trúc sử dụng kĩ thuật cắt tỉa để tăng tốc độ tìm kiếm hình 3.10 mô tả cấu trúc hai mức đầy đủ sau: Hình 3.10: Cấu trúc mục Mức phân loại (phân lớp) vùng trội Ảnh vớii vùng màu trội tương tự đưa vào phân vùng Nó cho phép tỉa ảnh thuộc lớp không thỏa mãn truy vấn để thu hẹp không gian tra cứu Tổng số mẫu/lớp đưa công thức: C nk  n! (n  k )!k! (3.5) Với n số lượng vùng đối tượng (khác nhau), k số lượng vùng màu/đối tượng trội lựa chọn 51 Mức thứ hai cấu trúc đa R-tree đa chiều dùng để cắt tỉa vùng ảnh phân đoạn dựa mối quan hệ không gian Mỗi nút chứa đặc trưng vùng đoạn với hình chữ nhật bao quanh vùng Một nút trỏ tới địa chỉ sở liệu chứa liệu hình ảnh Dữ liệu hình ảnh chứa định danh (ID) đối tượng tham số cần thiết khác cho truy vấn Từ ta xác định chỉ số màu sắc sau: Một chỉ số tổng hợp tạo từ chỉ số bảng tra cứu màu Chúng ta lựa chọn bảng màu gồm 25 màu Một chỉ số hình thành dựa 25 màu tính tốn sau: Index  i 1 C i * 25n 1 n (3.6) Trong đó, n số lượng vùng màu trội, Ci chỉ số đại diện cho vùng màu trội thứ i Giả sử C1, C2, C3 chỉ số màu sắc vùng màu trội tìm thấy ảnh; với C1 đại diện cho vùng màu trội thứ nhất, C2 đại diện cho vùng màu trội thứ hai C3 đại diện cho vùng màu trội thứ ba Khi đó, chỉ số đưa cơng thức: Index  C1 * 252  C2 * 251  C3 * 250 (3.7) Các đặc trưng thành phần màu (RGB), diện tích chuẩn vùng vị trí tương đối vùng lưu trữ với chỉ mục ảnh Các ảnh với chỉ mục tương tự nhóm lại với lưu trữ loạt ảnh Sự giống khác phụ thuộc vào khác biệt độ đo bật hay đặc trưng lưu trữ với ảnh Một ví dụ xây dựng bảng băm chỉ hình Giả sử chỉ mục “28”, tất ảnh với vùng chứa màu thứ màu thứ bảng tra cứu màu tương ứng ánh xạ lưu trữ cụm ảnh Mỗi ảnh lưu giữ lại đường dẫn ảnh hai trường thông tin 52 Hình 3.11: Ví dụ bảng băm 3.3.2.2 Chỉ mục hình dạng Với mỡi vùng màu tìm thấy trên, ta thực tính tốn: Tìm trục trục phụ mỗi vùng màu Xoay vùng hình dạng để đưa trục trục X để đạt góc xoay chuẩn co dãn cho độ dài trục khơng q 192 điểm ảnh Phủ lưới có kích thước cố định (96*96 điểm ảnh) lên vùng màu chuẩn lấy chuỗi nhị phân cách gán giá trị tương ứng Sử dụng ch̃i nhị phân, tính tốn véc tơ tổng theo số hàng số cột Véc tơ tổng với độ lệch tâm tạo chỉ mục hình dạng cho vùng 3.3.2.3 Truy vấn Đối với ảnh truy vấn, áp dụng chung quy trình để đạt đặc trưng màu sắc hình dạng Để gán màu sắc tương ứng, sử dụng truy vấn mẫu truy vấn đặc trưng Các mô-đun gán tương thích hình dạng chỉ hỡ trợ truy vấn mẫu Dựa chỉ mục màu hình ảnh truy vấn, danh sách hình ảnh phù hợp tìm từ cấu trúc băm Sau đó, mơ tả hình ảnh sử dụng để tìm kiếm ảnh phù hợp từ tập khởi tạo để tìm kiếm hình ảnh cuối phù hợp màu sắc hình dạng Quy trình truy vấn thực qua bước: Ảnh truy vấn xử lý để có danh sách ảnh phù hợp với đặc trưng màu sắc Với mỗi vùng màu ảnh truy vấn ta biểu diễn vùng hình dạng Cần lưu lại chỉ mục ảnh tương ứng với vùng hình dạng thực quay 180 độ lật theo chiều ngang, lật theo chiều dọc 53 So sánh chỉ mục vùng ảnh truy vấn với danh sách ảnh nhận dựa vào màu sắc Chỉ vùng có độ lệch tâm thỏa mãn ngưỡng T so sánh độ tương tự hình dạng Các ảnh phù hợp xếp thứ tự phụ thuộc vào độ khác biệt tổng độ khác biệt véc tơ hàng cột hình ảnh truy vấn hình ảnh tương thích tìm 3.3.2.4 Đợ đo tương tự Giả sử R R’mô tả vecto hàng ảnh kiểm tra ảnh truy vấn tương ứng C C’ mô tả vectơ cột ảnh kiểm tra ảnh truy vấn tương ứng Độ đo tương tự tính tốn sau: Tính véc tơ hàng cột tất vùng ảnh truy vấn Tìm độ khác biệt hàng cột vùng hình ảnh truy vấn vùng hình ảnh kiểm tra sử dụng cơng thức: Rd  i * ( Ri  R'i ) (3.8) Cd  i * ( Ci  C'i ) (3.9) Trong Rd Cd độ khác biệt hàng cột vùng ảnh truy vấn vùng ảnh kiểm tra, Ri Ci bit thứ i véc tơ hàng cột ảnh; R’i C’i bít thứ i véc tơ hàng cột ảnh truy vấn Nếu (Rd + Cd) < T (ngưỡng) ảnh phù hợp đưa 3.4 Kết luận Tra cứu ảnh dựa lưới cách tiếp cận dựa hình dạng Đây phương pháp tra cứu hiệu với tra cứu dựa hình dạng Với ảnh đưa vào, thực trích chọn đặc trưng cho ảnh để xâu bít nhị phân làm chỉ mục cho việc tra cứu Để trích chọn đặc trưng cho ảnh, trước tiên phải tách biên đối tượng có ảnh, sau phủ lưới để tìm ch̃i đặc trưng ảnh Cuối sử dụng khoảng cách Hamming để đo độ tương tự ảnh hay thực chất tìm sai khác bít véc tơ đặc trưng Tra cứu ảnh dựa lưới kết hợp với đặc trưng màu sắc nhằm tăng hiệu tra cứu Thực chất tra cứu dựa chỉ mục kết hợp màu sắc hình dạng Quá trình tra cứu thực tìm kiếm dựa màu sắc để vùng ảnh tương tự, từ vùng ảnh tương tự tính tốn độ tương tự vùng ảnh truy vấn với vùng ảnh để có kết tra cứu tốt 54 Chƣơng 4: THIẾT KẾ VÀ CÀI ĐẶT CHƢƠNG TRÌNH MƠ PHỎNG TRA CỨU ẢNH DỰA TRÊN LƢỚI 4.1 Phát biểu toán Bài tốn: Cho sở liệu ảnh, tìm kiếm ảnh tương tự với ảnh truy vấn màu sắc hình dạng Giải quyết: - Trích chọn đặc trưng ảnh sở liệu lưu vào tệp đặc trưng Tệp đặc trưng gồm đặc trưng: chỉ số màu sắc, ch̃i bít nhị phân, chiều cao trục phụ (độ cao ảnh), đường dẫn - Trích chọn ảnh truy vấn bao gồm chỉ số màu sắc, ch̃i bít nhị phân thực so sánh với đặc trưng lưu tệp đặc trưng tìm ảnh có độ tương tự gần với ảnh truy vấn thỏa mãn ngưỡng (T) cho trước 4.2 Cài đặt sử dụng phƣơng pháp tra cứu ảnh dựa lƣới Các bước cài đặt thuật toán: - Đọc vào ảnh cần trích chọn - Chuyển điểm ảnh khơng gian 25 màu lưu lại chỉ số màu trội vào tệp đặc trưng (FeatureInfo) - Chuyển đổi ảnh ảnh đen trắng - Tách đối tượng khỏi ảnh tạo thành vùng hình dạng để tìm hình chữ nhật sở biểu diễn vùng hình dạng - Chuẩn hóa vùng hình dạng - Phủ lưới lên vùng hình dạng để tìm ch̃i bít đặc trưng - Sử dụng khoảng cách Hamming để đo độ tương tự hai ảnh 4.2.1 Chuyển đổi ảnh ảnh đen trắng Ý tƣởng: Kiểm tra giá trị màu mỗi điểm ảnh nhỏ 128 đặt lại giá trị màu 0, ngược lại đặt giá trị màu 255 Input: Ảnh màu Output: Ảnh nhị phân 4.2.2 Tìm hình chữ nhật sở Ý tƣởng: Lần lượt chiếu vùng hình dạng lên trục X trục phụ Y để tìm giá trị Xmin, Xmax, Ymin, Ymax Input: Ảnh vùng hình dạng Output: Hình chữ nhật sở 55 4.2.3 Chuẩn hóa vùng hình dạng Việc chuẩn hóa vùng hình dạng thực việc co dãn xoay đối tượng, trước xoay ta phải tìm trục vùng hình dạng 4.2.3.1 Co dãn đối tượng Ý tƣởng: Xét điểm ảnh thực làm tròn sau nhân tọa độ điểm ảnh với hệ số cho kích thước ảnh hình chữ nhật bao quanh đối tượng Input: Ảnh chưa co dãn Output: Ảnh sau co dãn 4.2.3.2 Tìm trục chính cho vùng hình dạng Trục ảnh xác định: đường nối điểm ảnh xa (có độ dài lớn nhất) Ý tƣởng: Với cặp điểm ảnh ta tính độ dài chúng để tìm độ dài lớn Đường nối hai cặp điểm có độ dài lớn trục cần tìm Input: Ảnh vùng hình dạng Output: Giá trị tọa độ điểm ảnh x1, x2, y1, y2 4.2.3.3 Xoay vùng hình dạng Ý tƣởng: Thực xoay vùng hình dạng theo góc quay định Góc quay xác định thông qua công thức hệ thức lượng tam giác vng Để đảm bảo xoay hình theo hướng xác ta cần ý đến trường hợp cụ thể Trong trường hợp điểm đầu (x1,y1) có tọa độ x y nhỏ tọa độ x y điểm thứ (x2,y2) góc quay nhận giá trị âm, ngược lại nhận giá trị dương Input: Ảnh chưa xoay, góc quay Output: Ảnh xoay 4.2.4 Phủ lưới vùng hình dạng Ý tƣởng: Ta thực phủ lưới cách chia tọa độ ảnh, mặc định lưới có kích thước 12 × 12 Dựa lưới này, ta tính tốn tìm có chứa ảnh theo tỷ lệ: lưới nhận giá trị 1, ngược lại (coi ảnh lưới đó) Duyệt tồn ô lưới đưa chuỗi bít 1/0 tương ứng Sau có ch̃i đặc 56 trưng, ta so sánh đặc trưng ảnh mẫu với với ảnh sở liệu tìm ảnh có đặc trưng phù hợp với ảnh mẫu Hình 4.1: Phủ lưới ảnh tô màu đối tượng Để xác định lưới có chứa đường vẽ hình cần tìm, trước hết ta tiến hành tơ màu cho hình (tồn hình đổ màu) 4.2.5 Tính độ tương tự Ý tƣởng: Với hai ch̃i bít nhị phân bất kỳ, ta kiểm tra độ dài khác không ngưỡng T cho phép ta sử dụng cơng thức tính khoảng cách Hamminh để tìm sai khác bít có dãy bít Input: Ch̃i bít nhị phân s1, s2 Output: Giá trị biểu thị sai khác s1 s2 4.3 Giao diện chƣơng trình Chương trình thiết kế có hai chức năng: Tra cứu dựa hình dạng, tra cứu kết hợp màu sắc hình dạng Hình 4.2 giao diện thực tra cứu dựa hình dạng Hình 4.3 giao diện thực tra cứu kết hợp màu sắc hình dạng 57 Hình 4.2: Tra cứu dựa hình dạng Hình 4.3: Tra cứu kết hợp màu sắc hình dạng 58 KẾT LUẬN Luận văn trình bày cách tổng quan tra cứu ảnh số phương pháp trích chọn đặc trưng hình ảnh, đồng thời tìm hiểu nghiên cứu phương pháp tra cứu ảnh dựa lưới Giới thiệu số phương pháp trích chọn đặc trưng ảnh tra cứu ảnh theo nội dung như: Trích chọn theo màu sắc, hình dạng, Sau vào nghiên cứu kỹ thuật tra cứu ảnh dựa lưới có sử dụng đặc trưng hình dạng, đồn thời kết hợp đặc trưng màu sắc với đặc trưng hình dạng Việc nghiên cứu cài đặt phương pháp tra cứu ảnh dựa lưới bước đệm cho phép tra cứu ảnh kết hợp với đặc trưng màu sắc kết tra cứu tốt Luận văn “Tra cứu ảnh dựa lưới ứng dụng” đạt kết quả: Nghiên cứu tổng quan tra cứu ảnh, số phương pháp trích chọn đặc trưng hình ảnh Nghiên cứu phương pháp tra cứu ảnh dựa lưới tìm hiểu phương pháp tra cứu kết hợp đặc trưng màu sắc hình dạng Xây dựng ứng dụng mô phương pháp tra cứu ảnh dựa vào đặc trưng mức thấp ảnh Tuy nhiên chương trình chỉ áp dụng cho tra cứu ảnh đơn giản chưa tra cứu ảnh phức tạp thực tế 59 TÀI LIỆU THAM KHẢO Tiếng Việt [1] PGS.TS Đặng Văn Đức (2005), Bài giảng điện tử Cơ sở dữ liệu đa phương tiện , trường Đại học Công Nghệ, Đại học Q́c Gia Hà Nợi [2] TS Đỡ Năng Tồn - TS Phạm Việt Bình (2008), Giáo trình xử lý ảnh, Nhà xuất Khoa học Kỹ thuật Tiếng Anh [3] Guojun Lu (1999) Multimedia Database Management Systems, Artech House, Inc [4] Prof Dr H.-J Schek, Supervisors: M Mlivoncic, Dr R Weber (2002), Region Based Image Similarity Search, Silvan Andreas Saxer [5] Cheng Chang, Liu Wenyin, Hongjiang Zhang (2001), Image retrieval base on region shape similarity, Microsoft Research China [6] Atul Sajjanhar and Guojun Lu, A Grid Based Shape Indexing and Retrieval Method, Gippsland Shool of Computing and Information Technology, Monash University, Churchill, Victoria – 3842, Australia [7] B.G Prasad, S.K Gupta, K.K Biswas, Color and Shape Index for Region – Based Image Retrieval, Department of Computer Science and Engineering, P.E.S College of Engineering, Mandya, 571402, INDIA [8] Fuhui Long, Hongjiang Zhang, David Dagan Feng (2002), Fundamentals of Content-based Image Retrieval, in Multimedia Information Retrieval and Management - Technological Fundamentals and Applications [9] Colin C Venteres and Dr Matthew Cooper, A Review of Content-Based Image Retrieval Systems [10] Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Content-based Image Retrieval Using Gabor Texture Features [11] Eva M.van Rikxoort (2005), “Content-based Image Retrieval Utilizing Color, Texture, and Shape”, Master’s thesis in AI Radbound University Nijmegen The Netherlands [12] Low (1991), A introductory Computer Vision and Image Processin, McGrawhill, 244p ISBN 0077074033 [13] Sebe N, Lew (2001), “Texture Features for Content-based Retrieval”: Principles of visual Information Retrieval ... TRA CỨU ẢNH DỰA TRÊN LƢỚI Có nhiều nghiên cứu thực nhằm phát triển công cụ phân tích ảnh dựa nội dung dựa vào đặc trưng để thực tra cứu Tra cứu ảnh theo nội dung cho phép tra cứu ảnh cách sử dụng. .. giao góc bên phải theo đường chéo Lưới ảnh hiểu ảnh chia thành lưới có kích thước 3.2 Phƣơng pháp tra cứu ảnh dựa lƣới Tra cứu ảnh dựa lưới phương pháp tra cứu dựa hình đại diện độ đo tương tự... hệ không gian đối tượng ảnh vùng ảnh Nội dung đặc tả tuỳ vào ứng dụng cụ thể, ví dụ với ứng dụng tra cứu ảnh người mặt người mắt nội dung đặc tả với ứng dụng tra cứu ảnh tơ bánh xe nội dung đặc