Nghiên cứu phương pháp xây dựng hệ thống tìm kiếm ảnh theo nội dung sử dụng biểu đồ màu mờ

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Trịnh Trung Nghĩa LUẬN VĂN THẠC SĨ NGÀNH: HỆ THỐNG THÔNG TIN NGHIÊN CỨU PHƯƠNG PHÁP XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG SỬ DỤNG BIỂU ĐỒ MÀU MỜ Hà Nội – tháng năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGH Ệ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Trịnh Trung Nghĩa LUẬN VĂN THẠC SĨ NGÀNH: HỆ THỐNG THÔNG TIN NGHIÊN CỨU PHƯƠNG PHÁP XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG SỬ DỤNG BIỂU ĐỒ MÀU MỜ Chuyên ngành: Hệ thống thông tin Mã số: 8480104 CÁN BỘ HƯỚNG DẪN KHOA HỌC: PGS.TS ĐẶNG VĂN ĐỨC Hà Nội , 2020 ` LỜI CAM ĐOAN Tôi xin cam đoan luận văn với tên đề tài “Nghiên cứu phương pháp tra cứu ảnh theo nội dung sử dụng biểu đồ màu mờ” kết việc học tập nghiên cứu thân học viên, thu thập sở liệu thực tiễn hướng dẫn khoa học PGS TS Đặng Văn Đức Các số liệu, kết đưa luận văn tơi hồn tồn đắn trung thực, tài liệu thông tin sử dụng luận văn trích dẫn có nguồn gốc rõ ràng, đầy đủ Hà Nội, Ngày … Tháng … Năm 2020 Ngƣời cam đoan Trịnh Trung Nghĩa ` LỜI CẢM ƠN Trong trình học tập thực luận văn, Thầy cô Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện thuận lợi bạn bè đồng nghiệp thường xuyên động viên để hồn thành Luận văn Tơi xin bày tỏ cảm ơn chân thành với hỗ trợ giúp đỡ Luận văn khơng thể hồn thành khơng có hướng dẫn tận tình Thầy hướng dẫn khoa học PGS.TS Đặng Văn Đức, người thầy mà tơi muốn bày tỏ lịng biết ơn sâu sắc Thầy cho tơi nhiều ý kiến đóng góp, giúp đỡ quan trọng q trình thực luận văn Xin chân thành cảm ơn Ban quản lý Học Viện CNTT tồn thể Thầy Cơ giáo Viện Công Nghệ Thông Tin - Viện Hàn Lâm Việt Nam quan tâm tạo môi trường thuận lợi học tập nghiên cứu chuyên sâu lĩnh vực Công nghệ thông tin Cuối cảm ơn tất giúp đỡ đồng nghiệp, bạn bè đóng góp ý kiến, động viên để tơi hồn thành luận văn Hà Nội, Ngày … Tháng Năm 2020 Học Viên Trịnh Trung Nghĩa ` DANH MỤC KÝ HIỆU,CHỮ VIẾT TẮT STT Từ viết tắt CBIR CCH Từ viết đầy đủ Diễn giải Content Based Image Retrieval Tìm kiếm ảnh dựa theo Conventional Color Histogram Biểu đồ màu thông nội dung thường CIE Commission Internationale Ủy ban Quốc tế màu del’Eclairage sắc CIELAB Commission Internationale Không gian màu đồng del’Eclairage L-*a-*b color CIELAB space CMY Cyan-Magenta-Yellowcolor Không gian màu CMY space CSDL Cơ sở liệu FCH Fuzzy Color Histogram Biểu đồ màu mờ FCM Fuzzy C – Mean Thuật toán phân cụm mờ C - Mean Hệ thống thông tin địa lý GIS Geographic Information System 10 HSV Hue-Saturation-Value color Không gian màu HSV space ` 11 IBM International Business Machines Tập đồn máy tính quốc tế IBM 12 JPEG Joint Photographic Experts Định dạng hình ảnh Group JPEG 13 L*a*b* L*a*b* color space Không gian màu đồng L*a*b* 14 MF Membership Functions Hàm thành viên hay hàm thuộc 15 QBIC Query By Image Content Truy vấn ảnh dựa nội dung 16 RGB Red-Green-Blue color space Không gian màu RGB 17 WWW World Wide Web Mạng toàn cầu 18 YCbCr Y-Luma (Brighnesshay Luminance); CbCr – ChromaBlue Chroma Red color space Không gian màu YCbCr 19 YUV Y- Luminance; UV chrominancechannels Không gian màu YUV ` DANH MỤC HÌNH ẢNH TRONG LUẬN VĂN Hình 1.1: Tổng quan kiến trúc hệ thống tra cứu ảnh Hình 1.2: Tương quan màu sắc, ánh sáng với Mắt Hình 1.3: Khơng gian màu RGB Hình 1.4: Đặc trưng kết cấu ảnh Hình 2.1: Biểu đồ mơ tả màu ảnh Hình 2.2: Biểu đồ màu ảnh khác Hình 2.3 : Cơng cụ tìm kiếm hình ảnh Google Hình 2.4: Phần bù tập mờ Hình 2.5: Độ đo khoảng cách Minkowski Hình 2.6: Độ đo khoảng cách Quadretic Hình 2.7: Ảnh biểu đồ màu ảnh thử nghiệm Hình 2.7.1: Tính khoảng cách ảnh A B sử dụng LCH Hình 2.7.2: Sơ đồ thủ tục tính tốn FCH (n’=163 = 4096) Hình 2.8: Sơ đồ khối hệ thống suy luận mờ Hình 2.9: Hàm thành viên L*,a* b* Hình 2.10: Hàm thành viên mờ đầu hệ thống Hình 2.11: Cấu trúc biểu đồ màu mờ Hình 2.12: Hệ thống suy luận mờ tạo biểu đồ màu mờ Hình 2.13: Biểu đồ FCH - 1D tạo từ hệ thống liên kết mờ ảnh truy vấn Hình 3.1 Kiến trúc hệ thống tìm kiếm ảnh theo nội dung luận văn Hình 3.2 Kiểu liệu struct CSDL đặc trưng Matlab Hình 3.2 Biểu đồ chức hoạt động xây dựng CSDL đặc trưng CCH không gian màu RGB, HSV ` Hình 3.3 Biểu đồ chức hoạt động, xây dựng CSDL đặc trưng FCH không gian màu L*a*b* Hình 3.4 Biểu đồ hoạt động chức tìm kiếm ảnh sở CCH theo RGB HSV Hình 3.6 Giao diện chương trình thử nghiệm Hình 3.7 Giao diện tìm kiếm hiển thị ảnh kết chương trình Hình 3.8 Biểu đồ màu CCH FCH ảnh bus 340.jpg ảnh thêm 15% nhiễu gaussian Hình 3.9 Biểu đồ màu CCH FCH ảnh xe bus 340.jpg ảnh thay đổi độ sáng 15% Hình 3.10 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với FCH Hình 3.11 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH trongRG Hình 3.12 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH HSV Bảng 3.1 Kết thử nghiệm độ xác với ảnh xe bus số ảnh khác , tạo thêm 15% độ nhiễu Gausian thay đổi độ sáng 15% Bảng 3.2 Một số kết thử nghiệm tìm kiếm CSDL ảnh WANG Bảng 3.3 Một số kết thử nghiệm từ chương trình tìm kiếm ảnh CSDL ảnh y tế ` MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC HÌNH ẢNH TRONG LUẬN VĂN MỤC LỤC PHẦN MỞ ĐẦU 10 CHƢƠNG TỔNG QUAN VỀ HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 12 1.1 Hệ thống tra cứu ảnh theo nội dung thành phần 15 1.2 Các đặc trƣng hệ thống tìm kiếm ảnh dựa nội dung 16 1.2.1 Đặc trưng màu sắc 16 Các đặc trưng hình dạng ảnh 18 1.2.2 Đặc trưng kết cấu 20 1.2.3 Biểu đồ màu 21 1.3 Khả ứng dụng hệ thống tìm kiếm ảnh theo nội dung 24 1.3.1 Công cụ tìm kiếm Google Image Search 25 1.3.2 Hệ thống QBIC (Query By ImageContent) 26 1.3.3 Hệ thống WebSEEK VisualSEEK 26 1.4 Tổng quan Logic mờ 27 1.4.1 Giới thiệu chung Logic mờ 27 1.4.2 Khái niệm tập hợp mờ 29 1.4.3 Các đặc trưng tập mờ 29 1.4.4 Các phép toán tập mờ 30 1.5 Kết luận chƣơng 34 ` CHƢƠNG TÌM KIẾM ẢNH THEO NỘI DUNG TRÊN CƠ SỞ BIỀU ĐỒ MÀU MỜ 35 2.1 Đo khoảng cách biểu đồ màu 35 2.1.1 Độ đo khoảng cách Minkowski(Lp) 36 2.1.2 Độ đo khoảng cách toàn phương(Quaratic) 37 2.1.3 Độ đo khoảng cách biểu đồ giao (Histogram Intersection Distance) 39 2.2 Tìm kiếm ảnh theo nội dung sở biểu đồ màu thông thƣờng 39 2.2.1 Biểu đồ màu toàn (Global Color Histogram) 39 2.2.2 Biểu đồ màu cục ( LCH ) 41 2.3 Tìm kiếm ảnh theo nội dung sở biểu đồ màu mờ 43 2.3.1 Định nghĩa biểu đồ màu mờ(FCH) 43 2.3.2 Tính tốn FCH độ đo khoảng cách 43 2.3.3 Tính tốn FCH khơng gian màu CIELAB sử dụng thuật toán phân cụm mờ 44 2.3.4 Phương pháp tạo biểu đồ màu dựa vào hệ thống liên kết mờ không gian màu L*a*b* 47 2.4 Tổng kết chƣơng 54 CHƢƠNG THỬ NGHIỆM 55 3.1 Giới thiệu toán thử nghiệm 55 3.2 Dữ liệu thử nghiệm 55 3.3 Mô tả hệ thống thử nghiệm 56 3.3.1 Xây dựng CSDL đặc trưng 56 3.3.2 Chức tìm kiếm ảnh 56 3.4 Môi trƣờng công cụ sử dụng xây dựng thử nghiệm 57 ` Hình 3.11 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH RGB 69 ` Hình 3.12 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH HSV Kết thử nghiệm với số ảnh chủ đề khác thư mục ảnh thử nghiệm trình bày bảng 3.1 Bảng 3.1 Kết thử nghiệm độ xác với ảnh xe bus số ảnh khác thêm 15% nhiễu gaussian thay đổi độ sáng 15% 70 ` Ảnh truy vấn Kết thử nghiệm độ xác với ảnh đƣợc Kết thử nghiệm độ xác với ảnh đƣợc thêm nhiễu 15% 10 ảnh trả thay đổi độ sáng 15% 10 ảnh trả CC H RGB HSV 0/10 6/10 8/10 (60%) (80%) 3/10 9/10 7/10 (30%) (90%) 1/10 CCH FCH RGB HSV 0/10 3/10 9/10 (30%) (90%) 4/10 7/10 7/10 (70%) (40% ) (70%) (70%) 9/10 6/10 2/10 9/10 6/10 (10%) (90%) (60%) (20% ) (90% ) (60%) 0/10 6/10 10/10 1/10 2/10 10/10 (60%) (100% ) (10% ) (20%) (100% ) 0/10 10/10 1/10 0/10 10/10 (100% ) (10% ) 82% 16% 0/10 Trung bình FCH 8% 60% 71 (100% ) 42% 84% ` Nhận xét: Theo kết bảng 3.1, trung bình precision FCH 82% 84% cao nhiều so với precision CCH(RGB) precision CCH(HSV) Trong đó, precision CCH(HSV) trả số lượng ảnh liên quan cao cao 9/10 (90%) chủ đề ngựa người châu phi khơng tìm ảnh gốc (phần số gạch chân tìm ảnh liên quan khơng tìm ảnh gốc) Như hiệu suất chương trình thử nghiệm với FCH tốt CCH FCH nhạy cảm với nhiễu thay đổi độ sáng Kết thử nghiệm CSDL ảnh WANG Học viên tiến hành thử nghiệm tìm kiếm ảnh với ảnh truy vấn gồm 10 ảnh thư mục test lấy từ 32 ảnh chủ đề với lựa chọn khác CCH không gian màu RGB, HSV với số bin màu khác FCH Kết cho thấy phương pháp tìm kiếm với FCH có độ xác tốt với ảnh trả khoảng từ 1-20 Bảng 3.2 Một số kết thử nghiệm tìm kiếm CSDL ảnh WANG CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (người châu phi) 72 ` CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh khủng long) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh núi) 73 ` Kết thử nghiệm CSDL ảnh Y tế Với 180 ảnh y tế chia làm thư mục gồm: 90 ảnh bệnh học, 50 ảnh nội soi, 40 ảnh siêu âm với nhiều cỡ ảnh khác Học viên tiến hành thử nghiệm với 10 ảnh chọn từ ảnh thư mục Kết thử nghiệm cho thấy FCH CCH cho ảnh liên quan với ảnh truy vấn với tỷ lệ cao Tuy nhiên độ xác precision recall cao khơng có nghĩa tìm xác ảnh cần tìm (được xác định thủ công mắt).Với đặc điểm ảnh siêu âm ảnh nội soi nhiều vùng ảnh bị nhiễu, dư thừa yếu tố máy chụp, để có độ xác cao cần phải xử lý ảnhtrước 74 ` Bảng 3.3 Một số kết thử nghiệm tìm kiếm CSDL ảnh y tế CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh siêu âm) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh nội soi) 75 ` CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh bệnh học ) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh bệnh học) 3.7 Kết luận chƣơng Trong chương này, học viên thực xây dựng chương trình thử nghiệm với thuật tốn trích chọn biểu đồ màu với CCH FCH để tạo CSDL đặc trưng ảnh thử nghiệm với CSDL ảnh WANG CSDL ảnh y tế học viên thu thập Kết thử nghiệm cho thấy 76 ` chương trình tìm kiếm ảnh thử nghiệm với FCH có cảm nhận màu tương tự với nhận thức suy nghĩ người CCH mạnh mẽ với nhiễu thay đổi độ sáng ảnh truy vấn trình tìm kiếm ảnh 77 ` CHƢƠNG KẾT LUẬN Việc tự động hóa trích chọn đặc trưng tìm kiếm hình ảnh theo nội dung lĩnh vực khó đồ sộ, việc trích chọn đặc trưng thực tìm kiếm tự động đặc trưng cấp cao (ngữ nghĩa) Trong luận văn này, việc trích chọn đặc trưng tìm kiếm ảnh thực tự động dừng lại đặc trưng cấp thấp ảnh màu sắc việc sử dụng biểu đồ màu.Học viên trình bày đánh giá số phương pháp trích chọn đặc trưng hình ảnh giới, đưa hướng tiếp cận phù hợp Trong đó, kỹ thuật biểu đồ màu mờ sử dụng đạt kết định Các vấn đề mà luận văn làm đƣợc: Trình bày kiến trúc tổng quan hệ thống tìm kiếm ảnh theo nội dung, đặc trưng cấp thấp màu sắc, kết cấu, hình dạng hình ảnh sử dụng hệ thống CBIR khả ứng dụng Khái quát logic mờ ứng dụng việc tính tốn biểu đồ màumờ Tổng hợp, trình bày đánh giá số kỹ thuật tìm kiếm ảnh sở biểu đồ màu thông thường biểu đồ màumờ Đưa kiến trúc hệ thống tìm kiếm ảnh theo nội dung sở biểu đồ màu CCH không gian màu RGB, HSV biểu đồ FCH dựa vào hệ thống liên kết mờ không gian màu L*a*b* Xây dựng CSDL đặc trưng CCH FCH ảnh y tế bệnh học, nội soi, siêu âm CSDL ảnh WANG Xây dựng thành công chương trình thử nghiệm tìm kiếm ảnh sở CCH FCH theo thuật tốn trình bày với CSDL ảnh thử nghiệm lớn đánh giá kết thử nghiệm Tuy nhiên, việc đánh giá kết cịn thực thủ cơng 78 ` Hƣớng nghiên cứu tiếp theo: - Kết hợp đặc trưng khác đặc trưng kết cấu hình dạng lưới màu lập mục, trích chọn đặc trưng trình tìm kiếm để nâng cao hiệu tìm kiếm - Cải thiện hiệu tìm kiếm chương trình thử nghiệm với CSDL ảnh lớn CSDL ảnh y tế cho phép thêm đặc trưng ảnh q trình trích chọn đặc trưng 79 ` TÀI LIỆU THAM KHẢO [1] Đặng Văn Đức, 2005-2017, CSDL đa phương tiện, Bài giảng cho học viên sau đại học, [2] Nguyễn Thị Hoàn, Phương pháp trích chọn đặc trưng ảnh thuật tốn học máy tìm kiếm ảnh áp dụng vào tốn tìm kiếm sản phẩm, Đại học quốc gia Hà Nội [3] Trần Thị Thanh Hải, Eric Marchand, Một số phương pháp đối sánh ảnh thời gian thực, Trung tâm MICA, Đại học Bách Khoa Hà Nội [4] Lư Minh Phúc Trần Cơng Án, 2017 Báo cáo đề tài: Tìm kiếm ảnh theo nội dung ngữ nghĩa ,Khoa Công nghệ Thông tin Truyền thông, Trường Đại học Cần Thơ [5] Constantin Vertan, Nozha Boujemaa, 2000, Using Fuzzy Histograms and Distances for Color Image Retrieval, IMEDIA-INRIA France [6] Guojun Lu, 2009, Multimedia Database Management Systems, Artech House, Boston – London [7] Jhansi Rani S and V Vallikumari, 2016, Survey on Content Based Image Retrieval Techniques, International Journal of Trend in Research and Development [8] JuHanandKai - KuangMa, 2002, Fuzzy Color Histogram and Its Usein Color Image Retrieval, IEEE Transaction on Image Processing [9] SuhasiniP.S.,K.Sri Rama Krishna,Murali Krishna, 2009, CBIRU sing Color Histogram Processing, Journal of Theoretical and Applied Information Technology 80 ` [10] Tamalika Chaira, A.K Ray, 2005, Fuzzy Measures for Color Image Retrieval, Fuzzy Sets and Systems [11] Yanmei Liang, Hongchen Zhai, Pierre Chavel, 2002, Fuzzy Color – Image Retrieval, Optics Communications [12] Chang, Ran, 2013, "Effective graph-based content-based image retrieval systems for large-scale and small-scale image databases", Doctor of Philosophy, Utah State University [13] Ying Liu, Dengsheng Zhang, Guojun Lu, Wei-ying Ma, 2007, “A survey of content-based image retrieval with high-level semantics,” Pattern recognition, volume 40, issue 1, January [14] H.K.Huang (2010), “PACS and Imaging Informatics”, Nhà xuất John Wiley & Sons, Feb 12 [15] Ebert, D., F Musgrave, D Peachey, K Perlin, S Worley, W Mark, and J Hart 2002 Texturing and Modeling: A Procedural Approach Morgan Kaufmann 81 ` PHỤ LỤC 1 If (L is black) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is black) If (L is white) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is white) If (L is Grey) and (a is red) and (b is yellow) then (fuzzyhist isred) If (a is reddish) and (b is yellow) then (fuzzyhist isbrown) If(Liswhite)and(aisgreen)and (b is yellow) then (fuzzyhist isgreen) If(Liswhite)and(aisgreen)and (b is yellowish) then (fuzzyhist is green) If (L is black) and (b is blue) then (fuzzyhist is blue) If (L is white) and (a is green) and (b is bluish) then (fuzzyhist is cyan) If (L is Grey) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is darkgrey) 10 If (a is greenish) and (b is bluish) then (fuzzyhist is blue) 11 If (a is red) and (b is bluish) then (fuzzyhist is blue) 12 f (L is black) and (a is reddish) and (b is bluish) then (fuzzyhist is blue) 13 If (a is red) and (b is blue) then (fuzzyhist is blue) 14 If (L is Grey) and (a is reddish) and (b is yellowish) then (fuzzyhist is red) 15 If (L is white) and (a is reddish) and (b is yellowish) then (fuzzyhist is yellow) 16 If (L is black) and (a is reddish) and (b is yellowish) then (fuzzyhist is red) 17 If (a is reddish) and (b is yellow)then (fuzzyhist is yellow) 18 If (L is black) and (b is bluish) then (fuzzyhist is blue) 82 ` 19 If (L is Grey) and (b is blue) then (fuzzyhist is blue) 20 If (L is Grey) and (a is reddish) and (b is bluish) then (fuzzyhist is magenta) 21 If (L is Grey) and (a is reddish) and (b is bluish) then (fuzzyhist is magenta) 22 If (L is Grey) and (a is amiddle) and (b is bluish) then (fuzzyhist is cyan) 23 If (L is Grey) and (a is amiddle) and (b is yellowish) then (fuzzyhist is brown) 24 If (L is white) and (a is amiddle) and (b is yellowish) then (fuzzyhist is yellow) 83 ... trưng sử dụng tìm kiếm ảnh theo nội dung, khả ứng dụng khái quát Logic mờ 10 ` Chƣơng 2: Đo khoảng cách biểu đồ màu, Tìm kiếm ảnh theo nội dung dựa sở biểu đồ màu thơng thường, Tìm kiếm ảnh theo nội. .. CÔNG NGHỆ VIỆT NAM Trịnh Trung Nghĩa LUẬN VĂN THẠC SĨ NGÀNH: HỆ THỐNG THÔNG TIN NGHIÊN CỨU PHƯƠNG PHÁP XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG SỬ DỤNG BIỂU ĐỒ MÀU MỜ Chuyên ngành: Hệ thống. .. thường ứng dụng hệ thống tìm kiếm ảnh theo nội dung Ở chương 2, luận văn trình bày cụ thể phương pháp tìm kiếm ảnh theo nội dung dựa biểu đồ màu mờ biểu đồ màu thông thường Các phương pháp đưa có tính