Nghiên cứu phương pháp xây dựng hệ thống tìm kiếm ảnh theo nội dung sử dụng biểu đồ màu mờ

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM BỘ GIÁO DỤC VÀ ĐÀO TẠO Trịnh Trung Nghĩa LUẬN VĂN THẠC SĨ NGÀNH: HỆ THỐNG THÔNG TIN NGHIÊN CỨU PHƯƠNG PHÁP XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG SỬ DỤNG BIỂU ĐỒ MÀU MỜ Hà Nội – tháng năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Trịnh Trung Nghĩa LUẬN VĂN THẠC SĨ NGÀNH: HỆ THỐNG THÔNG TIN NGHIÊN CỨU PHƯƠNG PHÁP XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG SỬ DỤNG BIỂU ĐỒ MÀU MỜ Chuyên ngành: Hệ thống thông tin Mã số: 8480104 CÁN BỘ HƯỚNG DẪN KHOA HỌC: PGS.TS ĐẶNG VĂN ĐỨC Hà Nội , 2020 ` LỜI CAM ĐOAN Tôi xin cam đoan luận văn với tên đề tài “Nghiên cứu phương pháp tra cứu ảnh theo nội dung sử dụng biểu đồ màu mờ” kết việc học tập nghiên cứu thân học viên, thu thập sở liệu thực tiễn hướng dẫn khoa học PGS TS Đặng Văn Đức Các số liệu, kết đưa luận văn tơi hồn tồn đắn trung thực, tài liệu thông tin sử dụng luận văn trích dẫn có nguồn gốc rõ ràng, đầy đủ Hà Nội, Ngày … Tháng … Năm 2020 Ngƣời cam đoan Trịnh Trung Nghĩa ` LỜI CẢM ƠN Trong trình học tập thực luận văn, Thầy cô Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện thuận lợi bạn bè đồng nghiệp thường xun động viên để tơi hồn thành Luận văn Tôi xin bày tỏ cảm ơn chân thành với hỗ trợ giúp đỡ Luận văn khơng thể hồn thành khơng có hướng dẫn tận tình Thầy hướng dẫn khoa học PGS.TS Đặng Văn Đức, người thầy mà tơi muốn bày tỏ lịng biết ơn sâu sắc Thầy cho tơi nhiều ý kiến đóng góp, giúp đỡ quan trọng trình thực luận văn Xin chân thành cảm ơn Ban quản lý Học Viện CNTT tồn thể Thầy Cơ giáo Viện Công Nghệ Thông Tin - Viện Hàn Lâm Việt Nam quan tâm tạo môi trường thuận lợi học tập nghiên cứu chuyên sâu lĩnh vực Công nghệ thông tin Cuối cảm ơn tất giúp đỡ đồng nghiệp, bạn bè đóng góp ý kiến, động viên để tơi hoàn thành luận văn Hà Nội, Ngày … Tháng Năm 2020 Học Viên Trịnh Trung Nghĩa ` DANH MỤC KÝ HIỆU,CHỮ VIẾT TẮT STT Từ viết tắt Từ viết đầy đủ Diễn giải CBIR Content Based Image Retrieval Tìm kiếm ảnh dựa theo nội dung CCH Conventional Color Histogram Biểu đồ màu thông thường CIE Commission Internationale Ủy ban Quốc tế màu del’Eclairage sắc CIELAB Commission Internationale Không gian màu đồng del’Eclairage L-*a-*b color CIELAB space CMY Cyan-Magenta-Yellowcolor Không gian màu CMY space CSDL Cơ sở liệu FCH Fuzzy Color Histogram Biểu đồ màu mờ FCM Fuzzy C – Mean Thuật toán phân cụm mờ C - Mean GIS Geographic Information System Hệ thống thông tin địa lý 10 HSV Hue-Saturation-Value color Không gian màu HSV space ` 11 IBM International Business Tập đồn máy tính quốc Machines tế IBM 12 JPEG Joint Photographic Experts Định dạng hình ảnh Group JPEG 13 L*a*b* L*a*b* color space Không gian màu đồng L*a*b* 14 MF Membership Functions Hàm thành viên hay hàm thuộc 15 QBIC Query By Image Content Truy vấn ảnh dựa nội dung 16 RGB Red-Green-Blue color space Không gian màu RGB 17 WWW World Wide Web 18 YCbCr 19 YUV Y-Luma (Brighnesshay Luminance); CbCr – ChromaBlue Chroma Red color space Y- Luminance; UV chrominancechannels Mạng tồn cầu Khơng gian màu YCbCr Không gian màu YUV ` DANH MỤC HÌNH ẢNH TRONG LUẬN VĂN Hình 1.1: Tổng quan kiến trúc hệ thống tra cứu ảnh Hình 1.2: Tương quan màu sắc, ánh sáng với Mắt Hình 1.3: Khơng gian màu RGB Hình 1.4: Đặc trưng kết cấu ảnh Hình 2.1: Biểu đồ mơ tả màu ảnh Hình 2.2: Biểu đồ màu ảnh khác Hình 2.3 : Cơng cụ tìm kiếm hình ảnh Google Hình 2.4: Phần bù tập mờ Hình 2.5: Độ đo khoảng cách Minkowski Hình 2.6: Độ đo khoảng cách Quadretic Hình 2.7: Ảnh biểu đồ màu ảnh thử nghiệm Hình 2.7.1: Tính khoảng cách ảnh A B sử dụng LCH Hình 2.7.2: Sơ đồ thủ tục tính tốn FCH (n’=163 = 4096) Hình 2.8: Sơ đồ khối hệ thống suy luận mờ Hình 2.9: Hàm thành viên L*,a* b* Hình 2.10: Hàm thành viên mờ đầu hệ thống Hình 2.11: Cấu trúc biểu đồ màu mờ Hình 2.12: Hệ thống suy luận mờ tạo biểu đồ màu mờ Hình 2.13: Biểu đồ FCH - 1D tạo từ hệ thống liên kết mờ ảnh truy vấn Hình 3.1 Kiến trúc hệ thống tìm kiếm ảnh theo nội dung luận văn Hình 3.2 Kiểu liệu struct CSDL đặc trưng Matlab Hình 3.2 Biểu đồ chức hoạt động xây dựng CSDL đặc trưng CCH không gian màu RGB, HSV ` Hình 3.3 Biểu đồ chức hoạt động, xây dựng CSDL đặc trưng FCH không gian màu L*a*b* Hình 3.4 Biểu đồ hoạt động chức tìm kiếm ảnh sở CCH theo RGB HSV Hình 3.6 Giao diện chương trình thử nghiệm Hình 3.7 Giao diện tìm kiếm hiển thị ảnh kết chương trình Hình 3.8 Biểu đồ màu CCH FCH ảnh bus 340.jpg ảnh thêm 15% nhiễu gaussian Hình 3.9 Biểu đồ màu CCH FCH ảnh xe bus 340.jpg ảnh thay đổi độ sáng 15% Hình 3.10 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với FCH Hình 3.11 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH trongRG Hình 3.12 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH HSV Bảng 3.1 Kết thử nghiệm độ xác với ảnh xe bus số ảnh khác , tạo thêm 15% độ nhiễu Gausian thay đổi độ sáng 15% Bảng 3.2 Một số kết thử nghiệm tìm kiếm CSDL ảnh WANG Bảng 3.3 Một số kết thử nghiệm từ chương trình tìm kiếm ảnh CSDL ảnh y tế ` MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC HÌNH ẢNH TRONG LUẬN VĂN MỤC LỤC PHẦN MỞ ĐẦU 10 CHƢƠNG TỔNG QUAN VỀ HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 12 1.1 Hệ thống tra cứu ảnh theo nội dung thành phần 15 1.2 Các đặc trƣng hệ thống tìm kiếm ảnh dựa nội dung 16 1.2.1 Đặc trưng màu sắc Các đặc trưng hình dạng ảnh 1.2.2 Đặc trưng kết cấu 1.2.3 Biểu đồ màu 1.3 Khả ứng dụng hệ thống tìm kiếm ảnh theo nội dung 24 1.3.1 Cơng cụ tìm kiếm Google Image Search 1.3.2 Hệ thống QBIC (Query By ImageContent) 1.3.3 Hệ thống WebSEEK VisualSEEK 1.4 Tổng quan Logic mờ 27 1.4.1 Giới thiệu chung Logic mờ 1.4.2 Khái niệm tập hợp mờ 1.4.3 Các đặc trưng tập mờ 1.4.4 Các phép toán tập mờ 1.5 Kết luận chƣơng 34 ` Hình 3.11 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH RGB 69 ` Hình 3.12 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH HSV Kết thử nghiệm với số ảnh chủ đề khác thư mục ảnh thử nghiệm trình bày bảng 3.1 Bảng 3.1 Kết thử nghiệm độ xác với ảnh xe bus số ảnh khác thêm 15% nhiễu gaussian thay đổi độ sáng 15% 70 ` Ảnh truy vấn Kết thử nghiệm độ xác với ảnh đƣợc thêm nhiễu 15% Kết thử nghiệm độ xác với ảnh đƣợc thay đổi độ sáng 15% 10 ảnh trả 10 ảnh trả CC H FCH RGB HSV 0/10 6/10 (60%) 3/10 (30%) 9/10 (90%) CCH FCH RGB HSV 8/10 (80%) 0/10 3/10 (30%) 9/10 (90%) 7/10 (70%) 4/10 (40% 7/10 (70%) 7/10 (70%) 2/10 (20% 9/10 (90% 6/10 (60%) ) ) 10/10 (100% 1/10 (10% 2/10 (20%) ) ) 10/10 (100% 1/10 (10% ) ) 82% 16% ) 1/10 (10%) 0/10 0/10 Trung bình 8% 9/10 (90%) 6/10 (60%) 0/10 60% 6/10 (60%) 71 10/10 (100% ) 0/10 10/10 (100% ) 42% 84% ` Nhận xét: Theo kết bảng 3.1, trung bình precision FCH 82% 84% cao nhiều so với precision CCH(RGB) precision CCH(HSV) Trong đó, precision CCH(HSV) trả số lượng ảnh liên quan cao cao 9/10 (90%) chủ đề ngựa người châu phi không tìm ảnh gốc (phần số gạch chân tìm ảnh liên quan khơng tìm ảnh gốc) Như hiệu suất chương trình thử nghiệm với FCH tốt CCH FCH nhạy cảm với nhiễu thay đổi độ sáng Kết thử nghiệm CSDL ảnh WANG Học viên tiến hành thử nghiệm tìm kiếm ảnh với ảnh truy vấn gồm 10 ảnh thư mục test lấy từ 32 ảnh chủ đề với lựa chọn khác CCH không gian màu RGB, HSV với số bin màu khác FCH Kết cho thấy phương pháp tìm kiếm với FCH có độ xác tốt với ảnh trả khoảng từ 1-20 Bảng 3.2 Một số kết thử nghiệm tìm kiếm CSDL ảnh WANG CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (người châu phi) 72 ` CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh khủng long) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh núi) 73 ` Kết thử nghiệm CSDL ảnh Y tế Với 180 ảnh y tế chia làm thư mục gồm: 90 ảnh bệnh học, 50 ảnh nội soi, 40 ảnh siêu âm với nhiều cỡ ảnh khác Học viên tiến hành thử nghiệm với 10 ảnh chọn từ ảnh thư mục Kết thử nghiệm cho thấy FCH CCH cho ảnh liên quan với ảnh truy vấn với tỷ lệ cao Tuy nhiên độ xác precision recall cao khơng có nghĩa tìm xác ảnh cần tìm (được xác định thủ cơng mắt).Với đặc điểm ảnh siêu âm ảnh nội soi nhiều vùng ảnh bị nhiễu, dư thừa yếu tố máy chụp, để có độ xác cao cần phải xử lý ảnhtrước 74 ` Bảng 3.3 Một số kết thử nghiệm tìm kiếm CSDL ảnh y tế CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh siêu âm) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh nội soi) 75 ` CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh bệnh học ) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh bệnh học) 3.7 Kết luận chƣơng Trong chương này, học viên thực xây dựng chương trình thử nghiệm với thuật tốn trích chọn biểu đồ màu với CCH FCH để tạo CSDL đặc trưng ảnh thử nghiệm với CSDL ảnh WANG CSDL ảnh y tế học viên thu thập Kết thử nghiệm cho thấy 76 ` chương trình tìm kiếm ảnh thử nghiệm với FCH có cảm nhận màu tương tự với nhận thức suy nghĩ người CCH mạnh mẽ với nhiễu thay đổi độ sáng ảnh truy vấn trình tìm kiếm ảnh 77 ` CHƢƠNG KẾT LUẬN Việc tự động hóa trích chọn đặc trưng tìm kiếm hình ảnh theo nội dung lĩnh vực khó đồ sộ, việc trích chọn đặc trưng thực tìm kiếm tự động đặc trưng cấp cao (ngữ nghĩa) Trong luận văn này, việc trích chọn đặc trưng tìm kiếm ảnh thực tự động dừng lại đặc trưng cấp thấp ảnh màu sắc việc sử dụng biểu đồ màu.Học viên trình bày đánh giá số phương pháp trích chọn đặc trưng hình ảnh giới, đưa hướng tiếp cận phù hợp Trong đó, kỹ thuật biểu đồ màu mờ sử dụng đạt kết định Các vấn đề mà luận văn làm đƣợc: Trình bày kiến trúc tổng quan hệ thống tìm kiếm ảnh theo nội dung, đặc trưng cấp thấp màu sắc, kết cấu, hình dạng hình ảnh sử dụng hệ thống CBIR khả ứng dụng Khái quát logic mờ ứng dụng việc tính tốn biểu đồ màumờ Tổng hợp, trình bày đánh giá số kỹ thuật tìm kiếm ảnh sở biểu đồ màu thông thường biểu đồ màumờ Đưa kiến trúc hệ thống tìm kiếm ảnh theo nội dung sở biểu đồ màu CCH không gian màu RGB, HSV biểu đồ FCH dựa vào hệ thống liên kết mờ không gian màu L*a*b* Xây dựng CSDL đặc trưng CCH FCH ảnh y tế bệnh học, nội soi, siêu âm CSDL ảnh WANG Xây dựng thành cơng chương trình thử nghiệm tìm kiếm ảnh sở CCH FCH theo thuật toán trình bày với CSDL ảnh thử nghiệm lớn đánh giá kết thử nghiệm Tuy nhiên, việc đánh giá kết cịn thực thủ cơng 78 ` Hƣớng nghiên cứu tiếp theo: - Kết hợp đặc trưng khác đặc trưng kết cấu hình dạng lưới màu lập mục, trích chọn đặc trưng trình tìm kiếm để nâng cao hiệu tìm kiếm - Cải thiện hiệu tìm kiếm chương trình thử nghiệm với CSDL ảnh lớn CSDL ảnh y tế cho phép thêm đặc trưng ảnh q trình trích chọn đặc trưng 79 ` TÀI LIỆU THAM KHẢO [1] Đặng Văn Đức, 2005-2017, CSDL đa phương tiện, Bài giảng cho học viên sau đại học, [2] Nguyễn Thị Hồn, Phương pháp trích chọn đặc trưng ảnh thuật tốn học máy tìm kiếm ảnh áp dụng vào tốn tìm kiếm sản phẩm, Đại học quốc gia Hà Nội [3] Trần Thị Thanh Hải, Eric Marchand, Một số phương pháp đối sánh ảnh thời gian thực, Trung tâm MICA, Đại học Bách Khoa Hà Nội [4] Lư Minh Phúc Trần Công Án, 2017 Báo cáo đề tài: Tìm kiếm ảnh theo nội dung ngữ nghĩa ,Khoa Công nghệ Thông tin Truyền thông, Trường Đại học Cần Thơ [5] Constantin Vertan, Nozha Boujemaa, 2000, Using Fuzzy Histograms and Distances for Color Image Retrieval, IMEDIA-INRIA France [6] Guojun Lu, 2009, Multimedia Database Management Systems, Artech House, Boston – London [7] Jhansi Rani S and V Vallikumari, 2016, Survey on Content Based Image Retrieval Techniques, International Journal of Trend in Research and Development [8] JuHanandKai - KuangMa, 2002, Fuzzy Color Histogram and Its Usein Color Image Retrieval, IEEE Transaction on Image Processing [9] SuhasiniP.S.,K.Sri Rama Krishna,Murali Krishna, 2009, CBIRU sing Color Histogram Processing, Journal of Theoretical and Applied Information Technology 80 ` [10] Tamalika Chaira, A.K Ray, 2005, Fuzzy Measures for Color Image Retrieval, Fuzzy Sets and Systems [11] Yanmei Liang, Hongchen Zhai, Pierre Chavel, 2002, Fuzzy Color – Image Retrieval, Optics Communications [12] Chang, Ran, 2013, "Effective graph-based content-based image retrieval systems for large-scale and small-scale image databases", Doctor of Philosophy, Utah State University [13] Ying Liu, Dengsheng Zhang, Guojun Lu, Wei-ying Ma, 2007, “A survey of content-based image retrieval with high-level semantics,” Pattern recognition, volume 40, issue 1, January [14] H.K.Huang (2010), “PACS and Imaging Informatics”, Nhà xuất John Wiley & Sons, Feb 12 [15] Ebert, D., F Musgrave, D Peachey, K Perlin, S Worley, W Mark, and J Hart 2002 Texturing and Modeling: A Procedural Approach Morgan Kaufmann 81 ` PHỤ LỤC 1 If (L is black) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is black) If (L is white) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is white) If (L is Grey) and (a is red) and (b is yellow) then (fuzzyhist isred) If (a is reddish) and (b is yellow) then (fuzzyhist isbrown) If(Liswhite)and(aisgreen)and (b is yellow) then (fuzzyhist isgreen) If(Liswhite)and(aisgreen)and (b is yellowish) then (fuzzyhist is green) If (L is black) and (b is blue) then (fuzzyhist is blue) If (L is white) and (a is green) and (b is bluish) then (fuzzyhist is cyan) If (L is Grey) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is darkgrey) 10 If (a is greenish) and (b is bluish) then (fuzzyhist is blue) 11 If (a is red) and (b is bluish) then (fuzzyhist is blue) 12 f (L is black) and (a is reddish) and (b is bluish) then (fuzzyhist is blue) 13 If (a is red) and (b is blue) then (fuzzyhist is blue) 14 If (L is Grey) and (a is reddish) and (b is yellowish) then (fuzzyhist is red) 15 If (L is white) and (a is reddish) and (b is yellowish) then (fuzzyhist is yellow) 16 If (L is black) and (a is reddish) and (b is yellowish) then (fuzzyhist is red) 17 If (a is reddish) and (b is yellow)then (fuzzyhist is yellow) 18 If (L is black) and (b is bluish) then (fuzzyhist is blue) 82 ` 19 If (L is Grey) and (b is blue) then (fuzzyhist is blue) 20 If (L is Grey) and (a is reddish) and (b is bluish) then (fuzzyhist is magenta) 21 If (L is Grey) and (a is reddish) and (b is bluish) then (fuzzyhist is magenta) 22 If (L is Grey) and (a is amiddle) and (b is bluish) then (fuzzyhist is cyan) 23 If (L is Grey) and (a is amiddle) and (b is yellowish) then (fuzzyhist is brown) 24 If (L is white) and (a is amiddle) and (b is yellowish) then (fuzzyhist is yellow) 83 ... trưng sử dụng tìm kiếm ảnh theo nội dung, khả ứng dụng khái quát Logic mờ 10 ` Chƣơng 2: Đo khoảng cách biểu đồ màu, Tìm kiếm ảnh theo nội dung dựa sở biểu đồ màu thơng thường, Tìm kiếm ảnh theo nội. .. thường ứng dụng hệ thống tìm kiếm ảnh theo nội dung Ở chương 2, luận văn trình bày cụ thể phương pháp tìm kiếm ảnh theo nội dung dựa biểu đồ màu mờ biểu đồ màu thông thường Các phương pháp đưa có tính... sử dụng tìm kiếm ảnh theo nội dung Trong đó, biểu đồ màu kỹ thuật sử dụng Ngồi ra, luận văn trình bày khả ứng dụng hệ thống CBIR nhiều lĩnh vực, giới thiệu số hệ thống tìm kiếm ảnh theo nội dung