Luận văn thạc sĩ kỹ thuật tìm kiếm ảnh trên cơ sở biểu đồ màu mờ

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG TRẦN QUỐC BẢO KỸ THUẬT TÌM KIẾM ẢNH TRÊN CƠ SỞ BIỂU ĐỒ MÀU MỜ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên, tháng năm 2018 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG TRẦN QUỐC BẢO KỸ THUẬT TÌM KIẾM ẢNH TRÊN CƠ SỞ BIỂU ĐỒ MÀU MỜ Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Đặng Văn Đức Thái Nguyên, tháng năm 2018 i LỜI CAM ĐOAN Tôi xin cam đoan luận văn với tên đề tài “Kỹ thuật tìm kiếm ảnh sở biểu đồ màu mờ” kết nghiên cứu thân học viên, dựa nghiên cứu thu thập sở liệu thực tiễn hướng dẫn khoa học PGS TS Đặng Văn Đức Các số liệu, kết nêu luận văn hoàn toàn trung thực, tư liệu sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Người cam đoan Trần Quốc Bảo ii LỜI CẢM ƠN Trong suốt thời gian hoàn thành luận văn nghiên cứu, tơi ln nhận giúp đỡ tận tình thầy giáo hướng dẫn Nhân dịp này, xin gửi lời cảm ơn lòng biết ơn sâu sắc tới PGS TS Đặng Văn Đức dẫn khoa học, góp ý q báu tận tình hướng dẫn tơi suốt q trình thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn tập thể Thầy, Cô giáo trường Đại học Công nghệ thơng tin Truyền thơng ln nhiệt tình quan tâm, giúp đỡ tạo điều kiện tốt cho tơi suốt q trình học tập trường Xin chân thành cảm ơn tới tập thể thầy cô bạn đồng nghiệp trường Cao đẳng Y tế Thái Bình nơi tơi cơng tác, cổ vũ, động viên tạo điều kiện thuận lợi để tơi hồn thành luận văn Cuối cùng, tơi muốn bày tỏ lịng cảm ơn vơ hạn tới bạn bè, tới người thân yêu bên tơi Xin bày tỏ lịng cảm ơn sâu sắc tới bố mẹ, vợ, người thân gia đình điểm tựa tinh thần lẫn vật chất cho tơi lúc khó khăn, ln bên cạnh động viên tơi suốt q trình thực luận văn tốt nghiệp Xin trân trọng cảm ơn tất giúp đỡ quý báu ! Sinh viên Trần Quốc Bảo iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC .iii DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT v DANH MỤC HÌNH vii PHẦN MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 1.1 Kiến trúc tổng quan hệ thống tìm kiếm ảnh theo nội dung 1.2 Các đặc trưng sử dụng tìm kiếm ảnh theo nội dung 1.2.1 Đặc trưng màu sắc: 1.2.2 Đặc trưng kết cấu 1.2.3 Đặc trưng hình dạng 10 1.2.4 Biểu đồ màu (Color Histogram) 11 1.3 Khả ứng dụng hệ thống tìm kiếm ảnh theo nội dung 12 1.3.1 Hệ thống QBIC (Query By Image Content) 12 1.3.2 Hệ thống WebSEEK VisualSEEK 12 1.3.3 ImageRover WWW Search Engine 13 1.4 Khái quát logic mờ 14 1.4.1 Mở đầu 14 1.4.2 Khái niệm tập hợp mờ 14 1.4.3 Đặc trưng tập mờ 15 1.4.4 Các phép toán tập mờ 15 1.4.5 Các kiểu hàm thuộc tập mờ 17 1.5 Kết luận chương 20 CHƯƠNG 2: TÌM KIẾM ẢNH THEO NỘI DUNG TRÊN CƠ SỞ BIỂU ĐỒ MÀU MỜ 21 2.1 Đo khoảng cách biểu đồ màu 21 2.1.1 Độ đo khoảng cách Minkowski (Lp) 21 2.1.2 Độ đo khoảng cách toàn phương (Quaratic) .22 iv 2.1.3 Độ đo khoảng cách biểu đồ giao (Histogram Intersection Distance) 23 2.2 Tìm kiếm ảnh theo nội dung sở biểu đồ màu thông thường 23 2.3 Tìm kiếm ảnh theo nội dung sở biểu đồ màu mờ 29 2.3.1 Định nghĩa biểu đồ màu mờ (FCH) 29 2.3.2 Tính tốn FCH độ đo khoảng cách 29 2.4 Tổng kết chương 39 CHƯƠNG 3: THỬ NGHIỆM 40 3.1 Giới thiệu toán thử nghiệm 40 3.2 Dữ liệu thử nghiệm 40 3.3 Mô tả hệ thống thử nghiệm 41 3.3.1 Xây dựng CSDL đặc trưng 41 3.3.2 Chức tìm kiếm ảnh 42 3.4 Môi trường công cụ sử dụng xây dựng thử nghiệm 42 3.5 Thiết kế chương trình thử nghiệm 43 3.5.1 Chức xây dựng CSDL đặc trưng 44 3.5.2 Xây dựng chức tìm kiếm ảnh sở CCH theo RGB HSV FCH 46 3.5.3 Thiết kế giao diện chương trình thử nghiệm 47 3.6 Đánh giá kết thử nghiệm 48 3.6.1 Đo lường hiệu suất hệ thống tìm kiếm ảnh 48 3.6.2 Kết thử nghiệm 49 KẾT LUẬN 58 TÀI LIỆU THAM KHẢO 60 PHỤ LỤC 61 v DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT Từ viết STT tắt CBIR CCH CIE CIELAB CMY CSDL FCH FCM 10 GIS HSV 11 IBM 12 JPEG 13 L*a*b* 14 MF 15 QBIC 16 17 RGB WWW 18 YCbCr 19 YUV vi DANH MỤC HÌNH Bảng 3.1 Kết thử nghiệm độ xác với ảnh xe bus số ảnh khác thêm 15% nhiễu gaussian thay đổi độ sáng 15% 53 Bảng 3.2 Một số kết thử nghiệm CSDL ảnh WANG 54 Bảng 3.3 Một số kết thử nghiệm CSDL ảnh y tế 56 vii DANH MỤC HÌNH Hình 1.1 Kiến trúc tổng quan hệ thống tìm kiếm ảnh theo nội dung .3 Hình 1.2 Cảm nhận màu từ trình xử lý thị giác [1] Hình 1.3 Dải tần quang phổ điện từ [1] Hình 1.4 Khơng gian màu RGB [1] Hình 1.5 Khơng gian màu HSV Hình 1.6 Khơng gian màu L*a*b Hình 1.7 Đặc trưng kết cấu Hình 1.8 Đặc trưng hình dạng 10 Hình 1.9 Mô tả biểu đồ màu ảnh 11 Hình 1.10 Giao hai tập mờ 16 Hình 1.11 Hợp hai tập mờ 16 Hình 1.12 Phần bù tập mờ 17 Hình 1.13 Các tập mờ tam giác 17 Hình 1.14 Các tập mờ hình thang 18 Hình 1.15 Tập mờ L 18 Hình 1.16 Tập mờ Gamma tuyến tính 19 Hình 1.17 Tập mờ Singleton 19 Hình 2.1 Độ đo khoảng cách Minkowski [6] 22 Hình 2.2 Độ đo khoảng cách Quaratic [6] 22 Hình 2.3 Sơ đồ khối hệ thống tìm kiếm ảnh sử dụng CCH 24 không gian màu RGB HSV 24 Hình 2.4 Biểu đồ CCH không gian màu RGB ảnh truy vấn 25 Hình 2.5 Minh họa hai ảnh khác có biểu đồ màu CCH 27 RGB sử dụng bin màu (2 ) 27 Hình 2.6 Tính tốn so sánh biểu đồ màu cục hình ảnh (A, B) .28 Hình 2.7 Sơ đồ thủ tục tính tốn FCH (n’=16 = 4096) 30 Hình 2.8 Sơ đồ khối hệ thống suy luận mờ 34 Hình 2.9 Hàm thành viên L*,a* b* [6] 35 Hình 2.10 Hàm thành viên mờ đầu hệ thống [6] 36 Hình 2.11 Cấu trúc biểu đồ màu mờ 36 52 Ảnh gốc Hình 3.10 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với FCH CCH khơng gian màu RGB khơng tìm thấy ảnh gốc, có CCH khơng gian màu HSV tìm thấy ảnh gốc với 10 ảnh trả hình 3.12 Hình 3.11 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH RGB Luận văn thạc sĩ – Trần Quốc Bảo 53 Ảnh gốc Hình 3.12 Tìm kiếm hình ảnh xe bus thay đổi độ sáng với CCH HSV Kết thử nghiệm với số ảnh chủ đề khác thư mục ảnh thử nghiệm trình bày bảng 3.1 Bảng 3.1 Kết thử nghiệm độ xác với ảnh xe bus số ảnh khác thêm 15% nhiễu gaussian thay đổi độ sáng 15% Ảnh truy vấn Trung bình Luận văn thạc sĩ – Trần Quốc Bảo 54 Nhận xét: Theo kết bảng 3.1, trung bình precisionFCH 82% 84% cao nhiều so với precisionCCH(RGB) precisionCCH(HSV) Trong đó, precisionCCH(HSV) trả số lượng ảnh liên quan cao cao 9/10(90%) chủ đề ngựa người châu phi khơng tìm ảnh gốc (phần số gạch chân tìm ảnh liên quan khơng tìm ảnh gốc) Như hiệu suất chương trình thử nghiệm với FCH tốt CCH FCH nhạy cảm với nhiễu thay đổi độ sáng 3.6.2.3 Kết thử nghiệm CSDL ảnh WANG Học viên tiến hành thử nghiệm tìm kiếm ảnh với ảnh truy vấn gồm 10 ảnh thư mục test lấy từ 100 ảnh chủ đề với lựa chọn khác CCH không gian màu RGB, HSV với số bin màu khác FCH Kết cho thấy phương pháp tìm kiếm với FCH có độ xác tốt với ảnh trả khoảng từ 1-20 Bảng 3.2 Một số kết thử nghiệm tìm kiếm CSDL ảnh WANG CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (người châu phi) Luận văn thạc sĩ – Trần Quốc Bảo 55 CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh khủng long) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh núi) 3.6.2.4 Kết thử nghiệm CSDL ảnh Y tế Với 1200 ảnh y tế chia làm thư mục gồm: 900 ảnh bệnh học, 200 ảnh nội soi, 100 ảnh siêu âm với nhiều cỡ ảnh khác Học viên tiến hành thử nghiệm với 10 ảnh chọn từ ảnh thư mục Kết thử nghiệm cho thấy FCH CCH cho ảnh liên quan với ảnh truy vấn với Luận văn thạc sĩ – Trần Quốc Bảo 56 tỷ lệ cao Tuy nhiên độ xác precision recall cao khơng có nghĩa tìm xác ảnh cần tìm (được xác định thủ cơng mắt) Với đặc điểm ảnh siêu âm ảnh nội soi nhiều vùng ảnh bị nhiễu, dư thừa yếu tố máy chụp, để có độ xác cao cần phải xử lý ảnh trước Bảng 3.3 Một số kết thử nghiệm tìm kiếm CSDL ảnh y tế CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh siêu âm) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh nội soi) CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh bệnh học) Luận văn thạc sĩ – Trần Quốc Bảo 57 CCH + FCH + RGB + 32 bin màu + Euclide + 20 ảnh kết (ảnh bệnh học) Trong chương này, học viên thực xây dựng chương trình thử nghiệm với thuật tốn trích chọn biểu đồ màu với CCH FCH để tạo CSDL đặc trưng ảnh thử nghiệm với CSDL ảnh WANG CSDL ảnh y tế học viên thu thập Kết thử nghiệm cho thấy chương trình tìm kiếm ảnh thử nghiệm với FCH có cảm nhận màu tương tự với nhận thức suy nghĩ người CCH mạnh mẽ với nhiễu thay đổi độ sáng ảnh truy vấn Luận văn thạc sĩ – Trần Quốc Bảo trình tìm kiếm ảnh 58 KẾT LUẬN Việc tự động hóa trích chọn đặc trưng tìm kiếm hình ảnh theo nội dung lĩnh vực khó đồ sộ, việc trích chọn đặc trưng thực tìm kiếm tự động đặc trưng cấp cao (ngữ nghĩa) Trong luận văn này, việc trích chọn đặc trưng tìm kiếm ảnh thực tự động dừng lại đặc trưng cấp thấp ảnh màu sắc việc sử dụng biểu đồ màu Học viên trình bày đánh giá số phương pháp trích chọn đặc trưng hình ảnh giới, đưa hướng tiếp cận phù hợp Trong đó, kỹ thuật biểu đồ màu mờ sử dụng đạt kết định Các vấn đề mà luận văn làm được: Trình bày kiến trúc tổng quan hệ thống tìm kiếm ảnh theo nội dung, đặc trưng cấp thấp màu sắc, kết cấu, hình dạng hình ảnh sử dụng hệ thống CBIR khả ứng dụng Khái quát logic mờ ứng dụng việc tính tốn biểu đồ màu mờ Tổng hợp, trình bày đánh giá số kỹ thuật tìm kiếm ảnh sở biểu đồ màu thông thường biểu đồ màu mờ Đưa kiến trúc hệ thống tìm kiếm ảnh theo nội dung sở biểu đồ màu CCH không gian màu RGB, HSV biểu đồ FCH dựa vào hệ thống liên kết mờ không gian màu L*a*b* Xây dựng CSDL đặc trưng CCH FCH ảnh y tế bệnh học, nội soi, siêu âm CSDL ảnh WANG Xây dựng thành cơng chương trình thử nghiệm tìm kiếm ảnh sở CCH FCH theo thuật toán trình bày với CSDL ảnh thử nghiệm lớn đánh giá kết thử nghiệm Tuy nhiên, việc đánh giá kết cịn thực thủ cơng Luận văn thạc sĩ – Trần Quốc Bảo 59 Hướng nghiên cứu tiếp theo: Kết hợp đặc trưng khác đặc trưng kết cấu hình dạng lưới màu lập mục, trích chọn đặc trưng trình tìm kiếm để nâng cao hiệu tìm kiếm - Cải thiện hiệu tìm kiếm chương trình thử nghiệm với CSDL ảnh lớn CSDL ảnh y tế cho phép thêm đặc trưng ảnh Luận văn thạc sĩ – Trần Quốc Bảo q trình trích chọn đặc trưng 60 TÀI LIỆU THAM KHẢO [1] Đặng Văn Đức, CSDL đa phương tiện, Bài giảng cho học viên sau đại học, 2005-2017 [2] Constantin Vertan, Nozha Boujemaa, Using Fuzzy Histograms and Distances for Color Image Retrieval, IMEDIA-INRIA France, 2000 [3] Guojun Lu, Multimedia Database Management Systems, Artech House, Boston – London, 2009 [4] Jhansi Rani S and V Vallikumari, Survey on Content Based Image Retrieval Techniques, International Journal of Trend in Research and Development, 2016 [5] Ju Han and Kai-Kuang Ma, Fuzzy Color Histogram and Its Use in Color Image Retrieval, IEEE Transaction on Image Processing, 2002 [6] Suhasini P.S., K Sri Rama Krishna, Murali Krishna, CBIR Using Color Histogram Processing, Journal of Theoretical and Applied Information Technology, 2009 [7] Tamalika Chaira, A.K Ray, Fuzzy Measures for Color Image Retrieval, Fuzzy Sets and Systems, 2005 [8] Yanmei Liang, Hongchen Zhai, Pierre Chavel, Fuzzy ColorImage Retrieval, Optics Communications, 2002 Luận văn thạc sĩ – Trần Quốc Bảo PHỤ LỤC 27 luật mờ hệ thống suy luận mờ liệt kê đây: If (L is black) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is black) If (L is white) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is white) If (L is Grey) and (a is red) and (b is yellow) then (fuzzyhist is red) If (a is reddish) and (b is yellow) then (fuzzyhist is brown) If (L is white) and (a is green) and (b is yellow) then (fuzzyhist is green) If (L is white) and (a is green) and (b is yellowish) then (fuzzyhist is green) If (L is black) and (b is blue) then (fuzzyhist is blue) If (L is white) and (a is green) and (b is bluish) then (fuzzyhist is cyan) If (L is Grey) and (a is amiddle) and (b is bmiddle) then (fuzzyhist is darkgrey) 10 If (a is greenish) and (b is bluish) then (fuzzyhist is blue) 11 If (a is red) and (b is bluish) then (fuzzyhist is blue) 12 If (L is white) and (b is yellow)then (fuzzyhist is yellow) 13 If (L is black) and (a is reddish) and (b is bluish) then (fuzzyhist is blue) 14 If (a is red) and (b is blue) then (fuzzyhist is blue) 15 If (L is Grey) and (a is reddish) and (b is yellowish) then (fuzzyhist is red) 16 If (L is white) and (a is reddish) and (b is yellowish) then (fuzzyhist is yellow) 17 If (L is black) and (a is reddish) and (b is yellowish) then (fuzzyhist is red) 18 If (a is reddish) and (b is yellow)then (fuzzyhist is yellow) 19 If (L is black) and (b is bluish) then (fuzzyhist is blue) 20 If (L is Grey) and (b is blue) then (fuzzyhist is blue) 21 If (L is Grey) and (a is reddish) and (b is bluish) then (fuzzyhist is magenta) 22 If (L is Grey) and (a is amiddle) and (b is bluish) then (fuzzyhist is cyan) 23 If (L is Grey) and (a is amiddle) and (b is yellowish) then (fuzzyhist is brown) 24 If (L is white) and (a is amiddle) and (b is yellowish) then (fuzzyhist is yellow) 25 If (L is Grey) and (a is red) and (b is bmiddle) then (fuzzyhist is red) 26.If (L is Grey) and (a is reddish) and (b is bmiddle) then (fuzzyhist is red) 27.If (L is white) and (a is reddish) and (b is bluish) then (fuzzyhist is magenta) Luận văn thạc sĩ – Trần Quốc Bảo ... bin màu biểu đồ lớn CCH u cầu tính tốn lớn so sánh biểu đồ Vì đề tài ? ?Kỹ thuật tìm kiếm ảnh sở biểu đồ màu mờ? ?? tập trung trình bày kỹ thuật tìm kiếm ảnh biểu đồ màu mới, gọi biểu đồ màu mờ (Fuzzy... biểu đồ màu thông thường biểu đồ màu mờ Luận văn thạc sĩ – Trần Quốc Bảo 21 CHƯƠNG 2: TÌM KIẾM ẢNH THEO NỘI DUNG TRÊN CƠ SỞ BIỂU ĐỒ MÀU MỜ Tìm kiếm ảnh dựa nội dung kỹ thuật sử dụng nội dung trực... logic mờ, tập mờ, phép toán tập mờ Chương Tìm kiếm ảnh theo nội dung sở biểu đồ màu mờ Trình bày kỹ thuật tìm kiếm ảnh dựa biểu đồ màu thơng thường, biểu đồ màu mờ Chương Thử nghiệm Nêu tốn thử