Cải tiến một số phương pháp cbir để nâng cao hiệu quả tra cứu ảnh dựa trên hiệu quả chỉnh độ đo tương tự và phản hồi liên quan

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - NGÔ TRƯỜNG GIANG NÂNG CAO HIỆU QUẢ TRA CỨU ẢNH DỰA TRÊN HIỆU CHỈNH ĐỘ ĐO TƯƠNG TỰ VÀ PHẢN HỒI LIÊN QUAN LUẬN ÁN TIẾN SỸ TOÁN HỌC HÀ NỘI – 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - NGÔ TRƯỜNG GIANG NÂNG CAO HIỆU QUẢ TRA CỨU ẢNH DỰA TRÊN HIỆU CHỈNH ĐỘ ĐO TƯƠNG TỰ VÀ PHẢN HỒI LIÊN QUAN LUẬN ÁN TIẾN SỸ TOÁN HỌC Chuyên ngành: Cơ sở Toán học cho Tin học Mã số: 62 46 01 10 Người hướng dẫn khoa học: PGS TS Ngô Quốc Tạo TS Nguyễn Đức Dũng Hà Nội – 2017 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi thực hướng dẫn PGS.TS Ngô Quốc Tạo TS Nguyễn Đức Dũng Học viện Khoa học Công nghệ - Viện hàn lâm Khoa học Công nghệ Việt Nam Các số liệu kết trình bày luận án trung thực, chưa công bố tác giả hay cơng trình khác Hà Nội, ngày 10 tháng năm 2016 Tác giả Ngô Trường Giang i LỜI CÁM ƠN Luận án thực Học viện Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam hướng dẫn khoa học PGS.TS Ngô Quốc Tạo TS Nguyễn Đức Dũng Tơi xin bày tỏ lịng biết ơn sâu sắc tới Thầy quan tâm, hướng dẫn từ kỹ đến định hướng khoa học, tạo điều kiện thuận lợi để tơi hồn thành luận án Tôi xin cảm ơn tới tập thể Thầy Cơ Viện Cơng nghệ Thơng tin có ý kiến đóng góp phản biện suốt trình nghiên cứu hồn chỉnh luận án Xin chân thành cảm ơn nhà khoa học, tác giả cơng trình cơng bố trích dẫn luận án cung cấp nguồn tư liệu quý báu, kiến thức liên quan q trình nghiên cứu hồn thành luận án Tôi xin trân trọng cảm ơn Lãnh đạo Viện Công nghệ Thông tin, Học Viện Khoa học Công nghệ tạo điều kiện tốt để nghiên cứu sinh có mơi trường nghiên cứu hồn thành chương trình nghiên cứu Xin chân thành cám ơn Phịng Nhận dạng Cơng nghệ Tri thức, phịng ban Viện Cơng nghệ Thơng tin hỗ trợ tạo điều kiện cho suốt q trình thực luận án Tơi xin gửi lời cảm ơn tới Ban giám hiệu Trường Đại học Dân lập Hải Phịng, Khoa Cơng nghệ Thơng tin tạo nhiều điều kiện thuận lợi hỗ trợ cho tơi có đủ điều kiện thực luận án Xin cảm ơn tất bạn bè đồng nghiệp, người ln chia sẻ, cổ vũ tơi lúc khó khăn, động viên khích lệ để tơi thực hồn thành luận án Cuối cùng, tơi xin bày tỏ lịng biết ơn vơ hạn người thân gia đình ln ủng hộ động viên, tạo nguồn lực tinh thần to lớn để tơi thực hoàn thành luận án ii Mục lục Mục lục iii Danh sách hình vẽ v Danh sách bảng vii Danh sách chữ viết tắt viii MỞ ĐẦU 1 TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 1.1 Một số vấn đề CBIR 1.1.1 Trích chọn đặc trưng mức thấp 1.1.2 Độ đo tương tự 1.1.3 Đánh giá hiệu hệ thống 1.2 Độ đo tương tự kết hợp đặc trưng 1.3 Phản hồi liên quan CBIR 1.3.1 Kỹ thuật cập nhật truy vấn 1.3.2 Những kỹ thuật học thống kê 1.4 Tổng kết chương ĐỘ ĐO TƯƠNG TỰ HÌNH DẠNG DỰA TRÊN ĐỐI SÁNH ĐỒ THỊ XƯƠNG 2.1 Giới thiệu 2.2 Bài toán đối sánh đồ thị 2.3 Biểu diễn đồ thị xương 2.3.1 Trục trung vị - Xương 2.3.2 Biểu diễn đồ thị xương 2.4 Độ đo tương tự hình dạng dựa đối sánh đồ thị xương 2.4.1 Khoảng cách đỉnh sử dụng đường dẫn xương 2.4.2 Đối sánh đồ thị xương sử dụng cụm đỉnh cuối 2.4.3 Thực nghiệm đánh giá 2.5 Tổng kết chương 8 12 22 25 28 29 33 34 37 38 39 42 46 46 50 52 52 54 64 69 TÍCH HỢP ĐẶC TRƯNG TRONG PHẢN HỒI LIÊN QUAN 72 3.1 Giới thiệu 73 iii 3.2 3.3 3.4 Độ đo mờ tích phân Choquet 3.2.1 Độ đo mờ (Fuzzy measures) 3.2.2 Tích phân Choquet Độ đo tương tự kết hợp nhiều đặc trưng 3.3.1 Phát biểu toán 3.3.2 Học trọng số liên quan đặc trưng 3.3.3 Thực nghiệm đánh giá Tổng kết chương 75 75 77 78 78 82 85 92 HỌC CHỦ ĐỘNG SVM DỰA TRÊN PHẢN HỒI LIÊN QUAN 93 4.1 Học chủ động 94 4.2 Học chủ động SVM với phản hồi liên quan 94 4.2.1 Học chủ động SVM 94 4.2.2 Các nghiên cứu liên quan 97 4.3 Phản hồi liên quan CBIR 101 4.3.1 Phát biểu toán 101 4.3.2 Xây dựng hàm lựa chọn tập huấn luyện 101 4.3.3 Thực nghiệm đánh giá 103 4.4 Tổng kết chương 106 KẾT LUẬN 108 Danh mục cơng trình tác giả 111 Tài liệu tham khảo 112 iv Danh sách hình vẽ 1.1 1.2 1.3 1.4 1.5 1.6 1.7 Kiến trúc chung hệ thống CBIR Không gian màu RGB Không gian màu HSV Ví dụ tính toán mẫu nhị phân [79] Các điểm ảnh lân cận đường tròn với tâm điểm ảnh khảo sát Các điểm ảnh lân cận khơng rơi xác vào lưới điểm ảnh nội suy Recall Precision cho kết truy vấn Ví dụ khoảng cách ngữ nghĩa CBIR, cột (a) hai ảnh ngữ nghĩa khác có đặc trưng (biểu đồ màu) giống nhau, cột (b) hai ảnh ngữ nghĩa giống có đặc trưng (biểu đồ màu) khác Sơ đồ tổng quan CBIR với phản hồi liên quan Hai đối tượng lớp có kiến trúc tơ pơ xương khác 2.2 Đối tượng (a) (b) khác lớp có kiến trúc tơ pơ xương (c) giống 2.3 Các láng giềng điểm ảnh vị trí [i,j]: (a) 4-láng giềng (b) 8-láng giềng 2.4 Ảnh nhị phân với đường bao: (a) ảnh gốc (b) đường bao với điểm màu đen đậm 2.5 Ví dụ xương 2.6 Xương ảnh bị nhiễu Cột bên trái ảnh đối tượng với dòng ảnh gốc, dòng ảnh bị nhiễu cột bên phải xương tương ứng 2.7 Xương thu sau cắt tỉa với ngưỡng khác [4] 2.8 Biểu diễn đồ thị xương 2.9 Sự không ổn định điểm xương giao 2.10 Xây dựng siêu đồ thị xương Bên trái siêu đồ thị xương với đỉnh {v1 , , v7 } siêu cạnh {e1 , e2 , e3 } Bên phải ma trận liên thuộc siêu đồ thị xương 2.11 Đối sánh bất biến tỷ lệ sử dụng độ tương tự bậc cao (δ = 3) Độ tương tự bậc ba tính tốn so sánh hai tam giác theo sin góc tương ứng 14 15 19 26 30 32 2.1 v 40 40 46 47 48 48 49 50 52 55 57 2.12 Ví dụ xây dựng siêu đồ thị kết hợp [57] (a) có hai đỉnh đồ thị GP đỉnh đồ thị GQ Có sáu mối tương quan hai đồ thị (b) Siêu đồ thị kết hợp gồm sáu đỉnh tương ứng với sáu tương quan Có năm siêu cạnh kết nối từ tương quan tương ứng 2.13 Một số ảnh mẫu tập liệu Kimia99 2.14 Một số ảnh mẫu tập liệu Kimia216 2.15 Một số ảnh mẫu tập liệu MPEG-7 2.16 Sự tương quan hai hình dạng ngựa, biến đổi từ lại 2.17 Sự tương quan hai hình dạng người với số chân khác 2.18 Mối tương quan hình dạng hai voi có cấu trúc hình học khơng giống 2.19 Hiệu tra cứu số lớp riêng tập liệu MPEG-7 3.1 3.2 3.3 3.4 3.5 4.1 4.2 4.3 4.4 4.5 Kết hợp đặc trưng cho mục đích CBIR Hiệu tra cứu sử dụng độ đo mờ khác tập liệu Caltech101 Hiệu tra cứu sử dụng độ mờ khác tập liệu Corel15K Hiệu tra cứu sử dụng mơ hình kết hợp khác tập liệu Caltech101 Hiệu tra cứu sử dụng mơ hình kết hợp khác tập liệu Corel15K 59 64 65 65 66 66 67 70 74 89 90 91 91 Minh họa học chủ động SVM Một phân lớp tuyến tính tính tốn để phân lớp liệu liên quan(vịng rỗng) khơng liên quan (vịng trịn đặc) 98 Kết tra cứu khơng có phản hồi 105 Kết tra cứu sau vòng phản hồi 106 Mối quan hệ trung bình độ xác tốp ảnh trả vòng phản hồi: (a) Vòng phản hồi thứ nhất, (b) Vòng phản hồi thứ hai, (c) Vòng phản hồi thứ ba, (d) vòng phản hồi thứ bốn107 Mối quan hệ trung bình độ xác số lần lặp tốp ảnh trả về: (a) Tốp 20 ảnh trả về, (b) Tốp 40 ảnh trả về, (c) Tốp 60 ảnh trả về, (d) tốp 80 ảnh trả 107 Danh sách bảng 2.1 2.2 2.3 3.1 3.2 3.3 Số lượng ảnh tra cứu vị trí gần với truy vấn tập liệu Kimia’s 99 Giá trị tốt 99 68 Số lượng ảnh tra cứu vị trí gần với truy vấn tập liệu Kimia’s 216 Giá trị tốt 216 68 Hiệu tra cứu số lớp ảnh tập liệu MPEG7 69 Độ đo tương tự kết hợp sử dụng Độ đo tương tự kết hợp sử dụng Các mô tả thuộc tính thí nghiệm mơ hình cơng thức (3–9) 79 tích phân Choquet 82 đặc trưng sử dụng 87 vii Danh sách chữ viết tắt Từ viết tắt Diễn giải tiếng Anh Diễn giải tiếng Việt ARG Attribute-Relational Graphs Đồ thị quan hệ thuộc tính AP Average Precision Độ xác trung bình CBIR Content-Based Image Retrieval Tra cứu ảnh dựa nội dung EM Expectation–Maximization Ước lượng EM FSVM Fuzzy Support Vector Machine Máy véc tơ hỗ trợ mờ GCM Grid Color Moment Mô men màu GWT Gabor Wavelets Texture Biến đổi kết cấu dạng sóng HSV Hue Saturation Value Khơng gian màu HSV MAP Mean Average Precision ĐTrung bình AP MPEG-7 Moving Picture Experts Chuẩn MPEG-7 Group–7 MRBIR Manifold Ranking Based Image Tra cứu ảnh dựa xếp hạng Retrieval đa tạp MWR Markov Random Walk Bước ngẫu nhiên Markov LBP Local Binary Pattern Mẫu nhị phân cục OSB Optimal Subsequence Bijection Chuỗi song ánh tối ưu RGB Red Green Blue Không gian màu RGB RF Relevance Feedback Phản hồi liên quan RW Random Walk Bước ngẫu nhiên RWR Random Walk Restart Bước ngẫu nhiên khởi động lại SHG Skeleton Hyper-Graph Siêu đồ thị xương SVM Support Vector Machine Phân lớp SVM viii khác giúp đánh giá tổng quan hiệu truy vấn kỹ thuật đề xuất luận án Nhìn chung, luận án tổng hợp cơng trình cơng bố quan trọng có liên quan đến hướng nghiên cứu, có đề xuất xây dựng độ đo tương tự hiệu chỉnh đồ đo tương tự, kiểm chứng hiệu đề xuất thông qua thực nghiệm với kết cải tiến Luận án cho kết nghiên cứu đạt thiết thực có đóng góp cụ thể, đạt mục tiêu đề Tuy vậy, kết trình bày luận án khiêm tốn cần cải tiến nghiên cứu thêm cơng trình nghiên cứu khác thời gian tới 110 Danh mục cơng trình tác giả CT1 Ngô Trường Giang, Ngô Quốc Tạo, Nguyễn Đức Dũng, “Applying Random Walks for Shape Matching”, Kỷ yếu hội thảo Quốc gia lần thứ 15 “Một số vấn đề chọn lọc Công nghệ thông tin truyền thông”, Hà Nội, 12-2012 CT2 Ngô Trường Giang, Ngô Quốc Tạo, Nguyễn Đức Dũng, “Shape Similarity Based on Skeleton Hyper-Graph Matching” Hội nghị quốc gia lần thứ VI “Nghiên cứu ứng dụng Công nghệ thông tin – FAIR(Fundamental and Applied IT Research)”, Huế, 6-2013 CT3 Giang, N.T., Tao, N.Q., Dung, N.D and The, N.T., “Skeleton Based Shape Matching Using Reweighted Random Walks” Proc of IEEE on 9th International Conference on Information, Communications and Signal Processing (ICICS), pp 1-5, Dec, 2013 CT4 Giang, N.T., Tao, N.Q., Dung, N.D and The, N.T., “Batch Mode Active Learning for Interactive Image Retrieval”, Proc of IEEE on International Symposium on Multimedia (ISM 2014) CT5 Giang, N.T., Tao, N.Q., Dung, N.D , “Image Retrieval with Relevance Feedback using SVM Active Learning” International Journal of Electrical and Computer Engineering, Vol.6, No.6, 2016, (Scopus) CT6 Giang, N.T.,The, N.T., Tao, N.Q., Dung, N.D., Chu, S.C., “Similarity Shape Based on Skeleton Graph Matching” Journal of Information Hiding and Multimedia Signal Processing, Vol.7, No.6, 2016, (Scopus) CT7 Giang, N.T., Tao, N.Q., Dung, N.D , Huy, N.H, “Learning Interaction Measure with Relevance Feedback in Image Retrieval” Journal of Computer Science and Cybernetics, Vol.32, No.2, 2016 111 Tài liệu tham khảo [1] A Frome, Y S., and Malik, J Image retrieval and classification using local distance functions In Advanc es in Neural Information Processing Systems, 2006 Proceedings Conference on (December 2006), pp 417–424 [2] Ambika, P., and Samath, J Unsupervised neural network for content based image retrieval by utilizing content and model annotations Research Journal of Information Technology (2013), 468–472 [3] Arevalillo-Herráez, M., Ferri, F J., and Domingo, J A naive relevance feedback model for content-based image retrieval using multiple similarity measures Pattern Recognition 43, (2010), 619–629 [4] Bai, X., Latecki, L., and yu Liu, W Skeleton pruning by contour partitioning with discrete curve evolution IEEE Transactions on Pattern Analysis and Machine Intelligence 29, (2007), 449–462 [5] Bai, X., and Latecki, L J Path similarity skeleton graph matching IEEE Transactions on Pattern Analysis and Machine Intelligence 30, (2008), 1282–1292 [6] Baseski, E., Erdem, A., and Tari, S Dissimilarity between two skeletal trees in a context Pattern Recognition 42, (2009), 370–385 [7] Beliakov, G Fitting fuzzy measures by linear programming programming library fmtools In Fuzzy Systems, 2008 FUZZ-IEEE 2008 (IEEE World Congress on Computational Intelligence) IEEE International Conference on (June 2008), pp 862–867 [8] Belongie, S., Malik, J., and Puzicha, J Shape matching and object recognition using shape contexts IEEE Transactions on Pattern Analysis and Machine Intelligence 24, (2002), 509–522 112 [9] Belongie, S., Malik, J., and Puzicha, J Shape matching and object recognition using shape contexts IEEE Trans Pattern Anal Mach Intell 24, (Apr 2002), 509–522 [10] Blum, H Biological shape and visual science (part i) Journal of Theoretical Biology 38, (1973), 205–287 [11] B.Sebastian, T., and B.Kimia, B Curves vs skeletons in object recognition Signal Processing 85, (2005), 247–263 [12] Carson, C., Belongie, S., Greenspan, H., and Malik, J Blobworld: image segmentation using expectation-maximization and its application to image querying IEEE Transactions on Pattern Analysis and Machine Intelligence 24, (Aug 2002), 1026–1038 [13] Chen, Y., Wang, J Z., and Krovetz, R Clue: Cluster-based retrieval of images by unsupervised learning IEEE Transactions on Image Processing 14 (2003), 2005 [14] Chen, Z., and Fu, B On the Complexity of Rocchio’s Similarity-Based Relevance Feedback Algorithm Springer Berlin Heidelberg, Berlin, Heidelberg, 2005, pp 216–225 [15] Chen, Z., and Zhu, B Some formal analysis of rocchio’s similarity-based relevance feedback algorithm Inf Retr 5, (Jan 2002), 61–86 [16] Chertok, M., and Keller, Y Efficient high order matching IEEE Transactions on Pattern Analysis and Machine Intelligence 32, 12 (2010), 2205–2215 [17] Cho, M., Lee, J., and Lee, K M Reweighted random walks for graph matching In Proceedings of the 11th European conference on Computer vision: Part V (2010), pp 492–505 [18] Choi, Y., Kim, D., and Krishnapuram, R Relevance feedback for content-based image retrieval using the choquet integral In Multimedia and Expo, 2000 ICME 2000 2000 IEEE International Conference on (2000), vol 2, pp 1207–1210 vol.2 [19] Conte, D., Foggia, P., Sansone, C., and Vento, M Thirty years of graph matching in pattern recognition International journal of pattern recognition and artificial intelligence 18, (2004), 265–298 113 [20] Cox, I J., Miller, M L., Minka, T P., Papathomas, T V., and Yianilos, P N The bayesian image retrieval system, pichunter: theory, implementation, and psychophysical experiments IEEE Transactions on Image Processing 9, (Jan 2000), 20–37 [21] da S Torres, R., Falcão, A X., Gonc ¸ alves, M A., Papa, J P., Zhang, B., Fan, W., and Fox, E A A genetic programming framework for content-based image retrieval Pattern Recognition 42, (2009), 283–292 Learning Semantics from Multimedia Content [22] Datta, R., Joshi, D., Li, J., and Wang, J Z Image retrieval: Ideas, influences, and trends of the new age ACM Comput Surv 40, (May 2008), 5:1–5:60 [23] Daugman, J G Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters J Opt Soc Am A 2, (Jul 1985), 1160–1169 [24] Demirci, M F., Osmanlioglu, Y., Shokoufandeh, A., and Dickinson, S Efficient many-to-many feature matching under the l1 norm Computer Vision and Image Understanding 115, (July 2011), 976–983 [25] Do, M N., and Vetterli, M Wavelet-based texture retrieval using generalized gaussian density and kullback-leibler distance Trans Img Proc 11, (Feb 2002), 146–158 [26] Donald, K M., and Smeaton, A F A Comparison of Score, Rank and Probability-Based Fusion Methods for Video Shot Retrieval Springer Berlin Heidelberg, Berlin, Heidelberg, 2005, pp 61–70 [27] Douze, M., Jégou, H., Sandhawalia, H., Amsaleg, L., and Schmid, C Evaluation of gist descriptors for web-scale image search In Proceedings of the ACM International Conference on Image and Video Retrieval (New York, NY, USA, 2009), CIVR ’09, ACM, pp 19:1–19:8 [28] Duchenne, O., Bach, F., Kweon, I.-S., and Ponce, J A tensor-based algorithm for high-order graph matching IEEE Transactions on Pattern Analysis and Machine Intelligence 33, 12 (2011), 2383–2395 [29] Fei-Fei, L., Fergus, R., and Perona, P Learning generative visual models from few training examples: An incremental bayesian approach tested 114 on 101 object categories Comput Vis Image Underst 106, (Apr 2007), 59–70 [30] Felzenszwalb, P., and Schwartz, J Hierarchical matching of deformable shapes In Computer Vision and Pattern Recognition, 2007 CVPR ’07 IEEE Conference on (2007), pp 1–8 [31] Flickner, M., Sawhney, H., Niblack, W., Ashley, J., Huang, Q., Dom, B., Gorkani, M., Hafner, J., Lee, D., Petkovic, D., Steele, D., and Yanker, P Query by image and video content: The qbic system Computer 28, (Sept 1995), 23–32 [32] FOGGIA, P., PERCANNELLA, G., and VENTO, M Graph matching and learning in pattern recognition in the last 10 years International Journal of Pattern Recognition and Artificial Intelligence 28, 01 (2014) [33] Frigui, H Interactive image retrieval using fuzzy sets Pattern Recognition Letters 22, (2001), 1021–1031 [34] Goh, W B Strategies for shape matching using skeletons Computer Vision and Image Understanding 110, (June 2008), 326–345 [35] Grabisch, M The application of fuzzy integrals in multicriteria decision making European Journal of Operational Research 89, (1996), 445–456 [36] Grabisch, M., Kojadinovic, I., and Meyer, P A review of methods for capacity identification in choquet integral based multi-attribute utility theory: Applications of the kappalab r package European Journal of Operational Research 186, (2008), 766–785 [37] Gupta, A., and Jain, R Visual information retrieval Commun ACM 40, (May 1997), 70–79 [38] Han, L., Wilson, R., and Hancock, E A supergraph-based generative model In Proceedings of the 2010 20th International Conference on Pattern Recognition (2010), pp 1566–1569 [39] Han, Y., Xu, Z., Ma, Z., and Huang, Z Image classification with manifold learning for out-of-sample data Signal Processing 93, (2013), 2169–2177 Indexing of Large-Scale Multimedia Signals 115 [40] Haveliwala, T H Topic-sensitive pagerank In Proceedings of the 11th International Conference on World Wide Web (New York, NY, USA, 2002), WWW ’02, ACM, pp 517–526 [41] He, J., Li, M., Zhang, H.-J., Tong, H., and Zhang, C Manifoldranking based image retrieval In Proceedings of the 12th Annual ACM International Conference on Multimedia (New York, NY, USA, 2004), MULTIMEDIA ’04, ACM, pp 9–16 [42] Ho, S.-S., and Wechsler, H Query by transduction IEEE Trans Pattern Anal Mach Intell 30, (Sept 2008), 1557–1571 [43] Hoi, S C H., Jin, R., Zhu, J., and Lyu, M R Semisupervised svm batch mode active learning with applications to image retrieval Journal ACM Transactions on Information Systems 27, (May 2009), 16:1–16:29 [44] Hoi, S C H., and Lyu, M R A semi-supervised active learning framework for image retrieval In Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05)Volume 2-Volume 02 (2005), CVPR ’05, pp 302–309 [45] Huijsmans, D P., and Sebe, N How to complete performance graphs in content-based image retrieval: add generality and normalize scope IEEE Transactions on Pattern Analysis and Machine Intelligence 27, (Feb 2005), 245–251 [46] Huiskes, M J., and Lew, M S Performance evaluation of relevance feedback methods In Proceedings of the 2008 International Conference on Content-based Image and Video Retrieval (New York, NY, USA, 2008), CIVR ’08, ACM, pp 239–248 [47] Jiang, B., Tang, J., Luo, B., Chen, Z., and Chen, Z Skeleton graph matching based on a novel shape tree In Computing, Communication, Control, and Management, 2009 CCCM 2009 ISECS International Colloquium on (2009), vol 4, pp 636–639 [48] Jing, F., Li, M., Zhang, L., Zhang, H.-J., and Zhang, B Learning in Region-Based Image Retrieval Springer Berlin Heidelberg, Berlin, Heidelberg, 2003, pp 206–215 116 [49] Ko, B., and Byun, H Integrated region-based image retrieval using region’s spatial relationships In Pattern Recognition, 2002 Proceedings 16th International Conference on (2002), vol 1, pp 196–199 vol.1 [50] Kokare, M., Chatterji, B N., and Biswas, P K A survey on current content based image retrieval methods IETE Journal of Research 48, 3-4 (2002), 261–271 [51] Krishnan, A R., Kasim, M M., and Bakar, E M N E A A short survey on the usage of choquet integral and its associated fuzzy measure in multiple attribute analysis Procedia Computer Science 59 (2015), 427–434 [52] Kushki, A., Androutsos, P., Plataniotis, K N., and Venetsanopoulos, A N Query feedback for interactive image retrieval IEEE Transactions on Circuits and Systems for Video Technology 14, (May 2004), 644–655 [53] Kushki, A., Androutsos, P., Plataniotis, K N., and Venetsanopoulos, A N Retrieval of images from artistic repositories using a decision fusion framework IEEE Transactions on Image Processing 13, (March 2004), 277–292 [54] Latecki, L., Wang, looikonomou, V Q., Koknar-Tezel, Optimal subsequence bijection S., and Mega- In Proceedings of the Seventh IEEE International Conference on Data Mining (2007), pp 565–570 [55] Latecki, L J., Lakamper, R., and Eckhardt, T Shape descriptors for non-rigid shapes with a single closed contour In Computer Vision and Pattern Recognition, 2000 Proceedings IEEE Conference on (2000), vol 1, pp 424–429 vol.1 [56] Lee, J., Cho, M., and Lee, K.-M A graph matching algorithm using data-driven markov chain monte carlo sampling In Proceedings of the 20th International Conference on Pattern Recognition (2010), pp 2816–2819 [57] Lee, J., Cho, M., and Lee, K M Hyper-graph matching via reweighted random walks In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2011), CVPR ’11, pp 1633–1640 117 [58] Leordeanu, M., and Hebert, M A spectral technique for correspondence problems using pairwise constraints In Proceedings of the Tenth IEEE International Conference on Computer Vision-Volume (2005), pp 1482– 1489 [59] Lew, M S., Sebe, N., Djeraba, C., and Jain, R Content-based multimedia information retrieval: State of the art and challenges ACM Trans Multimedia Comput Commun Appl 2, (Feb 2006), 1–19 [60] Ling, H., and Jacobs, D Shape classification using the inner-distance IEEE Transactions on Pattern Analysis and Machine Intelligence 29, (2007), 286–299 [61] Liu, R., Wang, Y., Baba, T., Masumoto, D., and Nagata, S Svmbased active feedback in image retrieval using clustering and unlabeled data Pattern Recognition 41, (2008), 2645–2655 [62] Liu, X., Yao, H., Ji, R., Xu, P., and Sun, X Bidirectional-isomorphic manifold learning at image semantic understanding & representation Multimedia Tools and Applications 64, (2013), 53–76 [63] Liu, Y., Zhang, D., Lu, G., and Ma, W.-Y A survey of content-based image retrieval with high-level semantics Pattern Recogn 40, (Jan 2007), 262–282 [64] Ma, W Y., and Manjunath, B S Netra: a toolbox for navigating large image databases In Image Processing, 1997 Proceedings., International Conference on (Oct 1997), vol 1, pp 568–571 vol.1 [65] MacArthur, S D., Brodley, C E., and Shyu, C.-R Relevance feedback decision trees in content-based image retrieval In Content-based Access of Image and Video Libraries, 2000 Proceedings IEEE Workshop on (2000), pp 68–72 [66] Macrini, D., Dickinson, S., Fleet, D., and Siddiqi, K Object categorization using bone graphs Computer Vision and Image Understanding 115, (Aug 2011), 1187–1206 [67] Macrini, D., Dickinson, S J., Fleet, D J., and Siddiqi, K Bone graphs: Medial shape parsing and abstraction Computer Vision and Image Understanding 115, (2011), 1044–1061 118 [68] Macrini, D., Siddiqi, K., and Dickinson, S From skeletons to bone graphs: Medial abstraction for object recognition In Computer Vision and Pattern Recognition, 2008 CVPR 2008 IEEE Conference on (2008), pp 1– [69] Manjunath, B S., Ohm, J R., Vasudevan, V V., and Yamada, A Color and texture descriptors IEEE Transactions on Circuits and Systems for Video Technology 11, (Jun 2001), 703–715 [70] Michel, G K-order additive discrete fuzzy measures and their representation Fuzzy Sets Syst 92, (Dec 1997), 167–189 [71] Min, R., and Cheng, H Effective image retrieval using dominant color descriptor and fuzzy support vector machine Pattern Recognition 42, (2009), 147–157 [72] Mukherjea, S., Hirata, K., and Hara, Y Amore: A world wide web image retrieval engine World Wide Web 2, (1999), 115132 ă ller, W., Squire, D M., Marchand-Maillet, S., [73] Muller, H., Mu and Pun, T Performance evaluation in content-based image retrieval: overview and proposals Pattern Recognition Letters 22, (2001), 593–601 Image/Video Indexing and Retrieval [74] Muneesawang, P., and Guan, L An interactive approach for cbir using a network of radial basis functions IEEE Transactions on Multimedia 6, (Oct 2004), 703–716 [75] Munkres, J Algorithms for the assignment and transportation problems Journal of the Society for Industrial and Applied Mathematics 5, (1957), 32–38 [76] Murofushi, T., and Sugeno, M An interpretation of fuzzy measures and the choquet integral as an integral with respect to a fuzzy measure Fuzzy Sets and Systems 29, (1989), 201–227 [77] Narukawa, Y., and Murofushi, T Choquet integral and Sugeno integral as aggregation functions Springer Berlin Heidelberg, Berlin, Heidelberg, 2003, pp 27–39 119 [78] Nematipour, S., S J M R Relevance feedback optimization in content based image retrieval via enhanced radial basis function networ In Multi conference of Engineers and Computer Scientists, Proceedings Proceedings of the International Multi conference on (2011), vol [79] Ojala, T., Pietikainen, M., and Maenpaa, T Multiresolution grayscale and rotation invariant texture classification with local binary patterns IEEE Transactions on Pattern Analysis and Machine Intelligence 24, (Jul 2002), 971–987 [80] Oliva, A., and Torralba, A Modeling the shape of the scene: A holistic representation of the spatial envelope International Journal of Computer Vision 42, (2001), 145–175 [81] Ortega, M., Rui, Y., Chakrabarti, K., Porkaew, K., Mehrotra, S., and Huang, T S Supporting ranked boolean similarity queries in mars IEEE Transactions on Knowledge and Data Engineering 10, (Nov 1998), 905–925 [82] Pentland, A., Picard, R W., and Sclaroff, S Photobook: ContentBased Manipulation of Image Databases Springer US, Boston, MA, 1996, pp 43–80 [83] Prasad, B E., Gupta, A., Toong, H M D., and Madnick, S E A microcomputer-based image database management system IEEE Transactions on Industrial Electronics IE-34, (Feb 1987), 83–88 [84] Rahman, M M., Bhattacharya, P., and Desai, B C A framework for medical image retrieval using machine learning and statistical similarity matching techniques with relevance feedback IEEE Transactions on Information Technology in Biomedicine 11, (Jan 2007), 58–69 [85] Regalia, P A., and Kofidis, E The higher-order power method revisited: convergence proofs and effective initialization In 2000 IEEE International Conference on Acoustics, Speech, and Signal Processing Proceedings (Cat No.00CH37100) (2000), vol 5, pp 2709–2712 vol.5 [86] Rubner, Y., Tomasi, C., and Guibas, L J The earth mover’s distance as a metric for image retrieval International Journal of Computer Vision 40, (2000), 99–121 120 [87] Rui, Y., and Huang, T Optimizing learning in image retrieval In Computer Vision and Pattern Recognition, 2000 Proceedings IEEE Conference on (2000), vol 1, pp 236–243 vol.1 [88] Rui, Y., Huang, T S., Ortega, M., and Mehrotra, S Relevance feedback: a power tool for interactive content-based image retrieval IEEE Transactions on Circuits and Systems for Video Technology 8, (Sep 1998), 644–655 [89] Santini, S., and Jain, R Similarity measures IEEE Transactions on Pattern Analysis and Machine Intelligence 21, (Sep 1999), 871883 ă lkopf, B., Platt, J., and Hofmann, T [90] Scho pergraphs: Clustering, Classification, and Embedding Learning with HyMIT Press, 2007, pp 1601–1608 [91] Sebastian, T., Klein, P., and Kimia, B Recognition of shapes by editing their shock graphs IEEE Transactions on Pattern Analysis and Machine Intelligence 26, (2004), 550–571 [92] Shen, W., Bai, X., Hu, R., Wang, H., and Jan Latecki, L Skeleton growing and pruning with bending potential ratio Pattern Recogn 44, (2011), 196–209 [93] Shen, W., Wang, Y., Bai, X., Wang, H., and Latecki, L J Shape clustering: Common structure discovery Pattern Recognition 46, (2013), 539–550 [94] SHIH, J.-L., and CHEN, L.-H A context-based approach for color image retrieval International Journal of Pattern Recognition and Artificial Intelligence 16, 02 (2002), 239–255 [95] Siddiqi, K., Shokoufandeh, A., Dickinson, S., and Zucker, S Shock graphs and shape matching International Journal of Computer Vision 35, (1999), 13–32 [96] Silvia, A., Salvatore, G., Fabio, L., and Benedetto, M Assessing non-additive utility for multicriteria decision aid European Journal of Operational Research 158, (2004), 734–744 [97] Smith, A R Color gamut transform pairs SIGGRAPH Comput Graph 12, (Aug 1978), 12–19 121 [98] Smith, J R., and Chang, S.-F Visualseek: A fully automated contentbased image query system In Proceedings of the Fourth ACM International Conference on Multimedia (New York, NY, USA, 1996), MULTIMEDIA ’96, ACM, pp 87–98 [99] Snoek, C G M., Worring, M., and Smeulders, A W M Early versus late fusion in semantic video analysis In Proceedings of the 13th Annual ACM International Conference on Multimedia (New York, NY, USA, 2005), MULTIMEDIA ’05, ACM, pp 399–402 [100] Stricker, M A., and Orengo, M Similarity of color images In Storage and Retrieval for Image and Video Databases (1995), pp 381–392 [101] Su, Z., Zhang, H., Li, S., and Ma, S Relevance feedback in contentbased image retrieval: Bayesian framework, feature subspaces, and progressive learning IEEE Transactions on Image Processing 12, (Aug 2003), 924–937 [102] Sunao, H., Joo Kooi, T., Hyoungseop, K., and Seiji, I A media-art employing virtual shadows with shape recognition International Journal of Innovative Computing, Information and Control 5, (2009), 601–607 [103] Swain, M J., and Ballard, D H Color indexing International Journal of Computer Vision 7, (1991), 11–32 [104] T Murofushi, M S An interpretation of fuzzy measure and the choquet integral as an integral with respect to a fuzzy measure Fuzzy Sets and Systems 29 (1989), 201–227 [105] Thomee, B., and Lew, M S Interactive search in image retrieval: a survey International Journal of Multimedia Information Retrieval 1, (2012), 71–86 [106] Tieu, K., and Viola, P Boosting image retrieval International Journal of Computer Vision 56, (2004), 17–36 [107] Tong, S., and Chang, E Support vector machine active learning for image retrieval In Proceedings of the10th ACM International Conference on Multimedia (2001), pp 107–118 122 [108] Torralba, A., Fergus, R., and Freeman, W T 80 million tiny images: A large data set for nonparametric object and scene recognition IEEE Transactions on Pattern Analysis and Machine Intelligence 30, 11 (Nov 2008), 1958–1970 [109] Vailaya, A., Figueiredo, M A., Jain, A K., and Zhang, H.-J Image classification for content-based indexing Trans Img Proc 10, (Jan 2001), 117–130 [110] Vapnik, V N The Nature of Statistical Learning Theory Springer-Verlag New York, Inc., New York, NY, USA, 1995 [111] Wang, F., Er, G., and Dai, Q Inequivalent manifold ranking for contentbased image retrieval In 2008 15th IEEE International Conference on Image Processing (Oct 2008), pp 173–176 [112] Wang, X.-Y., Chen, J.-W., and Yang, H.-Y A new integrated svm classifiers for relevance feedback content-based image retrieval using em parameter estimation Applied Soft Computing 11, (2011), 2787–2804 [113] Wang, Z J., Wiederhold, G., Firschein, O., and Xin Wei, S Content-based image indexing and searching using daubechies’ wavelets International Journal on Digital Libraries 1, (1998), 311–328 [114] Wei Han, C., Ming Cheng, C., Chung Ming, K., Nai Chung, Y., and Ding Shun, H An efficient contour-based layered shape descriptor for image retrieval International Journal of Innovative Computing, Information and Control 7, 7(A) (2011), 3903–3922 [115] Wu, K., and Yap, K.-H Fuzzy svm for content-based image retrieval: a pseudo-label support vector machine framework IEEE Computational Intelligence Magazine 1, (May 2006), 10–16 [116] Wu, R.-S., and Chung, W.-H Ensemble one-class support vector machines for content-based image retrieval Expert Systems with Applications 36, 3, Part (2009), 4451–4459 [117] Xu, B., Bu, J., Chen, C., and Cai, D A bregman divergence optimization framework for ranking on data manifold and its new extensions In Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence (2012), AAAI’12, AAAI Press, pp 1190–1196 123 [118] Xu, B., Bu, J., Chen, C., Wang, C., Cai, D., and He, X Emr: A scalable graph-based ranking model for content-based image retrieval IEEE Transactions on Knowledge and Data Engineering 27, (Jan 2015), 102–114 [119] Zaboli, H., and Rahmati, M An improved shock graph approach for shape recognition and retrieval In Modelling Simulation, 2007 AMS ’07 First Asia International Conference on (2007), pp 438–443 [120] Zass, R., and Shashua, A Probabilistic graph and hypergraph matching In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2008), pp 1–8 [121] Zhang, X., Cheng, J., Xu, C., Lu, H., and Ma, S A dynamic batch sampling mode for svm active learning in image retrieval In Recent Advances in Computer Science and Information Engineering, vol 128 of Lecture Notes in Electrical Engineering 2012, pp 399–406 [122] Zhou, S X., and Huang, S T Relevance feedback in image retrieval: A comprehensive review Multimedia Systems 8, (2003), 536–544 [123] Zhu, J., Hoi, S C., Lyu, M R., and Yan, S Near-duplicate keyframe retrieval by nonrigid image matching In Proceedings of the 16th ACM International Conference on Multimedia (New York, NY, USA, 2008), MM ’08, ACM, pp 41–50 124 ... luận án cải tiến số phương pháp CBIR để nâng cao hiệu tra cứu ảnh dựa hiệu chỉnh độ đo tương tự phản hồi liên quan Các mục tiêu cụ thể bao gồm tiến hành nghiên cứu hai vấn đề lĩnh vực CBIR là:... nhận nhiều quan tâm năm gần Nói chung, có hai phương pháp tra cứu ảnh bản, tra cứu ảnh dựa từ khóa tra cứu ảnh dựa nội dung Tra cứu ảnh dựa từ khóa nhằm mục đích tìm hình ảnh tương tự với ảnh truy... Độ xác precisionq với ảnh truy vấn q tỷ số số lượng ảnh liên quan tìm hệ thống tổng số ảnh tra cứu Triệu hồi recallq với ảnh truy vấn q tỷ số số lượng ảnh liên quan tìm hệ thống số ảnh liên quan