Q trình tìm kiếm ảnh dựa trên mơ hình đề xuất được thực hiện gồm hai pha, pha thứ nhất thực hiện gom cụm dữ liệu và lưu trữ trên cây KNN_R-Tree, pha thứ hai thực hiện tiến trình tìm kiếm các hình ảnh tương tự theo nội dung. Quá trình thực hiện được mơ tả như sau:
Pha tiền xử lý: Kết quả của pha tiền xử lý là xây dựng được cây gom cụm RG- Tree
dựa trên vector đặc trưng của tập dữ liệu ảnh gồm 2 bước như sau:
Bước 1: Thực hiện việc trích xuất tập véc-tơ đặc trưng fi của tập dữ liệu ảnh ban
đầu.
Bước 2: Dựa trên độ đo tương tự đề xuất và tạo cấu trúc cây gom cụm chỉ mục
với mỗi nút lá của cây KNN_R-Tree là tập các véc-tơ fi mô tả đặc trưng thị giác của hình ảnh.
Pha tìm kiếm: Việc tìm kiếm ảnh tương tự được thực hiện với đầu vào là một hình ảnh
truy vấn và đầu ra là tập ảnh tương tự theo nội dung dựa trên cây gom cụm chỉ mục KNN_R-Tree. Quá trình tìm kiếm ảnh tương tự được thực hiện theo các bước như sau:
Bước 1: Trích xuất véc-tơ đặc trưng của ảnh cần truy vấn. Bước 2: Thực hiện truy vấn ảnh tương tự dựa trên cây RG-Tree.
Bước 3: Tra cứu tập ảnh tương tự dựa trên tập chỉ mục đã được truy vấn.
3.5. Kết quả thực nghiệm 3.5.1. Cài đặt thực nghiệm 3.5.1. Cài đặt thực nghiệm
Kết quả thực nghiệm được thự hiện trên máy PC CPU 2.3GHz 8-core 9th- generation Intel Core i9, 16GB 2666MHz memory, 1TB flash storage. Pha tìm kiếm được thực nghiệm trên máy PC CPU Intel Core i7-6500U CPU @ 2.50GHz, 8.0GB RAM, hệ điều hành Windows 10 Pro 64 bit. Kết quả thực nghiệm được đánh giá trên bộ dữ liệu imageCLEF chứa 20,000 ảnh, được chia thành 276 lớp và lưu trữ trong 41 thư mục (từ thư mục 0 đến thư mục 40); bộ dữ liệu của kích thước 1.64 GB. Để đánh giá hiệu quả của phương pháp tìm kiếm ảnh, phần thực nghiệm được đánh giá các giá trị gồm: độ chính xác (precision), độ phủ (recall) và độ đo dung hịa F-measure. Cơng thức tính các giá trị này như sau:
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠|
𝑟𝑒𝑐𝑎𝑙𝑙 =|𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠|
𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2 ×(𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙)
Trong đó, relavant images là tập ảnh tương tự với ảnh truy vấn và có trong tập dữ liệu ảnh, retrieved images là tập ảnh đã tìm kiếm được. Các giá trị độ chính xác, độ phủ và độ do dung hịa được tính theo tỷ lệ % và được quy đổi thành giá trị trên đoạn [0, 1].
Số lượng ảnh tương tự được lấy dựa trên các ảnh để lấy giá trị TopK các ảnh đã truy vấn để tính độ chính xác và độ phủ. Dựa trên kết quả truy vấn này, chúng tôi tiến hành đánh giá và so sánh với các cơng trình đã có trong thời gian gần đây.
Bằng việc áp dụng công nghệ “C# dotNet Windows Form”, chương trình thực nghiệm gồm các Forms có thể thực hiện các chức năng:
• Tạo cây KNN_R-Tree, xuất cây KNN_R-Tree
• Truy vấn ảnh theo nội dung dựa trên cây KNN_R-TREE • Thực hiện việc xuất kết quả thực nghiệm theo từng bộ ảnh Một số hình ảnh mơ tả quá trình thực thi được trình bày ngay sau đây.
3.5.2. Các giao diện thực nghiệm
Hình 11. Giao diện thiết lập các thơng số để thực hiện việc tạo cây KNN_R-Tree Khi chọn xong các bộ ảnh, loại cây và các ngưỡng để tạo cây, nhấn nút Start để bắt đầu quá trình tạo.
Hình 12. Giao diện đọc dữ liệu các vector từ DataSet và tiền xử lý
Hình 14. Giao diện tìm kiếm ảnh tương tự dựa trên cây KNN_R-Tree.
Hình 16. Giao diện kết quả tìm kiếm ảnh tương tự
3.5.3. Phân tích kết quả thực nghiệm
Trong đề tài này, chúng tơi đề xuất một cải tiến thuật tốn tạo cây KNN_R-Tree nhằm phân cụm dữ liệu và tăng trưởng số cụm theo bộ dữ liệu. Để thực hiện được điều này, chúng tôi sử dụng các giá trị ngưỡng đo độ tương tự giữa các đối tượng dữ liệu cụ thể như sau:
Bảng 1. Các giá trị ngưỡng áp dụng cho chương trình thực nghiệm
Ngưỡng Tên gọi Giá trị
𝜉 Slack 0.25
𝜃 Theta 0.35
𝜇 Nuy 0.005
𝜀 Epsilon 0.15
𝛼 Alpha 0.15
Để đánh giá hiệu quả của phương pháp tìm kiếm ảnh, phần thực nghiệm được đánh giá các giá trị gồm: độ chính xác (precision), độ phủ (recall) và độ đo dung hòa F- measure. Kết quả thực nghiệm được thể hiện như trong Hình 17.
Hình 17. Giá trị trung bình của Precision, Recall, F-measure của tập dữ liệu ImageCLEF
Hiệu suất truy vấn của thuật toán đề xuất được biểu diễn trong Bảng 1, Bảng 2. Để đánh giá hiệu suất của hệ tìm kiếm ảnh tương tự đề xuất, chúng tôi so sánh với kết quả của các cơng trình liên quan trước đó trên cùng tập dữ liệu được mô tả trong Bảng
3.
Bảng 2. Hiệu suất truy vấn ảnh của phương pháp đề xuất trên tập ảnh ImageCLEF
Tập ảnh Độ phủ Độ chính xác Độ trung hoà Thời gian Truy vấn (ms) 00 0.7085 0.8858 0.7873 192 01 0.6948 0.8686 0.7720 228 02 0.6181 0.7720 0.6864 163 03 0.6196 0.7746 0.6885 164 04 0.6731 0.8415 0.7480 203 05 0.6022 0.7529 0.6691 178 06 0.6115 0.7646 0.6794 86 07 0.6527 0.8161 0.7253 202 08 0.6582 0.8229 0.7314 194 09 0.6590 0.8235 0.7320 218 10 0.6109 0.7623 0.6779 90 Trung bình 0.6462 0.8077 0.7179 174 11 0.6408 0.8007 0.7118 199 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 00 02 04 06 08 10 12 14 16 18 20 22 24 26 30 32 34 36 38 40
Hiệu suất thực thi của mơ hình tìm kiếm ảnh trên bộ dữ liệu ImageCLEF
Tập ảnh Độ phủ Độ chính xác Độ trung hồ Thời gian Truy vấn (ms) 12 0.6688 0.8362 0.7432 210 13 0.6068 0.7587 0.6742 85 14 0.6034 0.7545 0.6705 82 15 0.6544 0.8182 0.7272 182 16 0.6380 0.7968 0.7084 151 17 0.6208 0.7762 0.6899 100 18 0.6657 0.8317 0.7394 181 19 0.6699 0.8375 0.7444 201 20 0.6247 0.7811 0.6941 80 Trung bình 0.6393 0.7992 0.7103 147 21 0.6109 0.7639 0.6789 86 22 0.6388 0.7972 0.7091 160 23 0.6552 0.8192 0.7280 202 24 0.6062 0.7580 0.6736 90 25 0.6086 0.7610 0.6762 88 26 0.6720 0.8401 0.7467 176 29 0.6420 0.8025 0.7133 195 30 0.5822 0.7266 0.6462 83 Trung bình 0.6270 0.7835 0.6965 135 31 0.6246 0.7805 0.6939 69 32 0.5885 0.7359 0.6540 73 33 0.5875 0.7347 0.6529 88 34 0.5665 0.7084 0.6295 171 35 0.6126 0.7659 0.6807 128 36 0.6040 0.7553 0.6711 68 37 0.6311 0.7891 0.7013 114 38 0.5827 0.7285 0.6474 85 39 0.5637 0.7048 0.6263 66 40 0.5952 0.7442 0.6613 70 Trung bình 0.5956 0.7447 0.6618 93
Bảng 3. Hiệu suất truy vấn ảnh trung bình trên tập ảnh ImageCLEF
Tập ảnh Độ phủ Độ chính xác Độ trung hoà Thời gian Truy vấn (ms)
00-10 0.6462 0.8077 0.7179 174 11-20 0.6393 0.7992 0.7103 147 21-30 0.6270 0.7835 0.6965 135 31-40 0.5956 0.7447 0.6618 93
Average 0.6271 0.7838 0.6966 137
Bảng 4. So sánh độ chính xác giữa các phương pháp trên bộ dữ liệu ImageCLEF
Phương pháp Mean Average Precision (MAP)
Hakan Cevikalp, 2017 [28] 0.4678
C.A. Hernández-Gracidas, 2013 [29] 0.5826
Nguyễn Minh Hải, 2019 [30] 0.6753
Lê Thị Vĩnh Thanh, 2020 [27] 0.7110
CHƯƠNG IV. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TRIỂN
4.1. Những mặt đã làm được
Nghiên cứu về mơ hình, phương pháp tìm kiếm ảnh tương tự theo nội dung dựa trên cây phân cụm dữ liệu KNN_R-Tree được thực hiện trong thời gian dài và được thực nghiệm trên ứng dụng tra cứu ảnh tương tự với số liệu thống kê cho kết quả là khả thi.
Những nội dung đã làm được:
- Tìm hiểu các kỹ thuật trích xuất đặc trưng hình ảnh
- Tìm hiểu các kỹ thuật học máy K-Means, KNN áp dụng vào bài toán truy vấn ảnh.
- Phát triển cấu trúc dữ liệu cây R-Tree nhằm phân cụm dữ liệu dựa trên kỹ thuật học bán giám sát.
- Xây dựng thuật toán tra cứu ảnh trên cơ sở cấu trúc cây R-Tree - Thiết kế hệ tra cứu ảnh dựa trên cây R-Tree
- Viết chương trình trên một ngơn ngữ lập trình C#.Net tạo ra hệ truy vấn ảnh theo nội dung
4.2. Những mặt tồn tại
Bên cạnh việc tối ưu bài tốn tìm kiếm, chúng tơi nhận thấy vẫn cịn tồn tại hạn chế chưa khắc phục được trong nghiên cứu, ví dụ: thời gian tìm kiếm, ảnh truy vấn phụ
thuộc vào tập ImageCLEF, rút trích đặc trưng hình ảnh, phân lớp hình ảnh, ngữ nghĩa
hình ảnh. Do đó đề tài cịn một số hạn chế sau: - Thời gian truy vấn còn chậm
- Chưa trích xuất được phân lớp hình ảnh
- Chưa trích xuất được ngữ nghĩa cấp cao của hình ảnh
4.3. Hướng phát triển
Chính vì vậy, hướng phát triển tiếp theo của chúng tôi sẽ tập trung vào: • Cải thiện thuật tốn truy vấn để tăng tốc độ tìm kiếm
• Tăng trưởng số lượng hình ảnh từ nhiều bộ dữ liệu mẫu khác nhau để tạo cây cho cấu trúc cây KNN_R-Tree
• Tiếp tục nghiên cứu, cải thiện các thuật tốn học máy và phân tích ngữ nghĩa hình ảnh áp dụng vào bài tốn truy vấn ảnh
• Nghiên cứu các thuật tốn trích xuất đặc trưng vec-tơ hình ảnh và phân lớp của ảnh đầu vào nhằm nâng cao độ chính xác cho bài tốn truy vấn ảnh
• Nghiên cứu cơng nghệ ngữ nghĩa Ontology để áp dụng cho các bài tốn tìm kiếm ảnh theo tiếp cận ngữ nghĩa
4.4. Kết luận
Với kết quả mang lại từ mơ hình, phương pháp đã đề xuất của đề tài, chúng tôi đã xây dựng được phần mềm tìm kiếm ảnh tương tự theo nội dung dựa trên cây phân cụm dữ liệu KNN_R-Tree. Như vậy, nghiên cứu đã đóng góp một phần với mơ hình và phương pháp tìm kiếm mới vào bài tốn tìm kiếm ảnh tương tự theo nội dung đã mang lại hiệu quả thiết thực và có thể được áp dụng cho các hệ truy vấn ảnh hiện nay.
TÀI LIỆU THAM KHẢO
[1] C. Bobed, R. Yus, F. Bobillo, S. Ilarri, J. Bernad, E. Mena, R. Trillo-Lado, Á.L. Garrido, "Emerging Semantic-Based Applications", Semantic Web, Cham, pp.39- 83, 2016.
[2] BusinessInsider, "www.businessinsider.com ", 2018
[3] Y. Cao, M. Long, J. Wang, Q. Yang, P.S. Yu, "Deep Visual-Semantic Hashing for Cross-Modal Retrieval", Proceedings of the 22nd ACM SIGKDD International Conf. on Knowledge Discovery and Data Mining, San Francisco, California, USA, pp.1445-1454, 2016.
[4] Y. Chou, D.J. Lee, D. Zhang, "Semantic-Based Brain MRI Image Segmentation Using Convolutional Neural Network", ISVC: Advances in Visual Computing, Cham, pp.628-638, 2016.
[5] L. Deligiannidis, H.R. Arabnia, "Emerging Trends in Image Processing, Computer Vision, and Pattern Recognition", ed S. Elliot, Elsevier, USA: Morgan Kaufmann, Waltham, MA 02451, 2015.
[6] Deloitte, "Photo sharing: trillions and rising", Deloitte Touche Tohmatsu Limited, Deloitte Global, 2016.
[7] Deloitte, "https://www2.deloitte.com", 2018
[8] J. Gantz, D. Reinsel, "THE DIGITAL UNIVERSE IN 2020: Big Data, Bigger Digi tal Shadows, and Biggest Growth in the Far East", IDC iView, EMC Corporation, 2012 and 2014.
[9] C. Kurtz, A. Depeursinge, C.F. Beaulieu, "A semantic framework for the retrieval of similar radiological images based on medical annotations", IEEE International Conference on Image Processing (ICIP), Paris, France, 2014.
[10] P. Muneesawang, N. Zhang, L. Guan, "Multimedia Database Retrieval: Technology and Applications", Springer, New York Dordrecht London, 2014. [11] A.B. Spanier, D. Cohen, L. Joskowicz, "A new method for the automatic retrieval
of medical cases based on the RadLex ontology", International Journal of Computer Assisted Radiology and Surgery, vol. 12, no. 3, pp.471–484, 2017.
[12] V. Vijayarajan, M. Dinakaran, P. Tejaswin, M. Lohani, "A generic framework for ontology‑based information retrieval and image retrieval in web data", Human-
[13] X. Xie, X. Cai, J. Zhou, N. Cao, Y. Wu, "A Semantic-based Method for Visualizing Large Image Collections", IEEE Transactions on Visualization and Computer Graphics, IEEE Computer Society, vol. xx, no. xx, pp.xx-xx, 2018.
[14] [14] B.B.Z. Yao, X. Yang, L. Lin, M.W. Lee, S.-C. Zhu, "I2T: Image Parsing to Text Description", Proceedings of the IEEE, pp.1485-1508, 2010.
[15] Li, Wen, et al. "Text-based image retrieval using progressive multi-instance learning." 2011 International Conference on Computer Vision. IEEE, 2011
[16] Tollari, Sabrina, et al. "Exploiting visual concepts to improve text-based image retrieval." European Conference on Information Retrieval. Springer, Berlin, Heidelberg, 2009.
[17] Karthikeyan, T., P. Manikandaprabhu, and S. Nithya. "A survey on text and content-based image retrieval system for image mining." International Journal of Engineering 3 (2014).
[18] Al-Mohamade, Abeer, Ouiem Bchir, and Mohamed Maher Ben Ismail. "Multiple Query Content-Based Image Retrieval Using Relevance Feature Weight Learning." Journal of Imaging 6.1 (2020): 2.
[19] Douik, Ali, Mehrez Abdellaoui, and Leila Kabbai. "Content based image retrieval using local and global features descriptor." 2016 2nd International Conference on Advanced Technologies for Signal and Image Processing (ATSIP). IEEE, 2016. [20] Manolopoulos, Yannis, et al. R-trees: Theory and Applications. Springer Science
& Business Media, 2010.
[21] Chandresh Pratap Singh, "R-Tree implementation of image databases ". Signal & Image Processing: An International Journal (SIPIJ) Vol.2, No.4, December 2011. [22] Shifeng Wu1, Huazhu Song, Gui Cheng1, Xian Zhong, “Civil engineering
supervision video retrieval method optimization based on spectral clustering and R- tree”. The Natural Computing Applications Forum, 2018.
[23] Xia Tiantian, Lin Hong, Li Yuqiang, “Spatio-temporal Trajectory Gatherings Pattern Mining Method Based on R* tree Index”. 3rd International Conference for Convergence in Technology (I2CT), 2018.
[24] Xinlu Wang, Weiming Meng, Mingchuan Zhang, “A novel information retrieval method based on R-tree index for smart hospital information system”. International Journal of Advanced Computer Research, Vol 9(42), 2019.
[25] Yang Yang, Pengwei Bai, Ningling Ge, “LAZY R-tree: The R-tree with lazy splitting algorithm”. Journal of Information Science, pp. 1–15, 2019.
[26] Yuan Qiu, Xinhong Hei, Tadashi Ohmori, Hideyuki Fujita, “An Object-Pair Driven Approach for Top-k mCK Query Problem by Using Hilbert R-tree”. 18th IEEE International Conference On-Trust, Security And Privacy In Computing And Communications/13th IEEE International Conference On Big Data Science And Engineering, 2019.
[27] L.T.V. Thanh và cộng sự, “Một phương pháp cải tiến cho bài tốn tìm kiếm ảnh dựa trên cây R-Tree”, Tạp chí Khoa học và Cơng nghệ, Trường Đại học khoa học - Đại học Huế, T. 129, S. 2A, 2020.
[28] H. Cevikalp, M. Elmas, S. Ozkan (2017), "Large-scale image retrieval using transductive support vector machines", Computer Vision and Image Understanding, vol. no. pp.1-11.
[29] C.A. Hernández-Gracidas, Sucar, L.E. & Montes-y-Gómez (2013), "Improving image retrieval by using spatial relations", Multimed Tools Application, vol. 62, no. 2, pp. 479–505.
[30] Nguyễn Minh Hải, Lê Thị Vĩnh Thanh, Văn Thế Thành, Trần Văn Lăng, “Tra cứu ảnh theo ngữ nghĩa dựa trên cây phân cụm phân cấp”, Kỷ yếu Hội thảo Quốc gia về Nghiên cứu cơ bản và ứng dụng CNTT (FAIR), ĐH Huế, Nhà xuất bản Khoa học Tự nhiên và Công nghệ, ISBN: 978-604-913-915-4, tr.502-511, 2019.