Một cải tiến của cây KD-Tree cho bài toán tìm kiếm ảnh

Tìm kiếm ảnh là một bài toán được quan tâm và đã có nhiều phương pháp được công bố trong thời gian gần đây. Trong nghiên cứu này, nhóm tác giả xây dựng cây BKD-Tree, là một cải tiến của cây KD-Tree, bao gồm: (1) lưu trữ các đối tượng đa chiều tại nút lá của cây để tạo ra một mô hình phân cụm trên cơ sở phương pháp học bán giám sát; (2) tạo ra một cấu trúc cây nhị phân cân bằng nhằm tăng hiệu suất cho bài toán tìm kiếm ảnh.

Tạp chí Khoa học Cơng nghệ Thực phẩm 19 (2) (2019) 135-146 MỘT CẢI TIẾN CỦA CÂY KD-TREE CHO BÀI TỐN TÌM KIẾM ẢNH Nguyễn Thị Định1*, Lê Thị Vĩnh Thanh2, Nguyễn Thế Hữu1, Nguyễn Văn Thịnh1 Trường Đại học Công nghiệp Thực phẩm TP.HCM Trường Đại học Bà Rịa - Vũng Tàu *Email: dinhnt@hufi.edu.vn Ngày nhận bài: 10/10/2019; Ngày chấp nhận đăng: 06/12/2019 TĨM TẮT Tìm kiếm ảnh toán quan tâm có nhiều phương pháp cơng bố thời gian gần Trong nghiên cứu này, nhóm tác giả xây dựng BKD-Tree, cải tiến KD-Tree, bao gồm: (1) lưu trữ đối tượng đa chiều nút để tạo mơ hình phân cụm sở phương pháp học bán giám sát; (2) tạo cấu trúc nhị phân cân nhằm tăng hiệu suất cho tốn tìm kiếm ảnh Dựa sở lý thuyết đề nghị, nhóm tác giả đề xuất mơ hình truy vấn ảnh BKD-Tree đồng thời thực nghiệm ảnh ImageCLEF (gồm 20.000 ảnh) Kết thực nghiệm so sánh với số cơng trình gần liệu để minh chứng tính hiệu phương pháp đề xuất Kết thực nghiệm cho thấy, phương pháp nhóm tác giả hiệu áp dụng cho hệ thống tìm kiếm ảnh tương tự theo nội dung Từ khóa: KD-Tree, độ đo tương tự, phân cụm, ảnh tương tự, truy vấn ảnh TỔNG QUAN Dữ liệu đa phương tiện tăng nhanh theo thời gian thúc đẩy việc nghiên cứu triển khai phương pháp tìm kiếm ảnh [1] Trong thập niên gần đây, tốn tìm kiếm ảnh thực nhiều phương pháp tìm theo từ khóa TBIR (Text-based Image Retrieval), tìm theo nội dung CBIR (Content-based Image Retrieval) hay tìm theo ngữ nghĩa SBIR (Semantic-based Image Retrieval) nhiều cơng trình nghiên cứu cơng bố [1, 2] Việc tìm kiếm ảnh cần thực tập liệu lớn, việc gom cụm liệu theo chủ đề vấn đề tìm kiếm yêu cầu quan trọng toán truy vấn ảnh Ngày nay, nhiều phương pháp gom cụm liệu thực nhiều thuật toán khác như: gom cụm liệu sử dụng thuật toán Bees cấu trúc KD-Tree [3], gom cụm dùng liên kết động sử dụng KD-Tree [4], Từ thập niên 1980 có nhiều phương pháp truy vấn ảnh theo nội dung giới thiệu QBIC, Photobook, Visual-Seek, MARS, El Nino, CIRES, PicSOM, PicHunter, MIRROR, Virage, Netra, SIMPLIcity [5] Hầu hết cơng trình tập trung vào kỹ thuật trích xuất đặc trưng ảnh mà chưa quan tâm đến xây dựng mơ hình liệu nhằm giảm không gian lưu trữ tăng tốc độ truy vấn Bài báo đề xuất mơ hình phân cụm liệu dựa BKDTree để áp dụng cho tốn tìm kiếm ảnh tương tự theo nội dung Cây KD-Tree cấu trúc liệu giới thiệu từ năm 1970 để đánh mục đa chiều, cấu trúc liệu phân vùng không gian tổ chức thành điểm không gian k-chiều [6] Cây KD-Tree thuộc dạng nhị phân tìm kiếm mà nút 135 Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Nguyễn Thế Hữu, Nguyễn Văn Thịnh véc-tơ k-chiều Mỗi nút khơng phải nút chia không gian liệu thành hai phần mặt phẳng k-chiều Dựa KD-Tree nguyên thủy này, nhóm tác giả xây dựng BKDTree cải tiến nhị phân cân để ứng dụng cho toán tìm kiếm ảnh thực nghiệm ảnh ImageCLEF Cây BKD-Tree cải tiến dùng để lưu trữ véc-tơ đặc trưng thị giác hình ảnh phân đoạn Việc phân lớp liệu thực nút BKD-Tree để tạo cân nhằm hỗ trợ cho trình tìm kiếm nhanh tăng độ xác Trong nghiên cứu này, nhóm tác giả hướng tới số nội dung, bao gồm: (1) Cải tiến BKD-Tree trở thành nhị phân cân nhằm lưu trữ véc-tơ đặc trưng thị giác cấp thấp hình ảnh; (2) Đề xuất thuật tốn tạo cây; (3) Đề xuất mơ hình tìm kiếm ảnh tương tự dựa BKD-Tree; (4) Đề xuất thuật toán truy vấn ảnh tương tự theo nội dung BKD-Tree; (5) Xây dựng thực nghiệm so sánh kết với số phương pháp gần ảnh ImageCLEF Truy vấn ảnh dựa cấu trúc mơ hình nghiên cứu ứng dụng rộng rãi [2] Năm 2002, Otair thực khảo sát tính hiệu việc sử dụng KD-Tree để nâng cao hiệu tìm kiếm ảnh [6] Trong nghiên cứu này, nhóm tác giả đề xuất mơ hình VAM KD-Tree để tăng hiệu tìm kiếm ảnh đặc biệt giảm thiểu thời gian tìm kiếm Kết thực nghiệm tập hiệu gồm 10.115 ảnh với lược đồ màu có 4096 chiều Với VAM KD-Tree có 4096 chiều, kết cơng trình cải thiện thời gian truy vấn ảnh nhanh gấp lần so với cách tìm kiếm tuyến tính [7] Năm 2007, Redmond and Heneghan sử dụng thuật toán k-Means kết hợp với thuật toán Katsavounidis thực nghiệm 36 liệu tổng hợp liệu UCI (UC Irvine Machine Learning Repository) [8] Kết thực nghiệm cải thiện hiệu suất phân loại liệu KD-Tree đồng thời nâng cao hiệu giảm độ phức tạp thuật tốn tìm kiếm Thuật tốn đề xuất cải thiện q trình phân cụm, sở cho việc nghiên cứu mở rộng R+_Tree Bkd-Tree [8] Năm 2009, tác giả H AI-Jabbouli đề xuất thuật toán Bees thực gom cụm tập liệu mờ dựa vào cấu trúc KD-Tree [3] Trong cơng trình này, nhóm tác giả khắc phục nhược điểm thuật toán K-means, đồng thời kết hợp thuật toán K-means Cmeans để tìm phương pháp gom cụm tối ưu gọi thuật toán Bees Kết thực nghiệm nhiều liệu cho thấy thuật tốn Bees có nhiều cải tiến so với thuật toán k-Means Năm 2011, Velmurugan & Baboo đề xuất thuật tốn tìm kiếm ảnh tương tự theo nội dung dựa KD-Tree Trong nghiên cứu này, tác giả kết hợp đặc trưng SURF (Speed up robust feature) với đặc trưng màu sắc để nâng cao độ xác cho hệ tìm kiếm ảnh với kết đạt 88% [9] Năm 2011, Zouaki & Abdelkhalak dựa cấu trúc KD-Tree đề xuất mơ hình truy vấn ảnh cách lập mục với vị trí chúng ảnh nhằm giảm kích thước đối tượng, giảm thời gian tính tốn với độ đo tương tự sử dụng khoảng cách EMD Trong phương pháp tác giả thực nghiệm mang lại kết cao độ xác [10] Năm 2016, Jayashree Das Minakshi Gogoi đề xuất phương pháp lập mục xây dựng hệ thống truy vấn ảnh dựa KD-Tree k-chiều Nhóm tác giả trích xuất đặc trưng màu sắc đối tượng ảnh, sau KD-Tree xây dựng dựa đặc trưng màu sắc trích xuất để lập mục Phương pháp giảm đáng kể thời gian truy vấn ảnh KD-Tree Kết thực nghiệm so sánh với phương pháp lập mục hình ảnh để tìm kiếm mà khơng sử dụng KD-Tree thời gian tìm kiếm giảm 𝑂(log⁡(𝑛)) Kết luận cho thấy KD-Tree có thời gian tìm kiếm nhanh tứ phân QuadTree kết tìm kiếm KD-Tree có độ xác cao [11] Năm 2014, Logamani & Punitha đề xuất phương pháp gom cụm liệu dựa KD-Tree với thuật toán k-NN [12] Phương pháp so sánh với phương pháp trước 136 Một cải tiến KD-tree cho tốn tìm kiếm ảnh thời gian tìm kiếm giảm đáng kể [6] Theo Logamani & Punitha năm 2014 đưa mơ hình phân cụm liệu dựa KD-Tree Nhóm tác giả thực gom cụm liệu phương pháp k-Means đồng thời xây dựng KD-Tree tăng trưởng nên việc xây dựng nhiều thời gian thích hợp cho tốn có liệu gia tăng [12] Năm 2015, Kumar & Pavithra giới thiệu mơ hình biểu diễn lập mục đối tượng cần truy vấn Trong nghiên cứu này, sở liệu đầu vào lớn nên thời gian truy xuất lâu Một giải pháp cho tăng tốc trình truy xuất thiết kế mơ hình lập mục Tác giả nghiên cứu chế lập mục KD-Tree cho hệ thống truy xuất liệu dựa đặc trưng SIFT (Scale Invariant Feature Transform), biểu đồ phân lớp HOG (Histogram of Gradients), biểu đồ hướng cạnh EOH (Edge orientation histograms) hình dạng SC (Shape context) [13] Năm 2017, Cevikalpa et al đề xuất phương pháp truy vấn ảnh cách sử dụng nhị phân phân cấp kết hợp với máy vectơ hỗ trợ chuyển đổi (TSVM) Hệ thống triển khai thực nghiệm đánh giá liệu ImageCLEF, hiệu suất truy vấn thu với độ xác 46,78% [14] Cùng thời điểm đó, nhóm tác giả Jiu & Sahbi đề xuất phương pháp để truy vấn ảnh Trong phương pháp này, tác giả kết hợp mạng nhiều lớp học sâu đồng thời kết hợp kỹ thuật máy hỗ trợ vec-tơ (SVM) để phân lớp hình ảnh Phương pháp thực nghiệm liệu ImageCLEF với hiệu suất truy vấn độ xác 59,70% [15] Năm 2019 có số cơng trình truy vấn ảnh thực nghiệm ảnh ImageCLEF, cụ thể mơ hình truy vấn ảnh dựa phân cụm tự cân C-Tree [16], với C-Tree nhóm tác giả thực nghiệm ảnh ImageCLEF gồm 7092 hình ảnh truy vấn kết độ xác 65%, thời gian truy vấn trung bình 73.0605 ms Bên cạnh đó, mơ hình truy vấn ảnh dựa phân cụm phân cấp H-Tree thực nghiệm ảnh với tổng số ảnh truy vấn 7000 kết độ xác 67% [17] Ngồi ra, nhiều cơng trình nghiên cứu tìm kiếm ảnh tương tự dựa cấu trúc liệu dạng tạo mục chữ ký [18]; truy vấn ảnh dựa độ đo EMD S-Tree [2] Mơ hình truy vấn ảnh dựa phân cụm đa nhánh cân [19] v.v thu kết khả quan Từ phân tích cơng trình liên quan cho thấy mơ hình truy vấn ảnh dựa cấu trúc mơ hình đánh giá khả thi có tính hiệu Do báo này, nhóm tác giả tiếp cận theo phương pháp tổ chức cải tiến KD-Tree để trở thành nhị phân cân BKD-Tree nhằm lưu trữ liệu đặc trưng cấp thấp tập liệu ảnh, đồng thời truy vấn nhanh hình ảnh tương tự Cuối cùng, nhóm tác giả thực nghiệm ảnh ImageCLEF để chứng minh cho mơ hình truy vấn ảnh đề xuất dựa cấu trúc BKDTree hiệu CƠ SỞ LÝ THUYẾT 2.1 Mô tả BKD-Tree cải tiến Cây BKD-Tree xây dựng cấu trúc liệu lưu trữ tập liệu ảnh, phân cụm tự động phần tử nút tìm kiếm phần tử xây dựng, từ thực việc cải tiến q trình tìm kiếm ảnh tương tự cách tăng tốc độ truy xuất mà đảm bảo độ xác Cây KD-Tree nguyên thủy lưu trữ liệu tất nút mà nút véc-tơ k-chiều Trong trường hợp này, áp dụng cho tốn có tập liệu tăng trưởng KD-Tree tăng trưởng nhanh theo chiều sâu làm cân Do đó, cần xây dựng BKD-Tree cân để thời gian tìm kiếm nút gần Nhóm tác giả cải tiến thành BKD-Tree với nút lưu liệu thành phần x i véc-tơ 137 Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Nguyễn Thế Hữu, Nguyễn Văn Thịnh 𝑉𝑡𝑏 = (𝑥0, ⁡, 𝑥1 … , 𝑥𝑘−1 ) với k chiều cao cây, đồng thời xây dựng mơ hình tìm kiếm ảnh tương tự theo nội dung dựa kỹ thuật tổ chức lưu trữ liệu BKD-Tree cải tiến đề xuất Cây BKD-Tree cải tiến nhị phân cân bằng, liệu lưu trữ nút dùng để phân cụm, nút không dùng lưu liệu mà để phân lớp Tại mức nút giá trị phân lớp, từ mức thứ đến mức thứ k hình thành véc-tơ k-chiều để phân lớp liệu Cấu trúc BKD-Tree xây dựng dùng để lưu trữ truy vấn tập ảnh tương tự ảnh ImageCLEF Trong ảnh này, ảnh chia thành nhiều vùng, vùng trích xuất véc-tơ đặc trưng có m thuộc tính Vì vậy, xây dựng BKDTree tương ứng m chiều số nút 2m, ảnh ImageCLEF chia thành 276 phân lớp khác Vì vậy, chiều cao cần thiết để lưu trữ tập liệu log 276 ≈ 8.1 Do đó, nhóm tác giả chọn thuộc tính véc-tơ đặc trưng ảnh ImageCLEF để tiến hành xây dựng BKD-Tree có chiều cao h = đủ để lưu tập liệu thực nghiệm 2.2 Xây dựng cấu trúc BKD-Tree Cây BKD-Tree xây dựng gồm nút gốc (root) nhiều nút (iNode), nút gốc nút ln có nút Nút (lvNode) nơi lưu liệu đồng thời đóng vai trò để phân cụm liệu Gọi 𝑉𝑡𝑏 = (𝑥0, ⁡, 𝑥1 … , 𝑥𝑘−1 ) véc-tơ trung bình liệu ban đầu, cấu trúc nút gốc, nút nút định nghĩa sau: Định nghĩa: Cây BKD-Tree nhị phân cân thỏa mãn: a) Nút gốc nút khơng có nút cha có tối đa nút 𝑙𝑒𝑓𝑡, 𝑟𝑖𝑔ℎ𝑡 Thành phần nút gốc 𝑟𝑜𝑜𝑡 =< 𝑥, 𝑙𝑒𝑓𝑡, 𝑟𝑖𝑔ℎ𝑡 > Trong đó, 𝑥 = 𝑥0 ; 𝑙𝑒𝑓𝑡, 𝑟𝑖𝑔ℎ𝑡 lần lược liên kết đến trái phải b) Nút 𝑖𝑁𝑜𝑑𝑒 =< 𝑥, 𝑖𝑙𝑒𝑓𝑡, 𝑖𝑟𝑖𝑔ℎ𝑡 >, với 𝑥 = 𝑥𝑙 ⁡là giá trị mức thứ l c) Nút ⁡𝑙𝑣𝑁𝑜𝑑𝑒 =< 𝑓𝑖 , 𝑖𝑑𝑖 > nút nút con, 𝑓𝑖 , 𝑖𝑑𝑖 véc-tơ đặc trưng định danh ảnh thứ i Trên sở Định nghĩa nút cây, q trình tạo BKD-Tree mơ tả sau: Bước 1: Tại thời điểm ban đầu BKD-Tree có nút gốc 𝑟𝑜𝑜𝑡 = ∅, với mức 𝑙0 = Bước 2: Tính véc-tơ trung bình liệu ban đầu 𝑉𝑡𝑏 = (𝑥0, ⁡, 𝑥1 … , 𝑥𝑘−1 ) gán giá trị nút gốc 𝑟𝑜𝑜𝑡 𝑥 = 𝑥0 Bước 3: Gán giá trị nút mức 𝑙𝑖 𝑥𝑖 Bước 4: Với vec-tơ 𝑓𝑗 = (𝑥𝑗0, ⁡, 𝑥𝑗1 … , 𝑥𝑗(𝑘−1) ) so sánh giá trị 𝑥𝑖 ⁡(𝑖 = 𝑚 − 1) với giá trị 𝑥𝑗𝑙 ⁡(𝑖 = 𝑚 − 1) Nếu 𝑥𝑗𝑙 > 𝑥𝑖 ⁡⁡thì vec-tơ 𝑓𝑗 ⁡ thuộc bên phải; ngược lại 𝑓𝑗⁡ thuộc bên trái Quá trình lặp lại tìm nút 𝑓𝑗 lưu vào nút Trên sở Định nghĩa thành phần cây, nhóm tác giả xây dựng BKD-Tree có chiều cao ℎ = 𝑚 nút tồn nút trái nút phải, mức (𝑚 − 1) nút lưu trữ nút Bên cạnh đó, chiều cao trái chiều cao phải ℎ𝑙 = ℎ𝑟 = 𝑚 Vậy BKD-Tree xây dựng nhị phân cân Định lý: Với véc-tơ đặc trưng 𝑓𝑖 ảnh I, ta có: a) Tồn nút BKD-Tree để lưu trữ véc-tơ 𝑓𝑖 ⁡Véc-tơ đặc trưng 𝑓𝑖 lưu trữ nút phải phù hợp độ đo tương tự b) Véc-tơ đặc trưng 𝑓𝑖 ⁡được lưu trữ nút phải phù hợp độ đo tương tự 138 Một cải tiến KD-tree cho toán tìm kiếm ảnh Chứng minh: a) Tính tồn tại: Vì BKD-Tree nhị phân cân bằng, liệu lưu trữ nút Do đó, nút BKD-Tree tồn nhánh trái nhánh phải để véc-tơ 𝑓𝑖 tìm đến vị trí nút phù hợp Do đó, tồn nút để lưu trữ véc-tơ 𝑓𝑖 Tính nhất: Duyệt từ nút gốc cây, nút BKD-Tree, ta chọn hướng (trái phải) để tìm vị trí lưu trữ vec-tơ đặc trưng 𝑓𝑖 Do đó, ta chọn nút phù hợp để lưu trữ vec-tơ 𝑓𝑖 , nghĩa vec-tơ 𝑓𝑖 thuộc nút b) Vì lần thực thêm phần tử fi vào nút BKD-Tree, ta phải duyệt từ nút gốc tìm nhánh gần nên việc chọn nhánh kế cận có độ tương tự gần (phù hợp nhất) Do đó, kết q trình tìm nút phù hợp để thêm phần tử 𝑓𝑖 vào BKD-Tree 2.3 Thuật toán tạo BKD-Tree Thuật toán tạo - IEBKT Input: Tập phần tử 𝑓𝑣 cần thêm vào BKD-Tree Output: Cây BKD-Tree Function IEBKT (𝑓𝑣 , 𝐵𝐾𝐷 − 𝑇𝑟𝑒𝑒, m) Begin 𝐵𝐾𝐷 − 𝑇𝑟𝑒𝑒 = ∅; 𝑉𝑡𝑏 = (𝑥0, ⁡, 𝑥1 … , 𝑥𝑙 ) = 𝑎𝑣𝑔⁡{𝑥𝑖𝑗 :⁡⁡𝑖 = 𝑚 − 1; ⁡𝑗 = 𝑚 − 1} 𝑟𝑜𝑜𝑡 𝑥 = 𝑥0 ; 𝑙0 =0; If (𝑓𝑣 𝑥𝑚 < 𝑉𝑡𝑏 𝑥𝑚 ) then BKD-Tree = BKD-Tree ∪⁡IEBKT (𝑓𝑣 𝑥𝑙 , BKDTree.left, m+1) Else BKD-Tree = BKD-Tree ∪ IEBKT (𝑓𝑣 𝑥𝑙 , BKD-Tree.right, m+1) EndIf Return BKD-Tree; End Mệnh đề 1: Độ phức tạp thuật toán IEBKT 𝑂(𝑛) Với n số phần tử cần thêm vào BKD-Tree Chứng minh: Gọi m, n chiều cao số phần tử cần chèn vào Với phần tử cần chèn vào cây, Thuật toán IEBKT duyệt qua m mức nhằm tìm nút phù hợp để chèn phần tử vào Do đó, số phép tốn so sánh thuật toán m*n Mặc khác, n thường lớn nhiều so với m, độ phức tạp Thuật tốn IEBKT 𝑂(𝑛)  Nhằm giảm khơng gian lưu trữ tăng tốc độ truy vấn ảnh, báo xây dựng cấu trúc BKD-Tree tổ chức lưu trữ liệu nút lá, nút đóng vai trò trung gian Dữ liệu lưu trữ vec-tơ đặc trưng 𝑓𝑖 ⁡của ảnh I phân đoạn Trên vùng ảnh phân đoạn, vec-tơ đặc trưng vùng trích xuất dựa đặc trưng thị giác màu sắc, vị trí, hình dạng, kết cấu v.v Mỗi vec-tơ đặc trưng thị giác gán nhãn để mô tả nội dung thị giác cho vùng ảnh tương ứng Như hình ảnh trích xuất nhiều vec-tơ đặc trưng k-chiều Sau tạo BKD-Tree theo quy tắc trên, tốn tìm kiếm ảnh tương tự theo nội dung nâng cao hiệu hiệu suất truy vấn tốc độ tìm kiếm 139 Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Nguyễn Thế Hữu, Nguyễn Văn Thịnh 2.4 Truy vấn ảnh BKD-Tree Mỗi ảnh ImageCLEF chia thành nhiều vùng vùng ảnh thuộc nhiều phân lớp khác Các vùng ảnh phân đoạn ảnh 18161.JPG gồm ảnh phân đoạn minh họa Hình Hình Ảnh gốc vùng ảnh phân đoạn Trên cở sở thuật toán tạo BKD-Tree (IEBKT), trình truy vấn ảnh thực cách: Một ảnh gồm nhiều vùng ảnh tương ứng, vùng ảnh trích xuất véc-tơ đặc trưng, trình truy vấn để tìm tập ảnh tương tự hình ảnh cần truy vấn thực dựa vào véc-tơ đặc trưng vùng Hệ thống thực tìm kiếm ảnh tương tự cách so sánh vec-tơ đặc trưng 𝑓𝑖 = (𝑥𝑖0, ⁡, 𝑥𝑖1 … , 𝑥𝑖(𝑚−1) ) vùng ảnh truy vấn với thành phần tương ứng vec-tơ trung bình 𝑉𝑡𝑏 = (𝑥0, ⁡, 𝑥1 … , 𝑥𝑙 ) BKDTree theo hướng từ nút gốc đến nút theo quy tắc xây dựng BKD-Tree đề xuất Kết trình tập hợp nút chứa véc-tơ đặc trưng vùng thuộc ảnh cần truy vấn Quá trình minh họa cấu trúc mơ hình truy vấn ảnh BKD-Tree Hình Hình Cấu trúc mơ hình truy vấn ảnh BKD-Tree XÂY DỰNG THỰC NGHIỆM 3.1 Mơ hình truy vấn ảnh Tập ảnh tương tự với ảnh cần truy vấn I tra cứu cách duyệt qua nút từ gốc đến dựa vào giá trị 𝑓𝑖 𝑥𝑖𝑙 véc-tơ đặc trưng vùng ảnh cần truy vấn so sánh với giá trị nút trung gian, 𝑓𝑖 𝑥𝑖𝑙 < 𝑉𝑡𝑏 𝑥𝑙⁡ thực tìm kiếm sang nhánh trái ngược lại Quá trình đệ quy đến tìm đến nút dừng Tập nút có chứa véc-tơ đặc trưng vùng ảnh I tập ảnh tương tự cần tìm 140 Một cải tiến KD-tree cho tốn tìm kiếm ảnh Hình Mơ hình truy vấn ảnh theo nội dung dựa BKD-Tree 3.2 Quá trình truy vấn ảnh mô tả sau: Bước 1: Trích xuất tập tập véc-tơ đặc trưng 𝑓𝑣 tập liệu ảnh ban đầu Bước 2: Từ tập véc-tơ đặc trưng này, xây dựng BKD-Tree theo thuật toán đề xuất Bước 3: Trích xuất véc-tơ đặc trưng ảnh cần truy vấn truy vấn trực tiếp BKD-Tree Bước 4: Sắp xếp tập ảnh tương tự với ảnh cần truy vấn KẾT QUẢ THỰC NGHIỆM 4.1 Cài đặt thực nghiệm Hệ truy vấn ảnh theo nội dung CBIR_BKD-Tree thực nghiệm liệu ImageCLEF lưu trữ 41 thư mục Mỗi ảnh phân đoạn thành vùng gán nhãn, có véc-tơ đặc trưng thuộc phân lớp Bộ liệu ảnh có 99.535 vùng, phân thành 276 lớp Thực nghiệm truy vấn ảnh CBIR-BKD-Tree xây dựng tảng dotNET Framework 4.5, ngơn ngữ lập trình C# Các đồ thị xây dựng Mathlab 2015 Cấu hình máy tính thực nghiệm: Intel(R) Core™ i5-5200U, CPU 2.2GHz, RAM 8GB hệ điều hành Windows 10 Professional 4.2 Đánh giá kết thực nghiệm Kết thực nghiệm đánh giá liệu imageCLEF chứa 20.000 ảnh Để đánh giá hiệu suất phương pháp tìm kiếm ảnh, phần thực nghiệm đánh giá giá trị gồm: độ xác (precision), độ phủ (recall) độ đo dung hòa F-measure Cơng thức tính giá trị sau: |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡⁡𝑖𝑚𝑎𝑔𝑒𝑠⁡ ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑⁡𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑⁡𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡⁡𝑖𝑚𝑎𝑔𝑒𝑠⁡ ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑⁡𝑖𝑚𝑎𝑔𝑒𝑠| 𝑟𝑒𝑐𝑎𝑙𝑙 = |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡⁡𝑖𝑚𝑎𝑔𝑒𝑠| (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙) 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = × (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙) 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = Trong đó, relavant images tập ảnh tương tự với ảnh truy vấn có tập liệu ảnh, retrieved images tập ảnh tìm kiếm Các giá trị độ xác, độ phủ độ dung hòa tính theo tỷ lệ % quy đổi thành giá trị đoạn [0, 1] Nhóm tác giả thu kết thực nghiệm cho hiệu suất truy xuất hình ảnh phương pháp đề xuất tập liệu ImageCLEF Bảng 1, có 7079 hình ảnh truy vấn; trung bình hiệu suất độ xác 60,92%, độ phủ 49,84%, độ dung hòa 53,49%, thời gian truy vấn trung bình 28,15(ms) 141 Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Nguyễn Thế Hữu, Nguyễn Văn Thịnh Hình Hệ truy vấn ảnh CBIR_BKD-Tree 142 Một cải tiến KD-tree cho tốn tìm kiếm ảnh Bảng Hiệu suất truy xuất hình ảnh theo phương pháp đề xuất liệu ImageCLEF Chủ đề Số ảnh Trung bình độ xác Trung bình độ phủ Trung bình độ dung hòa Thời gian truy vấn trung bình (ms) 00-10 1675 0,591724 0,461117 0,511076 27,565764 11-20 1674 0,638282 0,454543 0,522616 30,768464 21-30 1746 0,612864 0,483218 0,528895 27,575644 31-40 1984 0,594311 0,594797 0,577076 26,676857 AVG 7079 0,609295 0,498418 0,534916 28,146682 Hình Đồ thị Precision – Recall đường cong ROC hệ CBIR_BKD-Tree liệu ImageCLEF Đồ thị giá trị Precision-Recall đường cong ROC cho liệu ImageCLEF minh họa Hình Đồ thị cho thấy diện tích nằm đường cong Precision-Recall chưa cao, tính xác hệ truy vấn nằm tập trung vùng 0.5 đến 0.7 Tuy nhiên, có vài tập ảnh cho độ xác cao nằm vùng [0.8, 1.0] Đồ thị đường cong ROC biểu diễn giá trị true positive false positive, giá trị chủ yếu nằm tập trung đường baseline Hiệu suất thực thi hệ thống tập liệu ImageCLEF Các giá trị hiệu suất (Precision, Recall, F-measure) 0,95 0,9 0,85 0,8 0,75 0,7 0,65 Precision 0,6 0,55 Recall 0,5 0,45 F-measure 0,4 0,35 0,3 0,25 10 20 30 40 Các chủ đề tập liệu ImageCLEF Hình Trung bình Precision, Recall, F-measure hệ CBIR_BKD-Tree tập liệu ImageCLEF 143 Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Nguyễn Thế Hữu, Nguyễn Văn Thịnh Hình Thời gian truy vấn trung bình hệ CBIR_BKD-Tree tập liệu ImageCLEF Các đồ thị Hình mơ tả giá trị trung bình độ xác, độ phủ, độ dung hồ thời gian truy vấn trung bình liệu ImageCLEF Từ đồ thị cho thấy, tính xác truy vấn nằm mức trung bình, cần cải thiện thêm để nâng cao hiệu suất truy vấn Độ phủ truy vấn thấp nên độ dung hoà truy vấn chưa cao Tuy nhiên, tốc độ truy vấn nhanh cho thấy, hệ thống truy vấn ảnh CBIR_BKD-Tree đánh giá tốt thời gian truy vấn Giá trị trung bình độ xác MAP hệ truy vấn CBIR_BKD-Tree so sánh với phương pháp khác liệu ImageCLEF, thể Bảng Bảng So sánh độ xác phương pháp liệu ImageCLEF Phương pháp Giá trị trung bình độ xác (MAP) H Cevikalp, 2017 [14] 0,4678 M Jiu, 2017 [15] 0,5970 CBIR_BKD-Tree 0,6092 Từ kết so sánh Bảng cho thấy, hệ truy vấn hình ảnh CBIR-BKD-Tree có độ xác tốt so với nghiên cứu gần lĩnh vực liệu Kết chứng minh rằng, phương pháp đề xuất nhóm tác giả hiệu có khả phát triển KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong báo này, nhóm tác giả xây dựng cấu trúc BKD-Tree nhị phân cân áp dụng cho tốn tìm kiếm ảnh tương tự Nhóm tác giả đề xuất mơ hình truy vấn ảnh dựa BKD-Tree thực nghiệm ảnh ImageCLEF có độ xác 60,92%, độ phủ 49,84%, độ dung hòa 53,49%, thời gian truy vấn trung bình 28,15 (ms) Kết thực nghiệm so sánh với công trình khác tập liệu ảnh, đồng thời so sánh với phương pháp dựa cấu trúc lưu trữ KD-Tree Thực nghiệm cho thấy tính đắn hiệu phương pháp đề xuất Phương pháp đề xuất nhóm tác giả làm tăng đáng kể hiệu suất truy vấn ảnh, đáp ứng yêu cầu người dùng Tuy nhiên, việc xây dựng BKD-Tree phụ thuộc nhiều vào vec-tơ trung bình tập liệu ban đầu Do đó, hướng phát triển nhóm tác giả tạo mục với nút liên kết tới phần tử bảng tra cứu, với bảng tra cứu xây dựng cách độc lập với BKD-Tree để từ tăng tính hiệu việc phân lớp BKD-Tree 144 Một cải tiến KD-tree cho tốn tìm kiếm ảnh Lời cảm ơn: Trân trọng cảm ơn nhóm nghiên cứu SBIR-HCM Trường Đại học Sư phạm Thành phố Hồ Chí Minh hỗ trợ chun mơn sở vật chất giúp nhóm tác giả hoàn thành nghiên cứu TÀI LIỆU THAM KHẢO Thanh The Van, Nguyen Van Thinh, Thanh Manh Le - The method proposal of image retrieval based on K-means algorithm, Advances in Intelligent Systems and Computing 746 (2) (2018) 481-490 Thanh The Van, Manh Thanh Le - Image Retrieval system based on EMD similarity measure and S-Tree, ICITES-2012, Springer Verlag, LNEE 234 (2013) 139-146 AI-Jabbouli H - Data clustering using the bee algorithm and the KD-Tree structure, PhD Thesis, Cardiff University, United Kingdom, 2009 Abudalfa S., Mikki M - A dynamic linkage clustering using KD-Tree, The International Arab Journal of Information Technology 10 (3) (2013) 283-289 Văn Thế Thành, Lê Mạnh Thạnh - Truy vấn ảnh tri thức dựa chữ ký nhị phân, Tạp chí Khoa học Đại học Huế 97 (9) (2014) 1-20 Otair M - Approximate K-nearest neighbour based spital clustering using K-D Tree, International Journal of Database Management Systems (1) (2013) 97-108) He Y., Lu G and Teng S - An investigation of using K-d Tree to improve image retrieval efficency, DICTA2002: Digital Image Computing Techniques and Application, Melbourne, Australia (2002) Redmond S.J., Heneghan C - A method for initialising the K-Means clustering algorithm using KD-Tree, Patter Recognition Letters 28 (8) (2007) 965-973 Velmurugan K., Baboo L.D - Content-based image retrieval using surf and color moment, Global Journal of Computer Science and Technology 11 (10) (2011) 10 Zouaki H., Abdelkhalak B - Indexing and content based image retrieval, International Conference on Multimedia Computing and System (2011) 1-5 11 Jayashree Das, Minakshi Gogoi - Indexing of voluminous data using K-DTree with reference to CBIR, International Journal of Computer Sciences and Engineering (7) (2016) 117-124 12 Logamani K, Punitha S C - Density base clustering using enhanced KD Tree, International Jounal of Computer Science Engineering and Technology (11) (2014) 314-318 13 Kumar Y.H.S, Pavithra N - KD-Tree approach in sketch based image retrieval, MIKE 2015: Proceedings of the Third International Conference on Mining Intelligence and Knowledge Exploration 9468 (2015) 247-258 14 Cevikalpa H., Elmas M., Ozkan S - Large-scale image retrieval using transductive support vector machines, Computer Vision and Image Understanding (2017) 1-11 15 Jiu M., Sahbi H - Nonlinear deep kernel lerning for image annotation, IEEE Transation on Image Processing 26 (2017) 1820-1832 16 Nguyen Thi Uyen Nhi, Van The Thanh, Le Manh Thanh - A self balanced clustering tree apply for semantic-based image retrieval, Fundamental and Applied IT Research (FAIR), Hue University, 2019 145 Nguyễn Thị Định, Lê Thị Vĩnh Thanh, Nguyễn Thế Hữu, Nguyễn Văn Thịnh 17 Nguyễn Minh Hải, Lê Thị Vĩnh Thanh, Văn Thế Thành, Trần Văn Lăng - Tra cứu ảnh theo ngữ nghĩa dựa phân cụm phân cấp, Kỷ yếu hội thảo khoa học quốc gia nghiên cứu ứng dụng, 2019 18 Nascimento M.A., Tousidou E., Chitkara V., Manolopoulos Y - Image indexing and retrieval using signature tree, Data and Knowledge Engineering 43 (1) (2002) 57-77 19 Văn Thế Thành, Nguyễn Phương Hạc - Một phương pháp tra cứu liệu ảnh dựa phân cụm phân cấp đa nhánh cân bằng, Tạp chí Khoa học Cơng nghệ Thực phẩm 18 (1) (2019) 140-153 ABSTRACT AN IMPROVEMENT OF KD-TREE FOR THE IMAGE RETRIEVAL PROBLEM Nguyen Thi Dinh1*, Le Thi Vinh Thanh2 Nguyen The Huu1, Nguyen Van Thinh1 Ho Chi Minh City University of Food Industry Baria Vungtau University *Email: dinhnt@hufi.edu.vn Searching for images is a concerned problem and many methods have been published recently In this paper, we builded a data clustering model based on the KD-Tree to apply to the image search problem, in which the improved BKD Tree tree includes: (1) storing multidimensional data objects at the leaf nodes of trees to create a clustering model on the basis of semi-supervised learning method; (2) creating a balanced tree structure to increase the efficiency of image searching Based on the proposed theory, we proposed the image query model based on KD-Tree and simultaneous experiment on ImageCLEF dataset (including 20,000 images) Our empirical results were compared with several recent works on the same dataset to demonstrate the effectiveness of the proposed method The experimental results show that our method is effective and can be applied to content-based similar image search systems Keywords: KD-Tree, clustering, similar image, similar measure, image retrieval 146 ... quy đến tìm đến nút dừng Tập nút có chứa véc-tơ đặc trưng vùng ảnh I tập ảnh tương tự cần tìm 140 Một cải tiến KD-tree cho tốn tìm kiếm ảnh Hình Mơ hình truy vấn ảnh theo nội dung dựa BKD-Tree... Thịnh Hình Hệ truy vấn ảnh CBIR_BKD-Tree 142 Một cải tiến KD-tree cho toán tìm kiếm ảnh Bảng Hiệu suất truy xuất hình ảnh theo phương pháp đề xuất liệu ImageCLEF Chủ đề Số ảnh Trung bình độ xác... mặt phẳng k-chiều Dựa KD-Tree nguyên thủy này, nhóm tác giả xây dựng BKDTree cải tiến nhị phân cân để ứng dụng cho tốn tìm kiếm ảnh thực nghiệm ảnh ImageCLEF Cây BKD-Tree cải tiến dùng để lưu trữ