Một phương pháp cải tiến cho bài toán tìm kiếm ảnh dựa trên cây R-Tree

Bài viết xây dựng mô hình phân cụm dữ liệu cho đặc trưng hình ảnh dựa trên cây RG-Tree (một cải tiến của cây R-Tree). Cây RG-Tree là cây tăng trưởng và là một mô hình phân cụm tự động các bộ dữ liệu dựa trên kỹ thuật phân cụm k-Mean, k-NN theo mô hình học bán giám sát.

Tạp chí Khoa học Đại học Huế: Kỹ thuật Công nghệ; pISSN 2588-1175 | eISSN 2615-9732 Tập 129, Số 2A, 2020, Tr 31–47; DOI: 10.26459/hueuni-jtt.v129i2A.5647 MỘT PHƯƠNG PHÁP CẢI TIẾN CHO BÀI TỐN TÌM KIẾM ẢNH DỰA TRÊN CÂY R-TREE Lê Thị Vĩnh Thanh1, Nguyễn Thị Định2, Nguyễn Minh Hải3, Văn Thế Thành4* Trường Đại học Bà Bịa – Vũng Tàu Khoa Công nghệ thông tin, Trường Đại học Công nghiệp Thực phẩm TP.HCM Khoa Vật Lý, Trường Đại học Sư phạm TP.HCM Phòng Quản lý khoa học Đào tạo sau đại học, Trường Đại học Cơng nghiệp Thực phẩm TP.HCM Abstract Tóm tắt Trong báo chúng tơi trình bày cải tiến cho phân cụm RTree, ký hiệu RG-Tree (Region Growth Tree), nhằm nâng cao hiệu tìm kiếm ảnh tương tự theo nội dung Trong cải tiến này, chúng tơi lưu trữ véc-tơ đặc trưng hình ảnh nút RG-Tree theo quy tắc phân hoạch đề xuất Cây RG-Tree tăng trưởng nhằm lưu trữ vùng liệu phân bố nút tạo thành cụm liệu Việc phân hoạch thực phân bố phần tử giống thuộc nhóm nhánh RG-Tree Trên sở lý thuyết đề nghị, mô hình tìm kiếm ảnh thiết kế dựa RG-Tree thực nghiệm ảnh ImageCLEF Cuối tiến hành so sánh hiệu suất tìm kiếm với số phương pháp gần liệu Từ khoá: RG-Tree, CBIR, Similar Images, Similarity Measure, Image Retrieval Giới thiệu Để giải tốn tìm kiếm ảnh theo nội dung (content-based image retrieval - CBIR) Hai vấn đề cần thực bao gồm (1) tạo véc-tơ đa chiều nhằm mô tả đặc trưng nội dung cấp thấp hình ảnh, (2) xây dựng mơ hình thực tìm kiếm ảnh tương tự dựa đặc trưng cấp cao hình ảnh Một số kỹ thuật tạo mục đa chiều cho tập véc-tơ đặc trưng kỹ thuật tạo mục dựa đặc trưng cấp thấp phân vùng liệu ảnh [1, 8, 11], kỹ thuật lập mục dựa đặc trưng không gian lưu trữ KD-Tree [7], Quard- Tree [14], RTree [1, 2], v.v Trong đó, KD-Tree cấu trúc lưu trữ mục dựa phân vùng không gian, Quard- Tree, R-Tree cấu trúc lưu trữ mục dựa phân vùng liệu R-Tree đa nhánh cân liệu lưu nút dùng để phân vùng liệu thành khối lồng chồng lên nhau, giới thiệu Guttman vào năm 1984 [5] Các cấu trúc ứng dụng hiệu việc lưu trữ tìm kiếm liệu hình ảnh [1, 9, 10] Trong báo này, xây dựng mơ hình phân cụm liệu cho đặc trưng hình ảnh dựa RG-Tree (một cải tiến R-Tree) Cây RG-Tree tăng trưởng mô * Liên hệ: thanhvt@hufi.edu.vn Nhận bài: 13–01–2020; Hoàn thành phản biện: 21–01–2020; Ngày nhận đăng: 22–01–2020 Lê Thị Vĩnh Thanh CS Tập 129, Số 2A, 2020 hình phân cụm tự động liệu dựa kỹ thuật phân cụm k-Mean, k-NN theo mơ hình học bán giám sát Các cơng trình liên quan Trong năm gần đây, hệ thống tìm kiếm ảnh thực nhiều phương pháp khác mang lại kết tốt C P Singh cộng sử dụng phương pháp dò cạnh Sobel dựa vào độ đo tương tự để thực tìm kiếm ảnh cấu trúc R-Tree [1] Nam N.V Bac L.H đề xuất phương pháp gom cụm thực cấu trúc R-Tree [2] N Amoda R K Kulkarni đề xuất hệ thống tìm kiếm hình ảnh dựa vùng RBIR (Region based Image Retrieval) [3] Shama P.S, cộng đề xuất hệ thống tìm kiểm ảnh dựa theo nội dung dựa cấu trúc R*-Tree để xác định hình ảnh thực vật [4] Van T.T cộng giới thiệu phương pháp cải tiến cho hệ tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân S-Tree [5] Các cơng trình thực nhiều phương pháp thực nghiệm liệu khác thu kết khả quan, cụ thể là: Năm 2011, Chandresh Pratap Singh sử dụng thuật tốn dị cạnh Sobel độ đo ma trận khoảng cách để tìm kiếm ảnh tương tự dựa cấu trúc R-Tree [1] Năm 2012, Nam N.V Bac L.H đề xuất thuật toán phân cụm dựa R-Tree [2] Trong nghiên cứu kết thực nghiệm cho thấy độ xác cịn phụ thuộc vào ngưỡng đặt phụ thuộc vào cường độ ảnh, chưa tiếp cận liệu hình ảnh chưa thực tốn tìm kiếm ảnh theo nội dung Năm 2013, Niket Amoda Ramesh K Kulkarni đề xuất hệ thống tìm kiếm hình ảnh dựa vùng (Region based Image Retrieval- RBIR) sử dụng không gian màu HSV, phép biến đổi Wavelet (Discrete Wavelet Transform DWT) thuật tốn gom cụm K-Means để phân chia hình ảnh thành vùng Độ đo Bhattacharyya sử dụng để tính độ tương tự vùng [3] Năm 2015, Shama P.S, cộng đề xuất hệ thống tìm kiếm ảnh theo nội dung dựa cấu trúc R*-Tree độ đo Euclide để xác định hình ảnh thực vật [4] Tuy nhiên hai cơng trình chưa tạo cấu trúc liệu lưu trữ liệu hình ảnh nhằm nâng cao hiệu cho tốn tìm kiếm ảnh theo nội dung Năm 2017, Van T.T cộng giới thiệu phương pháp cải tiến cho hệ tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân (binary signature) S-Tree Trong cơng trình này, nhóm tác giả đề xuất cải tiến cấu trúc liệu đa nhánh thực nghiệm ảnh COREL [5] Kết thực nghiệm cho thấy phương pháp đề xuất giải tốt tốn tìm kiếm ảnh theo nội dung Tuy nhiên, nhóm tác giả chưa kết hợp đặc trưng hình ảnh để tăng độ xác cho q trình tìm kiếm 32 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 Năm 2019, Maher Alrahhal Supreethi K.P đề xuất phương pháp truy vấn ảnh dựa kỹ thuật học có giám sát sử dụng phương pháp lấy mẫu láng giềng cục (Local Neighbor Pattern- LNP) [6] Ngồi ra, số mơ hình truy vấn ảnh cơng bố mơ hình truy vấn ảnh dựa phân cụm tự cân C-Tree ảnh ImageCLEF, kết thực nghiệm có độ xác 65% thời gian truy vấn trung bình khoảng 73 milli seconds [13] Một mơ hình truy vấn ảnh dựa phân cụm phân cấp H-Tree đề xuất thực nghiệm ảnh cho kết có độ xác 67% [14] Ngồi ra, nhiều cơng trình nghiên cứu tìm kiếm ảnh tương tự dựa cấu trúc liệu dạng tạo mục chữ ký [15]; truy vấn ảnh dựa độ đo EMD S-Tree [16] Mơ hình truy vấn ảnh dựa phân cụm đa nhánh cân [17] v.v thu kết khả quan Từ kết phân tích cho thấy cần phải tạo cấu trúc liệu lưu trữ mục mơ tả cho hình ảnh, đồng thời kết hợp phương pháp học máy để thực toán tra cứu ảnh Do báo này, tiếp cận theo phương pháp tổ chức cải tiến R-Tree để tạo thành RG-Tree nhằm lưu trữ liệu đặc trưng cấp thấp tập liệu ảnh, đồng thời truy vấn nhanh hình ảnh tương tự dựa kỹ thuật học bán giám sát Mơ hình thực nghiệm ảnh ImageCLEF để minh chứng tính hiệu mơ hình truy vấn ảnh đề xuất dựa cấu trúc RG-Tree Cây phân cụm liệu không gian đa chiều RG-Tree 3.1 Cấu trúc RG-Tree Trong R-Tree, nút vùng khơng gian hình chữ nhật đa giác chứa vùng không gian bên chứa liên kết đến nút Mỗi nút có số phần tử tối thiểu 𝑚 số phần tử tối đa 𝑀 Mỗi nút vùng không gian chứa liên kết trỏ đến đối tượng liệu Mỗi nút phân chia liệu thành cụm không gian k-chiều [1] Việc loại bỏ phần tử R-Tree phải tái tạo lại từ đầu nút có số phần tử 𝑚 xóa phần tử nút khơng tồn tại; phải lấy phần tử cịn lại nút phân bố lại Trong trình tạo nút nút chưa vượt qua số lượng phần tử tối đa hai phần tử nằm nút Điều có nghĩa hai phần tử khác nằm nút Và sai số trình truy vấn xảy Việc tìm kiếm chọn theo hướng tốt cây, nhiên trường hợp hướng tốt khơng liên quan phải chọn nút Điều dẫn đến kết tìm kiếm khơng liên quan đến ảnh cần tìm kiếm RG-Tree cải tiến R-Tree, đa nhánh gần cân nhằm ứng dụng cho tốn tìm kiếm ảnh tương tự Việc gom nhóm liệu thực nút RGTree dựa vào độ đo tương tự véc-tơ đặc trưng ảnh ngưỡng ε, θ (0< ε < θ thành phần nút cây, với 𝑓 = (𝑣1 , , 𝑣𝑘 ) , 𝑖𝑑 vec-tơ đặc trưng ảnh, định danh ảnh Cây RG-Tree lưu trữ tập véc-tơ đặc trưng ảnh 𝑇 = {𝐸𝑖 |𝑖 = 1, 𝑁}, 𝑁 số lượng ảnh liệu Cây RG-Tree dùng để phân cụm tập véc-tơ đặc trưng ảnh dựa khoảng cách Euclide Gọi fI , fJ hai véc-tơ đặc trưng hai ảnh 𝐼, 𝐽 𝜺 số thực dương bé Độ tương tự định nghĩa sau: Định nghĩa Hai ảnh 𝐼, 𝐽 gọi tương tự 𝒅(𝒇𝑰 , 𝒇𝑱 ) < 𝜺 Trong 𝒅(𝒇𝑰 , 𝒇𝑱 ) khoảng cách Euclide hai véc tơ đặc trưng ảnh 𝐼 𝐽 Cây RG-Tree tạo mơ hình phân cụm tập vec-tơ đặc trưng ảnh nhằm phục vụ cho tốn tìm kiếm ảnh tương tự Kết trình tạo tập nút nút Gọi < 𝑖𝑛𝐸𝑖 , 𝑙𝑖𝑛𝑘𝑠𝑖 > mô tả thành phần nút với phần tử liên kết đến nút kế cận, < 𝑙𝑣𝐸𝑖 , 𝑖𝑑 > mô tả thành phần nút với phần tử định danh ảnh Các nút RG-Tree định nghĩa sau: Định nghĩa Một phân cụm RG-Tree đa nhánh gồm: a) Một nút gốc 𝑟𝑜𝑜𝑡 liên kết đến nhánh kế cận: 𝑟𝑜𝑜𝑡 = {< 𝑖𝑛𝐸𝑖 , 𝑙𝑖𝑛𝑘𝑠𝑖 >, 𝑖 = … 𝑡}; b) Một tập nút trong: 𝑖𝑛𝑁𝑜𝑑𝑒 = {< 𝑖𝑛𝐸𝑖 , 𝑙𝑖𝑛𝑘𝑠𝑖 >, 𝑖 = … 𝐾} , 𝑖𝑛𝐸 =< 𝑓𝑐 , 𝑙𝑖𝑛𝑘𝑠 > , thỏa 𝑑(𝑓𝑐𝑖 , 𝑓𝑐𝑡𝑏 ) ≤ 𝜃, 𝑓𝑐𝑡𝑏 = 34 𝑀 ∑𝑀 𝑓𝑐𝑖 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 Một tập nút lá: 𝑙𝑣𝑁𝑜𝑑𝑒 = {< 𝑙𝑣𝐸𝑖 , 𝑖𝑑 >, 𝑖 = … 𝐾}, 𝑙𝑣𝐸 =< 𝑓, 𝑖𝑑 > thỏa 𝑑(𝑓𝑖 , 𝑓𝑐 ) < 𝜀, 𝑓𝑐 = c) 𝑀 ∑𝑀 𝑓𝑖 Tại thời điểm ban đầu, RG-Tree gồm nút gốc chứa liên kết rỗng Sau đó, phần tử 𝐸𝑖 thêm vào để tạo nhánh tương ứng với nút dựa độ đo Euclide Quy tắc phân bố phần tử định nghĩa sau: Quy tắc phân bố phần tử cây: Phần tử RG-Tree, bắt đầu thực từ nút gốc thực theo quy tắc sau: Quy tắc 1: Chọn hướng từ nút hành đến nút nhánh kế cận chọn nhánh có khoảng cách 𝑑(𝑓𝑖 , 𝑓𝑐𝑗 ) ngắn Quy tắc 2: Nếu 𝑑(𝑓𝑖 , 𝑓𝑐𝑗 ) ≤ 𝜃 theo nhánh tìm nhánh phù hợp đến gặp nút lá, có trường hợp sau đây: 1) Nếu 𝑑(𝑓𝑖 , 𝑓𝑐𝑗 ) < 𝜀 đưa phần tử 𝑓𝑖 vào nút hành (nút có tâm 𝑓𝑐𝑗 ) 2) Nếu 𝜀 ≤ 𝑑(𝑓𝑖 , 𝑓𝑐𝑗 ) ≤ 𝜃 tạo nút (𝑛𝑒𝑤𝐿𝑒𝑎𝑓) chứa 𝑓𝑖 nút cha liên kết đến nút có tâm 𝑓𝑐𝑗 nút 𝑛𝑒𝑤𝐿𝑒𝑎𝑓 3) Nếu 𝑑(𝑓𝑖 , 𝑓𝑐𝑗 ) > 𝜃 tạo nút 𝑛𝑒𝑤𝐿𝑒𝑎𝑓 chứa 𝑓𝑖 có cha với nút hành Quy tắc 3: Nếu 𝑑(𝑓𝑖 , 𝑓𝑐𝑗 ) > 𝜃 tạo nút 𝑛𝑒𝑤𝐿𝑒𝑎𝑓 chứa 𝑓𝑖 có cha với nút hành Vì liệu ảnh gia tăng nhanh chóng, RG-Tree phải có khả tăng trưởng để phù hợp cho việc lưu trữ liệu ảnh Định lý sau minh chứng tính tăng trưởng RG-Tree Định lý Cây RG-Tree tăng trưởng theo hướng từ gốc tới Chứng minh: Theo Định nghĩa 3, thêm phần tử phần tử chọn hướng phù hợp thêm vào nút tạo nút Do đó, RG-Tree tăng trưởng ◼ Mỗi phần tử thêm vào cây, cần phải tồn nút để chứa phần tử Định lý sau chứng minh tính tồn nút RG-Tree lưu trữ phần tử Định lý Với véc-tơ đặc trương f cho trước tồn nút chứa f Chứng minh: gọi 𝑓𝑖 véc-tơ cần thêm vào nút RG-Tree Theo Định nghĩa 3, thực quy tắc tạo phần tử 𝑓𝑖 thuộc nút tạo nút phù hợp Do đó, ta ln tìm nút để lưu trữ vec-tơ 𝑓𝑖 ◼ 35 Lê Thị Vĩnh Thanh CS Tập 129, Số 2A, 2020 Định lý Một véc-tơ đặc trưng 𝑓𝑖 lưu trữ nút RGTree Chứng minh: Giả sử véc-tơ 𝑓𝑖 thuộc hai nút có hai tâm 𝑓𝑐1 𝑓𝑐2 Theo quy tắc định nghĩa ta có: 𝑑(𝑓𝑖 , 𝑓𝑐1 ) < 𝜀 𝑣à 𝑑(𝑓𝑖 , 𝑓𝑐2 ) < 𝜀 Mặt khác 𝑑(𝑓𝑖 , 𝑓𝑐𝑖 ) ≥ 𝜀 tạo nhánh tức nút không giao Do điều giả sử ban đầu vơ lý Vì phần tử 𝑓𝑖 lưu trữ nút ◼ Cây RG-Tree tạo phân hoạch đa tầng, tìm cụm có bán kính 𝜀 độ xác đạt cao Nếu phạm vi bán kính 𝜃, phân hoạch vec-tơ đặc trưng nhánh, phân hoạch có xu hướng đặn phần tử khác biệt không thuộc nhánh cây, RG-Tree có xu hướng tự nhiên trở thành đa nhánh cân 3.2 Thuật tốn xây dựng Hình mô tả cấu trúc RG-Tree bao gồm nút gốc, tập nút tập nút Một nút chứa vec-tơ đặc trưng định danh ảnh Nút chứa phần tử vec-tơ đặc trưng tâm nút Trong báo chúng tơi sử dụng véc-tơ trung bình vector nút struct Element_Node{ double [] f; int id; string label; } struct Node{ Element_Node [] E; Node[] links; int count; Element_Node [] Element_parent; Node parent; } 36 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 Internal Node Internal Node Node center Node center fc1 Node fc2 fc3 fcN1 fcm Links Node Node N1 Node M fcN2 fcN3 Links Node N2 fcNm Node NM Node center fc11 Node 11 fc12 fc13 Element_Node fc1m Links Node 12 Node 1M f_vectorM1 idM1 lbM1 f_vectorM2 idM2 lbM2 Internal Node f_vectorMK lbMk idMk Links Element_Node Element_Node idY1 lbY1 f_vectorZ1 idZ1 lbZ1 f_vectorY2 idY2 lbY2 f_vectorZ2 idZ2 lbZ2 idYk lbYk f_vectorZK Links Null Null Null Leaf Node f_vectorYK Null Null f_vectorY1 idZk lbZk Links Null Leaf Node Null Null Null Leaf Node Hình Cấu trúc phân cụm mục RG-Tree Thuật toán cập nhật tâm cụm Quá trình cập nhật tâm cụm để tạo đường từ nút gốc đến nút nhằm cải tiến thời gian tìm kiếm ảnh người sử dụng Do đó, việc cập nhật thực từ nút Node nút gốc thực dựa Thuật toán 𝑈𝐶𝑅𝐺 sau: Thuật toán 1: 𝑼𝑪𝑹𝑮 Đầu vào: nút Node; Đầu ra: Cây phân cụm RG-Tree sau cập nhật Function 𝑼𝑪𝑹𝑮 (Node) Begin If (Node.Element_parent != null) then fcN = avg{ Node.E[i].f | i=1 count}; Node.Element_parent.f = fcN; EndIf If ( Node.parent != null) then 37 Lê Thị Vĩnh Thanh CS Tập 129, Số 2A, 2020 Node = Node.parent; 𝑈𝐶𝑅𝐺 (Node); EndIf End Mệnh đề Thuật tốn 𝑈𝐶𝑅𝐺 có độ phức tạp 𝑂(𝑀 𝑥 ℎ), với ℎ, 𝑀 chiều cao số phần tử tối đa nút RG-Tree Chứng minh: Trường hợp xấu nhất, Thuật toán 𝑈𝐶𝑅𝐺 phải cập nhật tâm cụm từ nút đến nút gốc tức phải duyệt qua chiều cao ℎ Mỗi lần cập nhật tâm, Thuật toán 𝑈𝐶𝑅𝐺 duyệt qua tối đa 𝑀 phần tử nút Do đó, độ phức tạp Thuật tốn 𝑈𝐶𝑅𝐺 𝑂(𝑀 𝑥 ℎ)∎ Thuật toán chèn phần tử vào RG-Tree Khi phần tử Ei = thêm vào RG-Tree, việc chèn thực nút gốc, duyệt qua tất nút nút gốc tính khoảng cách Euclide phần tử Ei với tâm cụm, chọn cụm có khoảng cách 𝑑𝑚𝑖𝑛 = 𝑀𝑖𝑛 {𝑑(𝑓𝑖 , 𝑓𝑐𝑗 ), 𝑗 = 𝑀} Nếu 𝑑𝑚𝑖𝑛 > 𝜃 tạo nhánh để lưu phần tử Ei ngược lại theo nhánh duyệt hết nhánh phân cụm RG-Tree tìm nút Sau đó, khoảng cách phần tử Ei đến tâm nút tính 𝑑𝑚𝑖𝑛 < 𝜀 chèn vào nút ngược lại tạo nút đồng cấp để lưu Ei Thuật toán 2: 𝑰𝑹𝑮 Đầu vào: phần tử 𝐸𝑡 , nút gốc 𝑟𝑜𝑜𝑡, giá trị ngưỡng 𝜀, 𝜃 Đầu ra: RG-Tree sau thêm phần tử 𝐸𝑡 Function 𝐈𝐑𝐆(𝐸𝑡 , 𝑟𝑜𝑜𝑡, 𝜀, 𝜃) Begin 𝑵𝒐𝒅𝒆 = 𝑟𝑜𝑜𝑡; If (𝑵𝒐𝒅𝒆 = 𝑛𝑢𝑙𝑙) then Initialize 𝑟𝑜𝑜𝑡 = {𝑙𝑖𝑛𝑘𝑠𝑘 | 𝑙𝑖𝑛𝑘𝑠𝑘 = 𝑛𝑢𝑙𝑙; 𝑘 = 𝑛𝑘 }; Create new 𝑙𝑣𝑛𝑜𝑑𝑒 =< 𝐸𝑡 , 𝑙𝑖𝑛𝑘𝑠 >, 𝑙𝑖𝑛𝑘𝑠 = 𝑛𝑢𝑙𝑙; 𝑟𝑜𝑜𝑡 𝑙𝑖𝑛𝑘𝑠0 = 𝑙𝑣𝑛𝑜𝑑𝑒; 𝑈𝐶𝑅𝐺(𝑙𝑣𝑛𝑜𝑑𝑒); ElseIf 𝑖 = 𝑎𝑟𝑔𝑚𝑖𝑛 {𝑒𝑢𝑐𝑙𝑖𝑑𝑒(𝑵𝒐𝒅𝒆 E[𝑘] 𝑓, 𝐸 𝑓), 𝑘 = count)}; 𝑑 = 𝐸𝑢𝑐𝑙𝑖𝑑𝑒(𝑵𝒐𝒅𝒆 E[𝑖] 𝑓, 𝐸𝑡 𝑓); If (𝑵𝒐𝒅𝒆.links=null) then If 𝑑 < 𝜀 then 𝑵𝒐𝒅𝒆.count = 𝑵𝒐𝒅𝒆.count + 1; 38 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 𝑵𝒐𝒅𝒆.E[count+1].f = Ei.f; 𝑵𝒐𝒅𝒆.E[count+1].id = Ei.id; 𝑈𝐶𝑅𝐺(𝑵𝒐𝒅𝒆); ElseIf If (𝑑 ≥ 𝜀 && 𝑑 ≤ 𝜃) then Create new 𝑙𝑣𝑛𝑜𝑑𝑒 =< 𝐸𝑙𝑣 , 𝑙𝑖𝑛𝑘𝑠𝑙𝑣 >, 𝑙𝑖𝑛𝑘𝑠𝑙𝑣 = 𝑛𝑢𝑙𝑙; 𝐸𝑙𝑣 𝑓 = 𝐸𝑡 𝑓; 𝐸𝑙𝑣 𝑖𝑑 = 𝐸𝑡 𝑖𝑑; Create new 𝑖𝑛𝑛𝑜𝑑𝑒 =< 𝐸𝑖𝑛 , 𝑙𝑖𝑛𝑘𝑠𝑖𝑛 >, 𝑙𝑖𝑛𝑘𝑠𝑖𝑛 = 𝑙𝑣𝑛𝑜𝑑𝑒 𝑵𝒐𝒅𝒆 𝑙𝑖𝑛𝑘𝑠𝑘 = 𝑖𝑛𝑛𝑜𝑑𝑒; 𝑈𝐶𝑅𝐺(𝑙𝑣𝑛𝑜𝑑𝑒); ElseIf Create new 𝑙𝑣𝑛𝑜𝑑𝑒 =< 𝐸𝑙𝑣 , 𝑙𝑖𝑛𝑘𝑠𝑙𝑣 >, 𝑙𝑖𝑛𝑘𝑠𝑙𝑣 = 𝑛𝑢𝑙𝑙; 𝑵𝒐𝒅𝒆 𝑙𝑖𝑛𝑘𝑠𝑐𝑜𝑢𝑛𝑡+1 = 𝑖𝑛𝑛𝑜𝑑𝑒; 𝑵𝒐𝒅𝒆.count = 𝑵𝒐𝒅𝒆.count + 1; UCRG(𝑙𝑣𝑛𝑜𝑑𝑒); EndIf EndIf ElseIf If (𝑑 ≤ 𝜃) 𝑰𝑹𝑮(𝐸𝑡 , 𝑵𝒐𝒅𝒆 𝑙𝑖𝑛𝑘𝑠𝑘 , 𝜀, 𝜃); ElseIf Create new 𝑙𝑣𝑛𝑜𝑑𝑒 =< 𝐸𝑙𝑣 , 𝑙𝑖𝑛𝑘𝑠𝑙𝑣 >, 𝑙𝑖𝑛𝑘𝑠𝑙𝑣 = 𝑛𝑢𝑙𝑙; 𝑵𝒐𝒅𝒆 𝑙𝑖𝑛𝑘𝑠𝑐𝑜𝑢𝑛𝑡+1 = 𝑖𝑛𝑛𝑜𝑑𝑒; 𝑵𝒐𝒅𝒆.count = N.count + 1; UCRG(𝑙𝑣𝑛𝑜𝑑𝑒); EndIf EndIf Return RG-Tree; End Mệnh đề Thuật toán 𝐼𝑅𝐺 có độ phức tạp 𝑂(𝑀 𝑥 ℎ), với ℎ, 𝑀 chiều cao số phần tử tối đa nút RG-Tree Chứng minh: Thuật toán 𝐼𝑅𝐺 thực duyệt từ nút gốc đến nút duyệt qua chiều cao ℎ, lần duyệt qua 𝑀 phần tử, lần duyệt Thuật toán 𝐼𝑅𝐺 thực phép cập 39 Lê Thị Vĩnh Thanh CS Tập 129, Số 2A, 2020 nhật tâm từ nút đến nút gốc tức cập nhật qua chiều cao h duyệt lại tối đa 𝑀 phần tử Do đó, Thuật tốn 𝐼𝑅𝐺 có độ phức tạp 𝑂(𝑀𝑥ℎ) ◼ Thuật tốn xóa phần tử RG-Tree Các phần tử nằm nút RG-Tree, nút gồm phần tử nút xóa cập nhật lại tâm cho nút cha Trường hợp nút có nhiều phần tử phần tử bị xóa khỏi nút cập nhật lại tâm cho nút Thuật tốn xóa phần tử thực sau: Thuật toán 2: DRG Đầu vào: phần tử 𝐸𝑡 , nút gốc 𝑟𝑜𝑜𝑡, giá trị ngưỡng 𝜀, 𝜃 Đầu ra: RG-Tree sau xóa phần tử 𝐸𝑡 Function 𝐷𝑅𝐺(𝐸𝑡 , 𝑟𝑜𝑜𝑡, 𝜀, 𝜃) Begin 𝑵𝒐𝒅𝒆 = 𝑟𝑜𝑜𝑡; If 𝑵𝒐𝒅𝒆 = 𝑛𝑢𝑙𝑙 then Return 𝑛𝑢𝑙𝑙; ElseIf 𝑖 = 𝑎𝑟𝑔𝑚𝑖𝑛 {𝑒𝑢𝑐𝑙𝑖𝑑𝑒(𝑵𝒐𝒅𝒆 E[𝑘] 𝑓, 𝐸 𝑓), 𝑘 = count)}; 𝑑 = 𝐸𝑢𝑐𝑙𝑖𝑑𝑒(𝑵𝒐𝒅𝒆 E[𝑖] 𝑓, 𝐸 𝑓); If (𝑵𝒐𝒅𝒆.links=null) then 𝑵𝒐𝒅𝒆.count = 𝑵𝒐𝒅𝒆.count -1; 𝑵𝒐𝒅𝒆.E= 𝑵𝒐𝒅𝒆.E/{𝐸𝑡 }; If (𝑵𝒐𝒅𝒆.count > 0) then UCRG(𝑵𝒐𝒅𝒆); ElseIf UCRG(𝑵𝒐𝒅𝒆.parent); EndIf ElseIf If (𝑑 ≤ 𝜃) 𝑫𝑹𝑮(𝐸𝑡 , 𝑵𝒐𝒅𝒆 𝑙𝑖𝑛𝑘𝑠𝑘 , 𝜀, 𝜃); EndIf End If End If Return RG-Tree; End Mệnh đề Thuật tốn 𝐷𝑅𝐺 có độ phức tạp 𝑂(𝑀𝑥ℎ), với ℎ, 𝑀 chiều cao số phần tử tối đa nút RG-Tree 40 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 Chứng minh: Thuật toán 𝐷𝑅𝐺 chứng minh tương tự thuật tốn 𝐼𝑅𝐺 Do đó, Thuật tốn 𝐷𝑅𝐺 có độ phức tạp 𝑂(𝑀𝑥ℎ) ◼ Tìm kiếm ảnh tương tự RG-Tree 4.1 Dữ liệu ảnh Mỗi ảnh chia thành nhiều vùng theo phương pháp Hugo Jair Escalante [25], vùng trích xuất vec-tơ đặc trưng bao gồm đặc trưng vùng: diện tích, chiều rộng chiều cao; đặc trưng vị trí; đặc trưng hình dạng; đặc trưng màu sắc khơng gian RGB CIE-Lab Hình Ảnh gốc ảnh phân vùng (20747.jpg) Hình mơ tả ảnh gốc ảnh vùng thuộc lớp ảnh: mammal-other, group-of-persons, plant, plant ảnh 20747.jpg tập ảnh ImageCLEF 4.2 Thuật toán tra cứu ảnh tương tự RG-Tree Từ phân cụm liệu RG-Tree tạo, chúng tơi đề xuất thuật tốn tra cứu ảnh tương tự Quá trình tìm kiếm ảnh tương tự thực RG-Tree mơ tả sau: Thuật tốn RGIR Đầu vào: vec-tơ đặc trưng 𝑓𝑖 ảnh truy vấn 𝐼𝑞 , RG-Tree, giá trị ngưỡng 𝜀 , 𝜃 Đầu ra: tập ảnh tương tự 𝑆𝐼 Function 𝐑𝐆𝐈𝐑(𝑓𝑖 , 𝑟𝑜𝑜𝑡, 𝜀 , 𝜃 ) Begin 𝑵𝒐𝒅𝒆 = 𝑟𝑜𝑜𝑡; If 𝑵𝒐𝒅𝒆 = 𝑛𝑢𝑙𝑙 then Return 𝑛𝑢𝑙𝑙; ElseIf 𝑖 = 𝑎𝑟𝑔𝑚𝑖𝑛 {𝑒𝑢𝑐𝑙𝑖𝑑𝑒(𝑵𝒐𝒅𝒆 E[𝑘] 𝑓, 𝐸 𝑓), 𝑘 = count)}; 𝑑 = 𝐸𝑢𝑐𝑙𝑖𝑑𝑒(𝑵𝒐𝒅𝒆 E[𝑖] 𝑓, 𝐸 𝑓); If (N.links=null) then SI= 𝑵𝒐𝒅𝒆.E; 41 Lê Thị Vĩnh Thanh CS Tập 129, Số 2A, 2020 Return SI; ElseIf If (𝑑 ≤ 𝜃) 𝐑𝐆𝐈𝐑(𝑓𝑖 , 𝑵𝒐𝒅𝒆 𝑙𝑖𝑛𝑘𝑠𝑘 , 𝜀, 𝜃); EndIf End If End If Return 𝑆𝐼; End Mệnh đề Thuật toán RGIR có độ phức tạp 𝑂(ℎ𝑥𝑀), với ℎ, 𝑀 chiều cao số phần tử tối đa nút RG-Tree Chứng minh: Thuật toán RGIR duyệt từ gốc đến lá, lần duyệt nút kiểm tra 𝑀 phần tử nút Vì vậy, thuật tốn RGIR có độ phức tạp 𝑂(ℎ𝑥𝑀) ◼ 4.3 Mơ hình truy vấn ảnh Pha 1: Tiền xử lý Root(fc1, fc2, fc3) Image Database Trích xuất véc-tơ đặc trưng f1=(v1, v2, f2=(v1, v2, , vm) , vm) fn=(v1, v2, , vm) K-Means, k-NN R2(fc21, fc22) R1(fc11, fc12, fc13) R11(f1, f5, f9) R12(f2, f10, fc13) R21(f3, f6, f7) R3(f8, f11, f12) R22(f4, f14, fc15) Pha 2: Tìm kiếm ảnh Phân đoạn ảnh Trích xuất véc-tơ đặc trưng fi1=(v1, v2, fi2=(v1, v2, , vm) , vm) fik=(v1, v2, , vm) Tìm kiếm ảnh Tập ảnh tương tự Hình Mơ hình tìm kiếm ảnh theo nội dung dựa RG-Tree Quá trình tìm kiếm ảnh thực gồm hai pha, pha thứ thực gom cụm lưu trữ RG-Tree, pha thứ hai thực tìm kiếm hình ảnh tương tự Q trình thực mơ tả sau: 42 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 Pha tiền xử lý: Kết pha tiền xử lý xây dựng gom cụm RG- Tree dựa vector đặc trưng tập liệu ảnh gồm bước sau: Bước Trích xuất tập véc-tơ đặc trưng fi tập liệu ảnh Bước Dựa độ đo tương tự đề xuất tạo cấu trúc gom cụm mục với nút RG-Tree tập véc-tơ fi mô tả đặc trưng thị giác hình ảnh Pha tìm kiếm: Việc tìm kiếm ảnh tương tự thực với đầu vào hình ảnh truy vấn đầu tập ảnh tương tự dựa gom cụm mục RG-Tree Quá trình tìm kiếm ảnh tương tự thực theo bước sau: Bước Trích xuất véc-tơ đặc trưng ảnh cần truy vấn Bước Thực truy vấn ảnh tương tự dựa RG-Tree Bước Tra cứu tập ảnh tương tự dựa tập mục truy vấn Kết thực nghiệm Pha tiền xử lý thự máy PC CPU 2.3GHz 8-core 9th-generation Intel Core i9, 16GB 2666MHz memory, 1TB flash storage Pha tìm kiếm thực nghiệm máy PC CPU Intel Core i7-6500U CPU @ 2.50GHz, 8.0GB RAM, hệ điều hành Windows 10 Pro 64 bit Kết thực nghiệm đánh giá liệu imageCLEF chứa 20,000 ảnh, chia thành 276 lớp lưu trữ 41 thư mục (từ thư mục đến thư mục 40); liệu kích thước 1.64 GB Để đánh giá hiệu phương pháp tìm kiếm ảnh, phần thực nghiệm đánh giá giá trị gồm: độ xác (precision), độ phủ (recall) độ đo dung hòa F-measure Hình Giao diện truy vấn ảnh dựa RG-Tree 43 Lê Thị Vĩnh Thanh CS Tập 129, Số 2A, 2020 Hình Một kết truy vấn dựa RG-Tree Hình Biểu đồ Precision-Recall ROC hệ truy vấn RG-Tree Hình Giá trị trung bình Precision, Recall, F-measure tập liệu ImageCLEF 44 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 Bảng Hiệu suất truy vấn ảnh phương pháp đề xuất tập ảnh ImageCLEF Tập ảnh Số ảnh Precision Recall F-Measure 00-10 3790 0.7050 0.4555 0.5496 11-20 2198 0.7455 0.4809 0.5812 21-30 1742 0.7262 0.5142 0.5904 31-40 2573 0.6800 0.4355 0.5281 10303 0.7110 0.4659 0.5579 Bảng So sánh độ xác phương pháp liệu ImageCLEF Phương pháp Mean Average Precision (MAP) Hakan Cevikalp, 2017 [18] 0.4678 C.A Hernández-Gracidas, 2013 [19] 0.5826 Nguyễn Minh Hải, 2019 [14] 0.6753 Nguyễn Thị Uyên Nhi, 2019 [13] 0.6510 Phương pháp đề xuất 0.7110 45 Lê Thị Vĩnh Thanh CS Tập 129, Số 2A, 2020 Kết luận Trong báo này, xây dựng cấu trúc RG-Tree áp dụng cho tốn tìm kiếm ảnh tương tự theo nội dung Đây cấu trúc cải tiến R-Tree nhằm nâng cao hiệu cho kỹ thuật lưu trữ liệu áp dụng cho tốn có tập liệu tăng trưởng Trong báo này, RG-Tree cải tiến từ R-Tree thực nghiệm ảnh ImageCLEF có độ xác 71.10%, độ phủ 46.59%, độ đo dung hòa 55,79% Kết thực nghiệm so sánh với cơng trình khác tập liệu ảnh, đồng thời so sánh với phương pháp dựa cấu trúc lưu trữ RG-Tree Phương pháp đề xuất làm tăng đáng kể hiệu suất truy vấn ảnh theo nội dung Hướng phát triển tiếp theo, cân RG-Tree áp dụng phương pháp phân hoạch ngữ nghĩa hình ảnh nút để từ thực truy vấn ảnh sở tiếp cận theo ngữ nghĩa Lời cảm ơn Chúng trân trọng cám ơn Trường Đại học Công nghiệp Thực phẩm TP.HCM bảo trợ cấp kinh phí Chúng tơi trân trọng cám ơn Trường Đại học Bà Rịa Vũng Tàu, nhóm nghiên cứu SBIR-HCM Trường Đại học Sư phạm TP.HCM tạo điều kiện chuyên môn sở vật chất giúp chúng tơi hồn thành nghiên cứu Tài liệu tham khảo Chandresh Pratap Singh, " R-Tree implementation of image databases " Signal & Image Processing : An International Journal (SIPIJ) Vol.2, No.4, December 2011 Nam N.V, Bac L.H, " Simple Spatial Clustering Algorithm Based on R-Tree" C Sombattheera et al (Eds.): MIWAI 2012, LNCS 7694, pp 236–245, Berlin Heidelberg, 2012 N Amoda and R K Kulkarni, “Efficient image retrieval using region based image retrieval,” in Signal Image Processing : An International Journal (SIPIJ), vol 4, no 3, pp 17–22, 2013 Shama P.S, Badrinath K, Anand Tilugul, " An Efficient Indexing Approach for Content based Image Retrieval" International Journal of Computer Applications (0975 – 8887) Volume 117 – No 15, May 2015 Van T T , Le M T., “Một số cải tiến cho hệ truy vấn ảnh dựa S-Tree” Proceeding of Publishing House for Science and Technology, 2017 Maher Alrahhal ; K.P Supreethi, "Content-Based Image Retrieval using Local Patterns and Supervised Machine Learning Techniques" Amity International Conference on Artificial Intelligence (AICAI), 2019 A Guttman, "R-Tree: a dymanic index structure for spatial searching" In proc ACM SIGMOD, 1984 Gurchetan Singh, "Introductory guide to Information Retrieval using kNN and KDTree", November 28, 2017 Jayashree Das and Minakshi Gogoi, "Indexing of Voluminous Data Using K-D Tree with Reference to CBIR", International Journal of Computer Sciences and Engineering, Volume-4, Special Issue-7, Dec 2016 46 jos.hueuni.edu.vn Tập 129, Số 2A, 2020 10 Hasan Al-Jabbouli, "Data clustering using the Bees Algorithm and the Kd-Tree structure", Intelligent Systems Research Laboratory, Manufacturing Engineering Centre, Cardiff University, United Kingdom, 2009 11 Vignesh Ramanathan, Shaunak Mishra and Pabitra Mitra, "Quadtree Decomposition based Extended Vector Space Model for Image Retrieval", Indian Institute of Technology, Kharagpur - 721302, 978-14244-9497-2/10/ IEEE, 2010 12 A Alzu’bi, A Amira, N Ramzan, "Semantic Content-based Image Retrieval: A Comprehensive Study", J Vis Commun Image R, 2015 13 Nguyễn Thị Uyên Nhi, Văn Thế Thành, Lê Mạnh Thạnh, A Self-Balanced Clustering Tree apply for Semantic-Based Image Retrieval, Fundamental and Applied IT Reseach (FAIR), Hue University, NXB Khoa học Tự nhiên Công nghệ, ISBN: tr.xx-xx, 2019 14 Nguyễn Minh Hải, Lê Thị Vĩnh Thanh, Văn Thế Thành, Trần Văn Lăng, Tra cứu ảnh theo ngữ nghĩa dựa phân cụm phân cấp, Kỷ yếu Hội thảo Quốc gia Nghiên cứu ứng dụng CNTT (FAIR), ĐH Huế, Nhà xuất Khoa học Tự nhiên Công nghệ, ISBN: xx, tr.xx-xx, 2019 15 Thanh Manh Le, Thanh The Van - Image retrieval system based on emd similarity measure and S-Tree, ICITES-2012, Springer Verlag, LNEE 234, 139-146, 2013 16 N.V.T Thanh The Van, Thanh Manh Le, "The Method Proposal of Image Retrieval Based on K-Means Algorithm", Advances in Intelligent Systems and Computing, vol 746, no 2, pp 481–490, 2018 17 Nguyễn Phương Hạc, Văn Thế Thành, "Một phương pháp tra cứu liệu ảnh dựa phân cụm đa nhánh cân bằng", Tạp chí Khoa học Cơng nghệ Thực phẩm 18 (1), 140-153, 2019 18 H Cevikalp, M Elmas, S Ozkan (2017), "Large-scale image retrieval using transductive support vector machines", Computer Vision and Image Understanding, vol no pp.1-11 19 C.A Hernández-Gracidas, Sucar, L.E & Montes-y-Gómez (2013), "Improving image retrieval by using spatial relations", Multimed Tools Application, vol 62, no 2, pp 479–505 Abstract In this paper, we present an improvement of R-Tree, denoted RG-Tree (Region Growth Tree), to improve the efficiency of finding content-based similar images In this improvement, the feature vectors of the images are stored on each leaf node of the RG-Tree by the proposed partition rules RG-Tree can grow to store and distribute data areas on the leaf nodes to create data clusters The more elements are similar, the more elements belong to one of the branches on the RG-Tree We designed an image retrieval model on RG-Tree and tested it on ImageCLEF image sets and compared it’s retrieval performance to several recent methods on the same data set Keywords: RG-Tree, CBIR, Similar Images, Similarity Measure, Image Retrieval 47 ... Pha 2: Tìm kiếm ảnh Phân đoạn ảnh Trích xuất véc-tơ đặc trưng fi1=(v1, v2, fi2=(v1, v2, , vm) , vm) fik=(v1, v2, , vm) Tìm kiếm ảnh Tập ảnh tương tự Hình Mơ hình tìm kiếm ảnh theo nội dung dựa RG-Tree... đặc trưng thị giác hình ảnh Pha tìm kiếm: Việc tìm kiếm ảnh tương tự thực với đầu vào hình ảnh truy vấn đầu tập ảnh tương tự dựa gom cụm mục RG-Tree Quá trình tìm kiếm ảnh tương tự thực theo bước... thực vật [4] Van T.T cộng giới thiệu phương pháp cải tiến cho hệ tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân S-Tree [5] Các cơng trình thực nhiều phương pháp thực nghiệm liệu khác thu kết khả