Mục tiêu của luận án Tìm kiếm ảnh dựa trên đồ thị chữ ký nhị phân là xây dựng phương pháp tìm kiếm ảnh hiệu quả, nghĩa là tăng tốc độ tìm kiếm và đảm bảo độ chính xác cao.
ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC VĂN THẾ THÀNH TÌM KIẾM ẢNH DỰA TRÊN ĐỒ THỊ CHỮ KÝ NHỊ PHÂN CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 62.48.01.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS Lê Mạnh Thạnh HUẾ - NĂM 2017 Cơng trình hồn thành tại: Trường Đại học Khoa học, Đại học Huế Người hướng dẫn khoa học: PGS TS Lê Mạnh Thạnh Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ Hội đồng chấm luận án cấp Đại học Huế họp tại: Vào hồi ngày tháng năm Có thể tìm hiểu luận án thư viện: Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân MỞ ĐẦU Lý chọn đề tài Ngày nay, liệu đa phương tiện lưu trữ ứng dụng rộng rãi nhiều hệ thống như: hệ thống thư viện số, hệ thống thông tin địa lý, hệ thống điều tra hình sự, v.v Dữ liệu đa phương tiện, đặc biệt ảnh số trở nên thân thuộc sử dụng nhiều thiết bị khác camera, mobile, smartphone, v.v Lyman cộng ước tính dung lượng thơng tin tồn cầu có exabyte vào năm 2000 Hilbert López ước tính dung lượng thơng tin tồn cầu vào năm 2007 khoảng 1,15 zettabyte Bohn Short ước tính dung lượng thơng tin tồn cầu năm 2008 khoảng 3,6 zettabyte kích thước gia tăng năm 2011 khoảng 1.800 exabyte, gấp 700 lần so với dung lượng gia tăng năm 2002 Theo (IDC, 2016 ), liệu gia tăng toàn cầu năm 2012 khoảng 2.800 exabyte, ước tính dung lượng gia tăng năm 2020 40 zettabyte Năm 2015, giới chia sẻ 1,6 nghìn tỷ hình ảnh, 70% hình ảnh tạo từ thiết bị mobile (C Chute, 2015 ) Trong vấn đề truy vấn liệu, đặc biệt liệu ảnh, tìm kiếm hình ảnh tương tự toán quan trọng (T Acharya, 2005 ; L Deligiannidis, 2015 ) Với mong muốn đóng góp phương pháp tìm kiếm ảnh hiệu quả, luận án thực đề tài: "Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân" Mục tiêu luận án Mục tiêu luận án xây dựng phương pháp tìm kiếm ảnh hiệu quả, nghĩa tăng tốc độ tìm kiếm đảm bảo độ xác cao Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu: (1) Phương pháp tạo chữ ký nhị phân; (2) Độ đo tương tự chữ ký nhị phân; (3) Cấu trúc liệu lưu trữ chữ ký nhị phân; (4) Thuật toán tạo cấu trúc liệu tìm kiếm ảnh Phạm vi nghiên cứu: Tìm kiếm ảnh theo nội dung cách sử dụng đồ thị chữ ký nhị phân Phương pháp nghiên cứu Phương pháp lý thuyết: Tổng hợp số công bố liên quan đánh giá ưu khuyết điểm Trên sở đó, luận án phát triển phương pháp tạo chữ ký nhị phân, xây dựng cấu trúc liệu thuật toán tìm kiếm ảnh Phương pháp thực nghiệm: Thực việc cài đặt thuật tốn Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân luận án nhằm minh chứng tính hiệu độ xác tốc độ tìm kiếm Các tập liệu ảnh sử dụng cho cài đặt thực nghiệm bao gồm: COREL, CBIRimages, WANG, ImageCLEF, MSRDI, ImgColl01, ImgColl02 Trên sở số liệu thực nghiệm (chi tiết https://sites.google.com/site/itcsites/sources), luận án thực phân tích, đánh giá so sánh với cơng trình khác Ý nghĩa khoa học thực tiễn Ý nghĩa khoa học luận án xây dựng phương pháp tìm kiếm ảnh tương tự theo nội dung, đồng thời đề xuất cấu trúc liệu thuật tốn để tăng tốc độ tìm kiếm tập liệu ảnh lớn Đóng góp luận án: (1) Đề xuất số cải tiến cho S-Tree thiết kế cấu trúc Sig-Tree; (2) Xây dựng cấu trúc đồ thị chữ ký S-k Graph; (3) Xây dựng cấu trúc mạng Sig-SOM; (4) Đề xuất thuật tốn cho phương pháp tìm kiếm ảnh theo nội dung Ý nghĩa thực tiễn: kết nghiên cứu áp dụng để xây dựng phương pháp tìm kiếm ảnh hiệu đáp ứng yêu cầu người dùng Kết luận án tạo cơng cụ tìm kiếm nhằm phục vụ cộng đồng hệ thống đa phương tiện như: thư viện số, tìm kiếm ảnh y khoa, hệ thống GIS, v.v Bố cục luận án Ngoài phần mở đầu, phần kết luận hướng phát triển, danh mục cơng trình khoa học tác giả liên quan đến luận án, tài liệu tham khảo, luận án chia thành chương Chương trình bày tổng quan tìm kiếm ảnh dựa chữ ký nhị phân Chương đưa số cải tiến cho tìm kiếm ảnh dựa S-Tree Chương đề xuất phương pháp tìm kiếm ảnh đồ thị chữ ký Chương TỔNG QUAN VỀ TÌM KIẾM ẢNH THEO NỘI DUNG DỰA TRÊN CHỮ KÝ NHỊ PHÂN 1.1 Mở đầu Luận án tiếp cận phương pháp tìm kiếm ảnh dựa chữ ký nhị phân gồm hai giai đoạn: (1) Tiền xử lý nhằm lưu trữ tập chữ ký nhị phân cấu trúc liệu; (2) Tìm kiếm ảnh nhằm đưa tập ảnh tương tự với ảnh tra cứu ban đầu 1.2 Các cơng trình nghiên cứu liên quan Tìm kiếm ảnh theo nội dung giới thiệu vào thập niên 1980 (A Alzu’bi, 2015 ; Y Liu, 2007 ) Từ năm 1986, chữ ký nhị phân ứng dụng cho toán tìm kiếm Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân liệu (W.W Chang, 1989 ; U Deppisch, 1986) Từ năm 1990 đến 2015, nhiều công trình ứng dụng S-Tree chữ ký nhị phân cho tốn tìm kiếm ảnh (F Rabitti, 1990 ; V Chitkara, 2000 ; J Landre, 2007; J Cai, 2014; L Liu, 2015; ) Từ cho thấy phương pháp tìm kiếm ảnh dựa chữ ký nhị phân khả thi hiệu Tuy nhiên, cơng trình chưa phát triển cấu trúc liệu cho chữ ký nhị phân, chưa áp dụng kỹ thuật khai thác liệu lên chữ ký nhị phân, v.v 1.3 Định hướng nghiên cứu Luận án phát triển cấu trúc liệu lưu trữ chữ ký nhị phân đề xuất thuật tốn cho tốn tìm kiếm ảnh, bao gồm: (1) Tạo chữ ký nhị phân tính độ tương tự hai hình ảnh; (2) Cải tiến cấu trúc S-Tree; (3) Xây dựng đồ thị chữ ký nhị phân; (4) Xây dựng phương pháp tìm kiếm ảnh 1.4 Các đối tượng sở Luận án tiếp cận đối tượng sở cho tìm kiếm ảnh dựa chữ ký nhị phân, bao gồm: dải màu, lược đồ màu, điểm đặc trưng, đối tượng đặc trưng, chữ ký nhị phân, giá trị đánh giá hiệu suất, môi trường thực nghiệm tập liệu ảnh 1.5 Tổng kết chương Chương tiếp cận cơng trình liên quan đối tượng sở cho hệ truy vấn ảnh theo nội dung dựa chữ ký nhị phân Nhiều cơng trình chứng minh tính hiệu phương pháp tốc độ tìm kiếm, hiệu suất tìm kiếm Từ cho thấy chữ ký nhị phân giải pháp khả thi cho tốn tìm kiếm ảnh tương tự Chương CẢI TIẾN PHƯƠNG PHÁP TÌM KIẾM ẢNH DỰA TRÊN CÂY S-Tree 2.1 Giới thiệu Chương thiết kế cấu trúc thao tác cho Sig-Tree để cải tiến S-Tree Phần thực nghiệm đánh giá kết trình bày cuối chương 2.2 Tạo chữ ký nhị phân hình ảnh Mỗi ảnh I lượng tử hóa thành n màu c1 , c2 , , cn ; màu cj mô tả dãy bit bj1 bj2 bjm Danh sách màu ảnh I mô tả sau: S = b11 b12 b1m b21 b22 b2m bn1 bn2 bnm (2.1) đó, bji = i = hi × m , ngược lại bji = 0, với hi thành phần thứ i véc-tơ chuẩn hóa lược đồ màu H = (h1 , h2 , , hn ) (hi ∈ [0, 1]) Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Đặt B j = bj1 bj2 bjm , chữ ký nhị phân ảnh I là: SIG = B B B n (2.5) Chữ ký nhị phân mô tả N vùng đặc trưng cục oiI ảnh I là: Sig(I) = N i=1 Sig(oiI ) (2.6) 2.3 Độ đo EMD Độ tương tự EMD ảnh I J là: (A Alzu’bi, 2015 ; H zouaki, 2011 ) EM D(I, J) = n i=1 n j=1 dij fij với (fij ) ma trận phân phối luồng màu sắc từ n i=1 màu ciI n j=1 fij đến màu khoảng cách Euclide không gian màu RGB từ màu ciI (2.11) cjJ ; (dij ) ma trận đến màu cjJ 2.4 Độ đo Hamming Độ sai biệt di cặp phần tử thứ i hai chữ ký nhị phân Sig(I) Sig(J) là: di = if (Sig(I)i = Sig(J)i ) if (Sig(I)i = Sig(J)i ) (2.12) Dựa độ đo Hamming (J Landre, 2007 ), độ tương tự ảnh I J là: φ= n n di (2.13) i=1 2.5 Cây S-Tree Cây S-Tree (M.A Nascimento, 2002 ) nhiều nhánh cân theo chiều cao Mỗi nút S-Tree gồm nhiều chữ ký liên kết đến nút Mỗi phần tử nút gồm chữ ký định danh đối tượng 2.6 Cây Sig-Tree 2.6.1 Giới thiệu Sig -Tree Mỗi nút Sig-Tree gồm hai thành phần để liên kết đến nút cha liên kết đến nút Phần thiết kế cấu trúc thao tác Sig-Tree gồm: chèn nút, loại bỏ nút, tách nút tìm kiếm 2.6.2 Thiết kế cấu trúc liệu Sig -Tree Mỗi nút Sig-Tree có hai phần: (1) Phần liên kết đến nút cha gồm chữ ký tổ hợp phần liên kết nút cha: signature, parent ; (2) Phần nội dung tập chữ ký liên kết đến nút con: {SIGi = signaturei , nexti |i = 1, , k} Mỗi nút gồm hai phần: phần liên kết nút cha signature, parent phần nội dung {SIGi = signaturei , oidi |i = 1, , k} tập chữ ký nhị phân định danh Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân 2.6.3 Phép tổ hợp chữ ký Sig -Tree Trong Sig-Tree, chữ ký nút cha tổ hợp chữ ký nút Nếu thành phần nút thay đổi phải tổ hợp lại chữ ký nút cha thực nút gốc Thuật toán tổ hợp chữ ký đề xuất sau: Thuật toán 2.5 Tổ hợp chữ ký Input: Nút v cần tổ hợp Output: Cây Sig-Tree sau tổ hợp Function UnionSignature(v) Begin if v → parent = null then Signature = ∨(SIGi → sig), SIGi ∈ v; v → parent → (SIGi → sig) = Signature; U nionSignature(v → parent); end if Return Sig-Tree; End =0 Mệnh đề 2.3 Độ phức tạp Thuật toán 2.5 O(k log n), với n số chữ ký cây, k chiều dài chữ ký 2.6.4 Phép tách nút Sig -Tree Kết phép tách nút hai cụm chữ ký rời tương ứng với hai nút Sig-Tree Việc tách nút làm cho Sig-Tree tăng trưởng theo hướng gốc Thuật toán tách nút đề xuất sau: Thuật toán 2.6 Tách nút Input: Tập chữ ký S nút cần tách, chữ ký α β Output: Hai nút tách gồm NodeA NodeB Function SplitNode(S, α, β) Begin NodeA = {α}; NodeB = {β;} for si ∈ S Tính độ đo d(α, si ) d(β, si ); if d(α, si ) < d(β, si ) then else Chèn si vào NodeA Chèn chữ ký si vào NodeB ; end if end for Return {NodeA, NodeB }; End =0 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Thuật toán 2.7 Tách nút Sig -Tree Input: Nút cần tách v Output: Cây Sig-Tree sau tách Function SplitTree(v) Begin Tạo tập chữ ký S nút v; Trích xuất hai chữ ký α, β nút v; {NodeA, NodeB } = SplitNode(S, α, β); Tạo hai chữ ký tổ hợp SigA, SigB NodeA, NodeB ; Gán vparent nút cha nút v; if (v → parent == null ) then Root = {SigA, SigB} else Bổ sung chữ ký SigA, SigB vào nút vparent ; UnionSignature(v → parent); if (vparent đầy) SplitTree(v → parent); end if end if Return Sig-Tree; End =0 Mệnh đề 2.4 Độ phức tạp Thuật toán 2.6 O(M ), với M số chữ ký Mệnh đề 2.5 Độ phức tạp Thuật toán 2.7 O(k(log n)2 + M log n), với M, n, k số chữ ký tối đa nút, số chữ ký cây, chiều dài chữ ký 2.6.5 Phép loại bỏ chữ ký Sig -Tree Việc loại bỏ nút dẫn đến phải loại bỏ phần tử tương ứng nút cha Nếu nút cha sau loại bỏ có số phần tử số lượng tối thiểu phải loại bỏ ln nút cha thu gom chữ ký nút theo nút cha thực thao tác chèn trở lại Một giải pháp đề xuất thực gán định danh đối tượng oid = null nút sau loại bỏ có số lượng phần tử nhỏ số lượng tối thiểu Khi thực thao tác chèn chữ ký nút lá, số lượng phần tử có oid = null nhiều số lượng tối thiểu thực loại bỏ phần tử có oid = null Thuật tốn 2.8 Loại bỏ chữ ký Input: Chữ ký Sig nút v, số chữ ký tối thiểu m Output: Cây Sig-Tree sau loại bỏ chữ ký Function DeleteNode(Sig, v, m) Begin Khởi tạo SIG = v.SIG cho v.SIG = Sig; if (v.count > m) then Loại bỏ phần tử SIG; UnionSignature(v) else v.SIG → oid = null; end if Return Sig-Tree; End =0 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Mệnh đề 2.6 Độ phức tạp Thuật toán 2.8 O(k log n), với n số chữ ký cây, k chiều dài chữ ký 2.6.6 Phép chèn chữ ký Sig -Tree Mỗi lần chèn chữ ký vào nút thực đếm số phần tử khác trống, vượt qua số lượng tối thiểu loại bỏ phần tử trống Nếu nút bị đầy tách nút theo Thuật toán 2.7 Thuật toán chèn chữ ký đề xuất sau: Thuật toán 2.9 Chèn chữ ký Input: Chữ ký Sig nút v Output: Cây Sig-Tree sau chèn nút Function InsertNode(Sig, v) Begin if (v nút lá) then Chèn chữ ký Sig vào nút v; if (số lượng phần tử nút v > m) then Loại bỏ nút trống; end if UnionSignature(v); if (nút v đầy) then SplitTree(v); end if else Chọn SIG ∈ v : độ đo d(SIG.Sig, Sig) nhỏ nhất; v = SIG → next; InsertNode(v); end if Return Sig-Tree; End =0 Mệnh đề 2.7 Độ phức tạp Thuật toán 2.9 O(k(log n)2 + M log n), với M, n, k số chữ ký tối đa nút, số chữ ký cây, chiều dài chữ ký 2.6.7 Tìm kiếm Sig -Tree Luận án mơ tả việc tìm kiếm dựa cấu trúc STACK Sig-Tree sau: Thuật tốn 2.10 Tìm kiếm ảnh Sig -Tree Input: Chữ ký tìm kiếm Sig Sig-Tree Output: Tập SigOid = { sigi , oidi |i = 1, , p} Function STreeRetrieval(Sig, Sig-Tree) Begin Khởi tạo: v = Root; SigOid = ∅ ; STACK = ∅; while (not Empty(STACK )) Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân v = Pop(STACK ); if (v nút lá) then Chọn SIG0 ∈ v: d(SIG0 → sig, Sig) nhỏ nhất; Push(STACK, Sig0 → next) else SigOid = SigOid ∪ { v → sigi , v → oidi |i = 1, , |v|}; end if end while Return SigOid; End =0 Mệnh đề 2.8 Độ phức tạp Thuật toán 2.10 O(M log n), với M số chữ ký tối đa nút cây, n số chữ ký 2.7 Thực nghiệm tìm kiếm ảnh dựa Sig -Tree Số liệu Bảng 2.2 cho thấy thời gian tìm kiếm trung bình tập liệu ảnh COREL 26,813 milli giây, tập ảnh liệu WANG 692,947 milli giây tập liệu ảnh ImgColl01 2423,780 milli giây Hình 2.14 Hiệu suất tìm kiếm Sig-Tree tập ảnh COREL Hình 2.15 Hiệu suất tìm kiếm Sig-Tree tập ảnh WANG Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Mệnh đề 3.2 Độ đo tương tự φ(I, J) Định nghĩa 3.4 khoảng cách khơng gian metric 3.4 Tìm kiếm ảnh dựa gom cụm chữ ký nhị phân 3.4.1 Gom cụm chữ ký nhị phân Mỗi phần tử gồm chữ ký nhị phân sig định danh oid Phần tử sig, oid phân bố vào cụm khoảng cách d đến tâm cụm ngắn nhỏ ngưỡng θ Nếu khoảng cách d lớn θ phần tử sig, oid tạo tâm cụm Thuật toán 3.1 Gom cụm chữ ký nhị phân Input: Ngưỡng tương tự θ tập chữ ký hình ảnh Γ Output: Tập cụm Ω Function SignatureClustering(θ, Γ) Begin Khởi tạo Ω = ∅; for sig, oid ∈ Γ if (Ω = ∅) then else Khởi tạo cụm V0 với tâm sig, oid Tìm Vk ∈ Γ : φ(sig, sigk ) = minφ(sig, sigi ), i = 1, , m; if (φ(sig, sigk ) < θ) then else end if Vk = Vk ∪ { sig, oid }; Cập nhật lại tâm cụm; Tạo cụm V có tâm sig, oid ; Bổ sung tập cụm Ω = Ω ∪ V ; end if end for Return Ω; End =0 Mệnh đề 3.3 Độ phức tạp Thuật toán 3.1 O(N ), với N số lượng phần tử tập chữ ký Γ 3.4.2 Thuật tốn tìm kiếm ảnh Q trình tìm kiếm ảnh thực cách chọn cụm có tâm gần với hình ảnh tra cứu Nếu khoảng cách nhỏ ngưỡng θ thực trích xuất định danh oid tập cụm xếp theo độ đo tương tự Thuật tốn tìm kiếm ảnh đề xuất sau: Thuật tốn 3.2 Tìm kiếm ảnh Input: Chữ ký ảnh sig, tập cụm Ω ngưỡng tìm kiếm θ Output: Tập định danh ảnh tương tự Ψ Function ClusterRetrieval(sig, Ω, θ) Begin Khởi tạo Ψ = ∅; Tìm cụm Vk : φ(sig, sigk ) = minφ(sig, sigi ), i = 1, , m; 11 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân if (φ(sig, sigk ) < θ) then Chọn cụm Vk ∈ Ω để truy hồi hình ảnh tương tự; end if Thực tra cứu ảnh tương tự; Return Ψ; End =0 Mệnh đề 3.4 Độ phức tạp Thuật toán 3.2 O(m), với m số lượng cụm 3.4.3 Thực nghiệm tìm kiếm ảnh dựa gom cụm Hình 3.2 Mơ hình tìm kiếm ảnh dựa gom cụm chữ ký nhị phân Hình 3.9 Hiệu suất tìm kiếm dựa gom cụm tập ảnh CBIRimages 3.5 Xây dựng đồ thị S-k Graph 3.5.1 Cấu trúc đồ thị S-k Graph Định nghĩa 3.5 Đồ thị chữ ký đồ thị vô hướng SG = (V, E), đó, tập đỉnh V tập cạnh E định nghĩa sau: V = {vI = sigI , oidI |I ∈ } E = { vI , vJ |φ(I, J) ≤ θ, ∀I, J ∈ với I, J hai hình ảnh tập ảnh (3.6) } (3.7) ; φ(I, J) độ đo tương tự; θ giá trị ngưỡng Phần xây dựng đồ thị S-k Graph với đỉnh cụm dựa độ đo φ Định nghĩa 3.6 Một cụm V có tâm I định nghĩa: V = {J|φ(I, J) ≤ kθ, J ∈ với kθ bán kính cụm V , } tập liệu ảnh, k ∈ N ∗ 12 (3.8) Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Hình 3.10 Hiệu suất tìm kiếm dựa gom cụm tập ảnh COREL WANG Bảng 3.4 Hiệu suất tìm kiếm trung bình dựa gom cụm tập ảnh Bảng 3.5 So sánh độ xác tìm kiếm tập ảnh COREL Cho trước tập Ω = {Vi |i = 1, , n} tập cụm rời nhau, đồ thị S-k Graph định nghĩa sau: Định nghĩa 3.7 Đồ thị S-kGraph=(VSG , ESG ) đồ thị vô hướng, tập đỉnh VSG = Ω tập cạnh ESG xác định sau: ESG = { Vi , Vj |i = j; Vi , Vj ∈ VSG ; φ(Ii0 , Jj0 ) < kθ} (3.9) Gọi I0 ảnh cần phân bố vào tập cụm rời Ω Gọi Im tâm cụm Vm cho: (φ(I0 , Im ) − km θ) = min{(φ(I0 , Ii ) − ki θ), i = 1, , n}, với Ii tâm cụm Vi Quy tắc 3.1 Quy tắc phân bố hình ảnh: (1) Nếu φ(I0 , Im ) ≤ km θ ảnh I0 phân bố vào cụm Vm (2) Nếu φ(I0 , Im ) > km θ đặt k0 = [(φ(I0 , Im ) − km θ)/θ], đó: (2.1) Nếu k0 > tạo cụm V0 tâm I0 , bán kính k0 θ Ω = Ω ∪ {V0 }; 13 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân (2.2) Ngược lại (k0 = 0), ảnh I0 phân bố vào cụm Vm gán φ(I0 , Im ) = km θ Để tránh xung đột liệu, hình ảnh phân bố phải thuộc cụm Các định lý sau chứng minh phân bố Định lý 3.1 Cho đồ thị S-kGraph=(VSG , ESG ) Gọi Vi , Vj ∈ ESG Ii0 , Jj0 tâm Vi , Vj Khi ta có: φ(Ii0 , Jj0 ) > (ki0 + kj0 )θ (3.10) với ∀I ∈ Vi , φ(Ii0 , I) ≤ ki0 θ ∀J ∈ Vj , φ(Jj0 , J) ≤ kj0 θ Định lý 3.2 Mỗi ảnh I phân bố vào cụm tập Ω = {Vi |i = 1, , n} Định lý 3.3 Với ảnh I, giá trị φ(I, Im ) − km θ ≤ xảy Im Định lý 3.4 Cho tập Ω = {Vi |i = 1, , n} tập cụm, gọi I hình ảnh Khi tồn cụm Vi0 ∈ Ω cho I ∈ Vi0 3.5.2 Thuật toán tạo đồ thị S-k Graph Đồ thị S-k Graph xây dựng từ tập ảnh ngưỡng θ theo Quy tắc 3.1 Thuật toán tạo đồ thị S-k Graph đề xuất sau: Thuật toán 3.3 Tạo đồ thị S-k Graph Input: Tập liệu ảnh giá trị ngưỡng bán kính θ Output: Đồ thị S-k Graph=(VSG , ESG ) Function CreateSkGraph( ,θ) Begin VSG = ∅; ESG = ∅; kI = 1; n = 1; for I(I ∈ ) if (VSG = ∅) then I0n = I; r = kI θ; Khởi tạo cụm Vn = { I0n , r, φ = }; VSG = VSG ∪ Vn else Tìm tâm I0n : (φ(I, I0m ) − km θ) = min{(φ(I, I0i ) − ki θ), i = 1, , n}; if ((φ(I, I0m ) ≤ km θ)) then Vm = Vm ∪ { I, km θ, φ(I, I0m ) }; else kI = [(φ(I, I0m ) ≤ km θ)] ; if (kI > 0) then I0n+1 = I; r = kI θ; Khởi tạo cụm Vn+1 = I0n+1 , r, φ = ; VSG = VSG ∪ Vn+1 ; ESG = ESG ∪ { Vn+1 , Vi |φ(I0n+1 , I0i ) ≤ kθ, i = 1, , n; n = n + 1; 14 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân else φ(I, I0m ) = km θ; Vm = Vm ∪ { I, km θ, φ(I, I0m ) }; end if end if end if end for Return S-k Graph; End =0 Mệnh đề 3.5 Độ phức tạp Thuật toán 3.3 O(N ), với N số lượng phần tử tập chữ ký 3.5.3 Thuật tốn tìm kiếm ảnh đồ thị S-k Graph Thuật tốn 3.4 Thuật tốn tìm kiếm ảnh đồ thị S-k Graph Input: Ảnh cần tìm kiếm IQ , đồ thị S-k Graph = (VSG , ESG ), giá trị ngưỡng kθ Output: Tập ảnh tương tự IM G Function SkGraphRetrieval(IQ , S-k Graph,kθ) Begin IM G = ∅; V = ∅; φ(IQ , I0m ) = min{φ(IQ , I0i ), i = 1, , n}; V = V ∪ Vm , với Vm cụm có tâm I0m ; for (Vi ∈ VSG ) if (φ(I0m , I0i ) ≤ kθ) then for (Vj ∈ V ) IM G = IM G ∪ {Ikj , Ikj V = V ∪ Vi ; end if end for ∈ Vj , k = 1, , |Vj |}; end for Return IM G; End =0 Mệnh đề 3.6 Độ phức tạp Thuật toán 3.4 O(n), với n số lượng đỉnh đồ thị S-kGraph 3.5.4 Phép phân rã cụm đồ thị S-k Graph Mục đích việc phân rã cụm nhằm phân hoạch lại cụm có bán kính q lớn Định lý 3.5 Thuật toán tách cụm V thành cụm khác rỗng, rời C = {V1 , , VM }, nghĩa V = V1 ∪ ∪ VM Vi ∩ Vj = ∅, với i = j i, j ∈ {1, , M } Mệnh đề 3.7 Độ phức tạp Thuật toán 3.5 O(m × n), với m, n số lần phân rã số lượng phần tử cụm phân rã 3.5.5 Thực nghiệm tìm kiếm ảnh đồ thị S-k Graph Thực nghiệm tìm kiếm ảnh đồ thị S-k Graph gồm hai giai đoạn: Tạo đồ thị S-k Graph từ tập liệu ảnh tìm kiếm tập ảnh tương tự với ảnh tra cứu ban đầu 15 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Hình 3.14 Mơ hình tìm kiếm ảnh dựa đồ thị S-k Graph Hình 3.19 Hiệu suất tìm kiếm đồ thị S-k Graph tập ảnh CBIRimages Hình 3.20 Hiệu suất tìm kiếm đồ thị S-k Graph tập COREL WANG 16 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Hình 3.22 Hiệu suất tìm kiếm đồ thị S-k Graph tập ảnh MSRDI Hình 3.24 Hiệu suất tìm kiếm đồ thị S-k Graph tập ảnh ImageCLEF Hình 3.26 Hiệu suất tìm kiếm đồ thị S-k Graph tập ảnh ImgColl02 Bảng 3.14 Hiệu suất tìm kiếm đồ thị S-k Graph tập liệu ảnh 17 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Bảng 3.15 So sánh độ xác tìm kiếm tập ảnh COREL 3.6 Xây dựng đồ thị S-k Graph dựa mạng Sig -SOM 3.6.1 Xây dựng cấu trúc mạng Sig -SOM Nhằm cải tiến trình tạo đồ thị S-k Graph phương pháp tìm kiếm ảnh, luận án xây dựng mạng Sig-SOM Mạng Sig-SOM có chế mở rộng đồ thị S-k Graph tầng đầu theo Quy tắc 3.1 Định nghĩa 3.8 Mạng Sig-SOM mạng SOM, lớp đầu vào ứng với chữ ký nhị phân Sig(I) = b1 b2 bN , bi ∈ {0, 1} lớp đầu gồm N thành phần tương ứng với cụm đồ thị chữ ký S-kGraph = (VSG , ESG ) Mỗi cụm thứ j tầng đầu kết nối đầy đủ với N thành phần tầng đầu vào Mỗi cung kết nối từ thành phần thứ i lớp đầu vào đến cụm thứ j thuộc tầng đầu có trọng số kết nối wij ∈ {0, 1} Định nghĩa 3.9 Gọi Sig(I) = b1 bN chữ ký nhị phân ảnh I tập SIG = {Sig(I10 ), , Sig(In0 )} tập chữ ký nhị phân tâm cụm tầng đầu mạng Sig-SOM Cụm chiến thắng Vm ứng với liệu đầu vào Sig(I) = b1 bN thỏa: ) = max{δ(I, Ii0 )|i = 1, , n} δ(I, Im (3.12) với δ(I, Ii0 ) = α × dO (sigIO , sigIOi ) + β × dC (sigIC , sigICi ) α, β ∈ (0, 1), α + β = dO (sigIO , sigIOi ) = N N i=1 N OT (SigIO [i]XORSigICi [i]) dC (sigIC , sigICi ) = M M i=1 N OT (SigIC [i]XORSigICi [i]) Khi đó, cụm chiến thắng Vm cụm kết nối trực tiếp với vec-tơ chiến thắng Wm Định lý 3.6 Nếu Vm cụm chiến thắng ứng với liệu đầu vào Sig(I) = b1 b2 bN khoảng cách φ(I, I0m ) ngắn nhất, nghĩa là: φ(I, I0m ) = min{φ(I, I0i )|i = 1, , |VSG |} (3.13) với I0i tâm cụm Vi ∈ VSG φ độ đo tương tự 3.6.2 Thuật toán huấn luyện mạng Sig -SOM Quy tắc 3.2 Gọi Sig(I) = b1 b2 bN chữ ký nhị phân ảnh I Gọi Wm = (w1m , w2m , , wN m ) vec-tơ trọng số kết nối thời điểm t Quy tắc huấn luyện mạng Sig-SOM thời điểm t + ứng với liệu đầu vào Sig(I) = b1 b2 bN sau: 18 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân (t+1) (t) wi,m = bi ∨ wi,m (t+1) wi,j (3.14) (t) = ¬bi ∧ wi,j (3.15) với j = m j = 1, , n (t) Định lý 3.7 Đặt Sig(I) = b1 bN liệu đầu vào, Wm = (w1m , , wN m ) vec-tơ trọng số kết nối thời điểm t Ta có: (t) (t+1) δ(Sig(I), Wm ) ≤ δ(Sig(I), Wm ) (3.16) Thuật toán 3.6 Thuật toán huấn luyện mạng Sig -SOM Input: Tập huấn luyện Γ = {Sig(Ii ) = (bi1 , bi2 , , biN )|i = 1, , K} Output: Mạng Sig-SOM sau huấn luyện Function SigSOMTraining(Γ) Begin Bước Khởi tạo mạng Khởi tạo tập huấn luyện Γ gồm K vec-tơ chữ ký nhị phân Sig(Ii ) = (bi1 , , biN ) mơ tả tập hình ảnh ={Ii |i = 1, , K}; Khởi tạo tầng đầu gồm n cụm Ω = {Vj = Cj , kj θ }, với Cj = (cj1 , , cjN ), cjk ∈ {0, 1}, k = 1, , N, j = 1, , n; Khởi tạo tập trọng số W = {Wj |Wj = (w1j , , wnj ), wij ∈ {0, 1}, i = 1, , n}; Với chữ ký nhị phân đầu vào Sig(Ii ) gán tập S =∅ thực từ Bước đến Bước sau: Bước Chọn cụm chiến thắng ứng với chữ ký Sig(Ii ) if (W = S) then go to Bước else Tính δ(Ii , Wi ) với Wj ∈ W \S cụm tầng đầu ra; Chọn cụm chiến thắng VJ : (δ(Ii , WJ ) = max{δ(Ii , Wj )|j = 1, 2, , n}); end if Bước Kiểm tra điều kiện cụm Tính độ đo tương tự φ vec-tơ đầu vào Sig(Ii ) tâm Cj = (cj1 , , cjN ); if (φ(Sig(Ii ), Cj ) ≤ kj θ) then Vec-tơ đầu vào Sig(Ii ) thuộc cụm VJ ; Huấn luyện vec-tơ trọng số WJ sau: (t+1) wi,J (t) (t+1) = bi ∨ wi,J ; wi,j (t) = ¬bi ∧ wi,j , với j = J j = 1, , n else S = S ∪ {WJ }; go to Bước 2; end if Bước Tạo cụm Tìm cụm gần Vm với VJ ; (nghĩa (φ(CJ , Cm ) − km θ) = min{(φ(CJ , Ci ) − ki θ), i = 1, , n} ) Đặt k0 = [(φ(CJ , Cm ) − km θ)/θ] ≥ 0; if k0 > then Tạo cụm V0 = C0 , k0 θ : C0 = Sig(Ii ); Tạo vec-tơ kết nối W0 = (w1,0 , , wN ), với wi,0 giá trị ngẫu nhiên {0, 1}; 19 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân end if if k0 = then Vec-tơ đầu vào Sig(Ii ) thuộc cụm Vm ; Huấn luyện vec-tơ Wm sau: (t+1) (t) (t+1) wi,m = bi ∨ wi,m ; wi,j (t) = ¬bi ∧ wi,j , với j = m j = 1, , n; end if Return Sig-SOM Network; End =0 Mệnh đề 3.8 Độ phức tạp Thuật toán 3.6 O(K), với K số lượng phần tử tập chữ ký Γ 3.6.3 Thuật tốn tìm kiếm ảnh mạng Sig -SOM Thuật tốn 3.7 Thuật tốn tìm kiếm ảnh Input: Ảnh cần tìm kiếm IQ mạng Sig-SOM sau huấn luyện Output: Tập ảnh tương tự IM G Function SigSOMRetrieval(IQ , Sig-SOM) Begin Khởi tạo tập ảnh kết IM G = ∅; Khởi tạo tập cụm V = ∅; Tính δ(IQ , Wi ), với Wj ∈ W, j = 1, , n; Chọn cụm chiến thắng VJ : (δ(Ii , WJ ) = max{δ(Ii , Wj )|j = 1, 2, , n}; V = V ∪ {VJ }; for(Vi ∈ VSG ) if (φ(Im , Ii0 ) ≤ kθ) then V = V ∪ Vi ; end if end for for (Vj ∈ V ) IM G = IM G ∪ {Ijk ∈ Vj , k = 1, , |Vj |}; end for Return Tập ảnh tương tự IM G; End Mệnh đề 3.9 Độ phức tạp Thuật toán 3.7 O(n), với n số lượng đỉnh đồ thị S-kGraph tầng đầu mạng Sig-SOM 3.6.4 Thực nghiệm tìm kiếm ảnh mạng Sig -SOM Phương pháp tìm kiếm ảnh dựa mạng Sig-SOM gồm hai giai đoạn: huấn luyện mạng Sig-SOM để tạo đồ thị S-k Graph tìm kiếm ảnh dựa mạng Sig-SOM Phương pháp dựa đồ thị S-k Graph giải khuyết điểm trình phân cụm phân cấp phương pháp Sig-Tree Thời gian độ xác phương pháp S-k Graph cải thiện đáng kể so với phương pháp Sig-Tree Phương pháp đồ thị S-k Graph giải vấn đề xung đột liệu cụm phương pháp tìm kiếm ảnh hiệu 20 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Hình 3.28 Mơ hình tìm kiếm ảnh dựa mạng Sig-SOM Hình 3.33 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh CBIRimages Hình 3.34 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh COREL WANG Phương pháp tìm kiếm mạng Sig-SOM cải thiện độ xác so với phương pháp S-k Graph đảm bảo tốc độ tìm kiếm không làm cấu trúc đồ thị S-k Graph 21 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Hình 3.36 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh MSRDI Hình 3.38 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImageCLEF Hình 3.40 Hiệu suất tìm kiếm mạng Sig-SOM tập ảnh ImgColl02 3.7 Tổng kết chương Chương đưa cấu trúc đồ thị S-k Graph nhằm cải tiến tốc độ gom cụm để tìm kiếm ảnh dựa nội dung Mạng Sig-SOM nhằm cải tiến phương pháp tạo đồ 22 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân Bảng 3.23 Hiệu suất tìm kiếm mạng Sig-SOM tập liệu ảnh Bảng 3.24 So sánh độ xác tìm kiếm mạng Sig-SOM tập COREL Bảng 3.25 So sánh hiệu suất phương pháp đề xuất thị S-k Graph với đầu vào chữ ký nhị phân đầu đồ thị S-k Graph Theo kết thực nghiệm, phương pháp đề xuất đáp ứng mục tiêu luận án Phương pháp gom cụm chữ ký nhị phân tốn nhiều chi phí tạo cụm ban đầu Tuy nhiên, hai phương pháp cải tiến gồm đồ thị S-k Graph mạng Sig-SOM giảm đáng kể chi phí thời gian tạo liệu ban đầu Theo số liệu so sánh với phương pháp khác, phương pháp đề xuất xây dựng chương trình tìm kiếm ảnh hiệu quả, nghĩa thời gian tìm kiếm nhanh có độ xác cao Điều minh chứng tính đắn theo thực nghiệm phương pháp đề xuất đáp ứng mục tiêu đề ban đầu luận án Từ cho thấy phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân giải pháp hiệu để xây dựng công cụ tìm kiếm ảnh đáp ứng yêu cầu người dùng 23 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân KẾT LUẬN Luận án tiếp cận phương pháp tìm kiếm ảnh dựa chữ ký nhị phân Đóng góp luận án xây dựng phương pháp tìm kiếm nhanh hình ảnh dựa nội dung Kết thực nghiệm cho thấy phương pháp đề xuất tăng tốc độ tìm kiếm đảm bảo độ xác cao Luận án mơ tả phương pháp tạo chữ ký nhị phân cho hình ảnh dựa lược đồ màu, vùng đặc trưng đối tượng đặc trưng Luận án thực tiền xử lý ảnh để trích xuất đặc trưng thị giác từ tạo chữ ký nhị phân để mô tả đặc trưng thị giác Luận án tạo độ đo tương tự ứng dụng vào mơ hình truy vấn ảnh khác gồm: Tìm kiếm ảnh Sig-Tree, tìm kiếm ảnh dựa gom cụm chữ ký nhị phân, tìm kiếm ảnh đồ thị S-k Graph, tìm kiếm ảnh mạng Sig-SOM Luận án đề xuất độ đo tương tự, cấu trúc liệu Sig-Tree, cấu trúc đồ thị S-k Graph mạng Sig-SOM Từ đó, luận án đưa thuật tốn nhằm xây dựng chương trình tìm kiếm ảnh dựa chữ ký nhị phân phương pháp khác nhau, bao gồm: (1) Tìm kiếm ảnh theo đặc trưng màu sắc toàn cục vùng cục dựa chữ ký nhị phân Sig-Tree; (2) Tìm kiếm ảnh dựa phương pháp gom cụm chữ ký nhị phân; (3) Tìm kiếm ảnh dựa chữ ký nhị phân đồ thị S-k Graph; (4) Tìm kiếm ảnh dựa chữ ký nhị phân mạng Sig-SOM Luận án xây dựng thực nghiệm đánh giá kết tập liệu ảnh mẫu gồm: COREL, CBIRimages, WANG, ImageCLEF, MSRDI, ImgColl01, ImgColl02 Theo thực nghiệm cho thấy, phương pháp tìm kiếm ảnh dựa chữ ký nhị phân thực mục tiêu ban đầu luận án tức tăng tốc độ tìm kiếm với độ xác cao Luận án so sánh kết với số cơng trình gần mơ tả Bảng 2.3, Bảng 3.5, Bảng 3.15, Bảng 3.24 Trong Bảng 3.25, tác giả so sánh phương pháp đề xuất cho thấy phương pháp gom cụm chữ ký nhị phân theo phân hoạch cải tiến so với phương pháp tạo cụm theo phân cấp dựa Sig-Tree thời gian tạo cụm, độ xác thời gian tìm kiếm Hơn nữa, phương pháp truy vấn đồ thị S-k Graph cải thiện thời gian tạo cụm so với phương pháp phân cụm; mạng Sig-SOM cải tiến trình tạo cấu trúc đồ thị S-k Graph Từ cho thấy phương pháp tìm kiếm ảnh theo nội dung dựa chữ ký nhị phân giải pháp hữu hiệu nhằm đóng góp cơng cụ tìm kiếm ảnh cho cộng đồng 24 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN Văn Thế Thành, Lê Mạnh Thạnh, Một số cải tiến cho Hệ truy vấn ảnh dựa S-Tree, Kỷ yếu Hội thảo QG FAIR-2016, NXB KHTN&CN, tr 459-470, 2016 Thanh The Van, Thanh Manh Le, Content-Based Image Retrieval Using A Signature Graph and A Self-Organizing Map, International Journal of Applied Mathematics and Computer Science, Vol 26, No 2, pp 423-438, 2016 Thanh T Van, Thanh M Le, Clustering Binary Signature applied in Content-Based Image Retrieval, WorldCist’16, Springer (AISC), Vol 444 (1), pp 233-242, 2016 Văn Thế Thành, Lê Mạnh Thạnh, Truy vấn ảnh sử dụng Chữ ký nhị phân Ảnh phân đoạn, Kỷ yếu Hội thảo QG @CNTT-2015, NXB KH&KT, tr 324-329, 2016 Văn Thế Thành, Lê Mạnh Thạnh, Truy vấn ảnh tri thức dựa chữ ký nhị phân, Tạp chí Khoa học ĐH Huế, Chuyên san KT&CN, Tập 106, Số 07, tr 215-228, 2015 Văn Thế Thành, N M Hải, N T T Tâm, N P Hạc, Lê Mạnh Thạnh, Hệ truy vấn ảnh sử dụng Chữ ký nhị phân Bản đồ tự tổ chức Bi-SOM, Kỷ yếu Hội thảo QG @CNTT-2014, NXB KH&KT, tr 95-100, 2014 Thanh The Van, Thanh Manh Le, Image retrieval Based on Binary signature and S-kGraph, Annales Univ Sci Budapest., Sect Comp., 43, pp.105-122, 2014 Thanh The Van, Thanh Manh Le, RBIR using Interest Regions and Binary Signature, Annales Univ Sci Budapest., Sect Comp., 43, pp.89-103, 2014 Thanh The Van, Thanh Manh Le, RBIR Based on Signature Graph, ICCCI-2014, IEEE Xplore, pp.1-4, Coimbatore, India, 03-05-Jan-2014 10 Thanh The Van, Thanh Manh Le, Color Image Retrieval Using Fuzzy Measure Hamming and S-Tree, CSA-2013, Springer (LNEE), Vol 279, pp 615-620, 2014 11 Văn Thế Thành, Lê Mạnh Thạnh, Truy vấn ảnh dựa chữ ký nhị phân S-Tree, Kỷ yếu Hội thảo QG FAIR-2013, NXB KHTN&CN, tr 586-593, 2013 12 Thanh Manh Le, Thanh The Van, Image Retrieval System Based on EMD Similarity Measure and S-Tree, ICITES-2012, Springer (LNEE), Vol 234, pp 139-146, 2013 13 Văn T Thành, T M Bảo, Lê M Thạnh, Truy vấn liệu văn dựa chữ ký nhị phân, Kỷ yếu Hội thảo QG @CNTT-2012, NXB KHKT, tr 460-465, 2012 14 Văn Thế Thành, Trần Minh Bảo, Truy vấn liệu dựa chữ ký khối văn bản, Tạp chí ĐH Huế, Chuyên san KHTN, Tập 74B, Số 5, tr 157-165, 2012 25 ... vùng cục dựa chữ ký nhị phân Sig-Tree; (2) Tìm kiếm ảnh dựa phương pháp gom cụm chữ ký nhị phân; (3) Tìm kiếm ảnh dựa chữ ký nhị phân đồ thị S-k Graph; (4) Tìm kiếm ảnh dựa chữ ký nhị phân mạng... nhị phân giải pháp hiệu để xây dựng cơng cụ tìm kiếm ảnh đáp ứng yêu cầu người dùng 23 Tìm kiếm ảnh dựa đồ thị chữ ký nhị phân KẾT LUẬN Luận án tiếp cận phương pháp tìm kiếm ảnh dựa chữ ký nhị phân. .. kiếm ảnh dựa chữ ký nhị phân Chương đưa số cải tiến cho tìm kiếm ảnh dựa S-Tree Chương đề xuất phương pháp tìm kiếm ảnh đồ thị chữ ký Chương TỔNG QUAN VỀ TÌM KIẾM ẢNH THEO NỘI DUNG DỰA TRÊN CHỮ