Một phương pháp gom cụm dữ liệu cho bài toán tìm kiếm ảnh

Tạp chí Khoa học Công nghệ và Thực phẩm 21 (2) (2021) 202 215 202 MỘT PHƯƠNG PHÁP GOM CỤM DỮ LIỆU CHO BÀI TOÁN TÌM KIẾM ẢNH Nguyễn Thị Thuỳ Trang, Trần Như Ý Huỳnh Thị Châu Lan, Phan Thị Ngọc Mai* Trư[.]

Tạp chí Khoa học Cơng nghệ Thực phẩm 21 (2) (2021) 202-215 MỘT PHƯƠNG PHÁP GOM CỤM DỮ LIỆU CHO BÀI TỐN TÌM KIẾM ẢNH Nguyễn Thị Thuỳ Trang, Trần Như Ý Huỳnh Thị Châu Lan, Phan Thị Ngọc Mai* Trường Đại học Công nghiệp Thực phẩm TP.HCM *Email: maiptn@hufi.edu.vn Ngày nhận bài: 05/3/2021; Ngày chấp nhận đăng: 24/5/2021 TÓM TẮT Trong báo này, cải tiến thuật toán K-Means đề xuất nhằm phân cụm liệu áp dụng cho tốn tìm kiếm ảnh tương tự theo nội dung Để thực điều này, sử dụng giá trị ngưỡng đo độ tương tự đối tượng liệu, ngưỡng kí hiệu 𝜃 Trên sở ngưỡng 𝜃, thuật tốn K-Means cải tiến cách khơng xác định trước số tâm cụm, số cụm liệu tăng trưởng theo gia tăng số lượng hình ảnh Đặc trưng hình ảnh trích xuất dạng véc-tơ có n chiều liệu đầu vào cho thuật toán K-Means cải tiến để từ tìm kiếm hình ảnh tương tự Nhằm minh chứng cho đề xuất, thực nghiệm đánh giá kết tập liệu ảnh COREL (có 1000 ảnh) đồng thời so sánh với cơng trình khác cơng bố gần liệu Theo kết thực nghiệm, đề xuất khả thi ứng dụng cho hệ thống tìm kiếm ảnh khác Từ khoá: Phân cụm, K-Means, độ đo tương tự, ảnh tương tự GIỚI THIỆU Trong năm gần đây, nhiều hệ thống tìm kiếm cơng bố nhằm giải tốn tìm kiếm ảnh tương tự sở liệu đa phương tiện Có nhiều lĩnh vực khác áp dụng kỹ thuật tìm kiếm ảnh y tế, thời trang, hệ thống giám sát đối tượng, hệ thống thông tin địa lý, thư viện số [1, 2], nhiều hệ thống tra cứu ảnh dựa nội dung CBIR (Content-Based Image Retrieval) giới thiệu [3, 4] Một số công trình tìm kiếm ảnh cơng bố như: tìm kiếm ảnh dựa thuật tốn K-Means [5], tìm kiếm ảnh dựa hình dạng, màu sắc, cấu trúc, đối tượng đặc trưng [6, 7] Các cơng trình khảo sát tập trung vào kỹ thuật trích xuất đặc trưng, kỹ thuật đối sánh tìm kiếm dựa đặc trưng… nên phương pháp tốn nhiều chi phí thời gian nhớ để đối sánh hai đối tượng hình ảnh, cần có phương pháp tra cứu hình ảnh tương tự dựa liệu trung gian để từ truy hồi hình ảnh Mặt khác, việc tìm kiếm liệu trung gian cần sử dụng phương pháp khai phá liệu để tìm tập liệu đại diện cho hình ảnh Trong đó, phương pháp phân cụm kỹ thuật quan trọng khai thác liệu ứng dụng nhiều hệ thống tìm kiếm ảnh phát triển cho sở liệu lớn, thuật toán tiêu biểu phân cụm phân hoạch K-Means [8] Tuy nhiên, kết phân cụm thu từ thuật toán K-Means phụ thuộc nhiều vào việc khởi tạo số lượng cụm ban đầu, điều ảnh hưởng đến độ xác trình phân cụm, nghĩa phụ thuộc vào số lượng tâm cụm chọn ban đầu Ngoài ra, 202 Một phương pháp gom cụm liệu cho tốn tìm kiếm ảnh bổ sung phần tử vào cụm thuật tốn K-Means cần phải xác định lại tâm cụm mới, điều làm cho tốn nhiều chi phí q trình thực thi Bên cạnh đó, liệu tăng trưởng ngày lớn việc xác định trước số lượng tâm cụm ban đầu khơng phù hợp dẫn đến hai phần tử cụm có khoảng cách lớn [9] Do đó, báo này, nhóm tác giả cải tiến thuật toán K-Means áp dụng cho tốn tìm kiếm ảnh tương tự theo nội dung Trong cải tiến này, số lượng tâm cụm không cần phải xác định trước mà tăng dần thỏa điều kiện cho trước theo tăng trưởng liệu Trong báo này, sử dụng giá trị ngưỡng 𝜃 để đánh giá độ tương tự đối tượng liệu Thuật tốn K-Means cải tiến cách khơng cần xác định trước số tâm cụm số cụm liệu tăng trưởng theo gia tăng số lượng hình ảnh Trên sở này, chúng tơi áp dụng thuật toán K-Means cải tiến để phân cụm liệu hình ảnh để thực tốn tìm kiếm ảnh tương tự theo nội dung Ngoài ra, chúng tơi đề xuất mơ hình thực nghiệm xây dựng ứng dụng thực nghiệm ảnh COREL để đánh giá độ xác tính khả thi cho đề xuất Đóng góp báo bao gồm: (1) Xây dựng phương pháp gom cụm cải tiến dựa K-Means nhằm tạo mơ hình phân loại liệu giúp trình tìm kiếm hiệu tốc độ độ xác; (2) Xây dựng mơ hình tìm kiếm ảnh tương tự theo nội dung dựa thuật toán K-Means cải tiến; (3) Xây dựng mơ hình thực nghiệm thực thi liệu phổ dụng nhằm minh chứng tính đắn lý thuyết đề xuất CÁC CÔNG TRÌNH LIÊN QUAN Nhiều cơng trình sử dụng phương pháp gom cụm dựa K-Means nhằm thực toán tìm kiếm ảnh cơng bố gần như: Sử dụng thuật toán K-Means kết hợp phân lớp SVM (Support Vector Machine) nhằm thực tìm kiếm ảnh dựa đặc trưng cấp thấp [10], gom cụm véc-tơ đặc trưng dựa histogram đánh mục ảnh để thực tìm kiếm nhanh tập ảnh tương tự [11], phân đoạn ảnh trích xuất đặc trưng dựa vùng sử dụng giá trị kỳ vọng độ lệch chuẩn không gian màu RGB nhằm phân cụm tra cứu hình ảnh tương tự [12], phân cụm véc-tơ đặc trưng dựa K-Medoids tìm kiếm tuyến tính cục dựa ứng viên lân cận gần [13], sử dụng kỹ thuật phân cụm K-Means để truy xuất hình ảnh dựa nội dung [14], phân cụm dựa đặc trưng hình ảnh bảng băm kết hợp với phương pháp giảm số chiều PCA [15], lập mục ảnh phân cụm K-Means dựa đặc trưng cấp thấp không gian RGB với khoảng cách Euclid [16] … Theo H.K.Maur cộng (2019) tiếp cận thuật toán K-Means nhằm phân cụm hình ảnh dựa đặc trưng cấp thấp gồm: màu sắc, hình dạng cấu trúc Trên sở phân cụm, nhóm tác giả áp dụng phương pháp phân lớp SVM để phân loại nhóm đối tượng hình ảnh, từ thực tra cứu ảnh Theo thực nghiệm, phương pháp đề xuất tác giả giải hiệu cho toán tra cứu ảnh nhiều liệu khác Tuy nhiên, việc phân cụm nhóm tác giả cịn phụ thuộc vào số tâm cụm ban đầu liệu tăng trưởng việc phân cụm nhiều chi phí thời gian Do đó, cần phải có phương pháp phù hợp cho liệu tăng trưởng để không tái cấu trúc cụm nhằm giảm chi phí thời gian [10] Theo Juli Rejito cộng (2017) thực hệ truy vấn ảnh dựa thuật toán K-Means cách phân cụm đặc trưng dạng histogram; sau đó, nhóm tác giả thực tạo định danh cho tập hình ảnh nhằm tra cứu nhanh tập ảnh kết Kết thực nghiệm báo đạt độ xác 0,68, điều cho thấy phương pháp áp dụng nhóm tác giả hiệu khả thi cho việc áp dụng hệ thống tìm kiếm ảnh 203 Nguyễn Thị Thùy Trang, Trần Như Ý, Huỳnh Thị Châu Lan, Phan Thị Ngọc Mai Tuy nhiên, việc phân cụm đặc trưng dựa vào K-Means tốn thời gian xác định tâm cụm, số cụm ban đầu Đồng thời, liệu tăng trưởng tốn chi phí phân cụm lại định danh hình ảnh theo cụm [11] Mohamed Ouhda cộng (2018) sử dụng kỹ thuật K-Means để phân cụm đặc trưng dựa vùng hình ảnh Đặc trưng trích xuất vùng đối tượng theo vị trí màu sắc khơng gian RGB để từ thực tốn tra cứu ảnh theo nội dung Theo kết nhóm tác giả, phương pháp đề xuất thực nghiệm hiệu nhiều ảnh khác có độ xác cao Tuy nhiên, phương pháp tốn chi phí việc phân cụm [12] Wei Zhang cộng (2016) trình bày mơ hình K-Medoids để thay K-Means việc phân cụm liệu Sau đó, phương pháp tìm kiếm tuyến tính cục dựa ứng viên lân cận gần thực cho truy vấn Kết phương pháp láng giềng cách xếp hạng lân cận với khoảng cách Euclide véc-tơ đặc trưng ban đầu Kết thử nghiệm ảnh CIFAR-10 cho thấy phương pháp đề xuất hiệu cải thiện đáng kể độ xác việc tìm kiếm Tuy nhiên, việc phân cụm K-Medoids yêu cầu đưa vào số lượng cụm k tốn thời gian xác định tâm cụm liệu ảnh tăng tưởng [13] Mostafa G Saeed cộng (2017) đề xuất phương pháp xây dựng véc-tơ đặc trưng để mơ tả hình ảnh Đặc trưng gồm 140 thành phần lấy dựa histogram màu, moment màu, lọc Gabor đặc trưng cấp thấp cấu trúc bề mặt ảnh… Trên sở thuật tốn K-Means, nhóm tác giả thực phân cụm hình ảnh dựa vào khoảng cách Euclide Thực nghiệm thực thi liệu IMPLIcity có 1000 hình ảnh màu đánh giá hình ảnh ngẫu nhiên Tuy nhiên, việc thử nghiệm kiểm tra liệu nhỏ nên không đánh giá hiệu liệu lớn Ngoài ra, việc phân cụm véc-tơ đặc trưng dựa vào K-Means tốn chi phí xác định lại tâm cụm liệu tăng trưởng [14] Tongtong Yuan cộng (2019) đề xuất phương pháp băm thích ứng nhằm giảm số chiều cho véc-tơ đặc trưng hình ảnh để thực tìm kiếm ảnh tương tự Trong cách tiếp cận này, véc-tơ đặc trưng loại bỏ giá trị dư thừa đảm bảo đặc tính đối tượng hình ảnh để từ giảm chi phí q trình tìm kiếm ảnh Tuy nhiên, phương pháp tốn chi phí việc phân cụm phải xác định lại tâm [15] Bằng cách sử dụng thuật toán phân cụm K-Means, Annrose cộng (2016) đề xuất phương pháp lập mục ảnh dựa đa đặc trưng để thực tốn tìm kiếm ảnh Nhóm tác giả thực phương pháp K-NN kết hợp K-Means để tìm kiếm đối sánh đặc trưng hình ảnh Tuy nhiên, việc phân cụm nhóm tác giả cịn phụ thuộc vào số tâm cụm ban đầu liệu tăng trưởng phải xác định lại tâm cụm [16] Nhằm tăng tốc độ tìm kiếm cho tốn tìm kiếm hình ảnh tương tự, A K Jain khảo sát mô tả phương pháp gom cụm nhóm đối tượng theo độ đo tương tự cho trước [17] Phương pháp gom cụm ứng dụng nhiều tốn tìm kiếm ảnh tương tự như: ứng dụng thuật toán K-Means khoảng cách Euclide để gom cụm đặc tính ảnh màu nhằm phục vụ cho tốn tìm kiếm ảnh [18] Các kỹ thuật khảo sát tập trung vào việc phân cụm với số cụm cho trước từ kết hợp với phương pháp khác để thực toán tra cứu ảnh Tuy nhiên, chọn trước số cụm hai đối tượng khác thuộc cụm, điều dẫn đến nhiều sai số áp dụng thuật toán K-Means cho tốn tìm kiếm ảnh Do đó, thuật tốn K-Means cần phải cải tiến để tăng trưởng số cụm liệu đồng thời đảm bảo phần tử giống phải thuộc cụm với bán kính 𝜃 cho trước Để thực vấn đề này, sử dụng giá trị ngưỡng 𝜃 đối tượng liệu xây dựng quy tắc phân bố phần tử 204 Một phương pháp gom cụm liệu cho tốn tìm kiếm ảnh sở thuật tốn K-Means Từ đó, thuật toán cải tiến đề xuất cho không xác định trước số tâm cụm, số cụm liệu tăng trưởng theo gia tăng số lượng hình ảnh nhằm áp dụng cho tốn tìm kiếm ảnh KỸ THUẬT PHÂN CỤM 3.1 Đặc trưng hình ảnh Trong báo này, chúng tơi trích xuất đặc trưng dựa màu sắc, đối tượng vị trí tương đối đối tượng đặc trưng hình ảnh Đặc trưng màu sắc sử dụng dựa giá trị Histogram màu gồm: đỏ (red), xanh lục (green), xanh dương (blue), vàng (yellow), cam (orange), tím (purple); Đặc trưng đối tượng đặc trưng vị trí trích xuất dựa độ tương phản bao gồm màu màu đối tượng, đồng thời tính tỷ lệ diện tích chu vi đối tượng Trong Hình 1, đặc trưng trích xuất dựa màu sắc vị trí tương đối đối tượng đặc trưng (a) (e) (b) (c) (f) (g) (d) (h) Hình Một ví dụ trích xuất vùng đặc trưng ảnh Hình 1.a ảnh gốc; Hình 1.b ảnh lấy theo độ tương phản, nghĩa độ sáng điểm ảnh mức ngưỡng chuyển thành màu nền, ngược lại điểm ảnh lấy theo cường độ xám; Hình 1.c Hình 1.d ảnh mặt nạ đối tượng ảnh lấy dựa độ tương phản; Hình 1.e đường biên ảnh, trích xuất theo phương pháp LoG (Laplacian-of-Gaussian); Hình 1.f ảnh bề mặt lấy theo phép lọc Sobel; Hình 1.g Hình 1.h ảnh đối tượng ảnh Đặc trưng hình ảnh trích xuất theo: tỷ lệ diện tích vùng, giá trị kỳ vọng theo trục X, giá trị kỳ vọng theo trục Y, độ lệch theo trục X, độ lệch theo trục Y, chu vi đối tượng, màu sắc ảnh gốc, màu sắc đối tượng hình Trên sở này, vector đặc trưng có 44 chiều trích xuất cho ảnh sau: 205 Nguyễn Thị Thùy Trang, Trần Như Ý, Huỳnh Thị Châu Lan, Phan Thị Ngọc Mai Bảng Một kết trích xuất đặc trưng cho Hình COREL Tên đặc trưng Giá trị Diện tích hình đối tượng 0,483; 0,483; 0,422; 0,040; 0,043 Diện tích hình 0,516; 0,512; 0,568; 0,041; 0,050 Chu vi đối tượng 0,057; 0,519; 0,366; 0,041; 0,039 Bề mặt đối tượng 0,565; 0,498; 0,516; 0,0406; 0,047 Màu sắc ảnh bề mặt đối tượng 0,001; 0,355; 0,067; 0,260; 0; 0,314 Đặc trưng màu sắc ảnh đối tượng 0; 0; 0,337; 0,509; 0; 0,152 Đặc trưng màu sắc hình 0,001; 0,579; 0; 0,015; 0; 0,403 Đặc trưng màu sắc ảnh gốc 0,001; 0,299; 0,163; 0,254; 0; 0,282 3.2 Kỹ thuật phân cụm 3.2.1 Mô tả kỹ thuật phân cụm Trong thuật toán K-Means, ba tham số cần khởi tạo ban đầu gồm: số lượng cụm k, tâm cụm độ đo tương tự; Ngoài ra, bổ sung phần tử vào cụm phải xác định lại tâm cụm Tuy nhiên, với liệu cho trước, số lượng cụm khó xác định việc tăng trưởng liệu làm gia tăng số lượng cụm, điều gây tốn nhiều chi phí thời gian trình thực thi tái tạo lại số cụm Trong báo này, đề xuất cải tiến thuật toán K-Means nhằm phân cụm liệu tăng trưởng số cụm theo liệu Để thực điều này, sử dụng giá trị ngưỡng đo độ tương tự đối tượng liệu, ngưỡng kí hiệu 𝜃 Trên sở ngưỡng 𝜃, thuật toán K-Means cải tiến cách không xác định trước số tâm cụm, số cụm liệu tăng trưởng theo gia tăng số lượng hình ảnh Hình Mô tả kỹ thuật phân cụm 206 Một phương pháp gom cụm liệu cho tốn tìm kiếm ảnh Trong Hình 2, phương pháp phân cụm dựa K-Means mơ tả, đó: 𝐼𝑖 , 𝑅𝑖 , 𝑡𝑖 tâm, bán kính, hệ số dãn nở bán kính cụm 𝐶𝑖 Gọi 𝐿 = {𝑣1 , 𝑣2 , … , 𝑣𝑛 } tập véc-tơ ảnh ban đầu − Bước 1: Tạo cụm 𝐶1 đầu tiên: 𝑅1 =  𝐼1 = 𝑣1 − Bước 2: Xét 𝑣𝑖 ∈ 𝐿 với 𝑖 = 2, , 𝑛 Tìm cụm 𝐶𝑡 thỏa (𝑣𝑖 , 𝐼𝑡 ) − 𝑅𝑡 = 𝑚𝑖𝑛{(𝑣𝑖 , 𝐼𝑗 ) − 𝑅𝑗 } với 𝑗 = 1, , 𝑘 (trong 𝑘 số lượng cụm tạo) 𝑑 = (𝑣𝑖 , 𝐼𝑡 ) − 𝑅𝑡 Nếu (𝑑 ≤ ) 𝐶𝑡 = 𝐶𝑡 ∪ {𝑣𝑖 }; //Thêm 𝑣𝑖 vào cụm 𝐶𝑡 Nếu (𝑣𝑖 , 𝐼𝑡 ) > 𝑅𝑡 𝑅𝑡 = (𝑣𝑖 , 𝐼𝑡 ); // Cập nhật bán kính cụm 𝐶𝑡 Ngược lại //Tạo cụm 𝐶𝑘 có tâm 𝑣𝑖 𝐼𝑘 = 𝑣𝑖 ; 𝑅𝑘 = 𝜃;  =  ∪ Ck ; 3.2.2 Thuật toán phân cụm Theo phương pháp đề xuất trên, thuật toán gom cụm ảnh cải tiến từ K-Means mơ tả sau: Thuật tốn CTIR Đầu vào: Ngưỡng tương tự 𝜃 𝐿 (tập véc-tơ ảnh ban đầu) Đầu ra: Tập cụm  Function Clustering_theta(, 𝐿) Begin Khởi tạo  = ; Foreach 〈𝑣𝑖 〉 ∈ 𝐿 If ( = ) then //Tạo cụm 𝐶1 𝐼1 = 𝑣1 ; 𝑅1 = ;  = {𝐶1 }; Else Tìm cụm Ct ∈  thỏa (𝑣𝑖 , 𝐼𝑡 ) − 𝑅𝑡 = 𝑚𝑖𝑛{(𝑣𝑖 , 𝐼𝑗 ) − 𝑅𝑗 } với 𝑗 = 1, , 𝑘 (trong 𝑘 số lượng cụm tạo) 𝑑 = (𝑣𝑖 , 𝐼𝑡 ) − 𝑅𝑡 If (𝑑 ≤  ) then 𝐶𝑡 = 𝐶𝑡 ∪ {𝑣𝑖 }; //Thêm 𝑣𝑖 vào cụm 𝐶𝑡 If (𝑣𝑖 , 𝐼𝑡 ) > 𝑅𝑡 then 𝑅𝑡 = (𝑣𝑖 , 𝐼𝑡 ); // Cập nhật bán kính cụm 𝐶𝑡 EndIf; 207 Nguyễn Thị Thùy Trang, Trần Như Ý, Huỳnh Thị Châu Lan, Phan Thị Ngọc Mai Else //Tạo cụm 𝐶𝑘 có tâm 𝑣𝑖 𝐼𝑘 = 𝑣𝑖 ; 𝑅𝑘 = 𝜃;  =  ∪ Ck ; EndIf; EndIf; EndFor; Return ; End Mệnh đề Thuật tốn CTIR có độ phức tạp 𝑂(𝑛 ∗ 𝑚), với 𝑛, 𝑚 liệu số cụm tạo Chứng minh: Giả sử có 𝑛 phần tử liệu phân thành 𝑚 cụm Thuật toán cần phải duyệt qua 𝑛 phần tử liệu, với phần tử cần phải duyệt qua 𝑚 cụm để phân bố liệu Trong trường hợp xấu nhất, thuật toán CTIR có số lần duyệt 𝑛 ∗ 𝑚 để phân bố phần tử vào cụm Khi số phần tử liệu lớn, giá trị 𝑛 𝑚 lớn độ phức tạp thuật tốn CTIR 𝑂(𝑛 ∗ 𝑚) 3.3 Thuật tốn tìm kiếm ảnh Trên sở tập cụm  phân hoạch theo thuật tốn CTIR, q trình tìm kiếm ảnh thực cách chọn cụm Cm có tâm gần với ảnh tra cứu Tuy nhiên, chọn thêm cụm láng giềng Cm dựa độ đo tâm cụm để tăng số lượng kết ảnh tra cứu Khi bước thuật tốn tìm kiếm ảnh sau: − Bước 1: Tìm cụm Cm có tâm gần với véc-tơ ảnh tra cứu − Bước 2: Tìm h cụm láng giềng với cụm Cm Tập ¥ chứa h cụm láng giềng cụm Cm − Bước 3: Tìm tập £ chứa tất véc-tơ ¥ − Bước 4: Sắp xếp £ tăng dần theo độ đo Thuật toán SEIR: − Đầu vào: véc-tơ đặc trưng p (ảnh tìm kiếm), tập cụm  ngưỡng tìm kiếm 𝜎 − Đầu ra: tập  chứa id (định danh) ảnh tương tự với ảnh tìm kiếm Function ClusterRetrieval( p ,  , 𝜎 ) Begin Khởi tạo  = ; Tìm cụm Ck  :  (p ,vk ) = min{  (p,vi ), i= 1, , m}; (với m số lượng cụm, vi véc-tơ tâm cụm Ci ) //Tìm h cụm láng giềng với Ck Sắp xếp  tăng dần theo  ( vt,vk ) - (Ct.R+Ck.R) (với Ct, vt cụm tâm cụm thứ t, t=1, , m) Khởi tạo £=∅; 208 ... tự cho trước [17] Phương pháp gom cụm ứng dụng nhiều tốn tìm kiếm ảnh tương tự như: ứng dụng thuật toán K-Means khoảng cách Euclide để gom cụm đặc tính ảnh màu nhằm phục vụ cho tốn tìm kiếm ảnh. . .Một phương pháp gom cụm liệu cho toán tìm kiếm ảnh bổ sung phần tử vào cụm thuật tốn K-Means cần phải xác định lại tâm cụm mới, điều làm cho tốn nhiều chi phí q trình thực thi Bên cạnh đó, liệu. .. toán K-Means cải tiến cách không xác định trước số tâm cụm, số cụm liệu tăng trưởng theo gia tăng số lượng hình ảnh Hình Mơ tả kỹ thuật phân cụm 206 Một phương pháp gom cụm liệu cho tốn tìm kiếm