Một cải tiến thuật toán FCM để phân cụm dữ liệu lớn và ứng dụng cho truy vấn ảnh

Bài viết giới thiệu kết quả mới sử dụng phép phân cụm mờ C-Means (FCM) cải tiến thay thế cho K-means để chọn các điểm neo trong tập ảnh cần tra cứu. Thực nghiệm đã chứng tỏ tính hiệu quả của đề xuất cách chọn tập các điểm neo cho thuật toán EMR bằng phương pháp phân cụm mới đã thực sự tăng chất lượng truy vấn ảnh.

Cơng nghệ thơng tin & Cơ sở tốn học cho tin học MỘT CẢI TIẾN THUẬT TOÁN FCM ĐỂ PHÂN CỤM DỮ LIỆU LỚN VÀ ỨNG DỤNG CHO TRUY VẤN ẢNH Hồng Văn Q1*, Ngơ Hồng Huy2, Nguyễn Thế Cường1, Nguyễn Tu Trung3, Nguyễn Văn Quyền4 Tóm tắt: Thuật tốn đánh hạng đa tạp EMR sử dụng rộng rãi truy vấn ảnh với sở liệu lớn Việc xây dựng đồ thị quan hệ kề nhờ điểm neo không gian vector đặc trưng ảnh mức thấp thiết kế hiệu dựa phân cụm K-means Bài báo giới thiệu kết sử dụng phép phân cụm mờ C-Means (FCM) cải tiến thay cho K-means để chọn điểm neo tập ảnh cần tra cứu Thực nghiệm chứng tỏ tính hiệu đề xuất cách chọn tập điểm neo cho thuật toán EMR phương pháp phân cụm thực tăng chất lượng truy vấn ảnh Từ khóa: Big data; EMR; K-means; FCM; CBIR MỞ ĐẦU Độ đo đánh hạng đa tạp [1-5] đo độ tương tự ảnh sử dụng rộng rãi CBIR Với giả định rằng, điểm liệu khơng gian đặc trưng có mối quan hệ với điểm liệu khác tương tự khơng gian, thuật tốn trước hết xây dựng đồ thị có trọng số cho tất điểm liệu khơng gian đặc trưng, đó, cạnh gán trọng số để biểu diễn mối liên quan liệu hai điểm Đầu tiên, điểm liệu truy vấn ban đầu gán giá trị định, điểm liệu lại có liên quan gán giá trị Thứ hai, tất điểm liệu lan truyền xếp hạng chúng đến điểm liệu bên cạnh thông qua đồ thị có trọng số Q trình lan truyền điểm số xếp hạng lặp lặp lại hội tụ tới tình trạng ổn định tồn cục Các điểm thức xếp hạng đại diện cho việc giống điểm liệu điểm truy vấn Các điểm liệu tương tự điểm truy vấn điểm xếp hạng lớn Để tăng hiệu tính tốn EMR sử dụng điểm neo thay cho việc xét toàn tập liệu ảnh Các điểm neo xác định tâm cụm thu sau sử dụng thuật toán phân cụm K-means tập liệu gốc Trong báo này, đề xuất phương pháp chuẩn xác định điểm neo để tăng hiệu thuật toán đánh hạng đa tạp EMR thuật toán phân cụm mờ Cmeans (FCM) cải tiến Thuật tốn đề xuất phân cụm hiệu số cụm lớn (có thể lên đến 10% 20% số phần từ tập liệu) Phần lại báo tổ chức sau Phần 2, số nghiên cứu liên Phần đề xuất thuật toán xác định điểm neo theo tiếp cận phân cụm sử dụng thuật toán FCM Các kết thực nghiệm đưa phần Kết luận hướng nghiên cứu trình bày phần NGHIÊN CỨU LIÊN QUAN Thuật toán đánh hạng đa tạp EMR Bước quan trọng thuật toán EMR xác định giá trị thứ hạng độ đo tương tự ảnh CSDL với ảnh truy vấn sử dụng độ đo đa tạp cho vector ảnh neo thay tồn sở liệu ảnh Trong thuật toán EMR quan hệ kề hai vector ảnh xây dựng dựa điểm neo (anchor) thay dựa quan hệ s-láng giềng vector ảnh, nghĩa Ei gọi nối với Ej i≠j tồn điểm neo chung Ac cho Ac sláng giềng Ei Ej; 182 H V Quý, …, N V Quyền, “Một cải tiến thuật toán FCM … ứng dụng cho truy vấn ảnh.” Nghiên cứu khoa học công nghệ Với vector ảnh Ei ký hiệu: Nb(i, s)  nbest ( Ei , Al ; s), d s  max d ( Ei , Al ) lNb (i , s ) (1) 3  (1  t ), if t  Và K (t )    0, otherwise Trong đó: nbest(i) vector thứ i nbest vector gần Ac nhất; d(Ei,Al) khoảng cách vector A,B có kích thước Độ đo đa tạp xây dựng nhờ giải hàm mục tiêu sau:   n 1 rj 2 ri 1 EMR(r; Q)  wij   ri  r0,i    1i , j  n 1 Dii D jj  i 1    E ,A  K i k   d s  k  Nb(i,s), z  0k  Nb(i,s) Z=  zki 1 k C ,1i  n 1 , zki  ki  Ei , Al  K  lNB ( i , s )  ds     def   W= w ij 1i , j  n 1  ,W  Z T Z , wij  zki * zkj ,1  i, j  n  (2) (3) (4) kNb ( i , s )  Nb (j, s ) def n 1 Dii  w (5) ij j 1 Trong đó: Q tập ảnh truy vấn (để thuận tiện gán En+1 = Q); r0,n 1  1; r0,i  0; i  1, n Như trình bày trên, kết đánh hạng thuật toán EMR phụ thuộc vào việc chọn số lượng điểm neo C tập điểm neo {Ac }Cc1 Trong [1] tác giả sử dụng thuật toán phân cụm K-means để chọn điểm tâm cụm điểm neo Qua thực nghiệm, thấy số cụm C chọn khơng đủ lớn EMR cho kết sai lệch nhiều Vì vậy, chúng tơi đề xuất thuật tốn phân cụm dựa FCM thay cho thuật toán K-means để chọn điểm neo KỸ THUẬT ĐỀ XUẤT Xác định điểm neo thuật toán FCM Cho trước sở liệu (CSDL) đặc trưng mức thấp E  Ei 1i n , sử dụng FCM (về FCM, xem [7,8,9,10,11]) ta phân cụm E thành C cụm, thuật tốn lặp FCM cực tiểu hóa hàm mục tiêu sau: n C J (A,  )   cp Ei  Ac  (6) i 1 c 1 Trong đó, số p > 1, C  N  , C  , m  dim( Ei ) , 1  i  n , độ đo khoảng cách Euclid, Ei  Ac  m  E i, j  Ac , j  ràng buộc cho ma trận độ thuộc {µc,i} j 1 khơng âm cho sau: Tạp chí Nghiên cứu KH&CN quân sự, Số 69, 10 - 2020 183 Công nghệ thông tin & Cơ sở toán học cho tin học i  1, n, C  c ,i  1.0 (7)  (8) c 1 n c  1,C,  c ,i i 1 Công thức lặp giải hàm mục tiêu (4) cho sau: c  1, C , i  1, n, c ,i   n Ei  Ac       i '1 Ei '  Ac     n c  1, C , A c   i 1 n  p 1 (9) p c ,i Ei  (10) p c ,i i 1 Trong công thức (9) (10) trên, tất vector đặc trưng CSDL ảnh tham gia Nhưng thực tế tất phần tử điểm ảnh có ảnh hưởng đến q trình hiệu chỉnh tâm cụm, thuật tốn K-means[6] có phần tử gần Ac tham gia vào việc hiệu chỉnh tâm Do đặc điểm trên, đề xuất cải tiến công thức (9) (10) sau: c  1, C , i  1, n, c ,i           ,     n E  A  p 1  i c         i '1 Ei '  Ac     (11)  nb c  1, C , A c   p c ,nbest(i') Enbest(i') i '1 nb  (12) p c ,nbest(i') i '1 Trong đó: µɛ số dương đủ nhỏ; nb tham số số vector đặc trưng CSDL ảnh E gần Vc nhất; nbest(i) vector thứ i nbest vector gần Ac Chúng ta có thuật tốn FCM cải tiến để xác định điểm neo sau: Thuật toán (Xác định điểm neo FCM)-AFCM Input: E= Ei 1in liệu đặc trưng mức thấp, số p > 1, C số điểm neo (C lớn từ 10% đến 20% số ảnh E), m  dim( Ei ), i  1, n , nb số nbest điểm gần điểm neo Ac, c  1, C , µɛ> L số vòng lặp tối đa Output: Tập điểm neo  Ac 1cC Bước 1: Khởi tạo tâm cụm thuật toán K-means: 1.1: Gọi thuật toán phân cụm K-mean để phân cụm E thành C cụm, thu  Ac 1cC 1.2: Sử dụng thuật toán FCM gốc để giải hàm mục tiêu theo công thức (6) 184 H V Quý, …, N V Quyền, “Một cải tiến thuật toán FCM … ứng dụng cho truy vấn ảnh.” Nghiên cứu khoa học công nghệ Bước 2: Lặp l  1, L : 2.1: Tính ma trận độ thuộc c ,i 1cC ,1i  n theo cơng thức (11) 2.2: Chuẩn hóa trọng số c ,i 1cC ,1i  n theo ràng buộc (7): => c ,i   c ,i C  , c  1, C , i  1, n c ',i c '1 2.3: Tính lại tâm cụm  Ac 1cC theo cơng thức (12) 2.4: Tính Jl(A, µ) theo cơng thức (6) 2.5: Ra khỏi vịng lặp Jl ( A,  )  J l 1 ( A,  ) (sai số ngưỡng) Bước 3: Trả  Ac 1cC Độ phức tạp thuật tốn là: O(n*m*C*L + n*m*C2*L*N_best) THỰC NGHIỆM Chúng tơi tiến hành thực nghiệm hai tập liệulogo-2K+[12]vàVGGFACE2S[13] Các tập liệu tổ chức thành lớp ngữ nghĩa theo cách người nhận thức độ tương tự Mỗi lớp biểu diễn chủ đề ngữ nghĩa khác nhau, ảnh lớp xem liên quan Bảng 1.Các tập ảnh Tập ảnh Số lượng ảnh Số lớp ảnh Logo-2K+ 22725 303 VGGFACE2-S 60000 500 Tập liệu thứ Logo-2K+[12], gồm 22725 hình ảnh logo 303 thương hiệu khác đặt 303 nhóm, với nhóm gồm 75 ảnh thương hiệu Hình số mẫu ảnh tập liệu Hình Một số mẫu tập liệu ảnh Logo-2K+ Tạp chí Nghiên cứu KH&CN quân sự, Số 69, 10 - 2020 185 Công nghệ thông tin & Cơ sở toán học cho tin học Tập liệu thứ VGGFACE2-S tập tập liệu hình ảnh để nhận dạng khuôn mặt VGGFACE2, bao gồm 60000 ảnh chia thành 500 nhóm với nhóm 120 ảnh người Hình số hình ảnh tập liệu (tập liệu lấy ngẫu nhiên từ tập liệu VGGFACE2với 169396 ảnh 500 lớp [13]) Hình ảnh tập liệu có kích thước mầu sắc khác Hình Một số mẫu tập liệu ảnh VGGFACE2-S 4.1 Trích chọn đặc trưng Ảnh mầu ảnh đa cấp xám biểu diễn đặc trưng mức thấp thuộc nhiều (bộ mô tả mầu, mô tả kết cấu mơ tả hình dạng,…) Trong thực nghiệm, sử dụng đặc trưng tồn cục để mơ tả ảnh: Color Moments, LBP, Gabor Wavelets Texture, Edge GIST (xem [2, 3, 7]) Khoảng cách Euclid sử dụng để tính khoảng cách đặc trưng Các đặc trưng mức thấp chuẩn hóa phương pháp 3-opt để thành phần vector đặc trưng mức thấp sở liệu ảnh nằm khoảng [-1,1] (xem [14]) 4.2 Các kết luận giải Trong thực nghiệm này, chúng tơi chọn µɛ =10-6, nb = 500 thuật toán FCM đề xuất Để đánh giá khách quan hiệu thuật toán EMR-Kmeans EMR-FCM đề xuất, sử dụng số tương tự độ đo Average Precision (chúng gọi AP) đề xuất NISTTREC video (TRECVID) [14], AP định nghĩa trung bình giá trị độ xác thu sau ảnh liên quan tra cứu Tập ảnh truy vấn Q chọn ngẫu nhiên với số lượng 10% theo chủ đề tập ảnh thử nghiệm Logo-2k+ VGGFACE2-S Với ảnh truy vấn q  Q , sử dụng độ đo tương tự cho EMR-Kmean EMR- FCM đề xuất, chọn N = 100 ảnh có độ tương tự cao Giá trị độ xác trung bình tỷ lệ số ảnh liên quan N ảnh trả lại giá trị tương tự với ảnh q Gọi tập phần tử liên quan đến truy vấn q  Q d1 , d , , d mj , giá   trị AP tồn truy vấn tính toán sau:  AP(Q)   Q  Q mj   N  *100 j 1  (13) 186 H V Quý, …, N V Quyền, “Một cải tiến thuật toán FCM … ứng dụng cho truy vấn ảnh.” Nghiên cứu khoa học công nghệ Từ thử nghiệm tập liệu khác (Logo-2k+và VGGFACE2-S), tùy thuộc vào số hình ảnh, lớp hình ảnh hình ảnh lớp việc lựa chọn tham số C (điểm neo – anchor point) khác cho kết khác Và thuật toán đề xuấtEMR sử dụng FCM để chọn điểm neo (chính tâm cụm thu nhận được) cho kết tốt so với thuật toán EMR gốc sử dụng K-means 80 80 75 75 70 70 65 65 60 60 3000 4000 5000 EMR-Kmeans 6000 7000 EMR-FCM 6000 7000 8000 EMR- (k-Means) 9000 10000 EMR-FCM Kết thử nghiệm sở liệu Kết thử nghiệm sở liệu Logo-2K+ VGGFACE2-S Hình Kết thực nghiệm tập liệu Hiệu truy vấn trung bình EMR tập dataset (Logo-2k+ VGGFACE2-S) 66.91%; 65.90% Hiệu truy vấn trung bình EMR cải tiến tập dataset (Logo-2k+ VGGFACE2-S) 73.85%; 73.33% KẾT LUẬN Trong báo này, thuật toán FCM cải tiến đề xuất để phân cụm sở liệu lớn cho vectơ nhiều chiều thành nhiều cụm Sau đó, thay sử dụng K-means thơng thường, FCM áp dụng cho bước chọn điểm neo EMR Do đó, cho EMR tốt hơn, cụ thể EMR-FCM cải tiến độ xác việc truy xuất hình ảnh EMR đề xuất cao so với thuật toán gốc Đối với sở liệu hình ảnh lớn, hệ thống CBIR trích xuất đặc trưng thấp ảnh pha ngoại tuyến xếp hạng vectơ đặc trưng hình ảnh theo mức độ tương đương với vectơ đặc trưng hình ảnh truy vấn xây dựng cách sử dụng EMR- FCM pha trực tuyến Với sở liệu hình ảnh lớn, thời gian tính tốn khơng bị ảnh hưởng hầu hết mơ-đun tính tốn trích xuất đặc trưng cấp thấp, mơ-đun liên quan FCM cải tiến áp dụng cho toàn sở liệu giải giai đoạn ngoại tuyến Kết thực nghiệm thách thức thúc đẩy chúng tơi thử nghiệm hình ảnh y tế lớn với hàng ngàn hình ảnh thêm vào sở liệu lưu trữ nhiều cách khác TÀI LIỆU THAM KHẢO [1] Bin Xu, Jiajun Bu, Chun Chen, Can Wang, Deng Cai and Xiaofei He EMR: “A Scalable Graph-based Ranking Model for Content-based Image Retrieval”, IEEE transactions on knowledge and data engineering 27, no.1, 102-114 (2015) [2] Wang, M., Fu, W., Hao, S., Tao, D., & Wu, X “Scalable Semi-Supervised Learning by Efficient Anchor Graph Regularization” IEEE Transactions on Knowledge and Data Engineering 28 (7), 1864–1877 (2016) [3] Liang, S., Markov, I., Ren, Z., & de Rijke M “Manifold Learning for Rank Aggregation” Proceedings of the 2018 World Wide Web Conference on World Wide Web - WWW ’18 2018 Tạp chí Nghiên cứu KH&CN quân sự, Số 69, 10 - 2020 187 Công nghệ thông tin & Cơ sở toán học cho tin học [4] Wu, Y., Wang, X., & Zhang, T “Crime Scene Shoeprint Retrieval Using Hybrid Features and Neighboring Images” Information, 10 (2), 45 (2019) [5] Shaoyan Sun, Ying Li, Wengang Zhou, Qi Tian c, Houqiang Li “Local residual similarity for image re-ranking”, Information Sciences.417, 143–153(2017) [6] Anil K Jain “Data clustering: 50 years beyond K-means”, Pattern Recognition Letters.31, 651–666 (2010) [7] J.C Bezdek, “Pattern Recognition with Fuzzy Objective Function Algorithm”,Plenum Press, 1981 [8] Yang, Miin-Shen, Pei-Yuan Hwang, and De-Hua Chen “Fuzzy clusterinsg algorithms for mixed feature variables” Fuzzy Sets and Systems 141,no 301317 (2004) [9] Hanuman Verma, Akshansh Gupta, Dhirendra Kumar “A modified intuitionistic fuzzy c-means algorithm incorporating hesitation degree”, Pattern Recognition Letters.122, 45–52.(2019) [10] Timothy C Havens, James C Bezdek, Christopher Leckie, Lawrence O Hall, and Marimuthu Palaniswami “Fuzzy c-Means Algorithms for Very Large Data”, IEEE Transactions on Fuzzy systems 20, no.6, December 2012 [11] Kuo-Lung Wu “Analysis of parameter selections for fuzzy c-means”, Pattern Recognition.45,407–415 (2012) [12] Dataset [Online] Available: https://drive.google.com/drive/folders/1PTA24UTZcsnzXPN1gmV0_lRg3lMHqwp6 [13] Dataset [Online] http://zeus.robots.ox.ac.uk/vgg_face2/ [14] Trung Hoang Xuan, Tuyet Dao Van, Huy Ngo Hoang, Sergey Ablameyko, Cuong Nguyen Quoc, Quy Hoang Van “A Novel Non-Gaussian Feature Normalization Method and itsApplication in Content Based Image Retrieval” Nonlinear Phenomena in Complex Systems.22, no 1, pp – 17 (2019) ABSTRACT MANIFOLD RANKING ON MULTIPLE LOW-LEVEL FEATURE SET NORMALIZED WITH OPTIMIZED PARAMETERS IN CBIR In CBIR, the image is represented by multi low-level features that describe the color, texture and shape of the image The combination of different image features in global similarity measurements such as the EMR requires normalized data sets In this paper, a new normalization method for vector number data such as the low level features of color images is proposed Experimentation has shown the effectiveness of the proposed algorithm for the manifold ranking EMR, and the CBIR quality is really improved Keywords: Big data; EMR; K-means; FCM; CBIR Nhận ngày 27 tháng năm 2020 Hoàn thiện ngày 10 tháng năm 2020 Chấp nhận đăng ngày 15 tháng 10 năm 2020 Địa chỉ: 1Đại học Hồng Đức, Thanh Hóa; Đại học Điện lực; Đại học Kinh doanh Công nghệ Hà Nội; Trường Đại học Hải Phòng * Email: minhquy1208@gmail.com 188 H V Quý, …, N V Quyền, “Một cải tiến thuật toán FCM … ứng dụng cho truy vấn ảnh.” ... sử dụng thuật toán phân cụm K-means để chọn điểm tâm cụm điểm neo Qua thực nghiệm, thấy số cụm C chọn khơng đủ lớn EMR cho kết sai lệch nhiều Vì vậy, chúng tơi đề xuất thuật toán phân cụm dựa FCM. .. Bước 1: Khởi tạo tâm cụm thuật toán K-means: 1.1: Gọi thuật toán phân cụm K-mean để phân cụm E thành C cụm, thu  Ac 1cC 1.2: Sử dụng thuật toán FCM gốc để giải hàm mục tiêu theo công thức... giá   trị AP toàn truy vấn tính tốn sau:  AP(Q)   Q  Q mj   N  *100 j 1  (13) 186 H V Quý, …, N V Quyền, ? ?Một cải tiến thuật toán FCM … ứng dụng cho truy vấn ảnh. ” Nghiên cứu khoa