Nâng cao độ chính xác tra cứu ảnh dựa vào nội dung trong ngữ cảnh tập mẫu huấn luyện hạn chế

Bài viết trình bày việc đề xuất phương pháp tra cứu ảnh IREC (An image retrieval method using efficient Classifier), nó có ưu điểm xây dựng được bộ huấn luyện cân bằng giữa lớp âm và lớp dương.

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00048 NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG TRONG NGỮ CẢNH TẬP MẪU HUẤN LUYỆN HẠN CHẾ Đào Thị Thúy Quỳnh *, Nguyễn Hữu Quỳnh **, Phƣơng Văn Cảnh**, Ngô Quốc Tạo*** Khoa Công nghệ thông tin, Học viện Cơng nghệ Bưu Viên thơng, ** Khoa Công nghệ thông tin, Trường Đại học Điện lực, ** * Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam, * thuyquynhtn90@gmail.com, quynhnh@epu.edu.vn, canhpv@epu.edu.vn, nqtao@ioit.ac.vn TÓM TẮT: Nhiều hệ thống tra cứu ảnh có tích hợp phản hồi liên quan để giảm khoảng trống ngữ nghĩa mô tả ảnh mức thấp ngữ nghĩa mức cao suy nghĩ người dùng Từ thơng tin người dùng cung cấp, thuật tốn phân lớp áp dụng lên tập huấn luyện tạo phân lớp sử dụng pha tra cứu Tuy nhiên, có hai hạn chế tra cứu ảnh sử dụng phản hồi liên quan với SVM: (a) liệu cân mẫu dương âm (mẫu âm thường lớn mẫu dương) (b) số lượng mẫu phản hồi người dùng thường nhỏ so với số chiều liệu Nhằm khắc phục hai hạn chế trên, đề xuất phương pháp tra cứu ảnh IREC (An image retrieval method using efficient Classifier), có ưu điểm xây dựng huấn luyện cân lớp âm lớp dương Bên cạnh đó, phương pháp khai thác tính chất hình học liệu đa tạp nhằm giảm số chiều tập mẫu huấn luyện theo hướng tiếp cận phổ Để minh chứng tính hiệu của phương pháp đề xuất, cung cấp kết thực nghiệm sở liệu đặc trưng gồm 10800 ảnh Từ khóa: Tra cứu ảnh dựa vào nội dung, phản hồi liên quan, đa tạp, phổ, giảm chiều liệu, phân lớp cân I GIỚI THIỆU Gần đây, tra cứu ảnh thu hút quan tâm nhiều nhà nghiên cứu cộng đồng khoa học máy tính Với sẵn có thiết bị thu nhận ảnh số, số lượng ảnh số tăng lên với tốc độ nhanh chóng Hệ thống tra cứu ảnh tự động trở thành chìa khóa cho việc sử dụng hiệu nguồn tài nguyên số Trong hệ thống CBIR tiêu biểu, đặc trưng ảnh trực quan mức thấp (tức màu, kết cấu hình dạng) trích rút tự động cho mục tiêu đánh số mô tả ảnh Để tìm kiếm ảnh mong muốn, người dùng đưa ảnh làm mẫu hệ thống trả lại tập ảnh tương tự dựa vào đặc trưng trích rút Khi hệ thống trình bày tập ảnh xem tương tự truy vấn, người dùng lấy ảnh liên quan đến ảnh truy vấn cho hệ thống điều chỉnh truy vấn sử dụng chúng Phản hồi liên quan dựa vào kỹ thuật CBIR không yêu cầu người dùng cung cấp truy vấn khởi tạo xác, đánh giá truy vấn lý tưởng người dùng sử dụng ảnh liên quan phản hồi Trong hệ thống tra cứu ảnh sử dụng phân lớp có hai chế: (a) liệu cân mẫu dương âm (mẫu âm thường lớn mẫu dương) (b) số lượng mẫu phản hồi người dùng thường nhỏ so với số chiều liệu Hai hạn chế dẫn đến độ xác thấp độ phức tạp tính tốn cao Chúng tơi đề xuất phương pháp nâng cao độ xác tra cứu ảnh dựa vào nội dung ngữ cảnh tập mẫu huấn luyện hạn chế IREC (An image retrieval method using efficient classifier) Bằng cách sử dụng kỹ thuật sinh mẫu ngẫu nhiên vào lớp thiểu số để hai lớp cân Sau khai thác tính chất hình học liệu đa tạp nhằm giảm số chiều tập mẫu huấn luyện sử dụng thuật toán giảm chiều sử dụng k véctơ riêng lên tập mẫu ví dụ huấn luyện Trên tập mẫu cân giảm chiều, chúng tơi tìm siêu phẳng tách tối ưu tính tốn khoảng cách tất ảnh sở liệu tới siêu phẳng tách xếp điểm theo thứ tự tăng dần khoảng cách trả tập ảnh kết cho người dùng Phần lại báo tổ chức sau Trong Phần II, khảo sát nghiên cứu tra cứu ảnh sử dụng phân lớp SVM Phần III trình bày chi tiết phương pháp đề xuất Phần IV mô tả thực nghiệm đánh giá hiệu phương pháp đề xuất thảo luận kết Cuối cùng, đưa kết luận Phần V II PHẢN HỒI LIÊN QUAN VỚI SVM Phản hồi liên quan trình trực tuyến mà cố gắng học mục đích người dùng q trình cơng cụ mạnh sử dụng truyền thống hệ thống tra cứu thông tin Nó giới thiệu CBIR khoảng đầu năm 1990, với mục đích mang người dùng vào lặp tra cứu để giảm khoảng cách ngữ nghĩa mà truy vấn biểu diễn người dùng nghĩ Bằng việc tiếp tục học thông qua tương tác với người dùng cuối, phản hồi liên quan cung cấp cải tiến hiệu đáng kể hệ thống CBIR Support vector machine (SVM) thuật toán phân lớp phổ biến hiệu Xét toán ) ( ) với véctơ xi phân lớp nhị phân, giả sử cặp liệu tập huấn luyện ( ),…, ( , điểm liệu đầu vào có yi nhãn điểm liệu đó, n số chiều N số điểm liệu Trong toán * + phân tách tuyến tính Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phương Văn Cảnh, Ngô Quốc Tạo 363 SVM tách hai lớp điểm siêu phẳng tách (SVM.2) x véctơ đầu vào, w véctơ trọng số thích nghi b độ lệch Mục tiêu SVM tìm tham số w b cho siêu phẳng tối ưu lể cực đại lề điểm liệu thỏa mãn: ( ) ( ) Hình 1.1 Phân lớp SVM Các kỹ thuật tra cứu ảnh sử dụng SVM xác định siêu phẳng tách dựa mẫu huấn luyện thu từ trình phản hồi người dùng Khi đó, khoảng cách từ điểm liệu x sở liệu tới siêu phẳng tách tính theo cơng thức: (⃗⃗⃗⃗⃗ ) |⃗⃗⃗⃗⃗⃗ ‖(⃗⃗⃗⃗⃗ )‖ | (*) Công thức (*) cho biết khoảng cách từ x tới siêu phẳng tách Sau đó, phương pháp tra cứu ảnh sử dụng phân lớp SVM xếp theo thứ tự giảm dần khoảng cách lấy N ảnh sau xếp trả kết III PHƢƠNG PHÁP ĐỀ XUẤT 3.1 Giới thiệu phƣơng pháp Truy vấn Xây dựng tập huấn luyện Tra cứu khởi tạo Tập kết tra cứu khởi tạo Phản hồi liên quan Tập ảnh phản hồi Sinh mẫu tự động Giảm chiều Phân lớp SVM Tra cứu ảnh Tập kết Tập kết cuối Hình 3.1 Sơ đồ phương pháp 364 NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG TRONG NGỮ CẢNH TẬP MẪU.… 3.2 Xây dựng tập huấn luyện 3.2.1 Sinh mẫu tự động tâp huấn luyện cân Hầu hết hệ thống tra cứu ảnh phản hồi liên quan sử dụng phân lớp gặp phải vấn đề số lượng mẫu lớp dương hay ảnh mà người dùng chọn thường chênh lệch so với số lượng mẫu lớp âm Điều dẫn đến hiệu hệ thống tra cứu ảnh phản hồi liên quan có sử dụng phân lớp hạn chế Với mong muốn xây dựng phân lớp tốt hơn, đề xuất phương pháp nhằm giảm chênh lệch số lượng mẫu lớp dương lớp âm Như phân tích trên, phương pháp tra cứu ảnh phản hồi lên quan thường gặp phải vấn đề số lượng mẫu dương thường nhiều so với số lượng mẫu âm dẫn đến cân mẫu Phương pháp khác với phương pháp tra cứu ảnh phản hồi liên quan sử dụng phân lớp không chấp nhận tập mẫu nghèo nàn [7], không theo cách tiếp cận giảm số lượng mẫu âm cách lựa chọn ngẫu nhiện số lượng mẫu âm để xây dựng tập huấn luyện cịn nhiều hạn chế Do đó, chúng tơi đề xuất kỹ thuật sinh mẫu dương cho tập huấn luyện để thu tập ví dụ huấn luyện cân Phương pháp dựa kỹ thuật SMOTE (Synthetic Minority Over-sampling technique) [7] Kỹ thuật SMOTE sinh mẫu tập mẫu nghèo nàn Với mẫu tập mẫu nghèo nàn, k-NN lấy số mẫu k-NN lấy tùy thuộc vào tỷ lệ sinh mẫu mong muốn Sau đó, mẫu sinh xsyn nằm đường nối mẫu nghèo nàn lân cận có : Mẫu dương : Mẫu âm Hình 3.2 Hai lớp khơng cân Hình 3.3 Minh họa thuật tốn SMOTE Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phương Văn Cảnh, Ngô Quốc Tạo 365 Dưới thuật toán thực việc bổ sung mẫu dương cân tập mẫu BTSE (Balance training set * + with Synthetic examples) Thuật toán nhận đầu vào tập training set , gồm lớp: lớp thiểu số * + * + P lớp gán nhãn: lớp đa số chưa gán nhãn Thuật toán nhận đầu vào tập ảnh kết trình tra cứu khởi tạo phản hồi liên quan, gồm m điểm gán nhãn N-m điểm chưa gán nhãn Thuật toán xác định k-lân cận ảnh thuộc tập có nhãn Thuật tốn sinh mẫu dương nằm siêu phẳng nối mẫu dương mẫu dương thuộc tập lân cận Từ hình thành tập mẫu với cân mẫu dương âm Thuật toán BTSE Input: - Tập training set * + * - Lớp thiểu số P lớp gán nhãn: * - Lớp đa số + + - Tỷ số sinh: s Ouput: - : Tập ví dụ huấn luyện cân Bƣớc 1: Với phần tử pi (i=1,….,m) thuộc lớp thiểu số P, chúng tơi tính tốn k lân cận gần lớp thiểu số P { ( ) ( ( ) )} Bƣớc 2: Sinh ngẫu nhiên s × m mẫu dương vào lớp thiểu số P, với s số dương Với pi, chọn ngẫu nhiên s lân cận từ k_NN(pi) P Bƣớc 2.1 Tính difj (j=1,…,s) pi s lân cận tập P ( Bƣớc 2.2 Tính , với ( ) ) nhận giá trị ngẫu nhiên Bƣớc 3: Mẫu dương tập thiểu số sinh dựa vào pi s lân cận nó: , j=1,2,…,s Bƣớc 4: Return T = {N} * + Hình 3.4 Thuật tốn xây dựng tập huấn luyện cân với sinh mẫu ngẫu nhiên 3.2.2 Thuật toán giảm chiều sử dụng k véctơ riêng ma trận Laplace Trong hệ thống tra cứu ảnh sử dụng phản hồi liên quan dựa vào SVM thường gặp phải số lượng mẫu phản hồi người dùng thường nhỏ so với số chiều liệu Để khắc phục điểm sử dụng thuật toán giảm chiều liệu Laplacian eigein map (LE) [2] LE thuật toán giảm chiều dựa vào học đa tạp, phương pháp bảo toàn mối quan hệ lân cận cách thao tác đồ thị vơ hướng có trọng số Phát biều tốn giảm chiều: Cho tập liệu s1,…, sn n điểm liệu khơng gian Rn, tìm tập điểm y1,…,yn không gian Rk cho (k n) cho yi biểu diễn xi ‖ Đầu tiên, từ n điểm liệu ảnh, phương pháp xây dựng ma trận affinity A theo ‖ (i ≠ j), aii=0) (1) Ở tham số tỉ lệ điều khiển mức độ lực aij giảm nhanh với khoảng cách si sj, phương pháp chọn tự động xem [3] Một giá trị aij hai ảnh “cao” hai ảnh tương tự với Xây dựng ma trận đường chéo D phần tử (i, i) tổng hàng thứ i ma trận A D ma trận chéo ∑ Tính ma trận Laplace: L=D-A Tìm k véctơ riêng x1,x2,…xk lớn ma trận L, x1=(x11, x12, x13, …, x1n), x2=(x21, x22, x23, …, x2n), ….xk=(xk1, xk2, xk3, …, xkn) xây dựng ma trận X = [x1T ,x2T ,…,xkT ] Є Rn x k , cụ thể: x1T x11 x12 x13 xkT xk1 xk2 xk3 … x3n … … … … … x2n x 3T x31 x32 x33 … … … x1n x2T x21 x22 x23 xkn NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG TRONG NGỮ CẢNH TẬP MẪU.… 366 Sử dụng k véctơ riêng L để xây dựng phép nhúng không gian Euclid k chiều Xây dựng ma trận Y từ X việc chuẩn hóa dịng X chiều dài đơn vị ma trận Y (Yij = ) (∑ y1k y2k y3k … yn2 … … … … yn1 y13 y32 y33 … Yn y12 y22 y32 … y11 y21 y31 … y1 y2 y3 ) ynk Mỗi dòng ma trận Y xem điểm không gian véctơ k chiều Đến đây, có n điểm khơng gian Rk Hình 3.5 thuật toán giảm chiều sử dụng k véctơ riêng ma trận Laplace sinh từ liệu DRELM (Dimensionality Reduction using k Eigeinvector of Laplacian Matrix) Thuật toán DRELM Input: - Tập ảnh T={s1,s2,…,sn} với si R n - Số chiều: k Output: - Tập ảnh Y={y1,y2,…,yn}trong không gian Rk Bước 1: Xây dựng ma trận affinity for i to n for j to n if (i j) ( ‖ ‖ ) else Bước 2: Xây dựng ma trận đường chéo ma trận Laplace L for i to n ∑ L D-A Bước 3: Tìm k véctơ riêng lớn x1,x2,…,xk ma trận Laplace L for i to k ( ) [x1T ,x2T ,…,xkT ] X Bước : Sử dụng k véctơ riêng L để xây dựng phép nhúng không gian Euclid k chiều, xây dựng ma trận Y từ X for i to n for j to k yij Y xij/ (∑ )1/2 [y1 ,y2 ,…,yn ] Return y1, y2 ,…,yn Hình 3.5 thuật toán giảm chiều sử dụng k véctơ riêng ma trận Laplace 3.3 Thuật toán tra cứu ảnh sử dụng phân lớp hiệu Chúng đề xuất cải tiến độ xác tra cứu ảnh thơng qua phản hồi liên quan dựa vào xây dựng phân lớp mạnh có ưu điểm khắc phục vấn đề cân mẫu âm mẫu dương cách sử dụng kỹ thuật sinh mẫu giảm chiều liệu sử dụng k véctơ riêng lớn ma trận Laplace sinh từ liệu Thuật toán tra cứu ảnh sử dụng phân lớp hiệu IREC (An image retrieval method using efficient Classifier) sau: Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phương Văn Cảnh, Ngơ Quốc Tạo 367 Thuật tốn IREC Input: Tập ảnh: S Ảnh truy vấn khởi tạo: Q Số ảnh trả lần lặp: N Output: Tập kết tra cứu: R ResultInit(Q) RetrievalInit(Q, S, N); Repeat 2.1 Relevant( ,m) Feedback( 2.2 T (S,Relevant( ,m)); //Cân tập mẫu: 2.3 Y DRELM( 2.4 ( )); //Phản hồi liên quan: ); //Bộ liệu giảm k chiều Classifier(Y); //Xây dựng phân lớp 2.5 R Retrieval( S,N); //Tra cứu theo phân lớp until (User dừng phản hồi); Return R; Hình 3.6 Thuật tốn tra cứu ảnh sử dụng phân lớp hiệu Hình 3.6 mơ tả thuật toán tra cứu ảnh sử dụng phân lớp hiệu có tên IREC (An image retrieval method using efficient Classifier) Mỗi ảnh tập ảnh S biểu diễn không gian đặc trưng nhiều chiều Khi người dùng đưa vào ảnh truy vấn khởi tạo Q giao diện truy vấn mẫu, thuật toán biểu diễn ảnh truy vấn thành điểm không gian đặc trưng chiều Truy vấn khởi tạo RetrievalInit(Q, S, N) thực (Bước 1), số S tập ảnh sở liệu N số ảnh tra cứu tập S lần lặp Kết thực truy vấn khởi tạo gán cho Resultinit(Q) Trên tập kết Resultinit(Q) trả truy vấn khởi tạo, người dùng phản hồi tập Resultinit(Q) thông qua hàm Feedback(Resultinit(Q)) để tập m ảnh liên quan lưu vào tập Relevant( ,m) (Bước 2.1) Bổ sung mẫu dương xây dựng tập huấn luyện cân thực thông qua hàm E(S,Relevant( ,m),T) (Bước 2.2) Hàm DRELM( ); thực giảm chiều liệu k chiều… Có tập ví dụ huấn liệu cân với số chiều phù hợp T đưa vào huấn luyện phân lớp sử dụng hàm Classifier() dùng SVM mô tả phần II Sau sử dụng SVM huấn luyện tập T, thuật toán cho siêu phẳng phân tách hai lớp tập T cho lề cực đại Sau có phân lớp , hàm Retrieval( S,N) (Bước 2.5) thực phân hạng ảnh cách duyệt ảnh trong toàn sở liệu ảnh S để tính khoảng cách ảnh tới siêu phẳng phân tách xếp theo thứ tự giảm dần khoảng cách lấy N ảnh sau xếp trả cho người dùng IV EXPERIMENTS 4.1 Môi trƣờng thực nghiệm Cơ sở liệu ảnh: Cơ sở liệu sử dụng cho thử nghiệm tổ chức lại từ tập Corel Photo Gallery Tập gồm 80 loại1, ví dụ là: mùa thu, hàng khơng, cảnh, lâu đài, đám mây, chó, voi, núi băng, linh trưởng, tàu, nhũ đá, hỏa tiến, hổ, tàu hỏa, thác nước,… Tất ảnh tập ảnh có tính chất chứa đối tượng tiền cảnh bật Đa số nhóm gồm 100 ảnh, có vài nhóm có 100 hình ảnh Cỡ ảnh có max(chiều rộng, chiều cao)=120 min(chiều rộng, chiều cao)=80 Véctơ đặc trƣng: Các đặc trưng chia làm hai loại là: đặc trưng màu đặc trưng kết cấu (xem Bảng dưới) https://sites.google.com/site/dctresearch/Home/content-based-image-retrieval (Download lúc 6:32 AM ngày 25/12/2016) 368 NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG TRONG NGỮ CẢNH TẬP MẪU.… Bảng Các loại đặc trưng Các loại đặc trƣng Lược đồ màu Loại đặc trưng màu Tương quan màu Gắn kết màu Biến đổi wavelet Loại đặc trưng kết cấu gabor Wavelet Tên đặc trƣng hsvHistogram color auto correlogram colorMoments waveletTransform gaborWavelet Độ dài 32 64 40 48 Biểu diễn ảnh: Mỗi ảnh sử dụng biểu diễn đặc trưng trực quan gồm đặc trưng màu đặc trưng kết cấu Các véctơ đặc trưng tương ứng với kênh bảng hai chiều gồm 10800 dòng (mỗi dòng chứa véctơ đặc trưng ảnh) 190 cột (độ dài tổng véctơ đặc trưng) Tập tin cậy (ground truth): Tập tin cậy Corel sử dụng rộng rãi đánh giá CBIR, chúng tơi sử dụng phân loại Corel làm tin cậy nền, tức xem tất ảnh loại Corel liên quan Tập tin cậy gồm cột (có tiêu đề: ID ảnh truy vấn, ID ảnh Sự liên quan) gồm 1,981,320 dịng 3.2 Chiến lƣợc mơ phản hồi liên quan Để bắt chước hành vi người, thực mô phản hồi liên quan thử nghiệm Đầu tiên, truy vấn khởi tạo thực để tạo kết truy vấn Chúng mô tương tác người dùng việc chọn n ảnh liên quan từ kết tra cứu khởi tạo dựa vào tập tin cậy (ground truth) Những ảnh liên quan từ lần lặp phản hồi phân thành k cụm thực tìm đại diện cho k cụm Sau k đại diện dùng để xây dựng truy đa điểm phục vụ cho tra cứu Sau kết tra cứu gộp lại để tạo danh sách kết tổng hợp theo chiến lược truy vấn đa điểm tách rời Phản hồi liên quan thực theo chiến lược chọn ảnh liên quan (dựa vào tập tin cậy nền) danh sách kết Trong chiến lược này, trường hợp xấu khơng có ảnh liên quan ảnh truy vấn trường hợp tốt có n-1 ảnh liên quan ngồi ảnh truy vấn Do đó, số lượng ảnh liên quan dao động từ đến n ảnh (bao gồm ảnh truy vấn) Chiến lược sử dụng để mô người dùng thực tế thực nghiệm 3.3 Thực truy vấn đánh giá Trong thực nghiệm chúng tơi, yếu tố lựa chọn sau: Một truy vấn khởi tạo đưa vào hệ thống, kết tương ứng với truy vấn hiển thị cho người dùng Sau đó, người dùng phản hồi danh sách kết tương ứng với truy vấn khởi tạo để hình thành danh sách ảnh phản hồi tập ảnh phản hồi đưa vào pha xây dựng tập huấn luyện Hệ thống thực sinh mẫu sử dụng thuật toán BTSE Có tập ví dụ huấn luyện cân hệ thống chuyển sang pha giảm chiều liệu sử dụng liệu huấn luyện vào phân lớp SVM Sau có phân lớp , hệ thống thực phân hạng ảnh cách duyệt ảnh trong toàn sở liệu ảnh S để tính khoảng cách ảnh tới siêu phẳng phân tách xếp theo thứ tự giảm dần khoảng cách lấy N ảnh sau xếp trả cho người dùng Độ xác2 trung bình mức 100 ảnh trả sử dụng để đánh giá Chúng thực so sánh độ xác với ba phương pháp khác bao gồm hệ thống SCRF[9], hệ thống Hong[8] phương pháp IREC đề xuất Bảng Bảng kết phương pháp số đại diện truy vấn đa điểm lần phản hồi Phƣơng pháp ERIN SCRF Hong IREC Độ xác 0,24 0,35168 0,39 0,408 Trong Bảng 2, thể độ xác trung bình bốn phương pháp phương pháp ERIN phương pháp SCRF phương pháp Hong với phương pháp IREC (An image retrieval method using efficient Classifier) Độ xác tỉ số số ảnh liên quan với ảnh truy vấn tập kết trả tổng số ảnh trả Đào Thị Thúy Quỳnh, Nguyễn Hữu Quỳnh, Phương Văn Cảnh, Ngô Quốc Tạo 369 V KẾT LUẬN Chúng tập trung vào đề xuất phương pháp, có tên IREC (An image retrieval method using efficient Classifier) giải hai vấn đề là: (1) xây dựng huấn luyện cân lớp âm lớp dương (2) khai thác tính chất hình học liệu đa tạp nhằm giảm số chiều tập mẫu huấn luyện theo hướng tiếp cận phổ Kết thực nghiệm sở liệu đặc trưng gồm 10.800 ảnh phương pháp đề xuất IREC cung cấp độ xác cao hẳn so với phương pháp ERIN phương pháp SCRF phương pháp Hong Chúng xin chân thành cảm ơn đề tài: “Nghiên cứu phương pháp tra cứu ảnh dựa vào đa truy vấn”, mã số PTNTDD17.04 hỗ trợ VI REFERENCES [1] A W M Smeulders, M Worring, S Santini, A Gupta, and R Jain “Content-based image retrieval at the end of the early years” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 22, no 12, pp 1349 -1380, Dec 2000 [2] Belkin M, Niyogi P Laplacian maps for dimensionality reduction and data representation Neural computation (2003) [3] F R K Chung Spectral Graph Theory, volume 92 of Regional Conference Series in Mathematics AMS, 1997 [4] G Guo, A K Jain, W Ma, and H Zhang “Learning similarity mea-sure for natural image retrieval with relevance feedback” IEEE Trans Neural Netw., vol 12, no 4, pp 811-820, Apr 2002 [5] J Z Wang, J Li, and G Wiederhold “SIMPLIcity: Semantics-sen-sitive integrated matching for picture libraries” IEEE Trans Pattern Anal Mach Intell., vol 23, no 9, pp 947-963, Sep 2001 [6] Lew M S., Sebe N., DjerabaC., Andjain R., 2006 Content-Based multimedia information retrieval: State of the art and challenges.ACM Trans Multimed Comput Commun Appl 2,1, 1-19 [7] Nitesh V Chawla, Kevin W Bowyer, Lawrence O Hall, W Philip Kegelmeeyer “SMOTE: Synthetic Minority Over-sampling Technique” Journal of Artificial Intelligence Research 16 (2002) 321-357 [8] P Hong, Q Tian, and T S Huang “Incorporate support vector machines to content-based image retrieval with relevance feedback” in Proceedings of the IEEE International Conference on Image Processing, 2000, pp 750 -753 [9] Quynh D T T., Quynh N H., Canh P V., Tao N Q., (2017) Một phương pháp tra cứu ảnh hiệu sử dụng phân cụm phổ phản hồi liên quan, Kỷ yếu hội nghị Quốc gia lần thứ 10 Nghiên cứu ứng dụng Công nghệ thông tin (FAIR) [10] Quynh N H., Quynh D T T., Canh P V., Can N V Tao N Q An efficient image retrieval method using adaptive weights, Appl Intell (2018) (https://doi.org/10.1007/s10489-018-1174-6) [11] Rui, Y., Huang, T S., Ortega, M., Andmehrotra, S 1998 Relevance feedback: A power tool in interactive content-based image retrieval IEEE Trans Circ Syst Vid Tech 8, (Sept.), 644-655 [12] Y Chen, X S Zhou, and T S Huang.“One-class SVM for learning in image retrieval” in Proc IEEE Int Conf Image Process., Thessaloniki, Greece, 2001, pp 815-818 [13] Y Rui, T Huang, M Ortega, and S Mehrotra.“Relevance feedback: a power tool in interactive content-based image retrieval “IEEE Trans Circuits Syst Video Technol., vol 8, no 5, pp 644-655, Sep 1998 [14] Y Rui, T Huang, M Ortega, and S Mehrotra.“Relevance feedback: a power tool in interactive content-based image retrieval” IEEE Trans Circuits Syst Video Technol., vol 8, no 5, pp 644-655, Sep 1998 IMPROVE THE CONTENT-BASED IMAGE RETRIEVAL’S ACCURACY IN THE LIMITED TRAINING SCENARIO Dao Thi Thuy Quynh, Nguyen Huu Quynh, Phuong Van Canh, Ngo Quoc Tao ABSTRACT: There are many image retrieval systems that use the SVM-based relevence feedback approach to reduce the gap between low-level visual features and high-level semantic concepts However, the performance of these systems is low due to the lack of two issues: first, the imbalance of the training set Second, the size of the training set is very small compared to the dimension of the feature In this paper, we propose the image retrieval method, IREC, to overcome the above limitations Our proposed approach solves the problem of model imbalance training through semi-supervised learning and the reduction of dimensionality by the spectral approach To illustrate the effectiveness of our proposed method, we provide empirical results on a database of 10800 images Keywords: Content based image retrieval, relevant feedback, manifold, spectral, reduction dimension, balanced classification  ... NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG TRONG NGỮ CẢNH TẬP MẪU.… 3.2 Xây dựng tập huấn luyện 3.2.1 Sinh mẫu tự động tâp huấn luyện cân Hầu hết hệ thống tra cứu ảnh phản hồi liên quan... tạo Tập kết tra cứu khởi tạo Phản hồi liên quan Tập ảnh phản hồi Sinh mẫu tự động Giảm chiều Phân lớp SVM Tra cứu ảnh Tập kết Tập kết cuối Hình 3.1 Sơ đồ phương pháp 364 NÂNG CAO ĐỘ CHÍNH XÁC TRA. .. … … … … … x2n x 3T x31 x32 x33 … … … x1n x2T x21 x22 x23 xkn NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG TRONG NGỮ CẢNH TẬP MẪU.… 366 Sử dụng k véctơ riêng L để xây dựng phép nhúng không