Tra cứu ảnh theo nội dung sử dụng tập Pareto và mô hình học thống kê CART

Bài viết trình bày một số nghiên cứu liên quan sử dụng phương pháp tối ưu Pareto và kỹ thuật máy học, đề xuất phương pháp giảm không gian mẫu của tập độ đo khoảng cách dựa vào tiếp cận tập Pareto và mô hình cây hồi quy phân lớp.

Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 16 (36), tháng 12/2016 Tra cứu ảnh theo nội dung sử dụng tập Pareto mô hình học thống kê CART Content-based Image Retrieval using Pareto Fronts Set and CART Vũ Văn Hiệu, Nguyễn Trƣờng Thắng, Nguyễn Hữu Quỳnh, Ngô Quốc Tạo Abstract: Image retrieval systems adopt a combination of multiple features and then total distance measures of particular features for ranking the results Therefore, the top-ranked images with smallest total distance measures are returned to the users However, images with smallest partial distance measures which are suitable for users’ purpose may not be included in these results Therefore, partial distance measure should be considered In this paper, we propose to adopt the Pareto set in the distance measure space This set assures that the returned results contain not only points with smallest total distance obtained by linear combinations, but also other points have smallest partial distance measures which cannot be found by the linear combination in the distance measure space Especially, the searching space based on the distance measures is compacted by our algorithm, namely PDFA This algorithm collects all the Pareto set with different depths, and is efficient for the classification and regression tree (CART) The experimental results on three image collections show the effectiveness of our proposed method Keyword: Pareto set, classification and regression tree (CART), content-based image retrieval (CBIR), relevance feedback (RF) cách lấy ảnh đầu vào từ người sử dụng, hệ thống cố gắng tìm kiếm ảnh giống liệu, trả lại cho người sử dụng Một cách lý tưởng, giống định nghĩa dựa giống khái niệm thể ảnh Đây hệ thống Tra cứu ảnh theo nội dung hay đơn giản tra cứu ảnh (“content-based image retrieval” viết tắt CBIR) Lĩnh vực cộng đồng nhiên cứu quan tâm năm qua, báo [6] cho thấy điều Thơng thường hệ thống biểu diễn ảnh màu sắc, kết cấu, hình dạng đặc trưng bề mặt Các hàm tìm kiếm xây dựng để tra cứu theo quan tâm Bài báo sử dụng kết hợp nhiều biểu diễn đặc trưng miêu tả [2, 5, 7, 9, 22, 23, 24, 26] Trong xếp hạng kết trả cho người dùng thông thường sử dụng khoảng cách tồn cục kết hợp tuyến tính khoảng cách cục theo biểu diễn đặc trưng thành phần Một ảnh xếp thứ hạng cao độ đo khoảng cách tồn cục nhỏ Ví dụ I.1 Giả sử có hai đặc trưng màu (C) kết cấu (T) Độ đo khoảng cách ba đối tượng o1, o2, o3 tương ứng với truy vấn Q DQ(C ) (o1 ) = 0.6, DQ(T) (o1 ) = 0.3, DQ(C ) (o3 ) = 0.45, DQ(C ) (o2 ) = 0.5, DQ(T) (o3 ) = 0.35 I GIỚI THIỆU DQ(T ) (o2 ) = 0.2, Từ hai thập kỉ qua, xuất Internet thay đổi hoàn toàn cách thức tìm kiếm thơng tin Ví dụ, làm việc với văn bản, ta cần đơn giản gõ vài từ khóa vào máy tìm kiếm Google hay Bing để lập lức có danh sách tương đối xác trang web có liên quan Ta có hệ thống tương tự với ảnh Với hệ thống này, Khoảng cách toàn cục áp dụng kết hợp tuyến tính độ đo khoảng cách thành phần đặc trưng màu kết cấu tương ứng DQ (o1 ) = 0.9, DQ (o2 ) = 0.7, DQ (o3 ) = 0.8 Dễ dàng xếp hạng độ đo khoảng cách o2, o3, o1 Khi không kết hợp tuyến tính độ đo khoảng cách tồn cục, xếp hạng dựa vào độ đo khoảng cách thành phần xếp hạng o1 - 27 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT o2, đối tượng o3 so sánh với hai đối tượng lại Như cách xếp hạng sử dụng tổng toàn độ đo khoảng cách thành phần kết cuối nhiều vấn đề cần xem xét cải tiến Trong nghiên cứu [15, 36] sử dụng kỹ thuật tối ưu đa mục tiêu dựa vào kiến trúc Pareto, định nghĩa độ đo toàn cục kết hợp tối ưu tuyến tính hàm khoảng cách thành phần Các nghiên cứu sử dụng cách tiếp cận Pareto việc lựa chọn kết cuối toán tối ưu đa mục tiêu nghiên cứu [12] Không giống cách tiếp cận trên, sử dụng Pareto toán tiền xử lý liệu (rút gọn tập mẫu) Qua đó, khơng gian tìm kiếm tập độ đo khoảng cách với truy vấn thu gọn tập Pareto Tập thu gọn sử dụng liệu đầu vào giúp cho máy phân lớp hoạt động hiệu Các phương pháp thống kê, hồi quy thực tốt với tập mẫu nhỏ số mẫu huấn luyện có dựa vào đánh giá người dùng số lần phản hồi Do chúng tơi kết hợp sử dụng mơ hình dự báo hồi quy (Classification and Regression Tree - CART) để dự báo phân lớp tập mẫu thu gọn Phần lại báo tổ chức sau Phần hai, số nghiên cứu liên quan sử dụng phương pháp tối ưu Pareto kỹ thuật máy học Phần ba đề xuất phương pháp giảm không gian mẫu tập độ đo khoảng cách dựa vào tiếp cận tập Pareto mơ hình hồi quy phân lớp Các kết thực nghiệm phần bốn Kết luận hướng nghiên cứu tương lai phần năm II NGHIÊN CỨU LIÊN QUAN II.1 Phƣơng pháp tối ƣu Pareto Để giải toán tối ưu nhiều tác giả áp dụng phương pháp thích nghi dựa giải thuật di truyền [8, 11, 32] Các nghiên cứu đảm bảo khơng bỏ sót ảnh có độ đo khoảng cách thành phần với truy vấn nhỏ Tuy nhiên, nghiên cứu không thay đổi rút gọn khơng gian tìm Tập V-2, Số 16 (36), tháng 12/2016 kiếm Arevalillo-Herraez cộng [1] sử dụng phương pháp tối ưu Pareto cách tiếp cận NSGA-II để xếp tập có độ đo khoảng cách khơng trội (nondominated) Nghiên cứu không đưa tập rút gọn khơng gian tìm kiếm Hsiao cộng [12] sử dụng Pareto độ sâu (dựa nghiên cứu Torlone cộng [31]) Nghiên cứu sử dụng cách xếp hạng EMR (efficient manifold ranking) theo mục tiêu truy vấn độc lập Để lựa chọn kết cuối cùng, họ sử dụng nhiều điểm rìa Skyline cho xếp hạng đối tượng theo rìa Tối ưu Pareto sử dụng rộng rãi cộng đồng học máy [10] Các hệ thống CBIR sử dụng máy phân lớp sử dụng cách tiếp cận Pareto để giảm tập liệu yếu tố quan trọng giúp cải thiện máy phân lớp liệu II.2 Tra cứu ảnh theo nội dung dựa vào mơ hình học máy Phản hồi liên quan (Relevance feedback, hay viết tắt RF) sử dụng để giảm khoảng cách ngữ nghĩa khái niệm mức cao đặc trưng mức thấp miêu tả ảnh Thông thường người dùng không dễ dàng dùng trực giác nhận biết ảnh dựa đặc trưng mức thấp màu sắc hình dạng Một vấn đề khác liên quan tới nhận thức chủ quan hình ảnh, người khác có nhận thức trực quan khác ảnh Những ảnh khác có ý nghĩa khác có tầm quan trọng khác với người Ví dụ, cho ảnh chim bay bầu trời, người quan tâm đến chim, người khác lại quan tâm đến bầu trời Do tầm quan trọng đặc trưng cụ thể khó xác định nên kết hợp tuyến tính khoảng cách đặc trưng thành phần dẫn đến bỏ sót thành phần quan trọng kết trả người dùng Kỹ thuật phản hồi liên quan sử dụng máy học nghiên cứu nhiều báo năm gần SVM-AL [30] nghiên cứu tiên phong có đóng góp quan trong cộng đồng CBIR Những giới hạn giải giải pháp Jiang cộng [14] cải tiến hiệu SVM-AL sử dụng dụng kỹ thuật AdaBoost Tuy nhiên đơn sử dụng AdaBoost khó cải tiến - 28 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT SVM Các phương pháp phân lớp dựa kỹ thuật SVM thường hiệu khơng có mẫu huấn luyện trước, hay số mẫu huấn luyện có sau số lần phản hồi người dùng AdaBoost xem ý nghĩa tăng cường cho thuật toán học yếu Từ cải tiến AdaBoost gốc, kỹ thuật boosting áp dụng hệ thống CBIR nghiên cứu [16, 29, 34] Tuy nhiên kỹ thuật dựa AdaBoost thường phân lớp chậm, điều hạn chế áp dụng phân lớp ứng dụng tra cứu ảnh Một nhược điểm phương pháp thường “overfit” phân lớp, dẫn đến kết không cao Trong số báo, kỹ thuật định (học giám sát) C4.5, ID3 sử dụng phản hồi liên quan để phân lớp ảnh sở liệu ảnh vào hai lớp (liên quan/không liên quan) phụ thuộc vào tương tự với ảnh truy vấn nghiên cứu MACARTHUR cộng [18] Kỹ thuật CART Breiman cộng [4] xây dựng cấu trúc cách phân hoạch đệ quy không gian thuộc tính đầu vào Một tập luật định thu theo đường dẫn từ gốc tới So sánh với phương pháp học khác, định học khái niệm đơn giản, mạnh với đối tượng không đầy đủ nhiễu đặc trưng đầu vào Tập V-2, Số 16 (36), tháng 12/2016 min DQt ( I ), t  {1, , T }  ,  s.t I  EiF , i  {1, , M }   (1)   truy vấn Q biểu diễn tập T đặc trưng   phần tử ảnh I tập liệu E F gồm M ảnh bao gồm đặc trưng tương ứng truy vấn DQt ( I )  D(Qt , It ) độ đo khoảng cách đặc trưng thứ t biểu diễn thành phần Qt It Ký hiệu DQ ( I )  {DQt (I)}={Dt (Qt , I t )}1t T tập T độ đo khoảng cách ảnh I truy vấn Q Để tìm tập đối tượng tối ưu miền không gian độ đo khoảng cách, dựa quan hệ trội tìm tập tối ưu Pareto theo định nghĩa 3.1 Định nghĩa 3.1 (Trội Pareto độ đo khoảng cách) Cho truy vấn Q, xác định quan hệ trội (ký hiệu f) tập độ đo khoảng cách hai ảnh I1 I sau:  Quan hệ trội yếu, ký hiệu DQ ( I ) DQ ( I1 ) khi: t t  t ,1  t  T , DQ ( I1 )  DQ ( I ),  t0 t0  t0 ,1  t0  T , DQ ( I1 )  DQ ( I ),  Quan hệ trội mạnh, ký hiệu DQ ( I1 ) (2a) DQ ( I ) khi: III KỸ THUẬT ĐỀ XUẤT III.1 Giảm khơng gian tìm kiếm dựa vào tập Pareto Tập Pareto rìa Pareto tập tập điểm thoả hiệp lời giải chứa tất điểm mà có mục tiêu tối ưu giữ nguyên mục tiêu khác Các điểm gọi điểm tối ưu Pareto1 Bài tốn tối ưu miền khơng gian độ đo khoảng cách truy vấn với mẫu sở ảnh phát biểu sau: t ,1  t  T , DQt ( I1 )  DQt ( I ), Ví dụ III.1: Xét ví dụ I.1 ta có, DQ (o2 ) http://en.wikipedia.org/wiki/Pareto_efficiency DQ (o1 ) Định nghĩa 3.2 (Rìa Pareto) Cho I {E F , DQ ( I )}  I0 {E F , DQ ( I )} mà DQ ( I0 ) DQ ( I ) DQ ( I ) gọi điểm tối ưu Pareto Tập điểm tối ưu   Pareto (không trội) E F , DQ (I) gọi rìa Pareto đầu tiên, ký hiệu PF Tập Pareto chứa tất điểm không trội với điểm khác (2b) E F , DQ ( I ) Tập chứa tất phần tử tối thiểu hố cách kết hợp tuyến tính, chứa phần tử khác mà khơng tìm thấy kết hợp tuyến tính - 29 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT   F Mệnh đề 3.1 I  E , DQ (I) , nếu: t0 ,1  t0  T , DQt0 ( I )  MinF DQt0 (I'), I  PF Chứng minh: Giả sử I '{E } I  PF1  I '  E F , 1  t  T , DQt ( I ')  DQt ( I )  DQt0 ( I ')  DQt0 ( I ) , vơ lý DQt0 ( I ) = t0 Q Min D (I')  I '{E F } PF =   PF ( E ,{D ( I )}1t T  \  F t Q i 1 j 1 PF ) (3) j isDominated=false; While (not(isDominate))   Ij  PF chưa so sánh với Ii) IF( DQ (Ii ) DQ (I j ) ) chuyển Ij từ PF 11 18 (i)I1 , I  PF (l  1)  I1 I2 , I2 I1 , (ii)I  PF 11 (l  1)  J  PF , DQ ( J ) DQ ( I ) Chứng minh: (i) suy từ định nghĩa PF1 (ii) Giả sử I  PF l 1   DQ ( J ) DQ ( I ), J  PF l  Thuật tốn PDFA tìm tập rìa Pareto nhiều mức sâu hay tập Pareto sử dụng mệnh đề 3.1 3.2 Thuật toán Đầu vào: PDFA (rìa Pareto nhiều mức sâu) Tuple= {DtQ (Ii )}Tt 1 , 19 20 21 22 23 24 l 1  l F I  PF   J  E \  PF i , DQ ( J ) DQ ( I )  i 1  l I '   PF i , DQ ( I ) DQ ( I '), DQ ( I ') DQ ( I ) i 1   i  N,  t  T /*Danh sách thứ tự Tuple có T danh sách N ảnh, ảnh có T giá độ đo khoảng cách theo đặc trưng với truy vấn Q */ k /* Số lượng mẫu tập rìa Pareto */ Đầu ra: ListResult /*Tập rìa Pareto */ /* Biến trung gian */ Result=0; PF=PF_Next=  ; aTupleMax =0; aMax=0; /* Khởi tạo */ TopTuple = 0; While (Result