Tư tưởng đánh giá độ phù hợp là, một đối tượng được thể hiện bởi văn bản và chủ đề và xem xét về mức độ phù hợp giữa văn bản và chủ đềđó. Ảnh hưởng
độ chính xác và thời gian thực hiện trên công việc tóm tắt sẽđược xem xét. Trong công việc phân loại văn bản, phương pháp đánh giá sẽ cho ta biết liệu tóm tắt chung chung có đủ thông tin hiệu quả để phân loại tài liệu một cách nhanh chống và chính xác hay không. Trong này chủ đề không thể biết trước bởi hệ thống tóm tắt. Tư tưởng là, cho một tài liệu, có thể là kết quả của tóm tắt chung chung, hoặc văn bản nguồn, con người có thể chọn một loại trong 5 loại
(mỗi loại đếu có đặc tả chủ đề liên kết với nó) nếu tài liệu phù hợp, ngược lại thì không chọn bất kỳ loại nào.
Một số hệ thống tóm tắt tập trung trên tóm tắt chỉ định chủ đề. Công việc này có quan hệ với hoạt động thế giới thực của việc quản lý phân tích tìm kiếm văn bản sử dụng hệ thống phục hồi thông tin để chỉ định nhanh chống mức độ
phù hợp của tài liệu được phục hồi. Tư tưởng là, cho một tài liệu ( có thể là văn bản nguồn hoặc cũng có thể văn bản tóm tắt kết quả), và một đặc tả chủ đề hoặc truy vấn, con người được hỏi để chỉđịnh liệu tài liệu có phù hợp với chủ đề hay không.
Gia sử rằng cho một truy vấn Q và một tập ngữ liệu văn bản {Di}, công cụ
phục hồi thông tin sẽ sắp xếp mọi văn bản trong Di tuy theo mức độ phù hợp của chúng với truy vấn Q, nếu thay tập {Di} bằng tập {Si} tóm tắt tối ưu của mọi văn bản gốc và {Si} cũng được sắp xếp bởi công cụ phục hồi thông tin để đánh giá mức độ phù hợp với truy vấn. Nếu văn bản tóm tắt tốt cho việc đại diện cho văn bản gốc thì độ sắp xếp của chúng sẽ giống nhau.
Để đánh giá ứng dụng tóm tắt, ta xác định mối tương quan giữa hai danh sách đã được sắp xếp này [36]:
Một công thức để xác định mối tương quan hay được dùng là độ tương quan tuyến tính giữa hai tập điểm phù hợp x và y :
∑ ∑ ∑ − ⋅ − − ⋅ − = i i i i i i i y x y x r y x y x 2 2 ( ) ) ( ) ( ) (
Trong đó, x và yngang là trung bình của từng tập điểm phù hợp tương ứng đối với tập văn bản Di.
2.3.2.Đánh giá trên độđọc hiểu ( Reading Comprehension)
Trong công việc này, đầu tiên con người đọc văn bản nguồn và văn bản tóm tắt kết quả, tiếp theo trả lời các câu hỏi thử nghiệm. Hệ thống sẽ tự động cho
điểm câu trả lời, bằng cách đo phần trăm của câu trả lời đúng. Ví vậy, Mức độ đọc hiểu của con người trên bản tóm tắt kết qủa có thể so sánh với mức độ đọc hiểu trên văn bản nguồn. Nếu việc đọc bản tóm tắt kết quả cho phép con người trả lời câu hỏi chính xác như khi họ đọc văn bản nguồn, thì việc tóm tắt là có mức độđủ thông tin cao.
[33] đưa ra phương pháp đánh giá bên ngoài ảnh hưởng tới tóm tắt văn bản trên công việc câu hỏi và đáp. Tác giảđưa ra 4 bài toán đọc hiểu GMAT.Bài toán có nhiều lựa chọn, với một câu trả lời đơn có thể được chọn Đối với một câu hỏi. Tác giả đo có bao nhiều câu trả lời đúng trong điều kiện khác nhau, bao gồm điều kiện văn bản nguồn, điều kiện văn bản trích rút chung chung, điều kiện tóm lược chung chung, và điều kiện không văn bản ( tức là đối tượng chọn câu hỏi đúng bằng cách nhìn vào câu hỏi mà không nhìn vào đoạn văn).
[15] đo mức độ cung cấp thông tin để đưa ra ai có thể xây dựng lại thông tin cần thiết trong tài liệu bằng cách đọc bản tóm tắt kết quả.