đang là những thách thức lớn nhưng cũng là những khía cạnh làm cho việc đánh giá tóm tắt đáng được quan tâm, lưu ý [8, 20]:
- Tóm tắt liên quan đến việc máy tính sinh ra kết quả ở dạng giao tiếp ngôn ngữ tự nhiên của con người. Trong trường hợp kết quả là một câu trả lời cho một câu hỏi, chúng ta có thể xác định được câu trả lời đó đúng hay sai, nhưng trong các trường hợp khác, thật khó trả lời liệu đầu ra là một kết quả đúng ? Thực tế luôn luôn có khả năng một hệ thống sinh ra một bản tóm tắt tốt nhưng lại khác nhiều với bất kỳ một bản tóm tắt do người thực hiện. Điều này cũng là vấn đề với các bài toán khác như Dịch máy, Phân loại văn bản, tiếng nói…
- Khi các chuyên gia được yêu cầu đánh giá kết quả hệ thống, chi phí đánh giá sẽ tăng (về thời gian, tiền bạc, công sức…). Một phương pháp đánh giá bằng cách cho điểm tựđộng thay vì thực hiện bởi người sẽ được quan tâm hơn vì chúng có thể lặp đi lặp lại nhiều lần bất cứ khi nào chúng ta muốn.
- Việc tóm tắt còn liên quan đến việc nén kích thước văn bản (giảm số câu, rút gọn từng câu), vì vậy đánh giá kết quả tóm tắt ở các độ nén khác nhau là một việc tối quan trọng, không thể thiếu. Tuy nhiên điều này làm tăng độ phức tạp và chi phí của việc đánh giá.
Các vấn đề trên được rất nhiều nhà nghiên cứu tìm cách giải quyết, và cùng với quá trình phát triển của bài toán tóm tắt, đã có rất nhiều các phương pháp và tiêu chí
đánh giá một ứng dụng tóm tắt văn bản được đưa ra.
Nói chung, các phương pháp đánh giá một ứng dụng tóm tắt được chia thành hai loại là đánh giá bên trong (intrinsic) và đánh giá bên ngoài (extrinsic).
Đánh giá bên trong thẩm định hệ thống tóm tắt ngay bên trong lòng của nó. Còn
đánh giá bên ngoài thì quan tâm đến các yếu tố khác không thuộc hệ thống. Nói cách khác, các phương pháp đánh giá bên trong đánh giá các thông số nội tại như độ chặt chẽ mạch lạc (coherence) hay độ hàm chứa thông tin (informationess), thông qua đó sẽ
nói lên được chất lượng của hệ thống. Các phương pháp đánh giá bên ngoài, ngược lại, áp dụng vào hệ thống những nhiệm vụ cụ thể và thông qua các tiêu chí kết quả nhưđộ
hệ thống tóm tắt xem có tốt cho người dùng khi họ sử dụng hệ thống vào những mục tiêu khác nhau hay không [23].