Chương 3 : Phương pháp rút trích ý chính trong văn bản tiếng Việt
3.2. Mơ hình rút trích ý chính của văn bản khoa học
3.2.2. Đánh giá kết quả tóm tắt, rút trích
đang là những thách thức lớn nhưng cũng là những khía cạnh làm cho việc đánh giá
tóm tắt đáng được quan tâm, lưu ý [8, 20]:
- Tóm tắt liên quan đến việc máy tính sinh ra kết quả ở dạng giao tiếp ngôn
ngữ tự nhiên của con người. Trong trường hợp kết quả là một câu trả lời cho một câu hỏi, chúng ta có thể xác định được câu trả lời đó đúng hay sai,
nhưng trong các trường hợp khác, thật khó trả lời liệu đầu ra là một kết quả
đúng ? Thực tế ln ln có khả năng một hệ thống sinh ra một bản tóm tắt
tốt nhưng lại khác nhiều với bất kỳ một bản tóm tắt do người thực hiện. Điều này cũng là vấn đề với các bài toán khác như Dịch máy, Phân loại văn bản, tiếng nói…
- Khi các chuyên gia được yêu cầu đánh giá kết quả hệ thống, chi phí đánh giá sẽ tăng (về thời gian, tiền bạc, công sức…). Một phương pháp đánh giá bằng cách cho điểm tự động thay vì thực hiện bởi người sẽ được quan tâm hơn vì chúng có thể lặp đi lặp lại nhiều lần bất cứ khi nào chúng ta muốn.
- Việc tóm tắt cịn liên quan đến việc nén kích thước văn bản (giảm số câu, rút
gọn từng câu), vì vậy đánh giá kết quả tóm tắt ở các độ nén khác nhau là một việc tối quan trọng, không thể thiếu. Tuy nhiên điều này làm tăng độ phức
tạp và chi phí của việc đánh giá.
Các vấn đề trên được rất nhiều nhà nghiên cứu tìm cách giải quyết, và cùng với q trình phát triển của bài tốn tóm tắt, đã có rất nhiều các phương pháp và tiêu chí
đánh giá một ứng dụng tóm tắt văn bản được đưa ra.
Nói chung, các phương pháp đánh giá một ứng dụng tóm tắt được chia thành
hai loại là đánh giá bên trong (intrinsic) và đánh giá bên ngoài (extrinsic).
Đánh giá bên trong thẩm định hệ thống tóm tắt ngay bên trong lịng của nó. Cịn đánh giá bên ngồi thì quan tâm đến các yếu tố khác khơng thuộc hệ thống. Nói cách
khác, các phương pháp đánh giá bên trong đánh giá các thông số nội tại như độ chặt
chẽ mạch lạc (coherence) hay độ hàm chứa thơng tin (informationess), thơng qua đó sẽ nói lên được chất lượng của hệ thống. Các phương pháp đánh giá bên ngoài, ngược lại, áp dụng vào hệ thống những nhiệm vụ cụ thể và thông qua các tiêu chí kết quả như độ phù hợp (relevance) hay độ dễ đọc dễ hiểu (reading comprehension) để đánh giá một
hệ thống tóm tắt xem có tốt cho người dùng khi họ sử dụng hệ thống vào những mục tiêu khác nhau hay không [23].