Chúng tôi đánh giá hệ thống dựa trên tập dữ liệu 50 câu hỏi về lĩnh vực cụ thể, ở đây là các câu hỏi liên quan tới trường Đại học Công Nghệ. 50 câu hỏi được chúng tôi đưa ra đều được thành phần xử lý câu hỏi ngôn ngữ tự nhiên [1] xử lý thành công, hình thành nên bộ ba biểu diễn cho câu hỏi (phụ lục A). Ánh xạ Ontology sử dụng bộ ba biểu diễn này để hình thành nên các bộ ba mô tả tương ứng với Ontology, rồi thành phần trích chọn câu trả lời đưa ra câu trả tốt nhất có thể lời tới người dùng.
Để đánh giá hệ thống, chúng tôi dựa vào tỉ lệ phần trăm của các câu hỏi đưa ra đối với tập dữ liệu 50 câu hỏi. Chúng tôi đánh giá hệ thống dựa vào các tiêu chí sau:
Tiêu chí 1: Đánh giá hệ thống đối với các câu trả lời được. Trong đó, chúng tôi
tính toán phần trăm số câu hỏi trả lời chính xác mà không cần tương tác với hệ thống. Sau đó, chúng tôi đánh giá hệ thống cho các câu hỏi trả lời được nhưng cần tương tác với hệ thống.
Tiêu chí 2: Đánh giá hệ thống cho các câu hỏi không trả lời được. Chúng tôi tính
toán phần trăm đối với các câu hỏi lỗi do thành phần ánh xạ Ontology, thành phần trích chọn câu trả lời.
STT Đánh giá hệ thống Số câu hỏi Tỉ lệ %
1 Thành công không cần tương tác với hệ thống 25 50%
2 Thành công cần tương tác với hệ thống 10 20%
3 Tổng số câu hỏi thành công 35 70%
60
Bảng 5.1 là đánh giá của hệ thống đối với các câu trả lời được trong quá trình thực nghiệm. Chúng tôi nhận thấy có 25 câu trả lời đúng mà không cần tương tác với hệ thống. Vì các câu hỏi này chủ yếu là các câu hỏi đơn giản, không gây nhập nhằng, thành phần ánh xạ Ontology đưa ra được bộ ba mô tả mà không cần tương tác với người dùng. Ngoài ra, có 10 câu hỏi yêu cầu tương tác với người dùng để hình thành nên các bộ ba mô tả tương ứng với Ontology, từ đó hệ thống đưa ra câu trả lời tới người sử dụng.
STT
Đánh giá hệ thống Số câu hỏi Tỉ lệ %
1 Lỗi do ánh xạ Ontology 10 20%
2 Lỗi do trích chọn câu trả lời 5 10%
3 Tổng số câu hỏi lỗi 15 30%
Bảng 5.2. Đánh giá hệ thống đối với các câu hỏi lỗi
Bảng 5.2 đưa ra đánh giá hệ thống đối với các câu hỏi lỗi, không có kết quả trả lời. Chúng tôi phân tích nguyên nhân dẫn đến lỗi của các câu hỏi:
Có 10 câu hỏi lỗi do ánh xạ Ontology, do hệ thống chưa thể xử lý được đối với các câu hỏi kết hợp do thành phần xử lý ngôn ngữ tự nhiên [1] đưa ra. Hoặc bị lỗi khi ánh xạ Ontology không so khớp được các khái niệm, các đối tượng trong Ontology.
Ví dụ câu hỏi:
―sinh viên nào có quê ở hà tây?‖
Với câu hỏi nêu trên, thuật ngữ ―hà tây‖ không tương tự với bất kỳ thuật ngữ chỉ khái niệm hay đối tượng nào trong Ontology. Do vậy, ánh xạ Ontology không thể hình thành được bộ ba mô tả tương ứng với Ontology.
61
Có 5 câu hỏi lỗi do trích chọn câu trả lời, những lỗi này do quá trình thiết kế dữ liệu trong Ontology. Ví dụ với câu hỏi:
―lớp của Nguyễn Quốc Đại là gì?‖
Ánh xạ Ontology hình thành bộ ba mô tả tương ứng với Ontology là (?, có_lớp, nguyễn_quốc_đại). Nhưng đối tượng ―nguyễn_quốc_đại‖ trong Ontology theo quan hệ ―có_lớp‖ không liên kết tới đối tượng nào, do đó không có câu trả lời được đưa ra.