Với tập gồm 200 bộ từ khóa, tiến hành thực nghiệm riêng pha hỏi đáp danh sách. Khóa luận tiến hành thống kê và đánh giá với số lượng kết quả lần lượt là: 2, 3, 4, 5, 10, 15, 20. Bảng 11 cho biết số lượng từ khóa được đáp ứng và độ chính xác tương ứng với số lượng kết quả. Các kết quả được lựa chọn theo trọng số từ cao đến thấp trong câu trả lời trả về bởi pha hỏi đáp danh sách. Gọi a là số lượng kết quả trả lời đúng, b là số lượng kết quả được xét, độ chính xác P được tính theo công thức: P = .
Số kết quả 2 3 4 5 10 15 20
Số lượng từ khóa
được đáp ứng 200 200 191 176 153 129 97
Độ chính xác (%) 93.84 89.48 86.84 82.11 78.16 73.23 67.10
Biểu đồ 2 mô tả số lượng từ khóa được đáp ứng với các số lượng khác nhau của tập kết quả trong câu trả lời được trả về bởi pha hỏi đáp danh sách. Pha hỏi đáp danh
0 50 100 150 200 250 2 3 4 5 10 15 20 Số lượng từ khóa được đáp ứng
Bảng 11. Kết quả thực nghiệm pha hỏi đáp danh sách tiếng Việt
41
sách luôn cho được ít nhất 3 kết quả với mọi từ khóa trong tập dữ liệu thực nghiệm. Khi yêu cầu số lượng các kết quả nhiều hơn thì số lượng từ khóa được đáp ứng giảm đi, lần lượt là 191 khi yêu cầu 4 kết quả, 176 khi yêu cầu 5 kết quả và chỉ còn 97 từ khóa được đáp ứng khi yêu cầu 20 kết quả. Điều này là do việc xây dựng các mẫu luật thượng hạ danh đối với miền dữ liệu tiếng Việt chưa được đầy đủ, nên số lượng các kết quả trích chọn được cho một số câu trả lời là chưa nhiều.
Biểu đồ 3 mô tả độ chính xác của các kết quả trong thực nghiệm pha hỏi đáp danh sách tiếng Việt, tương ứng với số lượng kết quả yêu cầu khác nhau. Độ chính xác P được tính theo công thức: P = , trong đó a là số lượng kết quả trả lời đúng, b là số lượng kết quả được xét. Biểu đồ này cho thấy độ chính xác của câu trả lời tỉ lệ nghịch với số lượng kết quả được xét, độ chính xác giảm dần khi số lượng kết quả được xét nhiều lên. Độ chính xác đạt cao nhất khi chỉ xét 2 kết quả đầu tiên trong câu trả lời, là 93.84%. Khi xét đến 20 kết quả thì độ chính xác giảm chỉ còn 67.10%. Điều này là do các luật thượng hạ danh được xây dựng chưa đầy đủ nên chưa đáp ứng được số lượng kết quả lớn.
Phần tiếp theo, khóa luận trình bày thực nghiệm bổ sung pha mở rộng thực thể để nâng cao kết quả câu trả lời đã có được sau pha hỏi đáp nói trên. Qua kết quả thực nghiệm, đưa ra đánh giá khả năng nâng cao chất lượng câu trả lời của mô hình.
0 10 20 30 40 50 60 70 80 90 100 2 3 4 5 10 15 20 Độ chính xác
42