Kết hợp thực thể có tên và từ WordNet
Trước hết, trong phần này, luận án giới thiệu mô hình NE+WN là kết hợp giữa mô hình NE+KW+Wh ở Chương 3 với mô hình WN+KW ở Chương 4. Với mục đích kiểm tra xem mô hình NE+WN có hiệu quả hơn hai mô hình NE+KW+Wh và
WN+KW hay không, ba mô hình này đƣợc thực nghiệm trên tập dữ liệu kiểm tra giống như ở Chương 3 và Chương 5, tức là tập tài liệu L.A. Times và tập truy vấn của QA-Track-99.
Bảng 6.1. Các độ chính xác và độ F trung bình tại mười một điểm đầy đủ chuẩn của các mô hình NE+KW+Wh, WN+KW và NE+WN
Độ đo Mô hình
Độ đầy đủ (%)
0 10 20 30 40 50 60 70 80 90 100 Độ chính
xác (%)
NE+KW+Wh 72,2 71,9 69,6 65,4 62,0 60,5 52,3 47,9 46,1 45,0 44,2 WN+KW 70,3 69,5 66,9 63,6 61,1 58,8 49,6 43,9 42,3 40,4 40,0 NE+WN 75,7 75,2 73,4 69,5 65,6 64,1 56,6 51,1 49,6 47,5 46,8
Độ F (%)
NE+KW+Wh 0 16,3 28,4 37,1 42,8 48,3 48,0 47,7 48,5 49,7 50,8 WN+KW 0 16,2 28,0 36,6 42,8 47,8 46,4 44,9 45,7 46,3 47,6 NE+WN 0 16,8 29,5 38,7 45,0 50,8 51,0 50,2 51,9 52,5 53,9
Hình 6.2. Các đường cong trung bình P-R và F-R của các mô hình NE+KW+Wh, WN+KW và NE+WN
Các giá trị trong Bảng 6.1 và các đường cong trong Hình 6.2 trình bày các độ chính xác và độ F trung bình của ba mô hình NE+KW+Wh, WN+KW và NE+WN tại mỗi cấp độ đầy đủ chuẩn. Chúng cho thấy mô hình NE+WN có độ chính xác và độ F
Các đường cong P-R trung bình
Độ chính xác (%)
Độ đầy đủ (%)
Các đường cong F-R trung bình
Độ đầy đủ (%)
Độ F (%)
cao hơn hai mô hình còn lại. Các độ MAP trong Bảng 6.2 và các trị số p hai chiều trong Bảng 6.3 cho thấy việc kết hợp thực thể có tên và từ WordNet thật sự giúp nâng cao hiệu quả của truy hồi văn bản. Ở độ MAP, mô hình NE+WN hiệu quả hơn hai mô hình NE+KW+Wh và WN+KW lần lƣợt là 6,6% và 11,7%.
Bảng 6.2. Các độ chính xác trung bình nhóm của các mô hình NE+KW+Wh, WN+KW và NE+WN
Mô hình NE+WN NE+KW+Wh WN+KW
MAP 0,6024 0,5652 0,5391
Độ cải thiện 6,6% 11,7%
Bảng 6.3. Trị số p hai chiều của phương pháp kiểm định ngẫu nhiên giữa mô hình NE+WN với hai mô hình NE+KW+Wh và WN+KW
Mô hình A Mô hình B |MAP(A) – MAP(B)|
N– N+ Trị số p hai chiều NE+WN NE+KW+Wh 0,0372 1.716 1.643 0,03359
WN+KW 0,0633 2.009 2.109 0,04118
Hình 6.3. Độ khác biệt ở độ chính xác trung bình của mỗi truy vấn giữa mô hình NE+WN với hai mô hình NE+KW+Wh và WN+KW
Sự khác biệt về độ chính xác trung bình
Sự so sánh giữa NE+WN và WN+KW
Độ khác biệt về độ chính xác trung bình
Sự so sánh giữa NE+WN và NE+KW+Wh
Độ khác biệt về độ chính xác trung bình
Thứ tự của truy vấn trong tập kiểm tra Thứ tự của truy vấn trong tập kiểm tra
Độ khác biệt ở độ chính xác trung bình của mỗi truy vấn giữa mô hình NE+WN với hai mô hình NE+KW+Wh và WN+KW đƣợc trình bày trong Hình 6.3. Cụ thể là, số các truy vấn ở mô hình NE+WN có độ chính xác trung bình lớn hơn, bằng và nhỏ hơn so với mô hình NE+KW+Wh lần lƣợt là 51, 35 và 38, và so với mô hình WN+KW lần lƣợt là 53, 51 và 20.
Kết hợp các mô hình
Mô hình hợp nhất UM là mô hình kết hợp giữa mô hình NE+WN ở trên với mô hình R+CSA ở Chương 5. Luận án tiến hành đánh giá thực nghiệm để kiểm tra xem mô hình UM có hiệu quả hơn hai mô hình NE+WN và R+CSA hay không. Để việc đánh giá đƣợc nhất quán cho các mô hình, chúng tôi cũng tiến hành so sánh ba mô hình này trên tập tài liệu L.A. Times và tập truy vấn của QA-Track-99.
Bảng 6.4. Các độ chính xác và độ F trung bình tại mười một điểm đầy đủ chuẩn của các mô hình NE+WN, R+CSA và UM
Độ đo Mô hình Độ đầy đủ (%)
0 10 20 30 40 50 60 70 80 90 100 Độ chính
xác (%)
NE+WN 75,7 75,2 73,4 69,5 65,6 64,1 56,6 51,1 49,6 47,5 46,8 R+CSA 78,4 77,9 75,9 73,0 69,6 68,5 61,5 57,6 55,6 54,5 53,4 UM 85,2 86,0 84,4 81,9 77,6 76,3 68,9 63,4 60,5 58,5 56,9 Độ F (%)
NE+WN 0 16,8 29,5 38,7 45,0 50,8 51,0 50,2 51,9 52,5 53,9 R+CSA 0 16,7 29,4 39,0 46,2 52,9 54,2 55,0 57,1 59,0 60,4 UM 0 17,3 30,9 41,8 49,3 56,8 58,7 58,7 60,2 61,5 62,4
Các giá trị trong Bảng 6.4 và các đường cong trong Hình 6.4 trình bày các độ chính xác và độ F trung bình của ba mô hình NE+WN, R+CSA và UM tại mỗi cấp độ đầy đủ chuẩn. Chúng cho thấy mô hình UM có độ chính xác và độ F cao hơn hai mô hình còn lại. Các độ MAP trong Bảng 6.5 và các trị số p hai chiều trong Bảng 6.6 cho thấy việc khai thác các đặc điểm ontology của thực thể có tên và từ WordNet cùng với các thực thể tiềm ẩn trong truy vấn đã thật sự làm tăng hiệu quả truy hồi tài liệu. Cụ thể là, mô hình UM hiệu quả hơn hai mô hình NE+WN và R+CSA lần lƣợt là 19% và 11,1% ở độ MAP. Bên cạnh đó, độ khác biệt ở độ chính xác trung bình của mỗi truy vấn giữa mô hình UM với hai mô hình NE+WN và R+CSA đƣợc trình bày trong Hình
6.5. Cụ thể là, số các truy vấn ở mô hình UM có độ chính xác trung bình lớn hơn, bằng và nhỏ hơn so với mô hình NE+WN lần lƣợt là 51, 65 và 8, và so với mô hình R+CSA lần lƣợt là 56, 52, 16.
Hình 6.4. Các đường cong trung bình P-R và F-R của các mô hình NE+WN, R+CSA và UM
Bảng 6.5. Các độ chính xác trung bình nhóm của các mô hình NE+WN, R+CSA và UM
Mô hình UM NE+WN R+CSA
MAP 0,7166 0,6024 0,6451
Độ cải thiện 19% 11,1%
Bảng 6.6. Trị số p hai chiều của phương pháp kiểm định ngẫu nhiên giữa mô hình UM so với các mô hình NE+WN và R+CSA
Mô hình A Mô hình B |MAP(A) – MAP(B)|
N– N+ Trị số p hai chiều
UM NE+WN 0,1142 1.043 966 0,02009
R+CSA 0,0715 2.188 2.140 0,04328 Các đường cong F-R trung bình
Độ đầy đủ (%)
Độ F (%)
Các đường cong P-R trung bình
Độ chính xác (%)
Độ đầy đủ (%)
Hình 6.5. Độ khác biệt của mỗi truy vấn ở độ chính xác trung bình giữa mô hình UM với hai mô hình NE+WN và R+CSA