cho hệ thống hỏi đáp danh sách tiếng việt
Đầu vào của pha hỏi đáp danh sách là từ khóa của câu hỏi, đầu ra của pha này chính là câu trả lời được trả về dưới dạng danh sách các kết quả, được sắp xếp theo trọng số của chúng. Qua quá trình tiến hành và khảo sát thực nghiệm riêng đối với pha hỏi đáp danh sách, nhận thấy trong danh sách các kết quả trả lời, tỉ lệ nhiễu bắt đầu tăng từ kết quả thứ 5 trở đi. Pha mở rộng thực thể nhận đầu vào là n thực thể có trọng số cao nhất trong danh sách câu trả lời và có nhiệm vụ bổ sung các kết quả cho câu trả lời. Với đầu vào có tỉ lệ nhiễu cao thì kết quả mở rộng sẽ không được khả quan. Chính vì thế, khóa luận tiến hành thực nghiệm với n = 2, n=3 và n=4.
Chúng tôi tiến hành pha mở rộng thực thể với các số lượng đầu vào như trên và thống kê kết quả mở rộng. Với mỗi thực nghiệm, xét các số lượng kết quả tương ứng là 5, 10, 15, 20, trong đó, có n thực thể là kết quả của pha hỏi đáp danh sách đã được dùng làm thực thể mồi, còn lại các các thực thể được sinh ra bởi pha nâng cao chất lượng câu trả lời. Đồng thời, thống kê số lượng các từ khóa được đáp ứng đủ số lượng kết quả. Trong các bảng dưới đây, độ chính xác với số kết quả tương ứng cho bởi pha 1 được nhắc lại để tiện so sánh.
Số kết quả 5 10 15 20
Độ chính xác của pha 1 (%) 82.11 78.16 73.23 67.10
Độ chính xác của hệ thống
(%) 87.5 81.17 78.3 74.27
Số lượng từ khóa được pha
1 đáp ứng 176 153 129 97
Số lượng từ khóa được hệ
thống đáp ứng 187 165 132 116
Bảng 12 là kết quả thực nghiệm mô hình nâng cao với đầu vào cho pha mở rộng là 2 kết quả có trọng số cao nhất của pha hỏi đáp danh sách (n = 2). Qua đó cho thấy
43
hệ thống khi sử dụng kết hợp hai pha cho kết quả tốt hơn khi chỉ sử dụng pha hỏi đáp danh sách với yêu cầu về số lượng kết quả từ 5 đến 20. Với số lượng kết quả là 5, độ chính xác tăng 5.39%. Với số lượng kết quả là 20, độ chính xác tăng 7.17%. Cùng với đó, số lượng từ khóa được đáp ứng cũng nhiều hơn, tuy nhiên, do đầu vào pha mở rộng thực thể chỉ là 2 thực thể nên số lượng các thực thể được mở rộng còn ít, nên vẫn còn trường hợp từ khóa không được đáp ứng đủ số lượng kết quả yêu cầu.
Số kết quả 5 10 15 20
Độ chính xác của pha 1 (%) 82.11 78.16 73.23 67.10
Độ chính xác của hệ thống
(%) 93.87 89.64 82.1 77.31
Số lượng từ khóa được pha
1 đáp ứng 176 153 129 97
Số lượng từ khóa được hệ
thống đáp ứng 193 179 163 152
Bảng 13 là kết quả khi thực nghiệm với đầu vào cho pha mở rộng là 3 kết quả có trọng số cao nhất của pha hỏi đáp danh sách (n = 3). Tỉ lệ cải thiện kết quả là không đều. Với số lượng kết quả là 5, độ chính xác tăng 11.76%. Với số lượng kết quả là 20, độ chính xác tăng 4.72%, điều này là vì 20 kết quả cho bởi pha 1 sẽ có nhiều nhiễu do chỉ sử dụng luật thượng hạ danh, việc sử dụng pha mở rộng thực thể sẽ hạn chế được điều này. Pha mở rộng thực thể trong trường hợp sử dụng 3 thực thể làm đầu vào trích chọn được nhiều hơn các thực thể so với trường hợp chỉ sử dụng 2 thực thể đầu vào. Do đó, giúp hệ thống có thể đáp ứng được nhiều hơn số kết quả cho các câu hỏi.
Bảng 14 là kết quả thực nghiệm với 4 kết quả từ pha hỏi đáp danh sách làm đầu vào cho pha mở rộng thực thể. Độ chính xác trong thực nghiệm với n = 4 cao hơn so với thực nghiệm với n = 2 và thấp hơn so với thực nghiệm với n = 3. Tuy nhiên số lượng các tập mở rộng đáp ứng cho việc lựa chọn kết quả trả lời lại là cao nhất trong 3 thực nghiệm do số lượng đầu vào cho pha mở rộng là cao nhất trong 3 thực nghiệm.
44
Tuy nhiên, số lượng các thực thể đầu vào cho pha 2 tăng thì khả năng nhiễu trong tập thực thể đầu vào cho pha này cũng tăng, chính vì thế độ chính xác của các thực thể được trích chọn được bởi pha 2 là không cao, dẫn đến việc nâng cao độ chính xác cho toàn bộ hệ thống là không nhiều.
Số kết quả 5 10 15 20
Độ chính xác của pha 1
(%) 82.11 78.16 73.23 67.10
Độ chính xác của hệ thống
(%) 91.15 83.27 81.53 76.2
Số lượng từ khóa được pha
1 đáp ứng 176 153 129 97
Số lượng từ khóa được đáp
ứng 196 184 179 163
Biểu đồ 4 mô tả trực quan độ chính xác của câu trả lời với số lượng các kết quả khác nhau trong thực nghiệm. Kết quả tốt mà hệ thống đạt được là khi kết hợp 2 pha,
0 10 20 30 40 50 60 70 80 90 100 5 10 15 20
Pha hỏi đáp danh sách Kết hợp hai pha với n = 2 Kết hợp hai pha với n = 3 Kết hợp hai pha với n = 4
Bảng 14. Kết quả thực nghiệm mô hình nâng cao – 4 kết quả đầu vào
45
trong đó sử dụng 3 kết quả của pha hỏi đáp danh sách làm thực thể mồi cho pha mở rộng thực thể. Nhìn chung, độ chính xác của câu trả lời giảm dần khi tăng yêu cầu về số lượng kết quả, trường hợp sử dụng 3 kết quả của pha hỏi đáp danh sách làm thực thể mồi cho pha mở rộng thực thể, độ chính xác tương ứng là: 93.87% với 5 kết quả đầu tiên, 89.64% với 10 kết quả đầu và 77.31% với 20 kết quả. Bên cạnh đó, mức tăng của độ chính xác là không đều, phụ thuộc vào chất lượng các luật thượng hạ danh cũng như pha mở rộng thực thể.
Biểu đồ 5 thể hiện khả năng đáp ứng từ khóa của hệ thống trong các trường hợp:
Chỉ áp dụng pha hỏi đáp danh sách
Kết hợp hai pha sử dụng 2 kết quả của pha hỏi đáp danh sách làm mồi cho pha mở rộng thực thể.
Kết hợp hai pha sử dụng 3 kết quả của pha hỏi đáp danh sách làm mồi cho pha mở rộng thực thể.
Kết hợp hai pha sử dụng 4 kết quả của pha hỏi đáp danh sách làm mồi cho pha mở rộng thực thể.
Có thế thấy khả năng đáp ứng của hệ thống khi sử dụng kết hợp 2 pha tốt hơn khi chỉ sử dụng pha hỏi đáp danh sách. Trong đó khả năng đáp ứng là tốt nhất trong trường
0 50 100 150 200 250 5 10 15 20
Pha hỏi đáp danh sách Kết hợp hai pha với n = 2 Kết hợp hai pha với n = 3 Kết hợp hai pha với n = 4
46
hợp sử dụng 4 kết quả của pha hỏi đáp danh sách làm mồi cho pha mở rộng thực thể, đáp ứng được 196 từ khóa trong trường hợp yêu cầu 5 kết quả, khả năng đáp ứng giảm dần khi số lượng các kết quả yêu cầu tăng, còn 163 từ khóa được áp ứng khi số lượng kết quả yêu cầu lên đến 20.
Qua các kết quả thực nghiệm kết hợp hai pha hỏi đáp danh sách và mở rộng thực thể trong mô hình nâng cao chất lượng kết quả trả lời cho hệ thống hỏi đáp danh sách tiếng Việt nhận thấy mô hình kết hợp cho kết quả tốt hơn khi chỉ sử dụng pha hỏi đáp danh sách. Hệ thống kết hợp cho kết quả trả lời khá tốt với độ chính xác là 93.87% với 5 kết quả trong câu trả lời khi đầu vào cho pha mở rộng thực thể là 3 kết quả có trọng số cao nhất trả về bởi pha hỏi đáp danh sách. Số các từ khóa được đáp ứng với số lượng các kết quả khác nhau cũng tăng nhờ pha mở rộng thực thể tìm được thêm các thực thể mới. Tuy nhiên trong các thực thể mới đó còn các trường hợp chưa chính xác, điều này là do nhiều nguyên nhân khác nhau, trong đó có nguyên nhân do các thực thể đầu vào của pha mở rộng bị nhiễu, dẫn đến việc mở rộng không đạt được hiệu quả như mong muốn. Hoặc do trong các dữ liệu được xét, có ít các thực thể cần tìm nằm cùng ngữ cảnh với các thực thể mồi, dẫn đến các thực thể được mở rộng là không nhiều. Đây cũng chính là những vấn đề cần tiếp tục giải quyết để đạt được kết quả nâng cao tốt hơn cho hệ thống hỏi đáp danh sách tiếng Việt.
47
Kết luận
Cùng với nhu cầu khai thác các nguồn thông tin trên dữ liệu web một cách dễ dàng và hiệu quả hơn, hệ thống hỏi đáp danh sách đang là một hướng nghiên cứu mới thu hút được nhiều sự quan tâm của các nhà nghiên cứu trên thế giới cũng như tại Việt Nam. Trong khuôn khổ một khóa luận tốt nghiệp đại học, nội dung nghiên cứu tập trung tìm hiểu phương pháp nâng cao chất lượng câu trả lời cho hệ thống hỏi đáp danh sách tiếng Việt bằng cách tìm kiếm, trích chọn bổ sung các kết quả cho câu trả lời trong hệ thống. Các công việc đã thực hiện được trong khóa luận:
Về lý thuyết:
o Hệ thống hoá một số vấn đề lý thuyết về hệ thống hỏi đáp cũng như hệ thống hỏi đáp danh sách.
o Chỉ ra ý nghĩa và vai trò của việc nâng cao chất lượng câu trả lời cho hệ thống hỏi đáp danh sách và khảo sát một số phương pháp đã được áp dụng trong các nghiên cứu trước đây.
o Tìm hiểu các cơ sở lý thuyết về mở rộng thực thể cũng như các kiến thức liên quan như thuật toán xếp hạng.
Về thực nghiệm
Dựa trên cơ sở lý thuyết đã tìm hiểu được, khóa luận tiến hành thực nghiệm và đạt được một số kết quả như sau:
o Đề xuất mô hình nâng cao chất lượng trả lời cho hệ thống hỏi đáp danh sách tiếng Việt. Mô hình gồm 2 pha, pha 1 là hệ thống hỏi đáp đơn giản sử dụng các luật thượng hạ danh, pha 2 là pha bổ sung kết quả cho câu trả lời sử dụng phương pháp mở rộng thực thể.
o Thực nghiệm và đánh giá mô hình đã đề xuất. Mô hình kết hợp đạt độ chính xác cho câu trả lời chứa 5 kết quả là 93.87% so với 82.11% khi chỉ sử dụng pha hỏi đáp danh sách. Đây là một kết quả khá khả quan, đáp ứng được tốt yêu cầu đặt ra ban đầu của đề tài và đặt nền tảng cho các nghiên cứu tiếp theo.
Do còn những hạn chế về thời gian và kiến thức, khoá luận còn một số vấn đề cần tiếp tục hoàn thiện và phát triển:
48
Pha hỏi đáp danh sách còn thô sơ, mới chỉ sử dụng luật thượng hạ danh (hyponym), do đó, nhiều câu trả lời chứa rất ít kết quả hoặc chứa nhiều kết quả không chính xác (nhiễu) làm ảnh hưởng tới pha mở rộng thực thể.
Pha mở rộng kết quả trả lời mới chỉ tận dụng được đặc điểm dữ liệu bán cấu trúc của các văn bản web, cụ thể là dựa vào các bảng, các danh sách, … mà chưa sử dụng được thành phần chứa nhiều thông tin đó chính là nội dung chính của các trang web.
Nhận thấy các nhược điểm còn tồn tại nói trên, trong thời gian sắp tới, chúng tôi sẽ tiến hành cải tiến theo các phương án sau:
Nghiên cứu các đặc điểm của tiếng Việt để xây dựng các luật ngữ nghĩa áp dụng vào pha mở rộng thực thể để có thể sử dụng được nội dung chính của các trang web, góp phần nâng cao chất lượng kết quả trả lời cho hệ thống hỏi đáp danh sách.
Hoàn thiện hơn pha hỏi đáp danh sách: bổ sung các luật thượng hạ danh, tìm hiểu các quan hệ khác có thể áp dụng cho bài toán tìm kiếm câu trả lời trong hệ thống hỏi đáp danh sách, …
Nghiên cứu, cải tiến các thuật toán xếp hạng để có thể đánh giá tốt hơn các thực thể trích chọn được, giúp lựa chọn các thực thể đầu vào cho pha mở rộng tốt hơn và lựa chọn các kết quả cho câu trả lời cuối cùng cũng tốt hơn.
Cuối cùng, tiếp tục hoàn thiện, tiến tới xây dựng thành công cụ thực tế để đóng góp cho cộng đồng nghiên cứu cũng như hỗ trợ người dùng khai thác thông tin trên Internet một cách hiệu quả hơn.
49
Phụ lục
Một số kết quả trong quá trình thực nghiệm, trường hợp đầu vào của pha mở rộng thực thể là 3 kết quả trả lời. Bao gồm cả kết quả trả lời đúng và kết quả chưa chính xác. Trường hợp không thu được thêm kết quả nào thì để trống.
STT Từ
khóa Một số kết quả của pha hỏi đáp danh sách
Một số kết quả thu được thêm sau khi mở rộng
1. Bảo
tàng
bảo tàng lịch sử, bảo tàng công binh, hải dương, hưng yên, thanh hóa, khoáng sản, thực vật, động vật, bảo tàng ngân hàng, bảo tàng tiền, bảo tàng hàng không, bảo tàng y dược học, bảo tàng bưu điện, bảo tàng dầu khí, bảo tàng dệt may, bảo tàng giáo dục, bảo tàng giao thông, bảo tàng kiến trúc, bảo tàng tem, bảo tàng mỹ thuật, hiện vật khối gốc.
bảo tàng dân tộc học, bảo tàng cách mạng, bảo tàng tranh sơn mài, sơn dầu, lụa.
2.
Hãng hàng không
lufthansa, korean air, singapore airlines, united airlines, air france (pháp), virgin atlantic, new zealand, indochina airlines, british airways, châu á, vietnam airlines, pacific airlines, indochina airline, thai ways,
brussels airlines, austrian airlines, air canada, united airlines, lot polish airlines, star alliance, lufthansa cityline, luxair, air france, air new zealand, british airways, jetblue airways, south african airways, tap portugal, turkish airlines, us airways,
eurowings, lufthansa cargo, croatia airlines, adria airways, view this template, discuss this template, edit this template, aer lingus, air berlin, air china, air india.
3. Bệnh
sốt vi-rút, viêm phế quản, viêm phổi, sốt xuất huyết, dịch tả, tiêu chảy, tụ huyết trùng, lở mồm long móng, bệnh sán lá, bệnh ghẻ lở, ghẻ lở, bệnh phổi, bệnh phù nề, chữa viêm
viêm não, viêm họng, cúm, sốt phát ban, viêm bàng quang, viêm màng não, dãn
50
gan, béo phì, suy nhược thần kinh, cao huyết áp, cảm cúm, thông manh, mắt đỏ, nhức đầu, đại tiện táo kết, cao áp huyết.
phế quản, bệnh lỵ, thấp tim
4. Chòm
sao
đại hùng, tiểu hùng, thiên hậu, lộc báo, tiên vương, mục phu, felis, quadrans muralis, cetus, pegasus, hercules.
thiên nga, phượng hoàng, la bàn, nhân mã, tam giác, mỏ chim, bảo bình, thiên ưng, mục phu, điêu cụ, đại
khuyển, kình ngư, nam miện, …
5. Động
vật
Dê, hươu xạ, cá voi, cá heo đã tiến hóa, hoẵng, nai, hươu, sóc, khỉ đuôi dài, cò, vạc, nông, bống, tôm, trai, kiến, cá, loài có vú, chó, mèo, dơi, ngựa, chuột
Bò, heo, cừu
6. Bệnh
viện
điều trị bệnh, bệnh viện sanh pon, bệnh viện mắt-rhm, bệnh viện tây đô, bệnh viện hoàn mỹ, bệnh phổi cần thơ, bệnh viện tâm thần, bạch mai, viện k trung ương, việt đức, phụ sản, bệnh viện k, viện mắt trung ương
7. Ngân
hàng
Techcombank, eximbank, acb, công thương, abbank, seabank, đông á, abc, sacombank,
ngân hàng quốc tế, lienvietbank,
tienphongbank, nam á bank
Bidv, sacombank, vp bank, vietcombank, scb, ngoài quốc doanh, maritime bank, habeco.
8. Nhạc
cụ
Guitar, trống, kèn, đàn nhị, đàn bầu, piano, khèn của người mông, kèn đồng, đàn dương cầm
Sáo, keyboard, chuông, chiêng, sitar, mandolin, bangio
9. Nhạc
sĩ
lam phương, cầm phong, lê thương, hùng lân, trầm tử thiêng, nguyễn cường, giáng son, phan kiên, duy quang, ngô minh khánh, trần quang hải, hồ đình phương, niệm khúc cuối
hoàng giác, thẩm oánh, đức huy, trần quang hải, tô vũ, hoàng thi thơ, lưu hữu phước, văn cao, trịnh công