có giám sát với cặp câu hỏi và câu trả lời khơng tốt của nó.
chú ý có giám sát học ra trọng số chú ý của từ trong câu trả lời với các từ trong câu hỏi tốt hơn so với mơ hình match-LSTM gốc ban đầu (so với hình 2.2 của mơ hình gốc).
Xem xét chi tiết hơn, ở hình 2.5 các từ chứa nội dung của trả lời như ‘Pak-
istanis’, ‘ban’, và ‘get’ và các từ chứa nội dung của câu hỏi như ‘nationalities’,
‘banned’, và‘apply’ được ánh xạ rất chính xác. Từ’ban’ và’banned’ về bản chất
có cùng từ gốc giống nhau. Mơ hình đề xuất cũng dự đốn được các từ tương đồng ngữ nghĩa như‘Pakistanis’ và‘nationalities’, từ’get’ và’apply’. Cuối cùng khi quan sát kĩ hơn trong hình 2.5(a), các từ dừng và dấu ngắt câu vẫn được ánh xạ tới các từ khác. Trong khi đó ở hình 2.5(b) nhờ vào trọng số tf.idf trong công thức 2.9 mà các từ dừng và dấu ngắt câu học được ánh xạ vào các từ đặc
biệt <eos> được thêm vào cuối câu hỏi. Điều này thể hiện qua cột ơ vng ở
cuối của hình 2.5(b) chứa nhiều các ô vuông màu xanh đậm. Hơn nữa, trong hình vẽ này cho thấy rằng các từ dừng và dấu ngắt câu trong câu hỏi không chú ý tới các từ trong câu trả lời nữa. Do đó, đoạn văn bản dư thừa không mang nội dung như lời chào hỏi hay những đoạn khơng mang ý nghĩa đều có trọng số chú ý thấp với các từ trong câu còn lại.
Tương tự với hình 2.6 đối với cặp câu hỏi và câu trả lời có nhãn là 0. Từ mang nội dung như ’your nationality’ được ánh xạ tới từ ’nationalities’ ở hình 2.6(b). Cũng do câu hỏi và câu trả lời về cơ bản không liên quan về ngữ nghĩa tới nhau cho nên phần ánh xạ giữa các từ trong hai câu này không rõ ràng.
Tất cả những lý giải trên chứng tỏ rằng mơ hình đề xuất học được những phần quan trọng mang nội dung của câu trả lời và ánh xạ với nội dung liên quan của câu hỏi tốt hơn so với mơ hình gốc.
2.5. Kết luận chương 2
• Các mơ hình LSTM cơ bản như QA-LSTM, QA-LSTM-CNN, QA-LSTM- attention và Enhance-LSTM được cài đặt thử nghiệm lại trên bài toán lựa chọn câu trả lời.
• Mơ hình match-LSTM được đề xuất sử dụng trên bài toán lựa chọn câu trả lời. Sau đó, mơ hình này được mở rộng để phù hợp hơn với dữ liệu mạng xã hội. Cụ thể như kết hợp biểu diễn từ ở mức kí tự. Mơ hình biLSTM được kết hợp với biểu diễn từ sử dụng mơ hình Glove làm đầu vào của mơ hình. Cách kết hợp này giúp khắc phục tình trạng OOV trong dữ liệu mạng xã hội.
• Đặc biệt, cơ chế chú ý có giám sát được tích hợp vào mơ hình mở rộng để hướng dẫn mơ hình học theo chú ý xác định trước. Thực nghiệm cho thấy mơ hình học ra trọng số chú ý tốt hơn với mơ hình gốc.
• Để giải thích hiệu quả của mơ hình đề xuất, các trọng số chú ý của từng từ trong câu trả lời với các từ trong câu hỏi được trực quan hóa đối với cặp câu hỏi và câu trả lời tốt, câu hỏi với câu trả lời khơng tốt.
Các kết quả được trình bày trong chương 2 được công bố trong bài báo "Supervised Attention for Answer Selection in Community Question Answering" tại tạp chí IAES International Journal of Artificial Intelligence (IJ-AI)3 của Indonesia trong danh mục Scopus.
3
Chương 3
BÀI TỐN TĨM TẮT CÂU TRẢ LỜI TRONG HỆ THỐNG HỎI ĐÁP CỘNG ĐỒNG
Trong hệ thống hỏi đáp cộng đồng, ngoài những câu hỏi factoid (câu hỏi về ai, ở đâu, cái gì, khi nào) người dùng cịn đặt nhiều câu hỏi non-factoid. Câu hỏi non-factoid thường là các câu hỏi mở như câu hỏi dạng liệt kê, mô tả, quan điểm. Câu trả lời của những dạng câu hỏi này phần lớn phức tạp, cả đoạn văn và không đầy đủ. Tiếp theo chủ đề đảm bảo chất lượng câu trả lời, để giúp người hỏi tổng hợp câu trả lời tốt nhất từ các câu trả lời của người dùng khác, một giải pháp đặt ra là tiến hành tóm tắt các câu trả lời đã có. Chương này trình bày một phương pháp tóm tắt các câu trả lời của câu hỏi non-factoid trong hệ thống CQA. Cụ thể, hai mơ hình học biểu diễn câu khơng giám sát Auto-Encoder và mơ hình LSTM-AutoEcoder được đề xuất sử dụng vào q trình tóm tắt câu trả lời. Các biểu diễn câu được sử dụng để tính độ nổi bật của câu so với câu hỏi, sau đó đưa vào thuật tốn MMR (Maximal Marginal Relevance) để tóm tắt câu trả lời theo kiểu trích rút và hướng truy vấn. Kết quả cho thấy rằng phương pháp biểu diễn câu không giám sát cho kết quả tương đương và thậm chí cịn cao hơn với phương pháp biểu diễn có giám sát ở một số độ đo.
3.1. Giới thiệu
Trong hệ thống hỏi đáp cộng đồng (ví dụ như Yahoo Answers1, StackOver- flow2) có các bài tốn chính: (1) Đánh giá chất lượng câu trả lời đã có trong hệ thống, (2) Tìm các câu hỏi tương đồng với câu hỏi truy vấn mới, (3) Tìm kiếm chun gia trong hệ thống hỏi đáp. Trong đó, bài tốn tóm tắt các câu trả lời thuộc bài tốn thứ nhất trong số các bài toán này [8].
Trong hệ thống CQA, một câu hỏi khi được đăng lên có thể có rất nhiều người trả lời (có những câu hỏi lên đến hàng trăm câu trả lời, ví dụ như hệ thống hỏi đáp Yahoo!answer 3). Trong số các câu trả lời đó người dùng phải đọc và lựa chọn những câu trả lời tốt nhất. Theo Liu và cộng sự [8] thống kê có 78% các câu trả lời tốt nhất được dùng lại để trả lời cho các câu hỏi tương đồng được hỏi
1
https://answers.yahoo.com/
2https://stackoverflow.com/
3
Câu hỏi: How do you help your family with dealing with your cancer? I have a 15 year old who has little contact with her father I know that she’s going to be especially afraid of something happening to me. Even though they are pretty sure it’s 1st stage breast cancer and the prognosis is good how do I help her deal with her fear? I also have to deal with what I’m going through are there support groups for the families or children of cancer patients?
Câu trả lời 1: There are support groups for families and children of cancer patients. You should start with your oncologist and ask for a medical social worker. Usually the social workers known all the local support groups or may even be involved with them. That is the first place to start. There are also online groups that can be of assistance. However, you may be surprised by your daughter . .she may be stronger than you imagine. To begin with the best way to deal with her fear is to tell her the truth always. The imagination is far worse . tell her exactly what is happening. If you go to the doctor, tell her why. Tell her if you are having treatment. Explain the treatment. Include your daughter as much as she wants to be included. Obviously if she does not want to be involved or hear this . than back away a bit. But always make sure she hears the truth from you. There is no substitute for honesty. share the good news and the bad. Your daughter will feel included and not left out. She will appreciate your honesty and learn about courage and strength from you..To help guide you through any of this, you can use the following online resources: Cancer Care - free online counseling for cancer patients and families http://www.cancercare.org/CancerCare that helps get you started.Best of luck. . Câu trả lời 2: YOU should give the family some common sense information about the type of cancer that is being experienced. They should be informed as to what they should expect as your reaction to it, and what cures are available. Then you should ask them to pray for you and have their church family also pray for you. I am talking about continuous praying. What shall we then say to these things? If GOD be for us, WHO can be against us? - Romans 8:31. The Lord daily loadeth us with BENEFITS, even the God of our salvation. Selah. - Psalm 68:19. BEFORE you enter a room or a building, quietly say Peace Be To This House. - Luke 10:5. Those who are within those premises will have a more peaceful demeanor. This will be very helpful to you. On a daily basis, read Psalm 35 to (Plead My Cause) - It is a long-winded and very powerful psalm. Your only requirement is to be sincere when asking God for His help. I wish you well. Peace, Love and God Bless.
Đoạn tóm tắt các câu trả lời:
- There are support groups for families and children of cancer patients. You should start with your oncologist and ask for a medical social worker. Usually the social workers known all the local support groups or may even be involved with them. That is the first place to start. There are also online groups that can be of assistance. - She will appreciate your honesty and learn about courage and strength from you.
- To help guide you through any of this, you can use the following online resources:Cancer Care - free online counseling for cancer patients and families http://www.
- YOU should give the family some common sense information about the type of cancer that is being experi- enced.
- They should be informed as to what they should expect as your reaction to it, and what cures are available. - I am talking about continuous praying.
- Those who are within those premises will have a more peaceful demeanor.