3 Phân bÍ chßt l˜Òng các câu tr£ lÌi trên Yahoo!Answers [14]
3.7 chính xác cıa bÎ phân lo§i SVM khi s˚ dˆng thêm thông tin
Wikipedia ∞c tr˜ng s˚dˆng Acc P R F1 Tßt c£các ∞c tr˜ng trong th¸c nghiªm 1, các ∞c tr˜ng trích rút t¯tài liªu Wikipedia (Ph˜Ïng pháp 1: d¸a trên so khÓp t¯) 83,08 57,14 96,55 71,79 Tßt c£các ∞c tr˜ng trong th¸c nghiªm 1, các ∞c tr˜ng trích rút t¯tài liªu Wikipedia (Ph˜Ïng pháp 2: d¸a trên s¸ bi∫u diπn véc-tÏt¯) 84,62 61,22 96,77 75,00 3.5.4 ánh giá các k∏t qu£ th¸c nghiªm
Các k∏t qu£ th¸c nghiªm ã ˜Òc trình bày trong các B£ng 3.6 và B£ng 3.7. Trong B£ng 3.6, khi s˚dˆng tßt c£ các ∞c tr˜ng trích rút t¯câu h‰i và câu tr£
lÌi (Unigram, Bigram, sË t¯ trong câu h‰i, sË t¯ trong câu tr£ lÌi, sË câu trong câu tr£ lÌi, sË l˜Òng bình chÂn cıa câu tr£ lÌi, ∞c tr˜ng so khÓp t¯ ∞c tr˜ng d¸a trên s¸ bi∫u diπn véc-tÏ t¯) th¸c nghiªm ã §t ˜Òc Î chính xác phân lo§i (accuracy) cao nhßt là 79,23%. Trong th¸c nghiªm th˘ 2, khi bÍsung thêm các ∞c tr˜ng trích rút t¯ nguÁn tài nguyên bên ngoài (các tài liªu Wikipedia) th¸c nghiªm ã §t ˜Òc các k∏t qu£phân lo§i tËt hÏn nh˜trong B£ng 3.7. Khi ánh giá Î t˜Ïng t¸ gi˙a các câu tr£lÌi và tài liªu Wikipedia, lu™n án s˚ dˆng hai ph˜Ïng pháp là so khÓp t¯ và d¸a trên s¸ bi∫u diπn véc-tÏ t¯ (word2vec). K∏t qu£cho thßy ph˜Ïng pháp d¸a trên s¸bi∫u diπn véc-tÏ t¯cho k∏t qu£phân
lo§i cao hÏn vÓi Î chính xác (accuracy) §t ˜Òc cao nhßt là 84,62%. T¯ các k∏t qu£ §t ˜Òc cıa th¸c nghiªm 1 và th¸c nghiªm 2 chø ra r¨ng b¨ng cách xây d¸ng mô hình s˚ dˆng thêm nguÁn tài nguyên bên ngoài (trong nghiên c˘u này là Wikipedia) s≥ §t ˜Òc các k∏t qu£ phân lo§i cao hÏn.
Hình 3.3 th¸c hiªn viªc so sánh các k∏t qu£ §t ˜Òc trong các th¸c nghiªm trên. K∏t qu£ so sánh này ã chø rõ vai trò cıa viªc s˚ dˆng thêm nguÁn tài nguyên bên ngoài trong viªc ánh giá Î phù hÒp cıa các câu tr£ lÌi trong các cQA.
Hình 3.3: So sánh k∏t qu£ cıa các th¸c nghiªm
Ngoài ra, lu™n án cÙng th¸c hiªn so sánh vÓi các nghiên c˘u tËt nhßt tr˜Óc ó trong cùng nhiªm vˆ. B£ng 3.8 chø ra k∏t qu£ cıa s¸so sánh này.