4.3 Các ph˜Ïng pháp ti∏p c™n và ∑ xußt
4.4.1 T™p d˙ liªu và các Îo ánh giá
∫ cài ∞t các th¸c nghiªm trong ch˜Ïng này, lu™n án s˚ dˆng 2 t™p d˙ liªu cQA. T™p d˙ liªu th˘ nhßt là SemEval 2016 task 3 subtask B nh˜ ã ˜Òc mô t£ trong Ch˜Ïng 2. T™p d˙ liªu th˘ hai ˜Òc s˚ dˆng là Quora2. T™p d˙ liªu này ˜Òc trích rút t¯https://www.quora.com/, mÎt diπn àn cQA mà ó mÂi
Hình 4.7: Mô hình d¸a trên BERT ánh giá i∫m t˜Ïng Áng gi˙a hai câu h‰i ng˜Ìi có th∫ g˚i nh˙ng câu h‰i, câu tr£ lÌi v∑ nhi∑u khía c§nh khác nhau. T™p d˙ liªu Quora bao gÁm 404.082 c∞p câu h‰i (câu h‰i mÓi và câu h‰i liên quan). T™p d˙ liªu này ˜Òc phân chia thành 363.665 c∞p câu h‰i ˜Òc s˚ dˆng nh˜
là t™p d˙ liªu hußn luyªn và 40.417 c∞p câu h‰i ˜Òc s˚ dˆng nh˜ là t™p d˙
liªu ki∫m tra. MÈi i∫m d˙ liªu là mÎt c∞p câu h‰i (câu h‰i mÓi và câu h‰i liên quan) và mÎt nhãn mang giá tr‡ 1 ho∞c 0. Giá tr‡ nhãn là 1 t˘c là hai câu h‰i có t˜Ïng t¸ nhau, ng˜Òc l§i mang giá tr‡ 0. B£ng 4.1 là mÎt sËví dˆcıa t™p d˙
liªu này.
B£ng 4.2 cung cßp mÎt sË thËng kê v∑ t™p d˙ liªu Quora s≥ s˚ dˆng trong các th¸c nghiªm d˜Ói ây.
Ti∑n x˚ l˛ d˙ liªu
Trong b˜Óc này, mÈi câu h‰i trong t™p d˙ liªu ˜Òc thao tác b¨ng cách áp dˆng các b˜Óc ti∑n x˚ l˛. Giai o§n ti∑n x˚ l˛ ˜Òc s˚ dˆng trong nghiên c˘u này bao gÁm h¶u h∏t các nhiªm vˆ ti∑n x˚ l˛ ˜Òc s˚dˆng trong NLP [51], ó là: tách t¯(phân tích các câu h‰i, câu tr£lÌi thành các t¯, cˆm t¯ho∞c k˛ hiªu, các t¯tË); g≠n th¥ t¯lo§i (gán th¥ t¯lo§i cho mÈi t¯ ho∞c t¯tË, chØng h§n nh˜
danh t¯, Îng t¯, tính t¯, vv); stemming (là quá trình ∫ gi£m ho∞c bi∏n Íi các t¯ ã chuy∫n sang d§ng khác v∑ các t¯ cÏ s ho∞c t¯ gËc, ví dˆ chuy∫n Íi các t¯ “flew” và “flying” v∑ t¯ gËc “fly”); chuy∫n Íi các t¯ v∑ d§ng ch˙th˜Ìng.
B£ng 4.1: Ví dˆ v∑ mÎt sËc∞p câu h‰i trong t™p d˙liªu Quora
Câu h‰i mÓi Câu h‰i liên quan Nhãn lÓp
How do you become both a lawyer
and a doctor? How can you become a lawyer? 0 How do I get rid of the smell from a
cat spraying? How can I stop my cat from spraying? 0 How does one start a small business? How can I start a successful small
business? 1
Which are the best GMAT coaching institutes in Delhi/NCR?
What is the best coaching institute for
GMAT in Delhi NCR region? 1 What are some good jobs for civil
engineer?
Which are the best jobs in civil
engineering? 1
What does a product developer do? What is product development? 0
B£ng 4.2: MÎt sË thËng kê v∑ t™p d˙liªu Quora
T™p d˙ liªu C∞p câu h‰i Trung bình sËt¯ Trung bình sËk˛ t¸ D˙liªu hußn luyªn 363665 11,17 60,11
D˙liªu ki∫m tra 40417 11,03 60,05
Các Î o ánh giá
∫ ánh giá hiªu sußt cıa các mô hình, các th¸c nghiªm s˚ dˆng mÎt sË Î o phân lo§i và x∏p h§ng. Các Î o phân lo§i bao gÁm: Accuracy (Acc), Precision (P), Recall (R), and F1-measure (F1). Các Î o x∏p h§ng bao gÁm: Mean Average Precision (MAP), Average Recall (AvgRec) and Mean Reciprocal Rank (MRR). Các Î o này ã ˜Òc trình bày trong mˆc 1.5.4.