3.4. Hị THịNG ĐễNG Á CHATBOT
3.4.4. Đỏnh giỏ đò chớnh xỏc c ă a chatbot
Đểđảm bảo chatbot ho¿t đáng hiáu quả và cung cấp thông tin chính xác, cần phải thực hián các ph°¢ng pháp đánh giá đá chính xác mát cách toàn dián.
D°ãi đây là các b°ãc và ph°¢ng pháp đánh giá đÁán đã thực hián:
Māc tiờu căa viòc đỏnh giỏ:
Đánh giá đá chính xác, tính nhất quán, và hiáu quả cÿa chatbot trong viác trả lồi cỏc cõu hòi liờn quan đ¿n Tr°ồng Đ¿i học Cụng nghỏĐụng Á.
Tiêu chí đánh giá:
Đỏ chớnh xỏc: Māc đỏđỳng đắn cÿa cõu trả lồi so vói thụng tin đó đ°ợc thu thập và l°u trữ.
Tớnh nhất quỏn: Khả năng cÿa chatbot trong viỏc đ°a ra cỏc cõu trả lồi nhất quỏn cho cựng mỏt cõu hòi trong cỏc thồi điểm khỏc nhau.
Chuẩn bò dÿ liòu đỏnh giỏ:
Dữ liỏu đỏnh giỏ: T¿o bỏ dữ liỏu gồm 100 cõu hòi mÁu và cõu trả lồi dựa trên các táp văn bản đã thu thập, bao gồm:
- Cõu hòi vÁ cỏc quy¿t đỏnh thành lập tr°ồng và văn bản hành chớnh.
- Cõu hòi vÁ thụng tin ban giỏm hiỏu, sā m¿ng, mục tiờu, tầm nhỡn, đỏnh h°ãng phát triển, ba công khai, và linh vật.
- Cõu hòi vÁ tuyển sinh, ch°Âng trỡnh đào t¿o, nghiờn cāu khoa học, hợp tác quác t¿, viác làm, học bổng, quy ch¿, quy đánh, và tài liáu kiểm đánh chất l°ợng.
- Cõu hòi th°ồng gặp cÿa học sinh và phụ huynh.
Thāc hiòn đỏnh giỏ thă cụng:
B°óc 1: Sử dụng cỏc cõu hòi đó chu¿n bỏ tr°óc đú (50 cõu) đ°a vào chatbot và ghi nhận cõu trả lồi cÿa chatbot.
B°óc 2: Đỏi chi¿u cõu trả lồi cÿa chatbot vói cõu trả lồi trong tài liỏu thu thập đ°ợc và ghi nhận tỷ lỏ trả lồi đỳng cÿa chatbot vói từng cõu hòi.
Đỏnh giỏ tāđòng:
B°ãc 1: Sử dụng ch°¢ng trình Python vãi các th° vián nh° nltk, scikit- learn, và transformers để hòi chatbot vói 50 cõu hòi đó chu¿n bỏ tr°óc đú.
B°óc 2: ghi nhận cỏc chò sỏ Precision, Recall, F1-score, và BLEU score trờn từng cõu hòi.
K¿t quÁ:
- Phương pháp thủ công:
Đáchính xác: đánh giá chatbot đ¿t māc đá chính xác khoảng 95% trong viỏc trả lồi cỏc cõu hòi.
Tính nhất quán: Đánh giá cho thấy chatbot duy trì tính nhất quán cao, vãi tỷ lá nhất quán trên 98%.
Māc đỏ hữu ớch: Phản hồi từ nhúm chuyờn gia cho thấy cỏc cõu trả lồi cÿa chatbot hữu ớch và đỏp āng đ°ợc yờu cầu thụng tin cÿa ng°ồi dựng. Điểm trung bình vÁ māc đá hữu ích đ¿t 4.5/5.
- Phương pháp tự động:
+ Điểm Precision: 0.9 + Điểm Recall: 0.95 + Điểm F1-score: 0.9 + Điểm BLEU score: 0.9 Cỏc chò sỏ này cho thấy chatbot cú khả năng cung cấp cõu trả lồi đỳng và phự hợp vói ngữ cảnh trong đa sỏtr°ồng hợp. Tuy nhiờn đểđ°a chatbot vào ỏp dụng thực t¿ cần cú b°óc kiểm tra vói ng°ồi dựng cuỏi để ghi nhận māc đỏ hài lũng cÿa ng°ồi dựng cuỏi vói cõu trả lồi cÿa chatbot từ đú điÁu chònh tham sá cÿa mô hình để đ¿t hiáu quả tái °u nhất.
KắT LUắN
Trong quá trình thực hián đÁ án, tôi đã khảo sát nhu cầu cũng nh° thực tr¿ng cỏc giải phỏp đang đ°ợc ỏp dụng để tra cāu, tỡm hiểu thụng tin vÁtr°ồng Đ¿i học Công nghá Đô Á từ đó đánh giá hiáu quả cÿa các giải pháp hián có.
Tìm hiểu vÁ học sâu, ki¿n trúc Transformers cũng nh° quy trình huấn luyán m¿ng hồi quy và các lý thuy¿t liên quan.
ĐÁ ỏn cũng tỡm hiểu và trỡnh bày ph°Âng phỏp huấn luyỏn, tinh chònh các LLMs cùng vãi đó đã nêu những thách thāc trong huấn luyán LLMs. Trình bày các kỹ thuật nâng cao hiáu suất nh° tái °u hóa bá nhã, giảm đá phāc t¿p tính toán và Prompt Engineering nhằm khắc phục và giải quy¿t những thách thāc trong huấn luyán LLMs cho bài toán Chatbot.
Tôi đã nghiên cāu lý thuy¿t và thực hành vÁ VectorDB, kỹ thuật Prompt Engineering và Retrieval-Augmented Generation (RAG) vào xây dựng Chatbot vÁ tra cāu tỡm hiểu thụng tin vÁ tr°ồng Đ¿i học Cụng nghỏ Đụng Á. ĐÁ ỏn đó trình bày quá trình xây dựng Chatbot từ thu thập, tiÁn xử lý dữ liáu, xây dựng ki¿n trúc Chatbot và mát sá k¿t quả thử nghiám Chatbot.
Tuy nhiên do điÁu kián phần cāng (GPU) cÿa Đ¿i học Công ngháĐông Á đang trong quá trình xây dựng nên há tháng Chatbot đã ch°a đ°ợc triển khai ở thồi điểm bỏo cỏo. Dữ liỏu dựng cho Chatbot ch°a cập nhật đ°ợc đầy đÿ do quy đỏnh vÁ bảo mật thụng tin cÿa Tr°ồng. Trong thồi gian tói khi h¿ tầng phần cāng cÿa Tr°ồng đ°ợc hoàn thiỏn Chatbot sẽđ°ợc triển khai và đi vào sử dụng thực t¿ thay th¿ và bổ sung cho các giải pháp hián t¿i góp phần nâng cao trải nghiỏm cÿa cỏng đỏng EAUT. Chatbot cÿa đÁ ỏn cú thểđ°ợc điÁu chònh và cập nhật thụng tin cho bất kỳ mỏt tr°ồng, doanh nghiỏp nào cần mỏt hỏ thỏng trả lồi tựđỏng, hiỏu quả và nhanh chúng.