Để việc truy xuất thông tin hiệu quả dựa trên Tiếng Việt, các tài liệu dưới dạng câu hỏi - câu trả lời có sẵn khi được đưa vào trong module truy xuất thông tin c n phải được tiền xử lý. Trong bước tiền xử lý sẽ thực hiện loại bỏ các ký tự đặc biệt, tách từ tiếng việt, loại bỏ từ dừng.
Loại bỏ các ký tự đặc biệt: Tiến hành xóa các ký tự không đ ng g p vào ý
nghĩa của câu.
Đưa về các ký tự thường: Đưa các chữ viết hoa về chữ thường.
Tách từ Tiếng Việt: Tiếng Việt khác với tiếng Anh và các ngôn ngữ khác đ
là một từ được ghép từ một hoặc nhiều tiếng (tiếng là đơn vị cấu tạo nên từ), chúng ta c n hợp nhất các tiếng để tạo thành từ Trong bước này tôi sử dụng thư viện tách từ VnCoreNLP thư viện này được huấn luyện trên tập dữ liệu gồm 7 nghìn câu văn bản được tách từ thủ công, tập này được chia sẻ trong cuộc thi VLSP 2013.
VnCoreNLP hiện có kết quả tốt nhất trong số các mô hình tương tự như vnTokenizer (pyvi), JvnSegmenter… với độ chính xác F1-Scorce = 97.9%
Model F1 (%) Speed (words/secon
d)
57 RDRsegmenter) UETsegmenter 97.87 48k / 33k* vnTokenizer 97.33 _ / 5k* JVnSegmenter-Maxent 97.00 _ / 1k* JVnSegmenter-CRFs 97.06 _ / 1k* DongDu 96.90 _ / 17k* Bảng 3.1: So sánh VnCoreNLP và một số tokenizer
Loại bỏ từ dừng: Việc loại bỏ từ dừng được dựa theo từ điển chứa các từ dừng.
3.2.2. Đánh hỉ mục tài liệu
Bước đ u tiên trong việc đánh chỉ mục tài liệu đ là định nghĩ cấu trúc của tài liệu trong hệ hỏi đáp trường Đại học Xây dựng. Một tài liệu sẽ gồm các trường:
Nội dung câu hỏi
Câu trả lời trường này sẽ lưu nội dung câu trả lời tương ứng với câu hỏi
Ý định của câu hỏi trường này sẽ nhằm xác định ý định của câu hỏi để giúp
cho việc truy xuất thông tin ch nh xác hơn Về việc xác định ý định câu hỏi tôi sẽ trình bày ở ph n sau.
Ví dụ về các trường của một tài liệu:
{
"cau_hoi": [
"Em muốn xin thi lại thì phải như thế nào ạ", "Nhà trường có tổ chức thi lại hay không ạ?",
"Khi trượt môn thì có được thi lại hay không vậy các thầy cô?",
"E muốn đăng kí thi lại một môn thì cần những điều kiện gì vậy ạ"