Duyệt các.từ khống dấu từ trái qua phải
Với từ khơng dấu cĩ xuất hiện trong từ điển CumTu.txt (là từ chính của cụm từ sau khi loại bỏ dấu), ta xét trong phạm vi [-3,+3] từ xung
quanh từ đĩ, để xết xem, cĩ sự xuất hiện của chuỗi cịn lại của cụm từ khơng ?‹Nếu cĩ thì tĩ sự xuất hiện của cụm từ đĩ > thay đổi từ khơng dấu đĩ
thành từ chính. Ví dụ 3-6:
Câu “Nhung van de lien quan toi nguoi dong tỉnh luyen ai duoc ban bac soi noi trong buoi hop nhom toi hom qua” sẽ được chuyên thành câu
cĩ dấu qua các bước sau:
Luận văn tốt nghiệp : Phương pháp thêm dấu vào văn bản tiếng Việt khơng dấu
o_ Tách câu : tạo ra 1 câu duy nhất là “Nhung van de lien quan toi nguoi
dong tinh luyen ai duoc ban bac soi noi trong buoi hop nhom toi hom
qua”
o_ Tách từ (các từ phân cách nhau bằng dấu / ) : “Nhung / van de / lien quan / toi / nguoi / dong tính luyen ai / duoc / ban bac / soi noi / trong /
buoi / hop / nhom / toi / hom qua”
o_ Thêm dấu dựa trên TuDienChinh.txí : ta được câu sau “Những / vấn đề /
liên quan / tơi / người / đồng tính luyến ái / được / bàn bạc / sơi nổi /
trong / buổi / họp / nhĩm / tơi / hơm qua”
o_ Xét duyệt lại dựa trên CumTu.txt : ta được câu hồn chỉnh cuối cùng sau
“Những / vấn đề / liên quan / tới / người / đồng tính luyến ái / được / bàn
bạc / sơi nỗi / trong / buổi / họp / nhĩmZ-tốï/ hơm qua”
3.2.2. Mơ hình huấn luyện
Phần quan trọng nhất ¿ủä'mơ hình là các tập tin từ điển được cung cấp cho mơ hình, mà quan trọng:nhất đà 2 từ điển : TuDienChinh.txt và CumTu.txt. Sau
đây mơ tả chỉ tiết các bước đề tạo nên 2 tập tin trên.
3.2.24. Thống kê tần suất xuất hiện cúa từ
3.2.2.1-1:- Xây dựng kho ngữ liệu
Trích xuất dữ liệu text từ kho dữ liệu báo điện tử trên Internet. Dữ liệu báo điện tử trên Internet sử dụng gồm 700MB dữ liệu báo Thanh niên, 500MB báo Người Lao Động và 700MB báo Sắc màu văn hố.