4. Bố cục của luận văn
5.1 Nhận xét chung
Trong xửlý ngôn ngữtựnhiên tiếng Việt, phân đoạn từlà một trong những công việc hết sức quan trọng. Do tính chất đặc biệt của ngôn ngữ tiếng Việt, công việc này có tính khó cao và độ phức tạp lớn. Giải quyết tốt bài toán này sẽ làm tiền đề vững chắc cho các bài toán lớn hơn như: dịch máy tự động, tóm lược văn bản, xửlý ngữnghĩa, v.v...
Đã có nhiều mô hình phânđoạn từ được đưa ra bởi nhiều nhà nghiên cứu trước đó. Mỗi phương pháp đều có ưu và nhược điểm riêng.Nhìn chung việc phân đoạn từđều chưa thể đạt mức tyệt đối chính xác, ngay cả khi con người trực tiếp thực hiện [21]. Nguyên nhân một phần là do khả năng xử lý ngôn ngữ trên máy tính của con người còn hạn chế, một phần kháclà do bản thân ngôn ngữ luôn vận động và phát triển không ngừng theo thời gian, đòi hỏi người làm xử lý ngôn ngữ phải luôn nghiên cứu và cải tiến phương pháp.
Trong các mô hình phânđoạn từmà luận văn tham khảo được, mô hình sửdụng từ điển kết hợp với các luật để phân giải nhập nhằng của hệ thống MMSeg là khá phù hợp với ngôn ngữ tiếng Việt nên chúng tôi chọn làm hướng tham khảo chính. Tuy nhiên, khi áp dụng trên ngôn ngữtiếng Việt, với những đặc thù riêng, MMSeg đã không thực sựhiệu quả.
Qua quá trình nghiên cứu và thực nghiệm, luận văn đã xây dựng được một mô hình phân đoạn từ mới, dựa trên mô hình lai với cơ sở là bốn luật phân giải nhập nhằng của hệ thống MMSeg kết hợp với các phương pháp khác như: tự động phát hiện từmới, nhận dạng danh từriêng, so trùng mẫu, phương pháp thống kê.
Kết quả thực nghiệm đã chứng tỏ mô hình mới có đem lại một số kết quả khả quan, là động lực cho những nghiên cứu tiếp theo.