Các điểm khó khăn khi thực hiện quá trình lập chỉ mục cho tài liệu tiếng Việt so với tài liệu tiếng Anh mà SE phải giải quyết :
Xácđịnh ranh giớigiữa các từ trong câu. Đối với tiếng Anh điều này rấtdễ dàng vì khoảng trắng chính là ranh giới phân biệt các từ ngược lại tiếng Việt thì khoảng trắng không phải là ranh giới để xác định các từ mà chỉ là ranh giới để xác định các tiếng.
Chính tả tiếng Việt còn một số điểm chưa thống nhất nhưsử dụng "y" hay
"i" ( ví dụ "quý" hay "quí" ), cách bỏ dấu ( "lựơng" hay "lượng" ), cách viết hoa tên riêng( "Khoa học Tự nhiên" hay "Khoa Học Tự Nhiên")... đòi hỏi quá trình hiệu chỉnh chính tả cho văn bản cần lập chỉ mục và cho từ điển chỉ mục.
Tồn tại nhiều bảng mã tiếng Việtđòi hỏi khả năng xử lý tài liệu ở các bảng mã khác nhau. Cách giải quyết làđưa tất cả về bảng mã chuẩn củahệ thống.
Sự phong phú về nghĩa của một từ (từ đa nghĩa). Một từ có thể có nhiều nghĩa khác nhau trong những ngữ cảnh khác nhau nên việc tìm kiếm khó có
được kết quả với độ chính xác cao.
Từ đồng nghĩa hoặc từ gần nghĩa: có nhiều từ khác nhau nhưng lại có cùng ý nghĩa. Do đó, việc tìm kiếm theo từ khoá thường không tìm thấy các websites chứa từ đồng nghĩa hoặc gần nghĩa với từ cần tìm. Vì vậy, việc tìm kiếm cho ra kết quả không đầy đủ.
Có quá nhiều từ mà mật độ xuất hiện cao nhưng không mang ý nghĩa cụ thể nào mà chỉ là những từ nối, từ đệm hoặc chỉ mang sắc thái biểu cảm như
những từ láy. Những từ này cần phải được xác định và loại bỏ ra khỏi tập các mục từ. Nó giống nhưstop-wordtrong tiếng Anh.
Các văn bản có nội dung chính là một vấn đề cụ thể, mộtđề tài nghiên cứu khoa học nhưngđôi khi trọng số của các từ chuyên môn này thấp so với toàn
tập tài liệu. Vì vậy, một số thuật toán tính trọng số bỏ sót những trường hợp nhưvậy. Kết quả là các từ chuyên mônđó khôngđược lập chỉ mục.
Trong các vấn đề trên thì vấn đề xác định ranh giới từtrong câu là quan trọng nhất vì nó ảnh hưởng lớn đến hiệu quả của quá trình lập chỉ mục (nếu quá
trình tách từ sai có nghĩa là nội dung của câu bị phân tích sai) và cũng là vấn
đề khó khăn nhất. Các vấn đề còn lại chỉ là thuần tuý về mặt kỹ thuật mà hầu như
chúng ta có thể giải quyết một cách triệt để.
2. Đặc điểm về từ trong tiếng Việt và việc tách từ2.1 Đặc điểm về từ trong tiếng Việt: