Các điểm khó khăn khi thực hiện quá trình lập chỉ mục cho tài liệu tiếng Việt so với tài liệu tiếng Anh cần phải giải quyết :
¾Xác định ranh giới giữa các từ trong câu. Đối với tiếng Anh điều này quá dễ dàng vì khoảng trắng chính là ranh giới phân biệt các từ
ngược lại tiếng Việt thì khoảng trắng không phải là ranh giới để xác
định các từ mà chỉ là ranh giới để xác định các tiếng.
¾Chính tả tiếng Việt còn một số điểm chưa thống nhất như sử dụng “y” hay “i” ( ví dụ “quý” hay “quí” ), cách bỏ dấu ( “lựơng” hay
“lượng” ), cách viết hoa tên riêng( “Khoa học Tự nhiên” hay “Khoa
Học Tự Nhiên”)... đòi hỏi quá trình hiệu chỉnh chính tả cho văn bản cần lập chỉ mục và cho từđiển chỉ mục.
¾Tồn tại nhiều bảng mã tiếng Việt đòi hỏi khả năng xử lý tài liệu ở
các bảng mã khác nhau. Cách giải quyết là đưa tất cả về bảng mã chuẩn của hệ thống.
¾Sự phong phú về nghĩa của một từ (từ đa nghĩa). Một từ có thể có nhiều nghĩa khác nhau trong những ngữ cảnh khác nhau nên việc tìm kiếm khó có được kết quả với độ chính xác cao.
¾Từđồng nghĩa hoặc từ gần nghĩa: có nhiều từ khác nhau nhưng lại
có cùng ý nghĩa. Do đó, việc tìm kiếm theo từ khoá thường không
tìm thấy các websites chứa từ đồng nghĩa hoặc gần nghĩa với từ cần tìm. Vì vậy, việc tìm kiếm cho ra kết quả không đầy đủ.
¾Có quá nhiều từ mà mật độ xuất hiện cao nhưng không mang ý nghĩa cụ thể nào mà chỉ là những từ nối, từ đệm hoặc chỉ mang sắc thái biểu cảm như những từ láy. Những từ này cần phải được xác định và loại bỏ ra khỏi tập các mục từ. Nó giống nhưstop-word trong tiếng Anh.
¾Các văn bản có nội dung chính là một vấn đề cụ thể, một đề tài nghiên cứu khoa học nhưng đôi khi trọng số của các từ chuyên môn này thấp so với toàn tập tài liệu. Vì vậy, một số thuật toán tính trọng số bỏ sót những trường hợp như vậy. Kết quả là các từ chuyên môn
đó không được lập chỉ mục.
Trong các vấn đề trên, việc xác định ranh giới từ trong câu là quan trọng nhất vì nó ảnh hưởng lớn đến hiệu quả của quá trình lập chỉ mục (nếu quá trình tách từ sai có nghĩa là nội dung của câu bị phân tích sai) và
cũng là vấn đề khó khăn nhất. Các vấn đề còn lại chỉ là thuần tuý về mặt kỹ