Hình 1 minh họa cấu trúc, cách hoạt động cơ bản của một hệ thống tìm kiếm
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Hình 1.
Ở giai đoạn đầu tiên, giai đoạn tiền xử lý, tài liệu thô của ngữ liệu được xử
lý thành các tài liệu được tách từ, phân đoạn (tokenized documents) và
sau đó được lập chỉ mục thành một danh sách các vị trí của từ (postings per terms).
Ở giai đoạn thứ hai, người sử dụng đưa ra một câu truy vấn (phi cấu trúc bằng ngôn ngữ tự nhiên) mô tả nhu cầu thông tin của họ. Hệ thống tìm kiếm thông tin sẽ biểu diễn câu truy vấn này thành những câu truy vấn có hoặc không có cấu trúc mà máy có thể hiểu được. Hệ thống tìm kiếm thông tin bắt đầu thực hiện chất vấn, đối chiếu để tìm ra tài liệu, các yếu tố thông tin có thể trả lời và liên quan đến câu truy vấn. Các thủ tục được dùng để
quyết định các yếu tố thông tin có liên quan đến câu truy vấn đều dựa trên biểu diễn của các câu truy vấn và các yếu tố thông tin có chứa các thành phần ngôn ngữ chỉ mục.
Cuối cùng, các tài liệu, yếu tố thông tin được tìm thấy được hiển thị thành một danh sách tài liệu và được sắp xếp theo thứ tự liên quan (ranked retrieved documents). Thông thường, những tài liệu, yếu tố thông tin có
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
liên quan nhiều nhất được xếp trên những tài liệu ít liên quan hơn. Tùy vào các hệ thống tìm kiếm thông tin khác nhau mà chúng hiển thị thông tin liên quan theo những cách khác nhau. Chẳng hạn, có hệ thống chỉ hiển thị tên tiêu đề và đường dẫn đến tài liệu đó, hoặc có hệ thống vừa hiển thị tên,
đường dẫn, vừa hiển thị một ít nội dung liên quan đến câu truy vấn, hoặc có những hệ thống phục vụ tìm kiếm thông tin trên mạng thì thêm vào các liên kết đến các trang web khác nhau.
Nhiều hệ thống thông tin còn có cả cơ chế cho phép người sử dụng cung cấp phản hồi đến chất lượng của kết quả trả về. Sử dụng phản hồi, hệ thống cố gắng thích ứng và nỗ lực tìm ra những kết quả tốt nhất cho câu truy vấn.
Việc lập chỉ mục trong giai đoạn tiền xử lý chúng tôi vừa đề cập về nguyên tắc thì giống nhau đối với từng hệ thống nhưng về thuật toán, cách thức thì khác nhau. Nguyên tắc lập chỉ mục: Tài liệu hay yếu tố thông tin phi cấu trúc khi thêm mới sẽ được hệ thống tìm kiếm thông tin chuyển sang một thể đặc biệt, đó là ngôn ngữ
chỉ mục. Việc chuyển đổi thành phần thông tin thành ngôn ngữ chỉ mục được thực hiện thủ công, hay tự động hoặc cả hai và nó được gọi là tiến trình lập chỉ mục. Tiến trình lập chỉ mục này được thực hiện dựa trên các yếu tố thông tin đại diện cho nội dung của tài liệu. Do đó, kết quả của tiến trình này là một tập chỉ mục đại diện cho tài liệu đó.