3.1. Tiêu chuẩn đánh giá
- Tính kịp thời: phụ thuộc vào thời gian trả lời yêu cầu tin. Trong nền kinh tế thị trường, tính kịp thời nhiều khi đóng vai trị quyết định vì tính cạnh tranh trong sản xuất, thương mại và ai có thơng tin người đó sẽ chiến thắng.
- Giá thành (Chi phí): Căn cứ vào một số tiêu chí sau để tính giá thành: + Cơng sức của cán bộ bỏ ra để tra cứu thông tin.
+ Sử dụng hệ thống tìm tin của cơ quan TT - TV hoặc kết nối mạng thông tin trong nước và quốc tế.
+ Hình thức sản phẩm đầu ra.
+ Khả năng cung cấp tài liệu gốc/ tài liệu sao. - Chất lượng cung cấp thông tin cho NDT: + Độ tin cậy
+ Mức độ bao quát chủ đề + Mức độ chính xác
+ Mức độ đầy đủ: số lượng tài liệu/ thơng tin tìm được.
Việc đánh giá theo ba tiêu chuẩn trên được tiến hành song song với nhau nhưng thường quan tâm tới chất lượng thông tin được cung cấp nhiều hơn. Ngồi ra cịn một số tiêu chuẩn khác nữa.
- Đánh giá các công cụ tra cứu: mức độ bao qt thơng tin/ tư liệu, mức độ chính xác và tiện ích sử dụng.
- Đánh giá mức độ bao phủ đề tài của hệ thống tìm tin.
3.2. Các chỉ số đánh giá hiệu quả tra cứu thông tin
Hiệu quả tra cứu được xác định bằng một số công thức tính. Các cơng thức đó thể hiện qua các chỉ số: Mức độ đầy đủ, mức độ chính xác, tính kịp thời, giá thành... và được tính qua các số liệu: tài liệu thích hợp, khơng thích hợp, tài liệu tìm được và khơng tìm được.
Giả sử tổng số tài liệu trong kho hoặc tổng số biểu ghi trong cơ sở dữ liệu là: A B
A: Tài liệu thích hợp tìm được
B: Tàil liệu khơng thích hợp tìm được (tạp tin, nhiễu tin) C: Tài liệu thích hợp khơng tìm được (mất tin)
D: Tài liệu khơng thích hợp và khơng tìm được.
- Mức độ đầy đủ: R biểu hiện bằng tỉ số giữa tài liệu thích hợp tìm được trên tổng số tài liệu thích hợp có trong cơ quan TT - TV:
R = A/ A + C
- Mức độ chính xác: P biểu thị bằng tỉ số giữa tài liệu thích hợp tìm được trên tổng số tài liệu tìm được:
P = A/ A + B
- Tính kịp thời: O biểu thị bằng tổng số chi phí thời gian tra tìm cho số lần tìm: O = n i i tbpin 1 i = 1,2, … n – Số lần tra cứu.
- Giá thành: C biểu thị chi phí tiền và vật chất cho tra tìm một tài liệu. Nó được tính bằng chi phí bỏ ra để tra cứu tồn bộ tài liệu tìm được trong khoảng thời gian nhất định: C = n i i DB nni 1 / 3 i = 1,2, … n – Số lần tra cứu.
- Hệ số lao động: T biểu thị bằng tổng số chi phí lao động bỏ ra cho việc tra cứu một tài liệu. T = n i i Tpi 1 i = 1,2, … n – Số lần tra cứu.
- Hệ số lựa chọn: J thể hiện số lượng công việc đã thực hiện trong q trình tra cứu, được tính bằng tổng số tài liệu đã tìm được trên tổng số tài liệu trong kho: