Để đánh giá chất lượng từ khóa, luận văn lựa chọn ngẫu nhiên 20 biểu ghi trong CSDL và đánh giá dựa trên 2 tiêu chí: độ chính xác và độ đầy đủ.
Độ chính xác
Độ chính xác của từng biểu ghi được xác định bằng tỷ số giữa số lượng các từ khóa được lựa chọn phản ánh đúng đối tượng, phương diện và phương pháp nghiên cứu với tổng số từ khóa được lựa chọn trong biểu ghi. Công thức tính hệ số chính xác đã được trình bày ở phần 1.1.4.1 của Chương 1.
Ví dụ
Biểu ghi HLU140023845 có 4 từ khóa: Luật Ngân hàng, Luật Tài chính, Luật Kinh tế, Cho thuê, trong đó có 3 từ khóa phản ánh không chính xác nội dung tài liệu. Độ chính xác của biểu ghi là 1/4.
Biểu ghi HLU150027513 có 2 từ khóa: Trung Quốc, Văn hóa phản ánh chính xác nội dung tài liệu. Độ chính xác của biểu ghi là 2/2.
Độ chính xác trung bình của các biểu ghi được khảo sát chưa cao, chiếm khoảng 76.92%.
Độ đầy đủ
Độ đầy đủ của từng biểu ghi được xác định bằng tỷ số giữa số lượng các đối tượng nghiên cứu được mô tả và tổng số đối tượng được đề cập trong nội dung tài liệu. Công thức tính hệ số đầy đủ được trình bày ở phần 1.1.4.1 của Chương 1.
55
Ví dụ biểu ghi HLU150027805 có 5 từ khóa được mô tả. Tuy nhiên, biểu ghi này còn thiếu 2 từ khóa nên độ đầy đủ của biểu ghi là 5/7.
Chất lượng phản ánh nội dung tài liệu được thể hiện ở bảng sau:
Chỉ tiêu khảo sát Mã biểu ghi Độ chính xác Độ đầy đủ Ncx/Ncm Tỷ lệ Nđt/Mđt Tỷ lệ HLU150027805 5/6 83.3 5/7 71.4 HLU150025370 6/7 85.7 6/7 85.7 HLU150027809 4/8 50 4/8 50 HLU150027811 5/6 83.3 6/6 100 HLU150027908 3/3 100 3/3 100 HLU150027911 3/5 60 3/4 75 HLU150027513 2/2 100 2/3 66.7 HLU150027532 4/4 100 3/5 60 HLU150027575 5/5 100 4/5 80 HLU150027781 3/4 75 3/4 75 HLU150027796 3/3 100 3/3 100 HLU 140021112 4/5 80 5/6 83.3 HLU 140023840 4/5 80 4/4 100 HLU 140023841 4/5 80 4/4 100 HLU140023843 3/4 75 3/4 75 HLU140023845 1/4 25 1/3 33 HLU140024180 4/4 100 4/4 100 HLU150025039 3/4 75 3/3 100 HLU150025115 2/3 63.3 3/3 100 HLU150025104 4/4 100 4/4 100
Bảng 2.3 Kết quả khảo sát, đánh giá chất lượng từ khóa
Qua khảo sát 20 tài liệu trong cho thấy:
56
Số lượng từ khóa trong kết quả là : 91 Số lượng đặc trưng được lựa chọn là : 71 Tổng số đặc trưng của 20 tài liệu là : 90 Như vậy hệ số chính xác là: Kcx =Ncx/Ncm x100% = 70/91 x 100%= 76.92% Hệ số đầy đủ là: Kđđ = Nđt/Mđt x 100% = 71/90 x 100% = 78.9%
Ngoài việc đi sâu phân tích và đánh giá kết quả định từ khóa của 20 tài liệu, tác giả còn trích lọc toàn bộ các từ khóa được lưu trữ trong CSDL thông qua tính năng từ điển từ khóa của phần mềm Libol 6.0. Qua khảo sát tập hợp các từ khóa này, tác giả nhận thấy một số hạn chế, tồn tại trong công tác định từ khóa của Trung tâm như sau:
- Hình thức của các từ khóa còn chưa có sự thống nhất trong cách trình bày, cụ thể như sau:
+ Không thống nhất trong cách viết chữ “i” và “y”
Chữ “i” Chữ “y”
Chữ ký điện tử (1 từ) Chữ kí điện tử (2 từ) Hiệu lực pháp lí (3 từ) Hiệu lực pháp lý (5 từ) Công ti (8 từ) Công ty (331 từ)
Văn bản qui phạm pháp luật (9 từ) Văn bản quy phạm pháp luật (213 từ) Hoa Kỳ (142 từ) Hoa Kì (2 từ)
……….. ………
+ Không thống nhất trong cách trình bày tên địa danh, tên nước, tên nhân vật là người nước ngoài. Ví dụ:
57 Từ khóa Số lƣợng Campuchia 28 Cam pu chia 1 Canađa 3 Canada 37 Goóc ba chốp 1 Goócbachôp 1 Goócbachốp 3 V.I.Lê Nin 7 V.I.Lênin 2 V.Lênin 1
- Sử dụng từ nối, dấu phẩy (,) khi định từ khóa. Ví dụ: Luật Hôn nhân và gia đình
Tổ chức và kiểm soát quyền lực nhà nước Tạm giam, tạm giữ người chưa thành niên…
- Các từ khóa còn vi phạm các yêu cầu về tính ngắn gọn, súc tích. Ví dụ: + Các vụ án kinh doanh
+ Bảo vệ quyền lợi người phụ nữ
+ Một số công ước quốc tế về nhân quyền + Hợp nhất văn bản quy phạm pháp luật
- Một số từ khóa không chính xác: Kỹ năng học tập hợp tác, Nghề nghiệp bị cáo, Bộ trưởng ban hành văn bản, Thất nghiệp nông thôn…
Từ kết quả trên cho thấy, khâu định từ khóa của Trung tâm còn nhiều hạn chế: tỷ lệ từ khóa phản ánh chính xác nội dung tài liệu còn chưa cao, cách thức trình bày từ khóa chưa thống nhất, một số từ khóa còn dài và không thông
58
dụng. Nguyên nhân của những hạn chế này chính là hệ quả của việc định từ khóa tự do. Phương thức này muốn đạt chất lượng cao phụ thuộc rất nhiều vào kỹ năng của cán bộ làm từ khóa, đặc biệt là kỹ năng xử lý từ vựng.