1 Chủ yếu được xây dựng trong khuôn khổ đề tài VLSP, trang web demo ở đây:
4.2.Kết quả thực nghiệm và đánh giá 1 Tiêu chí đánh giá
4.2.1 Tiêu chí đánh giá
Chương trình đưa ra output là các cặp từ cùng với độ tương tự giữa chúng. Thực tế thì sự tương tự giữa mọi cặp từ đã được tính, tuy nhiên với mỗi từ sẽ chỉ có tối đa n từ tương tự với nó nhất - điểm cao nhất - được đưa ra. Chúng tôi chọn n=10 (xem ví dụ ở phần 4.2.2). Nếu như một trong n từ này là đúng theo từ điển hoặc theo người đánh giá thì output được coi là đúng.
Đây là một phương pháp đánh giá bán tự động. Trước tiên từ điển được sử dụng để xác định xem các từ nào là đúng. Từ điển mà chúng tôi sử dụng có ở đây:
http://vlsp.vietlp.org:8080/demo/?page=home
Từ điển này chứa nhiều loại thông tin từ vựng như: từ loại, mẫu cú pháp, nghĩa của từ, danh sách từ đồng nghĩa, v.v.. Từ điển được tổ chức theo khuôn dạng chuẩn XML thường được dùng cho các từ điển máy tính (không chỉ tiếng Việt). Chúng tôi tách ra thông tin cần thiết dựa vào các nhãn: antonym và synonym. Ví dụ về các từ đã được tách:
áp_lực : N (Na): |---> sức_ép ẵm : V (Vt): |---> bế |---> bồng ăn : V (Vt): |---> chén |---> đớp |---> hốc |---> măm |---> ngốn |---> tọng |---> xơi |---> xực
Tuy nhiên vì từ điển không chứa đủ các từ đồng nghĩa, tương tự về nghĩa xuất hiện trong corpus mà chúng tôi sử dụng nên chúng tôi dùng thêm sự đánh giá của con người. Tiêu chí đánh giá dựa sự tương đồng (similarity) là như sau:
1- Quan hệ đồng nghĩa hoàn toàn: hai từ có thể dùng thay cho nhau trong nhiều hoàn cảnh, ngữ cảnh.
2- Quan hệ trái nghĩa: đẹp – xấu.
3- Quan hệ nghĩa cụ thể - nghĩa trừu tượng: nhạc – rock, pop. 4- Quan hệ nghĩa trừu tượng – nghĩa cụ thể: ngược lại với 3
5- Tương tự về nghĩa: không thuộc các loại (1), (2), (3) và (4) và được coi là đồng nghĩa yếu.
Từ từ điển ta chỉ lấy được các cặp từ thuộc quan hệ (1) hoặc (2).
Với mỗi từ w ta xét n từ có nghĩa tương tự gần với nó nhất. Nếu một trong n từ này thỏa mãn được một trong năm loại đánh giá trên thì từ đó được coi là đúng.
Công thức tính độ chính xác: