11 New_file Là thụng điệp đầu tiờn của chủ đề Số
2.2.3.6. Trớch danh từ, cụm danh từ làm đặc trưng (cú xem xột nghĩa của từ).
Khi đặc trưng văn bản cú xem xột nghĩa của từ thỡ hiệu quả của hệ thống phõn lớp được nõng lờn đỏng kể. Giữa cỏc văn bản hoặc cỏc từ trong văn bản cú thể đo lường được mức độ gần nhau ở một khớa cạnh nhất định.
Dựa vào một số dạng từ đồng nghĩa, ta điều chỉnh thành phần trọng số của từ khúa trong văn bản trước khi tiến hành tớnh độ đo xỏc suất của từ khúa.
Trong tiếng Việt, ta dựng từ điển đồng nghĩa được tổ chức theo dạng từ điển Longman tiếng Anh (LLOCE-Longman Lexicon of Contemporary English). Từ điển LLOCE cú nguồn gốc từ từ điển LDOCE (Longman Dictionary of Contemporary English). Sự phõn lớp trong LLOCE được phõn thành ba cấp theo mức độ cụ thể của khỏi niệm tăng dần: 14 phõn lớp -> 127 nhúm -> 2441 tập hợp. Cỏc từ đồng nghĩa được gom vào trong cựng một tập hợp.
Việc xõy dựng từ điển đồng nghĩa một cỏch đầy đủ trong lĩnh vực CNTT gặp nhiều khú khăn, cụng việc đũi hỏi kết hợp nhiều chuyờn gia trong lĩnh vực cụng nghệ thụng tin và cỏc nhà ngụn ngữ học.
Dựa vào từ điển LLOCE được lịch sang tiếng Việt kết hợp với dữ liệu thu thập được từ kho ngữ liệu hiện tại, ta tiến hành xõy dựng cơ sở dữ liệu cỏc từ đồng nghĩa trong ngữ cảnh phõn lớp cỏc thụng điệp diễn đàn. chỳng tụi xem cỏc từ đồng nghĩa thuộc cỏc dạng sau:
a) Dạng viết tắt của cỏc từ.
Vớ dụ 1: Từ CSDL là dạng viết tắt của cụm từ “cơ sở dữ liệu” Từ TTNT là dạng viết tắt của cụm từ “trớ tuệ nhõn tạo” b) Cỏc từ tồn tại cả tiếng Anh lẫn tiếng Việt
Vớ dụ 2: “database” và “CSDL” hoặc cụm từ “cơ sở dữ liệu”
“Data mining”, “DM” hoặc “khai thỏc dữ liệu” c) Cỏc từ chưa thống nhất về mặt thuật ngữ
Vớ dụ 3: “bản ghi” và “mẫu tin”; “khai thỏc dữ liệu” và “khai khoỏng dữ
liệu” và “khai mỏ dữ liệu”; “tập tin” và “tệp”… d) Cỏc từ đồng nghĩa thụng thường
Vớ dụ 4: Nhúm cỏc từ đồng nghĩa với người
C1 # người, người ta, con người, người dõn, giới, dõn tộc, dõn gian, người thõn thuộc, loài người, nhõn loại.