3. PHƢƠNG PHÁP PHÂN TÍCH NGỮ ĐOẠN
4.2.GÁN NHÃN BẢN ĐỒ
Khám phá tri thức trên bản đồ văn bản về bản chất là một quá trình khai thác nhãn đƣợc gán cho những đơn vị và những vùng bản đồ. Các nhãn bản đồ này là những mô tả nội dung đƣợc xây dựng ở cấp độ khái quát cao, trên cơ sở
từ tƣơng ứng với những thành phần của vector tham chiếu có độ lệch nhỏ nhất theo định nghĩa.
Phƣơng pháp gán nhãn cho các đơn vị và các vùng bản đồ văn bản trong mô hình WEBSOM dựa trên việc chọn lựa những từ vựng theo các độ đo tỉ lệ tần số xuất hiện.
Việc ứng dụng ngữ đoạn vào gán nhãn bản đồ đã đƣợc nhiều tác giả tiên liệu trong thời gian dài, xuất phát từ những nghiên cứu về vấn đề khám phá và phát hiện các cụm từ trong văn bản. (Turney, 1999) đã chỉ rõ việc ứng dụng ngữ đoạn trong năm lĩnh vực quan trọng, trong đó có lĩnh vực gán nhãn cho các bản đồ văn bản. (Feldman, 1998) đƣa ra phƣơng pháp gán nhãn bằng cách phát sinh tự động một số ngữ đoạn dựa trên các từ khóa và những từ vựng hiện diện trong văn bản theo một số qui tắc cú pháp đơn giản.
Thuật toán:
1. Gọi tập hợp các văn bản trong ngữ liệu là K0
2. Đối với một đơn vị bản đồ ( hay một vùng bản đồ) i, gọi tập hợp những văn bản của nó là khối ngữ liệu Ki.
3. Áp dụng thuật toán phân tích ngữ đoạn để tìm các dạng trung tâm ngữ đoạn K0. ( Thông thƣờng không cần thực hiện bƣớc này do có thể sử dụng lại kết quả đã có từ giai đoạn mã hóa văn bản, nếu mã hóa đƣợc dựa trên ngữ đoạn).
4. s, Tính giá trị đại lƣợng Z của s trên K1 so với K0 . Nếu Z >2.58, s là trung tâm ngữ đoạn khóa của K1. Sử dụng s làm nhãn của i.
5. Quay lại bƣớc 2, thực hiện gán nhãn cho những đơn vị (vùng) bản đồ khác. Thuật toán dừng khi đã gán nhãn cho tất cả các đơn vị (vùng) bản đồ.