3. PHƢƠNG PHÁP PHÂN TÍCH NGỮ ĐOẠN
3.2 Thuật toán xác định trung tâm ngữ đoạn
Thuật toán xác định trung tâm ngữ đoạn dựa trên trắc nghiệm lƣợc bỏ và mở rộng văn cảnh đƣợc trình bày sau đây chỉ nhằm tìm những dạng trung tâm ngữ đoạn có kết cấu từ hai từ vựng trở nên. Phƣơng pháp này cho kết quả phụ thuộc vào khối lƣợng ngữ liệu trong đó các văn cảnh hiện diện
Đầu vào: Tập hợp các câu của toàn bộ ngữ liệu văn bản. Các câu này đƣợc phân rã sơ bộ dựa trên các dấu phẩy (,) ngăn cách giữa các ngữ đoạn lớn. Tập hợp tất cả những dạng ngữ đoạn đƣợc phân rã sẽ là dữ liệu đầu vào cho thuật toán.
Đầu ra: Tập hợp S tất cả những dạng trung tâm ngữ đoạn.
Bước 1: S={}.
Bước 2: Dùng 2 tiểu tố “thì ” và “là” phân tích thành hai phần Đề và
Thuyết tất cả những dạng ngữ đoạn có thể .
Gọi R là tập hợp tất cả những dạng ngữ đoạn đầu vào còn lại chƣa phân tích đƣợc.
Gọi D là tập hợp tất cả những dạng ngữ đoạn làm Đề phân tích đƣợc, đây là những danh ngữ hoặc kết cấu có chức năng tƣơng đƣơng danh ngữ. Gọi T là tập hợp tất cả những dạng ngữ đoạn làm Thuyết phân tích đƣợc. Gọi C=R + T
Bước 3:Với mỗi dạng ngữ đoạn s є D, Thực hiện:
B3.a Mở rộng văn cảnh cho dạng ngữ đoạn s’, với s’ đƣợc dẫn xuất từ s bằng cách lƣợc bỏ một từ cuối trong cấu trúc.
Mở rộng văn cảnh cho s’ có nghĩa là tìm sự phân bố của s’ trong tất cả mọi văn cảnh của ngữ liệu.
B3.b Nếu số lƣợng văn cảnh chứa s’ tìm đƣợc lớn hơn một ngƣỡng nào đó (trong đề tài sử dụng ngƣỡng là 10) thì coi nhƣ s’ là một dạng trung tâm ngữ đoạn S=S+{s’}. Dừng bƣớc 3 đối với s hiện hành, quay trở lại bƣớc 3 với s khác.
B3.c Quay lại bƣớc 3.a, cho đến khi s’ không còn có thể đƣợc cấu trúc bởi 2 từ trở lên thì dừng bƣớc 3 đối với s hiện hành.
Quay trở lại bƣớc 3 đối với s khác.
Bước 4: Dùng những dạng trung tâm ngữ đoạn của S để phân rã các dạng
ngữ đoạn trong tập C.
c є C, phân rã c thành những dạng ngữ đoạn dựa trên các dạng trung tâm
ngữ đoạn đã có trong S. Sự phân rã c thực hiện nhƣ sau:
c đƣợc xem nhƣ chứa những dạng trung tâm ngữ đoạn đã biết hoặc chƣa biết
Những dạng ngữ đoạn thành phần trong kết cấu của c không thể nhận diện đƣợc bằng bất cứ dạng trung tâm ngữ đoạn nào đã biết trong S thì sử dụng những thao tác ở bƣớc 3 đối với những dạng ngữ đoạn thành phần chƣa biết này.