Phương pháp khớp tối đa (Maximum Matching)

Một phần của tài liệu NGHIÊN CỨU XÂY DỰNG BỘ LỌC THƯ RÁC HỖ TRỢ SONG NGỮ ANH - VIỆT (Trang 40 - 41)

Nội dung: Phương pháp khớp tối đa (Maximum Matching) [3], cịn gọi là Left Right Maximum (LRMM). Theo phương pháp này, sẽ duyệt một ngữ hoặc

câu từ trái sang phải và chọn từ cĩ nhiều âm tiết nhất cĩ mặt trong từ điển, rồi cứ thế tiếp tục cho từ kế tiếp cho đến hết câu.

Dạng đơn giản: được dùng giải quyết nhập nhằng từ đơn. Giả sử cĩ một chuỗi ký tự (tương đương với chuỗi tiếng trong tiếng Việt) C1, C2,…,Cn. Bắt

đầu từ đầu chuỗi. Đầu tiên kiểm tra xem C1, cĩ phải là từ hay khơng, sau đĩ kiểm tra xem C1C2 cĩ phải là từ hay khơng. Cứ tiếp tục tìm cho đến khi tìm được từ dài nhất. Từ cĩ vẻ hợp lý nhất sẽ là từ dài nhất. Chọn từ đĩ, sau đĩ tiếp tục tìm như trên cho những từ cịn lại cho đến khi xác định được tồn bộ chuỗi từ.

Dạng phức tạp: Quy tắc của dạng này là phân đoạn cĩ vẻ hợp lý nhất là đoạn ba từ với chiều dài tối đa. Thuật tốn bắt đầu như dạng đơn giản. Nếu phát hiện ra những cách tách từ gây nhập nhằng (ví dụ C1 là từ và C1C2 cũng

là từ), xem các chữ kế tiếp để tìm tất cả các đoạn ba từ cĩ thể cĩ bắt đầu với

C1 và C1C2. Ví dụ được những đoạn sau: C1C2 C3C4

C1C2 C3C4C5 C1C2 C3C4C5 C6

Chuỗi dài nhất sẽ là chuỗi thứ ba. Vậy từ đầu tiên của chuỗi thứ ba (C1C2) sẽ được chọn. Thực hiện lại các bước cho đến khi được chuỗi từ hồn chỉnh

Ưu điểm của phương pháp trên cĩ thể thấy rõ là đơn giản, dễ hiểu và chạy nhanh. Hơn nữa, chỉ cần một tập từ điển đầy đủ là cĩ thể tiến hành phân đoạn văn bản, hồn tồn khơng phải trải qua huấn luyện như các phương pháp được trình bày tiếp theo.

Nhược điểm của phương pháp này là nĩ khơng giải quyết được 2 vấn đề quan trọng nhất của bài tốn phân đoạn từ tiếng Việt: thuật tốn gặp phải nhiều nhập nhằng, hơn nữa nĩ hồn tồn khơng cĩ chiến lược gì với những từ chưa biết.

Một phần của tài liệu NGHIÊN CỨU XÂY DỰNG BỘ LỌC THƯ RÁC HỖ TRỢ SONG NGỮ ANH - VIỆT (Trang 40 - 41)

Tải bản đầy đủ (PDF)

(74 trang)