Cắt bỏ (cut-off)

Một phần của tài liệu Xử lý bài toán thêm dấu cho tiếng việt không dấu dựa trên nghiên cứu mô hình ngôn ngữ N_Gram (Trang 35 - 36)

Đây là phương pháp thông dụng để làm giảm kích thước của mô hình ngôn ngữ. Trong thực tế, có rất nhiều cụm bigram, trigram chỉ xuất hiện vài lần trong đoạn văn bản chứa trên một triệu từ. Khi loại bỏ các cụm N-gram này khỏi mô hình ngôn ngữ, thông tin về chúng (bao gồm tần số và xác suất) vẫn có thể lấy lại được thông qua việc sử dụng kĩ thuật truy hồi hay nội suy.

Hoạt động của kĩ thuật cắt bỏ: Nếu cụm N-gram xuất hiện ít hơn k lần trong tập huấn luyện thì nó sẽ bị loại bỏ khỏi mô hình. Khi tính toán, nếu gặp các cụm N-gram này, thì tần số và xác suất của chúng sẽ được tính toán thông qua các phương pháp làm mịn đã đề cập ở phần 2.1.

Trong một mô hình ngôn ngữ, chúng ta có thể sử dụng các tham số k khác nhau với các cụm N-gram có độ dài khác nhau. Ví dụ, với unigram thì dùng k = 10, bigram thì dùng k = 1 và với trigram thì chọn k = 5.

Như vậy, việc chọn tham số k cho kĩ thuật cắt bỏ chính là vấn đề chính của kĩ thuật này. Nếu k quá lớn, ta có thể bỏ sót thông tin về một số cụm N-gram, hiệu suất của ứng dụng cũng giảm. Ngược lại, nếu k quá nhỏ thì mô hình ngôn ngữ cũng giảm không đáng kể. Có 2 cách chọn k: hoặc chọn k theo

phương pháp chạy thử nhiều lần hoặc chọn k theo tỉ lệ phần trăm của số lượng các cụm N-gram.

Chọn k theo phương pháp chạy thử nhiều lần nghĩa là ta dùng kĩ thuật cắt bỏ cho mô hình ngôn ngữ với nhiều giá trị k khác nhau, rồi đánh giá độ hỗn loạn thông tin (perplexity) của tập văn bản đầu vào sau khi sử dụng kĩ thuật cắt bỏ này. Sau khi có kết quả, ta sẽ chọn tham số k sao cho mô hình ngôn ngữ đạt hiệu quả nhất (độ hỗn loạn thông tin của tập huấn luyện và kích thước mô hình ngôn ngữ đều thấp). Kĩ thuật này giúp chúng ta chọn được k phù hợp, tuy nhiên mất thời gian vì phải chạy thử nhiều lần với từng giá trị k. Song, để đạt được một mô hình hiệu quả thì đây là một kĩ thuật tốt.

Phương pháp thứ hai, chọn k theo tỉ lệ phần trăm của số lượng các cụm N- gram phải đảm bảo rằng số cụm N-gram xuất hiện không quá k lần chiếm h% so với tổng các cụm N-gram.

Ví dụ 2.1: Nếu h = 50, ta chọn k sao cho số lượng cụm N-gram xuất hiện không quá k lần chiếm 50% tổng số các cụm N-gram đã thống kê. Phương pháp này tuy nhanh hơn nhưng độ chính xác không bằng phương pháp thứ nhất ở trên.

Một phần của tài liệu Xử lý bài toán thêm dấu cho tiếng việt không dấu dựa trên nghiên cứu mô hình ngôn ngữ N_Gram (Trang 35 - 36)

Tải bản đầy đủ (PDF)

(72 trang)