Quá trình kiểm tra

Một phần của tài liệu Kết hợp mô hình cực đại entropy và học luật chuyển đổi cho bài toán gán nhãn từ loại (Trang 46)

Trong giai đoạn này, chúng tôi kết hợp sử dụng danh sách luật chuyển (Selected TBL rules) thu được trong giai đoạn 2 của quá trình huấn luyện ở trên với mô hình cơ sở để gán nhãn cho ngữ liệu Test-corpus được trích ra từ TreeBank. Chi tiết quá trình này được mô tả trong hình 3-4 như sau:

Hình 3-4: Sơ đồ mô tả quá trình kiểm tra

Raw test corpus Remove label Compare Labeled corpus Test corpus Appling ME

Model Initial corpus

Appling TBL

rules List rules

Accuracy

Đầu vào: Hai kho ngữ liệu Bcorpusinitial-corpus cùng với danh sách các lỗi List POS errors.

Đầu ra: Danh sách các luật chuyển (Selected TBL rules)

Bước 1: Áp dụng mẫu luật rule templates cho danh sách các lỗi (List POS errors) để tạo ra một danh sách các luật chuyển tiềm năng (gọi là list potential-rules)

Bước 2: Áp dụng mỗi luật chuyển có trong danh sách list potential- rules với một kho ngữ liệu là bản copy của kho ngữ liệu initial- corpus. Điểm của mỗi luật ri được tính toán theo công thức: ts(ri)- fs(ri). Trong đó, fs(ri) là các trường hợp mà nhãn đúng chuyển thành nhãn sai và ts(ri) là các trường hợp mà nhãn sai chuyển thành nhãn đúng. Luật có số điểm cao nhất sẽ được chọn (Selected best rule).

Bước 3: Cập nhật lại kho ngữ liệu initial-corpus bằng cách áp dụng luật có số điểm cao nhất vừa chọn được ở bước 2 và thêm luật này vào danh sách luật chuyển được chọn (selected TBL rules). Danh sách các lỗi (list POS error) được cập nhật lại bằng cách so sánh hai kho ngữ liệu initial-corpus với Bcorpus.

Bước 4: Dừng giải thuật nếu điểm số cao nhất của luật nhỏ hơn một ngưỡng T hoặc đã qua K vòng lặp.

Thuật toán: 3-9. Thuật toán đánh giá mô hình kết hợp

Một phần của tài liệu Kết hợp mô hình cực đại entropy và học luật chuyển đổi cho bài toán gán nhãn từ loại (Trang 46)

Tải bản đầy đủ (PDF)

(72 trang)