Chƣơng 3– NHẬN DẠNGTHỰC THỂ BIỂU HIỆNTRONG VĂN BẢN Y SINH TIẾNG ANH
3.3.1. Thực nghiệm 1: đánh giá hiệu quả của mơ hình đề xuất với cáckỹ thuật học máy khác nhau
Trong thực nghiệm này, mơ hình nhận dạng thực thể biểu hiện và các thực thể liên quan sẽ đƣợc lần lƣợt thử nghiệm với các phƣơng pháp học máy gán nhãn chuỗi khác nhau. Nghiên cứu sinh lựa chọn hai phƣơng pháp có hiệu quả cao hiện nay là CRF và entropy cực đại kết hợp với giải mã bằng tìm kiếm chùm (Maximum Entropy with Beam Search). Cả hai phƣơng pháp đều sử dụng tập đặc trƣng đƣợc nêu ra trong mục 3.2.4 và đƣợc đánh giá bằng kỹ thuật kiểm thử chéo 10 phần (10 folds cross validation) với các độ đo chính xác (Precision – ký hiệu P), hồi tƣởng (Recall – Ký hiệu R) và độ F đƣợc tính chi tiết trên từng loại thực thể bằng phép so sánh một phần. Kết quả chung của toàn hệ thống cũng sẽ đƣợc tính bằng độ đo trung bình vi mơ (micro average F) và trung bình vĩ mơ (macro average F) của độ đo F.Tham số huấn luyện hai thuật toán đƣợc sử dụng kế thừa từ nghiên cứu đối với dữ liệu tiếng Việt trong mục 2.4.2. Kết quả của thực nghiệm đƣợc thể hiện ở bảng 3.4.
Kết quả thực nghiệm đánh giá trên toàn bộ hệ thống (nhãn ALL) cho thấy cả hai phƣơng pháp đều cho kết quả tƣơng đối nhƣ nhau tuy nhiên phƣơng pháp MEM+BS đạt hiệu quả tốt hơn CRF khoảng 1% đối với cả 2 độ đo vi mô và vĩ mô F. Phƣơng pháp CRF cho hiệu quả tốt với các thực thể OR và DS trên cả 2 tập dữ liệu trong khi phƣơng pháp MEM+BS đạt hiệu quả tốt với các thực thể PH, CD.
89
Hiệu quả của hai phƣơng pháp học máy trên tập Phenominer A tốt hơn trên tập Phenominer B 2% mặc dù vậy kết quả trên một số thực thể nhƣ PH, OR, CD của thực thể Phenominer B tốt hơn trên tập Phenominer A. Có thể lý giải hiệu quả trên tập Phenominer B kém hơn tập còn lại là do hiệu quả trên thực thể GG kém hơn 2% và DS kém hơn 3-4%, trong khi tổng số lƣợng thực thể GG và DS chiếm 40% trên tổng số thực thể (1.709/4.251).
Trong các thực nghiệm tiếp theo luận án sử dụng kết quả tốt nhất tại độ đo vi mô F của phƣơng pháp MEM+BS làm kết quả mặc định của mơ hình nhận dạng thực thể biểu hiện và thực thể liên quan (78,41 trên tập dữ liệu Phenominer A và
78,35 trên tập dữ liệu Phenominer B).
Bảng 3.4. Thực nghiệm so sánh các phương pháp học máy khác nhau
PHENOMINER A PHENOMINER B PHƢƠNG PHÁP THựC THể P R F P R F CRF PH 71,16 75,24 73,14 72,19 78,03 75,00 GG 80,68 83,07 81,86 79,68 79,54 79,61 OR 72,54 79,13 75,69 81,13 77,08 79,05 CD 77,58 80,65 79,09 78,42 82,34 80,33 AN 74,22 81,94 77,89 72,65 78,69 75,55 DS 76,85 72,41 74,56 72,31 70,13 71,20