2.3. XÂY DỰNG MÔ HÌNH HỌC MÁY MAXIMUM ENTROPY – BEAM
2.3.4. Kết quả và đánh giá
Hiệu quả của phương pháp tự động tạo ra tập dữ liệu bằng cách sử dụng
17 http://opennlp.apache.org/
phương pháp học máy ME - BS trên ba tập dữ liệu kiểm thử chuẩn: Phenominer 2012, Phenominer 2013 và Khordad được trình bày tại Bảng 2.4.
Bảng 2.4. Đánh giá các kết quả (tính theo %)
Dữ liệu kiểm thử Dữ liệu
huấn luyện
Phenominer 2012 Phenominer 2013 Khordad corpus
P R F P R F P R F
HPO_NC 55,37 20,28 29,69 59,82 25,08 35,34 89,57 68,21 77,44 MPO_NC 40,08 17,44 24,3 42,64 20,78 27,94 83,24 61,09 70,47 HPO_MPO_NC 55,69 22,17 31,71 58,47 23,97 34,00 88,12 70,54 78,36
Theo Bảng 2.4, tập dữ liệu huấn luyện từ ontology mở rộng HPO_MPO_NC cho độ đo F đạt mức 31,71% trên tập dữ liệu kiểm thử Phenominer 2012, đạt mức 34,00% trên tập dữ liệu kiểm thử Phenominer 2013 và đạt mức 78,36% trên tập dữ liệu kiểm thử Khordad. Kết quả này cao hơn đáng kể so với tập dữ liệu huấn luyện từ ontology MPO_NC (trong mọi trường hợp) và từ MPO_NC (trong hai trường hợp Phenominer 2012 và Khordad). Kết quả thực nghiệm trên tập dữ liệu kiểm thử Phenominer 2013 cho thấy HPO_NC có hiệu năng (35,34%) cao hơn một chút so với HPO_MP_NC (34,00%).
Tập dữ liệu huấn luyện mở rộng HPO_MPO_NC đạt kết quả tốt hơn trên tập dữ liệu kiểm thử Khordad. Lý do là sự giao thoa lĩnh vực của tập dữ liệu HPO_MPO_NC và tập dữ liệu của Khordad khá lớn, đồng thời, độ phức tạp về ngữ pháp trong tập dữ liệu của Khordad không quá cao. Bảng 2.4 cho thấy đối với điểm mà độ đo F của Khordad đạt được kết quả tốt nhất ở HPO MP NC là 78,36%, cao hơn HPO NC (F: 77,44%) và MP NC (F: 70,47%). Do đó, tập dữ liệu HPO MPO NC thể hiện phạm vi rộng hơn để giúp tăng hiệu quả của các tập dữ liệu huấn luyện sinh tự động.