Chƣơng 4– MỘT MƠ HÌNHNÂNG CẤP HIỆU QUẢ NHẬN DẠNG THỰC THỂ Y SINH DỰA TRÊN KỸ THUẬT LAI GHÉP VÀ HỌC
4.3.2 Thực nghiệm đánh giá hiệu quả của từng phương pháp lai ghép
Thực nghiệm này sẽ so sánh kết quả của ba phƣơng pháp lai ghép mơ hình với kết quả của mơ hình đƣợc đề xuất trong chƣơng 3. Kết quả của thực nghiệm đƣợc đánh giá trên tập dữ liệu Phenominer A sẽ đƣợc thể hiện rõ ràng trên từng loại thực thể và trên tồn bộ mơ hình.
Bảng 4.2. Kết quả của mơ hìnhtrên tập dữ liệu Phenominer A khi sử dụng các phương pháp khác nhau để lai ghép kết quả
Đơn mơ hình MEM + BS Danh sách ƣu tiên Ghép nối MEM + BS Học xếp hạng SVM-LTR P R F P R F P R F P R F PH 73,7 76,1 74,9 74,1 76,0 75,0 73,3 68,2 70,7 74,3 76,4 75,3 OR 72,8 78,1 75,4 79,1 80,5 79,8 82,4 80,6 81,5 80,2 82 81,1 AN 72,4 82,5 77,1 72,8 78,1 75,4 62,1 65,9 63,9 70,2 77,2 73,5 GG 82,5 81,5 82,0 82,6 81,7 82,1 79,3 75,4 77,3 82,5 81,9 82,2 CD 79,6 81,3 80,4 72,4 82,5 77,1 69,4 71,6 70,5 79,6 80,8 80,2 DS 75,8 72,9 74,3 75,9 73,0 74,4 71,9 70,4 71,1 75,7 73,2 74,4
112
ALL − − 78,4 − − 79,2 − − 74,9 − − 79,9
Hàng ALL đưa ra kết quả của toàn hệ thống sử dụng micro average F1
Kết quả khi sử dụng MEM+BS để quyết định kết quả là thấp nhất (F1 đạt 74,9%), sử dụng danh sách ƣu tiên có F1 là 79,2% và sử dụng SVM-LTR đem lại kết quả tốt nhất (F1=79,9%). Nhƣ vậy việc sử dụng SVM-LTRđem lại kết quả chung tốt nhất của hệ thống, đồng thời, phƣơng pháp này cũng thể hiện ƣu điểm của nó với hầu hết các lớp thực thể nói riêng (PH, OR, GG và CD).
Bảng 4.3. Kiểm thử độ tin cậy dựa trên thống kê về sự khác biệt hiệu năng sử dụng xấp xỉ ngẫu nhiên đối với các thực nghiệm loại bỏ lần lượt từng tài nguyên. (Nội dung trong một ơ biểu diễn hai hệ thống có sự chênh lệch tin cậy (significantly diferent) về F1. AR: tất cả tài nguyên, J: JNLPBA và Genia tagger, U: UMLS và MetaMap, H: Human Phenotype Ontology, M: Mammalian Phenotype Ontology, G: Gene Dictionary của NCBI, L: Linnaeus, F: Foundation Model of Anatomy, P: Phenotypic Trait Ontology, C: từ điển Jochem, B: Brenda Tissue Ontology., −: khơng có sự khác biệt đáng tin cậy).
J U H M G L F P C B