Chƣơng 4– MỘT MƠ HÌNHNÂNG CẤP HIỆU QUẢ NHẬN DẠNG THỰC THỂ Y SINH DỰA TRÊN KỸ THUẬT LAI GHÉP VÀ HỌC
4.3. Thực nghiệm và đánh giá kết quả
4.3.1. Phương pháp đánh giá
Các thực nghiệm đánh giá kết quả so sánh giữa các kỹ thuật lai ghép đều sử dụng độ đo chính xác (P), độ hồi tƣởng, độ đo F1 và độ đo trung vi mô F1 với phƣơng pháp kiểm thử chéo 10 lần. Tuy nhiên trong trƣờng hợp kết quả giữa các phƣơng pháp có sự khác biệtnhỏ, việc kiểm định tính tin cậy của việc so sánh giữa các phƣơng pháp là một vấn đề quan trọng. Ở đây luận án đánh giá tính tin cậy dựa trên đô đo p-value.
Kiểm định độ tin cậy (significant test) của kết quả dựa trên p-value. Dựa trên [USC10, DCX12], luận án so sánh hiệu năng giữa các hệ thống khác nhau sử dụng
22SVMrank:http://www.cs.cornell.edu/people/tj/svm_light/svm_rank.html
111
một cách tiếp cận xấp xỉ ngẫu nhiên để đánh giá độ tin cậy của chúng(significance test). Để tính tốn độ tin cậy của hai hệ thống khác nhau (hệ thống A và hệ thống B) trên tập dữ liệu Phenominer A (với i câu), luận án thực hiện các bƣớc sau:
(1) Tính độ đo F1 theo micro-average sử dụng kiểm thử chéo 10 lần đối với mỗi hệ thống và ghi lại sự khác biệt trong hiệu năng f=fA-fB;
(2) Tạo một tập S (với 2i câu) bằng cách lấy các kết quả đầu ra từ 10 lần kiểm thử chép trên hai hệ thống;
(3) Sử dụng i câu lựa chọn ngẫu nhiên từ tập S để tạo tập Aj, phần còn lại của S là tập Bj (Aj đƣợc sử dụng cho hệ thống A và Bj đƣợc sử dụng cho hệ thống
B);
(4) Tính 𝑓𝑖 = 𝑓𝐴𝑗 − 𝑓𝐵𝑗(trong đó 𝑓𝐴𝑗 và 𝑓𝐵𝑗 là các độ đo F1 micro-average sử dụng kiểm thử chéo 10 lần cho tập Aj và Bj tƣơng ứng).
Các bƣớc từ 2 đến 4 đƣợc lặp lại n lần (thực nghiệm trong luận án thiết lập n =
1000 dựa trên [USC10]). Số lần mà fi - f ≤ 0 trong n vòng lặp chia cho n là giá trị p- value giữa hệ thống A và hệ thống B.