Bệnh nhân Tiền xử lý ANN Hệ chuyên gia
all sig. pos. epil. sure
4 1795728 1269227 36885 7160 6276 5 3701808 2388564 36361 4697 4357 9 1266464 477319 6975 945 840 16a 1120848 607211 13251 3827 3144 16b 1224816 979726 14226 4589 3683 17 2540528 1829433 24942 3913 3403
sig.đỉnh có ý nghĩa, pos.đỉnh có thể là gai động kinh, epil.gai động kinh
Bảng 2.4. Tỉ lệ dương tính thật (SEN) và tỉ lệ âm tính thật (SPE)
Bệnh nhân Thời gian đo Gai TP FP FN TN SEN SPE 4 11 phút 24 giây 16 14 6262 2 30609 87.50 83.01 5 16 phút 16 giây 351 323 4034 28 32004 92.02 88.80 9 27 phút 13 giây 1 1 839 0 6135 100.00 87.97 16a 17 phút 56 giây 19 18 3126 1 10107 94.74 76.37 16b 9 phút 41 giây 9 9 3674 0 10543 100.00 74.16 17 5 phút 31 giây 12 12 3391 0 21539 100.00 86.40
Bảng 2.3 biểu diễn số lượng gai động kinh được phát hiện bởi hệ thống theo từng bước trên tập dữ liệu kiểm tra gồm 5 bệnh nhân. Tỉ lệ dương tính thật và tỉ lệ
Bảng 2.5. Tỉ lệ dương tính thật trung bình (SENtb) theo các phương pháp
Phương pháp SENtb
Trung bình số học 96.75 Trung bình theo thời gian 95.99 Tổng tỉ lệ dương tính thật trung bình 92.64 Trung bình theo thời gian/ sự kiện 99.38 Độ lệch chuẩn 2.77
âm tính thật được biểu diễn trên bảng 2.4. Ta thấy rằng tỉ lệ dương tính thật của các bệnh nhân là khác nhau (nhỏ nhất là87.5%và lớn nhất là100%). Sự khác nhau này là do đặc trưng động kinh của từng bệnh nhân, có thể thấy điều này trên bảng 2.4 thông qua độ dài của các bản ghi (thời gian đo) và số gai động kinh (gai). Ví dụ, bệnh nhân #9 có 1 gai động kinh trong bản ghi điện não đồ có độ dài là 27phút 13giây trong khi bệnh nhân #5có351gai động kinh trong bản ghi điện não đồ có độ dài là16phút
16giây. Do đó, sử dụng phương pháp tính tỉ lệ dương tính thật trung bình theo thời gian/sự kiện là phù hợp nhất so với 3 phương pháp còn lại tính tỉ lệ dương tính thật trung bình. Theo đó, tỉ lệ dương tính thật trung bình của hệ thống đa bước tự động phát hiện gai động kinh đơn kênh là 99.38%, như trình bày trong bảng 2.5. So sánh kết quả giữa bảng 2.4 và bảng 2.6 ta thấy hệ chuyên gia đã loại bỏ đáng kể số lượng giả gai, do đó làm tăng tỉ lệ âm tính thật lên đáng kể.
Hình 2.12 biểu diễn đường cong ROC của mạng ANN sử dụng trong hệ thống đa bước tự động phát hiện gai động kinh. Đường nét liền biểu diễn đường cong ROC của tập dữ liệu huấn luyện và đường nét đứt biểu diễn đường cong ROC của tập dữ liệu kiểm tra. Giá trị AUC (diện tích dưới đường cong ROC) của tập dữ liệu huấn luyện là0.972và của tập dữ liệu kiểm tra là0.945. Luận án sử dụng giá trị ngưỡng của mạng ANN là 0.5để đạt được tỉ lệ dương tính thật (SEN) và tỉ lệ âm tính thật (SPE) tốt nhất, ứng với điểm gần với điểm trên cùng góc bên trái nhất trên đường cong ROC. Kết quả cho thấy, bộ phân loại thực hiện phân loại rất tốt (giá trịAUC ¡0.9) trên cả tập dữ liệu huấn luyện và tập dữ liệu kiểm tra. Dễ nhận thấy rằng, tất cả các gai động kinh được đánh dấu bởi bác sĩ đều được phát hiện bởi hệ thống đề xuất. Tuy nhiên, một nhược điểm của hệ thống là không phải tất cả các gai được phát hiện bởi hệ thống
đều đúng với các gai mà bác sĩ đã đánh dấu.
Bảng 2.6. Kết quả của hệ thống sau bộ phân loại ANN khi chưa sử dụng hệ chuyên gia
Bệnh nhân Thời gian đo Gai động kinh TP FP FN TN SEN SPE 4 11 phút 24 giây 16 14 7146 2 29725 87.50 80.60 5 16 phút 16 giây 351 323 4374 28 31664 92.02 87.86 9 27 phút 13 giây 1 1 944 0 6030 100.00 86.46 16a 17 phút 56 giây 19 19 3808 0 9424 100.00 71.22 16b 9 phút 41 giây 9 9 4580 0 9637 100.00 67.78 17 5 phút 31 giây 12 12 3901 0 21029 100.00 84.35
Hình 2.12. Đường cong ROC của mạng ANN trên tập dữ liệu huấn luyện và tập dữ liệu kiểm tra.
Các điểm chấm đen trên hình 2.13 biểu diễn tập các điểm (SEN,1SPEqcủa hệ thống đa bước tự động phát hiện gai động kinh bằng cách thay đổi hai ngưỡng quyết định của bộ phân loại ANN và hệ chuyên gia. Tuy nhiên, như quan sát trên hình 2.13 các điểm chấm đen biểu diễn các điểm (SEN, 1SPEq không phải là đường cong không giảm trong khoảng r0,1s giống như đường cong ROC cổ điển, vì vậy đường
Hình 2.13. Đường cong ROC tổng hợp của hệ thống đa bước tự động phát hiện gai động kinh.
cong là tập hợp tất cả các điểmpSEN,1SPEqcủa hệ thống không biểu diễn hiệu suất của hệ thống đa bước đã đề xuất và tham số diện tích dưới đường cong này không sử dụng để đánh giá chất lượng của hệ thống được. Do vậy, luận án đề xuất phương pháp ước lượng đường cong ROC tổng hợp của hệ thống đa bước (mục 2.3) gồm bộ phân loại ANN xếp chồng với hệ chuyên gia sử dụng hai ngưỡng quyết định (ngưỡng quyết định của mạng ANN và ngưỡng quyết định của hệ chuyên gia (ρ) dựa vào phân bố Gauss và phân bố Logistic. Đường cong ROC tổng hợp được biểu diễn trên hình 2.13 và các tham số đánh giá được biểu diễn trong bảng 2.7. Quan sát trên hình 2.13, cả hai đường cong ROC tổng hợp dựa theo phân bố Gauss và phân bố Logistic tuân theo các điểmpSEN,1SPEqtrong không gian ROC (đường cong ROC tổng hợp không giảm trong khoảngr0,1s). Cả hai phương pháp ước lượng đường cong ROC tổng hợp của hệ thống đa bước đều đưa ra các kết quả tương tự với lỗi nhỏ ( 0.02) và giá trị AUC0.94. Phương pháp dựa trên phân bố Logistic cho đường cong ROC tổng hợp của hệ thống đa bước phẳng hơn trong khi phương pháp dựa trên phân bố Gauss cho giá trị AUC cao hơn.