CHƯƠNG 1 CƠ SỞ VÀ TỔNG QUAN
1.7. Đường cong ROC
Đường cong ROC (Receiver Operating Characteristic) là một đồ thị hai chiều biểu diễn mối liên hệ giữa tỉ lệ dương tính thật (SENθ) và tỉ lệ dương tính giả (1SPEθ) của một hệ thống phân loại nhị phân khi ngưỡng phân loại thay đổiθ[53]. Trục x của đường cong ROC biểu diễn tỉ lệ dương tính thật và trục y biểu diễn tỉ lệ dương tính giả.
Độ nhạy: SENθ TP
TP + FN, (1.5)
Độ đặc hiệu: SPEθ TN
FP + TN, (1.6)
trong đó, TP (True Positive) là dương tính thật; TN (True Negative) âm tính thật, FP (False Positive) là dương tính giả và FN (False negative) âm tính giả. Khi ngưỡngθ của bộ phân loại thay đổi thì các giá trị TP, TN, FP, FN thay đổi theo.
Trong thế chiến thứ hai, ứng dụng đầu tiên của đường cong ROC là phát hiện tàu địch trên màn hình Radar. Hiện nay, đường cong ROC được ứng dụng nhiều trong trong học máy, dịch tễ học và nghiên cứu y khoa. Đường cong ROC cho phép lựa chọn mô hình theo độ nhạy và độ đặc hiệu bằng cách chọn ngưỡng quyết định phù hợp. Đường cong ROC được sử dụng khá phổ biến để ước lượng hiệu quả của các mô hình phân loại nhị phân dựa vào diện tích dưới đường cong ROC. Đường cong ROC càng lệch về phía bên trên và bên trái thì sự phân biệt giữa trạng thái của hai lớp càng rõ, tức là hệ thống thực hiện phân loại càng hiệu quả. Diện tích dưới đường cong ROC, AUC (Area Under Curve), là một chỉ số quan trọng được sử dụng để đánh giá hiệu quả của phương pháp/hệ thống phân loại. AUC cũng được sử dụng để so sánh chất lượng phân loại của các hệ thống phân loại khác nhau. Giá trị của AUC được chia thành 5 khoảng với các mức đánh giá như sau: giá trị AUC lớn hơn 0.9, trong khoảngr0.8,0.9s,r0.7,0.8s,r0.6,0.7svà trong khoảngr0.5,0.6stương ứng với các
Hình 1.10. Đường cong ROC.
mức phân loại rất tốt (excellent), tốt (good), trung bình (fair), không tốt (poor) và vô dụng (fail). Các hệ thống phân loại có các đường cong ROC khác nhau nhưng nếu các đường cong này có cùng giá trị AUC thìchất lượng phân loại của các hệ thống này là như nhau. Hình 1.10 minh họa đường cong ROC trong4trường hợp:AUC1
(trường hợp lý tưởng),AUC0.9(phân loại tốt),AUC0.75(phân loại trung bình) vàAUC 0.5 (vô dụng). Với một bộ phân loại đơn, với1 giá trị của ngưỡng của bộ phân loại sẽ cho kết quả phân loại là1giá trịSENvà1giá trịSPE, tức là1điểmpSEN,
1SPEqtrên đường cong ROC. Đường cong ROC của bộ phân loại đơn chính là tập hợp tất cả các điểmpSEN,1SPEqtương ứng với tất cả các giá trị ngưỡng có thể có của bộ phân loại. Trong đường cong ROC cổ điển, nếu giá trị SEN tăng dần thì giá trịSPE sẽ giảm dần, tức là giá trị1SPEcũng tăng dần. Vì vậy, tập hợp các điểm có thể có của bộ phân loại từ trái qua phải tạo thành đường cong ROC là đường cong không giảm. Trong nhiều ứng dụng, các bộ phân loại được xắp xếp thành các bước xếp chồng nhau để đạt mục tiêu phân loại. Trong hệ thống đa bước, mỗi bộ phân loại sử dụng một ngưỡng quyết định và do đó, hệ thống sử dụng nhiều ngưỡng quyết định. Vì vậy, tập các điểm pSEN, 1SPEq của hệ thống có thể không tuân theo tập các
điểmpSEN,1SPEq của đường cong ROC truyền thống, tức là tập các điểmpSEN,
1SPEqtừ trái qua phải tạo thành đường cong không giảm. Tập các điểm này không biểu diễn đường cong ROC tổng hợp của hệ thống đa bước. Chính vì vậy không thể sử dụng giá trịAUC(diện tích dưới đường cong được biểu diễn bởi tập các điểmpSEN,
1SPE) của hệ thống) để đánh giá chất lượng của hệ thống. Trong chương 2, luận án đề xuất phương pháp ước lượng đường cong ROC cho hệ thống đa bước sử dụng nhiều ngưỡng quyết định để đánh giá chất lượng của hệ thống đa bước.