Để hiểu chi tiết về khu vực dưới đường cong, trước tiên cần phải giải thích đường cong đặc
tính hoạt động của máy thu (ROC). Nó được sử dụng để hình dung hiệu suất của bộ phân loại và
từ lâu đã được sử dụng trong lý thuyết phát hiện tín hiệu để mô tả sự cân bằng giữa tỷ lệ dương tính đúng và sai của bộ phân loại (Fawcett, 2006).
Đường cong ROC được tạo bằng cách vẽ biểu đồ tỷ lệ dương tính thực (TP / P) so với tỷ lệ dương tính giả (FP / N) cho các ngưỡng khác nhau. Vì các bộ phân loại tính điểm từ 0.0 đến 1.0, một ngưỡng phải được chọn làm biên giới giữa phân loại tích cực và tiêu cực. Điểm được tính toán, x, có thể được coi là được lấy mẫu từ phân phối ngẫu nhiên liên tục X. Một trường hợp
được phân loại là dương nếu x > T, với T là ngưỡng đã chọn. Các ngưỡng khác nhau sẽ dẫn đến tỷ lệ dương tính đúng và sai khác nhau.
Mẫu xây dựng Mẫu kiểm định Tổng
Có vỡ nợ 499 214 713
Không có vỡ nợ 1293 554 1847
Tổng 1792 768 2560
Hình 3.2 Đồ thị chứa ROC của bộ phân loại ngẫu nhiên và hai bộ phân loại hoạt động tốt hơn Hình 3.2 cho thấy ba ví dụ về đường cong ROC: một mô hình ngẫu nhiên và hai mô hình có khả năng dự đoán. Đường cong ROC của mô hình ngẫu nhiên tiếp cận đường kéo dài từ (0, 0) đến (0, 1). Giả sử một phần ngẫu nhiên K được phân loại là dương, thì một phần K trong số các trường hợp cần được phân loại là dương sẽ được phân loại chính xác, phần K còn lại sẽ được
phân loại là âm. Đối với các mô hình hoạt động tốt hơn so với phỏng đoán ngẫu nhiên, tỷ lệ dương tính thực sự sẽ cao hơn tỷ lệ dương tính giả và do đó mô hình sẽ có đường cong ROC phía
trên đường chéo.