Vấn đề với các tiêu chí ma trận độ nhạy/ độ chính xác và đường cong ROC là các tiêu chí này được tạo ra để áp dụng cho tất cả các bài toán phân loại và chúng không được thiết kế một cách rõ ràng và trực tiếp liên quan đến hiệu quả chi phí (cost effectiveness) khi việc sử dụng các mô hình phát hiện lỗi. Do vậy, trong phần còn lại của luận văn này, chúng ta sẽ xem độ phức tạp để kiểm thử một số lượng các lớp xấp xỉ hàm số mũ của kích thước của những lớp này. Dựa trên giả thuyết ở trên, một mô hình dự đoán lỗi không mang lại nhiều ý nghĩa nếu mô hình dự đoán lỗi chỉ thực hiện được công việc phát hiện lỗi và số lượng lỗi này tỉ lệ với hàm mũ của kích cỡ lớp mà cần phải quan tâm đến hiệu quả chi phí của mô hình này như thế nào. Với mỗi phiên bản, chúng ta không thể xác định được chính xác trước vùng kiểm thử cho một mô hình tối ưu. Do vậy, trong thực tế, với mỗi bản phát hành chúng ta tính diện tích vùng đó như sau:
Đầu tiên chọn ra tất cả các lớp chứa lỗi sau đó sắp xếp các lớp có lỗi này theo thứ tự tăng dần của kích thước các lớp chứa lỗi đó.
Các lớp không có lỗi sau đó cũng sắp xếp theo thứ tự tăng dần của kích thước các lớp không chứa lỗi đó. Thủ tục này nhằm tối đa hóa diện tích vùng của bản phát hành trong lần này và tập các lớp lỗi với giả thiết tương lai có thể dự đoán chính xác hoàn hảo. Sau khi đã được tính toán, với mỗi tỉ lệ phần trăm NOS cụ thể, chúng ta có thể so sánh tỉ lệ phần trăm cực đại lỗi mà chúng ta có thể thu được với một mô hình tối ưu và sử dụng nó như là đường
bao (đường giới hạn) phía trên để đánh giá các mô hình, như đường nét đứt mờ ở hình trên. Để so sánh các diện tích CE chúng ta cần lưu ý rằng mô hình tối ưu có thể khác nhau đối với với các tập hợp mẫu thử nghiệm khác nhau. Do vậy, chúng ta đưa ra một giá trị CE chuẩn hóa như dưới đây:
Trong đó, CEл(x) là diện tích dưới đường cong x (baseline, model hoặc optimal - tối ưu) của một л phần trăm NOS cho trước.