CHƯƠNG 2 CƠ SỞ LÝ THUYẾT
2.3. Chỉ số đánh giá hiệu năng các IDS
Chỉ số đánh giá là số liệu định lượng nhằm đo hiệu suất thuật tốn ML đối với tập dữ liệu cụ thể. Nĩ cung cấp một cách để so sánh, để xác định hiệu suất mơ hình nào tốt hơn và bao nhiêu. Giả sử:
TPi : Số lượng các ví dụ thuộc lớp ci được phân loại chính xác vào lớp ci FPi : Số lượng các ví dụ khơng thuộc lớp ci bị phân loại nhầm vào lớp ci TNi : Số lượng các ví dụ khơng thuộc lớp ci được phân loại (chính xác) FNi : Số lượng các ví dụ thuộc lớp ci bị phân loại nhầm (vào các lớp khác ci)
Việc đánh giá hiệu năng của các bộ kiểu tấn cơng được thực hiện qua việc đo và so sánh các chỉ số [16]:
- Accuracyi = (TPi + TNi) / (TPi + FPi + TNi + FNi) - Sensitivityi = Recalli = TPRi = TPi / (TPi + FNi) - Specificityi = TNRi = TNi / (TNi + FPi)
- Efficiencyi = (Sensitivityi + Specificityi) / 2 - Precisioni = TPi / (TPi + FPi)
Nghiên cứu này cho thấy hai số liệu đã được sử dụng trong hơn 70% các nghiên cứu. Đĩ là độ chính xác Accuracy và TPR. Độ chính xác Accuracy cung cấp chỉ dẫn tốt về mức độ thuật tốn cĩ thể dự đốn kết quả chính xác. Điều này rất quan trọng, vì nĩ cho thấy kết quả cĩ thể tin cậy được bao nhiêu là chính xác. TPR cung cấp một dấu hiệu cho thấy thuật tốn cĩ thể phát hiện và tấn cơng xâm nhập tốt như thế nào. Mục đích của IDS là phát hiện một cuộc tấn cơng, do đĩ, số liệu này rất quan trọng.
Một số liệu khác được sử dụng trong hơn 50% nghiên cứu là FPR. Một tên khác cho số liệu này là Tỷ lệ báo động sai (FAR). Số liệu này cung cấp chỉ dẫn cho dù thuật tốn sẽ tạo ra nhiều báo động sai. Điều này rất quan trọng, vì nĩ cho thấy cần thêm bao nhiêu cơng việc để lọc thêm các quan sát báo động sai này, sau IDS. Điều này cĩ lẽ được thực hiện bởi một chuyên gia về con người.
Việc sử dụng Accuracy để đánh giá chất lượng kiểu tấn cơng đã được nhiều học giả sử dụng. Tuy nhiên, sự phân bố lớp trong hầu hết các bài tốn kiểu tấn cơng phi tuyến rất mất cân bằng. Vì vậy việc sử dụng Accuracy để đánh giá chất lượng kiểu tấn cơng của một mơ hình khơng thực sự hiệu quả. Vì vậy, các thước đo tồn diện hơn được đề nghị sử dụng cho việc đánh giá là F-Measurei, AUC và G-Means được tính tốn như sau [17]:
F-Measurei = (1+𝛽
2)×𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑖×𝑅𝑒𝑐𝑎𝑙𝑙𝑖 𝛽2×𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑖+𝑅𝑒𝑐𝑎𝑙𝑙𝑖
Trong đĩ, β là hệ số điều chỉnh mối quan hệ giữa Precision và Recall và thơng thường β=1. F-Measure thể hiện sự tương quan hài hịa giữa Precision và Recall. Giá trị của F-Measure cao khi cả Precision và Recall đều cao.
Và chỉ số G-Means được tính là trung bình nhân của Sensitivity và Specificity: 𝐺 − 𝑀𝑒𝑎𝑛𝑠 = √𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 × 𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦
ROC là một đường cong biểu diễn xác suất và AUC (Area Under The Curve) biểu diễn mức độ phân loại của mơ hình. Ý nghĩa của AUC cĩ thể diễn giải: Là xác suất rằng một mẫu dương tính được lấy ngẫu nhiên sẽ được xếp hạng cao hơn một mẫu âm tính được lấy ngẫu nhiên, AUC = P((score(x+) > score(x-)). Chỉ số AUC càng cao thì mơ hình càng chính xác trong việc phân loại các lớp.
TPR là trục tung và FPR là trục hồnh.