Một giải pháp phịng thủ có thể đưa ra một quyết định đối với từng trường hợp cụ thể. Bảng trên đưa ra 04 trường hợp mà hệ thống phòng thủ có thể đưa ra:
Trường hợp A (True Negative) là trường hợp quyết định đúng, có nghĩa là khơng có tấn cơng và hệ thống phịng thủ cũng không đưa ra cảnh báo.
Trường hợp B (False Negative) là trường hợp quyết định sai, có nghĩa là khơng có tấn cơng nhưng hệ thống phịng thủ đưa ra cảnh báo.
Trường hợp C (False Positive) là trường hợp quyết định sai, có nghĩa là có tấn cơng nhưng hệ thống phịng thủ khơng đưa ra cảnh báo.
Trường hợp D (True Positive) là trường hợp quyết định đúng, có nghĩa có tấn cơng và hệ thống phịng thủ đưa ra cảnh báo.
Nghiên cứu [89] đưa ra 06 chỉ số có thể được sử dụng để đánh giá hiệu năng các phương pháp phòng chống DDoS bao gồm:
Accuracy ((A+D)/(A+B+C+D)): Cho biết tỷ lệ số trường hợp đưa ra quyết
định đúng trên tổng số các trường hợp.
Sensitivity (D/(C+D)): Cho biết tỷ lệ số trường hợp đưa ra quyết định đúng
trên tổng số trường hợp có tấn cơng xảy ra.
Specificity (A/(A+B)): Cho biết tỷ lệ số trường hợp đưa ra quyết định đúng
trên tổng số trường hợp khơng có tấn cơng xảy ra.
Precision (D/(C+D)): Cho biết tỷ lệ số trường hợp đưa ra quyết định đúng trên
tổng số trường hợp có tấn cơng xảy ra.
Reliability/False positive rate (C/(C+D)): Cho biết tỷ lệ số trường hợp đưa ra
quyết định sai trên tổng số có tấn cơng xảy ra.
False negative rate (B/(A+B)): Cho biết tỷ lệ số trường hợp đưa ra quyết định
sai trên tổng số trường khơng có tấn cơng xảy ra.
Về tiêu chí đánh giá đối với từng phương pháp đề xuất cụ thể, liên quan đến hai dạng tấn công TCP Syn Flood và Web App-DDoS mà chúng tôi khảo sát ở mục 1.5.5 và 1.5.6, thì các tác giả sử dụng 02 tiêu chí: Tỷ lệ phát hiện đúng tấn công (True Positive) và tỷ lệ cảnh báo sai (False Positive). Ngồi ra một số tác giả có sử dụng thêm tiêu chí về thời gian xử lý. Tuy nhiên, các tác giả lại khơng sử dụng tiêu chí quan trọng là phương pháp đề xuất có thể xử lý dữ liệu theo thời gian thực hay không.
Trên cơ sở đó, chúng tơi lựa chọn, sử dụng 03 tiêu chí để đánh giá hiệu quả của các phương pháp đề xuất bao gồm:
Tỷ lệ phát hiện đúng tấn công (True Positive)
Tỷ lệ cảnh báo sai (False Positive)
Thời gian xử lý
1.7. Nghiên cứu, khảo sát về đánh giá thực nghiệm
Trong phần này, chúng tôi đưa ra những khảo sát liên quan đến dữ liệu đánh giá thực nghiệm và kinh nghiệm của các tác giả trong việc đánh giá thực nghiệm các phương pháp của mình. Trên cơ sở đó, chúng tơi đưa ra mơ hình và phương pháp đánh giá thực nghiệm để đánh giá hiệu quả các phương pháp đề xuất.
1.7.1. Khảo sát các tập dữ liệu đánh giá thực nghiệm
Tập dữ liệu kiểm thử có vai trị rất quan trọng trong việc đánh giá các phương pháp đề xuất. Đặc biệt là các tập dữ liệu chuẩn đã được công bố và được sử dụng bởi nhiều tác giả để đánh giá thực nghiệm. Tuy nhiên, một vấn đề đối với các tập dữ liệu này là chưa có dữ liệu kiểm thử cho tất cả các dạng tấn công hoặc thiếu những đặc trưng hay thông tin cần thiết cho những phương pháp cụ thể.
Đối với hai dạng tấn công TCP Syn Flood và Web App-DDoS là hai dạng tấn cơng có đặc trưng riêng. Chúng tơi đã nghiên cứu, rà sốt nhiều tập dữ liệu nhưng chưa thấy các tập dữ liệu đó đề cập tới dữ liệu kiểm thử cho hai dạng tấn cơng này.
Để có cơ sở cho những nhận định của tơi, tại nghiên cứu [98, 93] có đưa ra thơng tin về các tập dữ liệu kiểm thử với các dạng lưu lượng tương ứng như sau:
Năm Bộ dữ liệu Kiểu của bộ dữ liệu Phạm vi Kiểu lưu lượng Lớp bắt
lưu lượng Địa chỉ IP
1998 FIFA
World Cup Thực Flash HTTP Ứng dụng Được ánh xạ 1998, 1999, 2000 LLDOS 1.0 và 2.0.1 Tổng hợp DDoS TCP Giao vận Thực 1999 KDD Cup Thực Flash, DDoS TCP Giao vận Được ánh xạ
2001 UCLA Tổng hợp DDoS UDP Giao vận Được ánh
xạ
2007 CAIDA Thực DDoS ICMP Mạng Được ánh
xạ
2009 Waikato Tổng hợp DDoS UDP Giao vận Thực
2009 DARPA Tổng hợp DDoS TCP Giao vận Thực
2012 TUIDS Tổng hợp DDoS ICMP, UDP, TCP Mạng, Giao vận Thực 2014 Booter Thực DDoS DNS Ứng dụng Thực