CHƯƠNG 2 PHÁT HIỆN VÀ PHÒNG CHỐNG TẤN CÔNG TCP SYNFLOOD
2.6. Đánh giá thực nghiệm
2.6.3. So sánh hiệu quả của giải pháp PIDAD2 với các giải pháp khác
Qua kết quả đánh giá thực nghiệm ở trên, giải pháp PIDAD2 cho thấy tỷ lệ phát hiện các gói tin giảo mạo gửi đến hệ thống cao hơn. Do đó, trong phần này, chúng tơi sẽ thực hiện so sánh kết quả thực nghiệm của giải pháp PIDAD2 với một số phương pháp khác liên quan trực tiếp đến phát hiện và phịng chống tấn cơng TCP Syn Flood như dưới đây.
Tại nghiên cứu [96] của tác giả A. Degirmencioglu và đồng nghiệp (2016) đã đưa ra đánh giá về các phương pháp giảm thiểu tấn công TCP Syn Flood sử dụng giải pháp phân loại - Classification. Tác giả đánh giá kết quả thực nghiệm của 03 giải pháp là Naivebayes, C4.5 và Randomtree trên hai tập dữ liệu kiểm thử D1 và D2. Tác giả sử dụng các trường thông tin như IP đích, TTL, MMS, ACK… để làm thơng tin đầu vào cho các giải pháp phân loại. Kết quả đánh giá cho thấy giải pháp C4.5 có tỷ lệ phát hiện đúng các gói tin giả mạo (True Positive) tương đương với giải pháp Randomtree. Tuy nhiên, giải pháp này lại có tỷ lệ phát hiện sai các gói tin bình thường là gói tin giả mạo (False Positive) thì có tỷ lệ thấp hơn nhiều so với giải pháp Randomtree.
Từ các phân tích ở trên, chúng tơi thấy rằng có thể kế thừa kết quả đánh giá của tác giả A. Degirmencioglu để so sánh hiệu quả của giải pháp PIDAD2 sử dụng tập dữ liệu [23]. Cụ thể hơn, chúng tôi so sánh hiệu quả của phương pháp PIDAD2 với phương pháp C4.5 đã được tác giả A. Degirmencioglu đánh giá là hiệu quả hơn so với hai giải khác sử dụng Naivebayes và Randomtree.
Một lý do khác mà chúng tôi lựa chọn việc so sánh hiệu quả của giải pháp PIDAD2 với các giải pháp được tác giả A. Degirmencioglu là cách thức thực hiện đánh giá tương tự nhau. Tác giả A. Degirmencioglu cũng sử dụng tập dữ liệu D1 và D2 được tác giả tạo ra làm dữ liệu thực nghiệm. Cịn đối với giải pháp PIDAD2 thì được chúng tơi đánh giá trên tập dữ liệu được tạo ra từ một mạng botnet trên môi trường ảo chúng tôi đã tạo ra.
Để thực hiện so sánh hiệu quả của hai giải pháp đã lựa chọn, chúng tôi thực hiện như sau: Từ tập dữ liệu kiểm thử thu được, chúng tôi lấy các trường thông tin: Timestamp, Src IP và PID để đánh giá hiệu quả của giải pháp PIDAD2.
Để đánh giá hiệu quả của giải pháp C4.5, từ cùng tập dữ liệu kiểm thử, chúng tôi lấy ra các trường thơng tin IP đích, TTL, MMS, ACK như tác giả A. Degirmencioglu đã sử dụng để đánh giá hiệu của của giải pháp C4.5 tại nghiên cứu [96].
Lý do, chúng tôi lựa chọn các trường thông tin khác nhau từ cùng tập dữ liệu để đánh giá từng giải pháp là vì thơng tin đầu vào cho thuật toán của từng giải pháp là khác nhau.
Tơi sử dụng tiêu chí tỷ lệ phát hiện đúng các gói tin giả mạo (True Positive) và tỷ lệ phát hiện sai các gói tin bình thường là gói tin giả mạo (False Positive) làm tiêu chí đánh giá hiệu quả của hai giải pháp PIDAD2 và C4.5. Kết quả đánh giá như sau:
- Tỷ lệ phát hiện đúng các gói tin giả mạo True Positive (TP):
Hình 2.21 Tỷ lệ True Positive của các giải pháp PIDAD2 và C4.5 - Tỷ lệ phát hiện sai các gói tin bình thường là gói tin giả mạo False Positive (FP): - Tỷ lệ phát hiện sai các gói tin bình thường là gói tin giả mạo False Positive (FP):
Hình 2.22 Tỷ lệ False Positive của các giải pháp PIDAD2 và C4.5
0 10 20 30 40 50 60 70 80 90 100 24229 48459 72688 96918 121147 145377 DR(%)
Số lượng gói tin nhận được
C4.5 PIDAD2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 24229 48459 72688 96918 121147 145377 FP(%)
Số lượng gói tin nhận được
C4.5 PIDAD2
- Thời gian xử lý của các giải pháp PIDAD2 và C4.5
Hình 2.23 Thời gian xử lý của các giải pháp PIDAD2 và C4.5
Từ kết quả đánh giá ở trên cho thấy giải pháp PIDAD2 có có tỷ lệ phát hiện đúng các gói tin giả mạo cao hơn và có tỷ lệ phát hiện sai các gói tin bình thường là gói tin giả mạo thấp hơn nhiều so với giải pháp C4.5.
Một lý do quan trọng dẫn tới kết quả như ở trên là hiệu quả của giải pháp C4.5 phụ thuộc nhiều vào sự lựa chọn các trường thơng tin phù hợp làm đầu vào thuật tốn của giải pháp C4.5. Dữ liệu kiểm thử D1 và D2 mà tác giả A. Degirmencioglu có các trường thơng tin được thiết lập giá trị mặc định. Cụ thể, tập dữ liệu D1, giá trị sequence number của gói tin SYN đối với các gói tin sạch được thiết lập là 0, giá trị MMS được thiết lập là giá trị nhỏ nhất. Đối với tập dữ liệu D2, giá trị Data offset được thiết lập giá trị nhỏ nhất đối với tất cả các gói tin SYN tấn cơng và các thiết lập giá trị Data offset là giá trị khác đối với tất cả các gói tin sạch.
Tập dữ liệu mà chúng tơi sử dụng để đánh giá hai giải pháp PIDAD2 và C4.5 có duy nhất trường thơng tin Src IP được tạo ra một cách ngẫu nhiên, trong khi các trường thông tin khác được thiết lập theo nguyên lý hoạt động của giao thức IP và TCP.