4.4.2 Hiệu suất của các mô hình phát hiện xâm nhập sử dụng phân loại multiclass
4.4.2.2 Thực nghiệm với các mẫu đối kháng
Phần này tác giả sẽ tiến hành kiểm tra hiệu suất của các mô hình phân loại multiclass trước các cuộc tấn công đối kháng bằng cách cho mô hình train trên bộ NF-CSE-CIC-IDS2018 đã tiền xử lý và test bằng các mẫu đối kháng được tạo ra. Công việc này cho thay được rõ hiệu suất của từng mô hình khi phân loại multiclass trong môi trường thực tế.
Thông qua tỷ lệ (%) tấn công thành công của các cuộc tấn công đối
kháng (theo cột) vào các mô hình phát hiện xâm nhập (theo hàng) dựa
trên thực hiện phân loại multiclass, các dau gạch ngang tương ứng với các trường hợp hộp trắng, được bỏ qua được thể hiện ở Bảng 4.4 và Bảng 4.5.
80
Chương 4. KẾT QUA THUC NGHIEM
100
80
60
40
20
Sasa
3 tì
s s
CNN VGGI6 VGG19 Xcepton ResNet Inception
99.64
—__—-——Ế 99.64
95.81n @a ao‘bees 3°he©
a
kh8888 iil
InceptionR CVAE ISTM CNNISTM. Stacked- esnet LSTM
828
BO
55.93 31.29 en se pe een meal A ——— 99 64
Accuracy mTM Precision Recall #F1-score
HINH 4.24: Đồ thị cột biểu diễn tỷ lệ (%) Accuracy, recision,
Recall, F1-score dựa trên thực hiện phân loại multiclass của các
mô hình phát hiện xâm nhập trên tap dữ liệu NF-CSE-CIC-
IDS2018.
© Dau tiên các cuộc tan công đối kháng được tao ra có tỷ lệ tan công
thành công vào các mô hình phát hiện xâm nhập sử dụng phân loại
multiclass. Ví dụ: tỷ lệ tấn công thành công của cuộc tấn công chuyển giao CNN vào mô hình Resnet-50 là 100%, cuộc tân công chuyển giao VGG16-GAN vào mô hình InceptionResnet-V2 là 90%, cuộc tấn công
cua WC-GAN vào mô hình CNN-LSTM là 94,55% vào MLP là 92,38%,
cuộc tan công chuyển giao XGBoost vào mô hình LSTM là 94,59%,... Việc nay cho thay các mẫu tan công đối kháng được tạo ra có khả năng tất công vào các mô hình phát hiện xâm nhập hiện nay hay nói cách khác là các mô hình phát hiện dễ bị tấn công bởi các cuộc tân công chuyển giao và GAN.
Các cuộc tân công đối kháng được tạo ra có tỷ lệ tan công thành công cao ở mô hình này nhưng lại bị thất bại đối với mô hình khác [27].
Ví dụ: tỷ lệ tấn công thành công của cuộc tấn công WC-GAN vào
mô hình InceptionResnet-V2 là 90%, VGG19 là 99,97% nhưng chỉ dat
81
Chương 4. KẾT QUA THUC NGHIEM
BANG 4.4: Hiệu suất tấn công thành công của mẫu đối kháng
(theo cột) vào các mô hình phát hiện xâm nhập (theo hàng) dựa
trên thực hiện phân loại multiclass
CNN VGG16 VGG19 Xception Resnet- Inception- Inception
50 V3 Resnet-V2
CNN - 25.06 78.39 24.71 55.93 29.21 49.16
VGGI16-
GAN 6907 - 93.32 89.62 25 89.48 90
VGG19-
GAN 66.37 83.21 - 78.34 12.92 78.64 54.67
AE 43.98 49.93 59.52 62.28 55.93 27.78 26.76
LSTM 59.35 50.39 59.74 32.48 55.93 40.94 40.5
CNN-LSTM 5193 50.84 50.88 56.79 55.93 31.78 25.79
Stacked-
LSTM 55.38 4997 55.75 70.4 55.93 25.29 25.76
MLP 4303 5071 29.28 2.26 55.93 27.76 27.99
XGBoost 52.88 51.65 57.12 21.65 55.93 28.32 28.45
WC-CAN 9639 7817 99.97 5268 55.93 75.02 90.42
52,68% đối với mô hình Xception và 78,17% với mô hình VGGI16, ty
lệ tấn công thành công của cuộc tấn công chuyển giao Stacked-LSTM vào mô hình Xception là 70,4% nhưng chi đạt 25,29% đối với mô hình Inception-V3 và chi đạt 25,76% đối với mô hình InceptionResnet-V2,
tỷ lệ tan công thành công của cuộc tan công chyển giao XGBoost vào
mô hình LSTM là 94,59% nhưng chỉ đạt 25,65% đối với mô hình CVAE
và chỉ đạt 15,89% đối với mô hình MLP....
e Chúng ta có thể quan sát thay rang sự chuyển giao giữa hai mô hình
82
Chương 4. KET QUA THỤC NGHIEM
BANG 4.5: Hiệu suất tấn công thành công của mẫu đối kháng
(theo cột) vào các mô hình phát hiện xâm nhập (theo hàng) dựa
trên thực hiện phân loại multiclass
CNN- Stacked-
VAE CVAE LSTM LSTM LSTM MLP XGBoost
CNN 25.74 45 50.11 46.06 66.55 30.54 27.88
AE - - 4519 43.35 25.08 10.72 28.63
LSTM 26.68 26.6 - 74.09 50.77 20.61 28.06
CNN-LSTM 17.39 16.1 2665 ~- 72.76 30.54 21.37
Stacked-
LSTM 27.89 22.4 4725 70.55 - 21.57 27.34
MLP 38.49 24.4 8217 78.85 59.92 - 29.05
XGBoost 35.89 25.65 94.59 68.79 77.17 15.89 -
WC-GAN 8212 4451 5233 94.55 81.13 92.38 90.82
là không đối xứng và hiện tượng này càng rõ rang hơn đối với các
mô hình có kiến trúc khác nhau [27]. Ví dụ: tỷ lệ thành công của cuộc tấn công VGG16-GAN đến CNN ty lệ là 69,07%, tuy nhiên tỷ lệ từ CNN đến VGG16 chỉ có 25,09%, tỷ lệ tan công thành công chuyển giao CNN-LSTM vào LSTM là 26,65% và ngược lại từ LSTM tan công vào CNN-LSTM là 74,09%,... Việc thiếu tính đối xứng có thể giải thích dựa trên sự tương đồng trước đây về khả năng chuyển giao đối kháng
là khá hạn ché.
Một quan sát khác là tỷ lệ thành công giữa các mô hình có kiến trúc tương tự luôn cao hơn so với các mô hình có kiến trúc khác nhau [27]. Ví dụ: tỷ lệ tân công thành công của VGG16-GAN đến mô hình VGG19dat 93,32% cao hơn khi tấn công đến các mô hình CNN khác
83
Chương 4. KET QUA THỤC NGHIEM
và điều này cũng đúng khi dùng VGG19-GAN tan công đến mô hình VGG16 với tỷ lệ tan công thành công đạt 83,21% cao hơn khi tan công đến các mô hình CNN khác, tỷ lệ tân công thành công của cuộc tân công chuyển giao LSTM vào mô hình CNN-LSTM là 74,09% và vào
mô hình Stacked-LSTM là 50,77% cao hon han so với khi tan công vào các mô hình có kiến trúc khác như VAE với 26,68%, CVAE 26,6%, MLP
20,61%, XGBoost 28,6%,...
® Ngoài ra ta cũng thay rang mô hình có hiệu suất phát hiện trên bộ
dữ liệu gốc ban đầu thấp cũng dễ bị tấn công thành công hơn bởi các mẫu đối kháng. Ví dụ: Mô hình Resnet-50 có hiệu suất phát hiện thấp ở Bảng 4.2 với Accurancy = 55.93%, Precition = 31,29%, Recall
= 55.93%, Fl-score = 40.13% và tỷ lệ bị tat công thành công của mô hình này chính bằng 55,93% đồng nghĩa với recall của nó bằng 0 đối với hau hết các cuộc tan công. Cho ta thay mô hình Resnet-50 có hiệu suất kém cả trong phòng thí nghiệm và trong môi trường thực tế.
Các kết quả thực nghiệm thu được trên Bảng 4.4 và Bảng 4.5 được tác giả thống kê thành dé thị cột biểu diễn tỷ lệ (%) tan công thành công của các cuộc tan công đối kháng (theo cột) vào các mô hình phát hiện xâm nhập (theo hàng) dựa trên thực hiện phân loại multiclass. được thể hiện ở Hình 4.25 và Hình 4.26 chúng ta có thể đê dàng nhìn vào và thấy được rõ các ví dụ tương tự cho các kết luận phía trên của tác giả.
84