hình của tác giả
Phần này tác giả sẽ thực hiện đánh giá hiệu suất của các mô hình học máy gốc được tích hợp trong mô hình của tác giả bằng cách train chúng trên bộ
dữ liệu NF-CSE-CIC-IDS2018 đã tiền xử lý và test bằng các mẫu đối kháng
được tạo ra.
Dua trên tỷ lệ (%) recall của các mô hình SVM, DT, RF, NB, KNN, MLP,
LR thực hiện phân loại binary trước các cuộc tấn công đối kháng CNN, WC-GAN, LSTM, CNN-LSTM, Staked-LSTM, AE, MLP, XGBoost được thể hiện ở Bang 4.10 va Đồ thị cột biểu diễn tỷ lệ (%) recall của các thuật toán
phân loại (theo hàng) dựa trên thực hiện phân loại binary trước các cuộc
tấn công đối kháng (theo cột) Hình 4.28, thu được kết quả tương tự như
với các mô hình phát hiện xâm nhập ở trên.
92
Chương 4. KẾT QUA THUC NGHIEM
BANG 4.10: Ty lệ (%) recall của các mô hình học may SVM, DT,
RE, NB, KNN, MLP, LR thực hiện phân loại binary trước các
cuộc tan công đối kháng CNN, WC-GAN, LSTM, CNN-LSTM,
Staked-LSTM, AE, MLP, XGBoost.
SVM DT RF NB KNN MLP_ LR CNN 9912 99.74 50.02 95.7 6811 70.72 96.74
AE 89.32 78.12 49.98 75.66 37.75 74.98 75.12 LSTM 95.41 79.46 49.87 97.43 43.25 47.47 76.46 CNN-LSTM 9943 9365 49.99 75.54 60.73 49.99 90.65 Stacked-LSTM 91.97 784 50 75.21 39.72 72.66 75.4
MLP 88.12 77.53 49.99 95.44 29.61 - 74.53
XGBoost 86.81 79.84 51.01 75 46.97 65.59 76.84
WC-GAN 58.22 66.36 195 96.16 1.54 43.01 63.36
bị
gk a
NB MLP
MCNN RWCGAN LSTM #CNN-LSTM WStackedLSTM MAE MMLP & XGBoost
HÌNH 4.28: Đồ thi cột biểu diễn tỷ lệ (%) recall của các thuật
toán phân loại (theo hàng) dựa trên thực hiện phân loại binary
trước các cuộc tân công đôi kháng (theo cột).
99.43
100 2a
88.12
7 42 77.53 79.84
80 70.72
6 9.87 C 99 TH ng :— .zm m— 47.47
A
2° ° 5 3
99.12
Ss
* Các cuộc tân công đối kháng được tạo ra có ty lệ tan công thành công
i il $ 3$
KNN
m 195
wo gk
LR SVM
cao ở mô hình nay nhưng lại bị that bại đối với mô hình khác [27].
Ví dụ. Cuộc tấn công chuyển giao Stacked-LSTM bị mô hình RE phát hiện được 50% nhưng bị mô hình SVM phát hiện đến 91,97%, Cuộc
93
Chương 4. KET QUA THỤC NGHIEM
tấn công WC-GAN bi mô hình SVM phát hiện với recall đạt 96,16% nhưng lại ít bị phát hiện hơn khi tan công vào mô hình SVM,RF,KNN với recall lần lượt là 58,22%, 1,95%, 1,54%,...
© Mô hình học máy SVM có hiệu suất phát hiện các mẫu đối kháng tốt
và 6n định nhất so với các mô hình hoc máy khác. Minh chứng là chỉ
có duy nhất giá trị recall của mô hình SVM đạt 58,22% đối với cuộc tấn công WC-GAN, còn lại đối với các cuộc tan công chuyển giao khác đều đạt được giá trị trên 86%.
Từ các kết luận trên cho thấy các cuộc tân đối kháng sử dụng GAN và chuyển giao có khả năng tắn công thành công vào mô hình này nhưng cũng
có thể thất bại ở mô hình khác có nghĩa là không bị phát hiện ở mô hình này nhưng có khả năng bị phát hiện ở một mô hình khác [27] từ những yếu tốt này là cơ sở để phát triển nghiên cứu và tạo ra mô hình của tác giả.
4.4.5 Hiệu suat của các mô hình phát hiện xâm nhập và mô hình tác
gia đề xuất sử dụng phân loại binary
Phan này tác giả sẽ tiến hành so sánh hiệu suất của các mô hình phát hiện xâm nhập hiện nay với mô hình tác giả dé suất và với các mô hình sử dụng
đầu vào là ảnh bằng cách train các mô hình bằng bộ du liệu NF-CSE-CIC- IDS2018 và test các mô hình bằng các mẫu đối kháng được tạo ra.
Dựa vào tỷ lệ (%) recall của các mô hình (theo hàng) dựa trên thực
hiện phân loại binary trước các cuộc tan công đối kháng (theo cột) trong Bảng 4.11 và Bảng 4.12 cho thấy rằng:
* Các mô hình sử dụng đầu vào ảnh đạt được tỷ lệ recall cao và rất cao
đối với các mẫu đối kháng Gan và chuyển giao. Ví dụ: Mô hình CNN đạt được recall 100% với các cuộc tấn công chuyển giao AE, LSTM,
94
Chương 4. KẾT QUA THUC NGHIEM
BANG 4.11: Recall của các mô hình (theo hang) dựa trên thực
hiện phân loại binary trước các mẫu đối kháng (theo cột)
CNN VGG16 VGG19 Xception Resnet- Inception- Inception
50 V3 Resnet-V2
CNN - 50.23 50.31 100 0 100 100
AE 100 6348 50.43 100 0 94.19 100
LSTM 100 64.31 75.02 100 0 100 100
CNN-LSTM 100 75.61 61.35 100 0 41.57 100
Stacked-
LSTM 100 5742 50.55 100 0 100 100
MLP 853/7 67.91 74.21 100 0 99.03 100
XGBoost 93.24 8937 75.51 100 0 100 100
WC-CAN 100 100 100 82.3 0 100 100
BANG 4.12: Recall của các mô hình (theo hang) dựa trên thực
hiện phân loại binary trước các mẫu đối kháng (theo cột)
CNN- Stacked-
VAE CVAE LSIM LSTM LSTM MLP XGBoost
CNN 68.89 70.2 28.03 74.97 99.45 96.72 79.78
AE 75.88 82.2 5153 25 12.29 90.26 73.81
LSTM 59.59 78.1 - 25.91 36.29 69.97 76.46
CNN-LSTM 75.91 64.2 3642 - 27.72 74.99 79.78
Stacked-
LSTM 59.55 61.1 4384 24.99 - 99.32 76.3
MLP 74.7 878 29.25 37.44 31.69 - 73.59
XGBoost 42.95 76.1 50.65 31.19 57.5 84.32 -
WC-CAN 59.37 64 79.34 84.3 93.62 40.45 22.42
95
Chương 4. KET QUA THỤC NGHIEM
CNN-LSTM, Stacked-LSTM và tân công WC-GAN, mô hình Xception đạt được recall 100% với tất cả các cuộc tấn công chuyển giao, mô hình InceptionV3 cũng đạt được recall cao với tất cả các cuộc tân công đối kháng tuy nhiên chỉ thấp với cuộc tân công CNN-LSTM với recall
là 41,57%, đặc biệt mô hình InceptionResnetV2 đạt được tỷ lệ recall
100% với tat cả các cuộc tan công dối kháng chuyển giao và WC-GAN.
© Hầu hết recall của các mô hình phát hiện xâm nhập sử dung dữ liệu
bảng đều tương đối thấp trước các cuộc tấn công đối kháng chuyển
giao và WCGAN. Ví dụ: Mô hình LSTM dat recall chỉ 29,25% và 36,42%
trước lần lượt cuộc tấn công chuyển giao MLP và CNN-LSTM, mô hình XGBoost chỉ đạt recall 22,42% trước cuộc tấn công WC-GAN.
Từ các kết quả trên cho thay các mô hình sử dụng dữ liệu đầu vào ảnh
đã được tác giả xử lý như mô hình CNN, Xception, InceptionV3, Inception-
ResnetV2. Có khả năng phát hiện tốt các mẫu đối kháng chuyển giao khác nhau và các mẫu đồi kháng tạo từ GAN.
Thông qua đồ thị cột biểu diễn ty lệ (%) recall của các mô hình phát
hiện xâm nhập (theo hàng) dựa trên thực hiện phân loại binary trước các
cuộc tan công đối kháng (theo cột) thể hiện ở Hình 4.29 và Hình 4.30 càng
dễ dàng thấy được các mô hình phát hiện xâm nhập sử dụng đầu vào bảng đạt được recall trước các cuộc tân công đối kháng thấp hơn nhiều so với một số mô hình sử dung đữ liệu ảnh như CNN, Xception, InceptinV3,
InceptionResnetV2.
Để chứng minh rằng có một ranh giới giữa các ví dụ đối kháng và các mẫu normal tác giả đã tính toán PIR trung bình của các ví dụ đối kháng gây ra bởi các cuộc tan công khác nhau. Điều nay duoc thực hiện trên hệ thống với 6 mô hình là SVM, DT, RF, NB, KNN, MLP, LR và hệ thống với
96
Chương 4. KẾT QUA THUC NGHIEM
InceptlonResnet
CNN VGG16. V@G19. InceptionXoeptlon ResNet
MCNN MWCGAN @LSTM #CNN-LSTM MWStackedLSTM MAE NMLP NXGBoost
100
HÌNH 4.29: Đồ thị cột biểu diễn tỷ lệ (%) recall của các mô hình
phát hiện xâm nhập (theo hàng) dựa trên thực hiện phân loại
binary trước các cuộc tan công đối kháng (theo cột).
NCNN MWCGAN @LSTM #CNN-LSTM WStackedISTM MAE NMIP MXGBoost
HÌNH 4.30: Đồ thị cột biểu diễn tỷ lệ (%) recall của các mô hình
(theo hàng) dựa trên thực hiện phân loại binary trước các cuộc
tấn công đối kháng (theo cột).
60 mô hình được biến đổi từ 6 mô hình ban đầu. Sau đó so sánh kết quả
này với PIR trung bình của các mẫu normal trong bộ dữ liệu NF-CSE-CIC-
IDS2018. Cuối cùng, giá trị trung bình của tất cả các ví dụ của từng loại trong hệ thống 6 mô hình và 60 mô hình đột biến trong nhóm mô hình phát hiện được tính toán và ghi lại trong Bảng 4.13 và Bảng 4.14 được kết
97
Chương 4. KET QUA THỤC NGHIEM
BANG 4.13: Tỷ lệ PIR trung bình (%) từ hệ thống (7 model) của tác giả dựa trên thực hiện phân loại binary đối với các mẫu
normal và các mẫu tấn công đối kháng (theo cột)
WC- CNN-_ Stacked- normal CNN CAN LSTM LSTM LSTM AE MLP XGBoost
0.5 21.86 41.6 20.04 19.83 19.73 20.93 18.54 16.26
BANG 4.14: Ty lệ PIR trung bình (%) từ hệ thống (61 model) của tác giả dựa trên thực hiện phân loại binary đối với các mẫu
normal và các mẫu tan công đối kháng (theo cột)
WC- CNN- Stacked- normal CNN CAN LSTM LSTM LSTM AE MLP XGBoost
1097 24.98 28.75 28.74 28.77 27.18 2832 31.54 24.96
luan:
Đầu tiên ta có thé thay được rang ti lệ PIR trung bình của các mẫu normal là 0.5% đối với hệ thống 7 mô hình thấp hơn nhiều so với PIR trung bình của các mẫu đối kháng được tạo ra.
Tuy nhiên tỉ lệ PIR trung bình của các mẫu normal là 10.97% đối với
hệ thống 61 mô hình không cách biệt lớn so với các mẫu đối kháng vì
giá trị PIR trung bình được tính phụ thuộc vào độ khác nhau của các
mô hình trong nhóm mô hình phát hiện so vói mô hình gốc SVM ban đầu nên việc tăng số lượng mô hình trong nhóm mô hình phát hiện
sẽ làm tăng giá trị PIR trung bình của các mẫu normal.
Ngoài ra tỉ lệ PIR trung các mẫu đối kháng được tính trên hệ thống 7
mô hình và 61 mô hình nếu có kiến trúc gần giống nhau sẽ có giá trị xấp xỉ nhau như PIR trung bình trên hệ thống 7 mô hình của
LSTM là 20,04%, CNN-LSTM là 19.83%, Stacked-LSTM là 20,93% va
98
Chương 4. KET QUA THỤC NGHIEM
trén hé thống 61 mô hình của LSTM là 28,74%, CNN-LSTM là 28,77%,
Stacked-LSTM là 27,18%.
© Cuối cùng tỉ lệ PIR trung bình tính được trên hệ thống 61 mô hình có
giá trị gần nhau hơn điều này cũng có thể giải thích dựa trên kết quả
ở trên các cuộc tân công đối kháng chuyển giao và GAN có thể thánh công ở mô hình này nhưng có thể thất bại ở mô hình khác [25], vì vậy khi tác giả tăng số lượng mô hình trong nhóm mô hình phát hiện lên
60 mô hình sẽ làm tăng khả năng có mô hình phát hiện được mẫu đối
kháng đưa vào.
Từ các kết luân trên cho thấy tỉ lệ PIR trung bình của các mẫu normal và các mẫu đối kháng có sự cách xa nhau do các thuật toán học máy có gắng phân phối các mẫu lành tính cách xa mặt phẳng quyết định [25]. Đây là
chìa khóa cho phương pháp phát hiện của tác giả.
Dựa vào tỷ lệ (%) recall của các mô hình (theo hàng) dựa trên thực
hiện phân loại binary trước các cuộc tân công đối kháng (theo cột) trong Bảng 4.15, và Đồ thị cột biểu diễn tỷ lệ (%) recall của hệ thống của tác giả với sự kết hợp 7 và 61 model dựa trên thực hiện phân loại binary trước các cuộc tan công đồi kháng (theo cột) như Hình 4.31 được kết luận:
e Hệ thống 7 mô hình của tác giả tạo ra đạt được tỉ lệ recall trên 94%
trước tat cả các cuộc tấn công đối kháng và đạt 99,47% trước cuộc
tấn công chyển giao CNN. Cao hẫn một số mô hình như VAE, CVAE, LSTM, CNN-LSTM, XGBoost trước tat cả cả các cuộc tan công đối kháng chuyển giao và GAN, chỉ thấp hơn mô hình Stacked-LSTM có recall = 99,45% trước cuộc tân công chuyển giao CNN và thấp hơn
mô hình MLP có recall = 96,72%, 99,32% đối với cuộc tan công chuyển
giao CNN và Stacked-LSTM.
99
Chương 4. KẾT QUA THUC NGHIEM
BANG 4.15: Ty lệ (%) recall của hệ thống của tác giả với su kết
hợp 7 và 61 model dựa trên thực hiện phân loại binary trước
các cuộc tấn công đối kháng (theo cột)
PIR-based System (7 model) PIR-based System (61 model) CNN 99.47 99.99
WC-GAN 95.23 95.89
LSTM 94.58 99.57
CNN-LSTM 95 99.99
Stacked-LSTM 94.47 99.99
AE 95.12 99.99
MLP 94.42 99.99
XGBoost 94.73 96.51
100
80
6
40
0
Our System (7 model) Our System (61 model)
Š 4 1 Er
Š
NCNN #WCGAN #LSTM #CNN-LSTM WStackedLSTM MAE NMIP NXGBoost
HINH 4.31: Đồ thị cột biểu diễn tỷ lệ (%) recall của hệ thống của tác giả với sự kết hợp 7 và 61 model dựa trên thực hiện phân
loại binary trước các cuộc tan công đối kháng (theo cột).
e Hệ thống 61 mô hình của tác giả tạo ra đạt được tỉ lệ recall hầu hết
99,99% trước các cuộc tan công đối kháng ngoại trừ chỉ đạt 95,89%, 96,51% trước hai cuộc tấn công WC-GAN và XGBoost. Cao hơn han
100
Chương 4. KẾT QUA THUC NGHIEM
tat cả các mô hình phân loại như VAE, CVAE, LSTM, CNN-LSTM, Stacked-LSTM, MLP, XGBoost trước tat cả cả các cuộc tan công đối
kháng chuyển giao và GAN.
Từ hai kết luận trên có thể thấy rằng mô hình của tác giả đã đạt được hiệu quả cao chỉ với việc kết hợp kết quả đánh giá của 7 mô hình học máy gốc SVM, DT, RE, NB, KNN, MLP, LR nhưng đạt hiệu qua cao nhat khi tac gia thực hiện việc kết hợp kết quả đánh giá của 61 mô hình hoc máy đột biến vào với nhau. Điều này càng mình chứng mình phương pháp và hệ thống của tác giả tạo ra có thể phát hiện tốt các mẫu đối kháng chuyển giao
và GAN.
Ngoài ra hệ thống của tác giả có thời gian phát hiện lâu hơn một chút
so vói các mô hình phát hiện xâm nhập sử dụng dữ liệu đầu vào bảng và xap xi với các mô hình sử dung đữ liệu đầu vào là hình ảnh khác. Nguyên nhân là do tổn tại các mô hình không tối ưu dù tác giả đã sử dung tính toán song song cho các mô hình trong nhóm mô hình phát hiện. Kết quả
của thời gian phát hiện trung bình tính theo (s) của mô hình tác giả và các
mô hình phát hiện xâm nhập khác được thể hiện ở Bảng 4.16 và đồ thị
Hình 4.32.
101
Chương 4. KẾT QUA THUC NGHIEM
BANG 4.16: Thời gian phát hiện trung bình tinh bang (s) của các
mô hình phát hiện xâm nhập mạng và hệ thông phát hiện của
tác giả dựa trên thực hiện phân loại binary.
2000 1800 1600 1400 1200 1000 800 600 400 200
Mô hình Thời gian (s) CNN 486
VGG16 938 VGG19 1035 Xception 820
Resnet-50 1725
Inception-V3 551
InceptionResnet-V2 1546
VAE 509 CVAE 644 LSTM 13 CNN-LSTM 8
Stacked-LSTM 15
MLP 2
XGBoost 12
PIR-based System (7model) 450 PIR-based System (61model) 1372
ResNet VGG19
InceptionResnet Our System... VGG16 Xception CVAE Inception VAE CNN Our System... Stacked-LSTM LSTM XGBoost CNN-LSTM © MLP TM
HÌNH 4.32: Biểu đồ thể hiện thời gian phát hiện trung bình tính bằng (s) của các mô hình phát hiện xâm nhập mạng và hệ thông
phát hiện của tác giả dựa trên thực hiện phân loại binary.
102
CHUONG5 KET LUẬN VÀ HƯỚNG PHAT TRIEN
5.1 Kết Luận
Trong khoá luận này, trước tiên trước tiên tác giả đã nghiên cứu các yếu tố
cụ thể ảnh hưởng đến khả năng chuyển giao của các cuộc tấn công chuyển
giao trên bộ dữ liệu NF-CSE-CIC-IDS2018. Tác giả thay rằng sự tương đồng
về kiến trúc mô hình đóng một vai trò quan trọng, sự chuyển giao giữa hai
mô hình cho kết quả không giống nhau, độ chính xác thử nghiệm cao hơn
có khả năng phát hiện tốt hơn trước các cuộc tấn công dựa trên chuyển giao và các mô hình sâu hơn thì khả năng chuyển giao kém hơn.
Ngoài ra tác giả đề xuất một phương pháp xử lý dữ liệu đầu vào ban đầu thành dữ liệu ảnh, sau đó sử dung dir liệu nay cho các mô hình phat hiện sử dụng đầu vào ảnh, tác giả thu được kết quả phát hiện cao và cao tuyệt đối ở một số mô hình.
Cuối cùng tác giả đề xuất thêm một phương pháp để phát hiện các mẫu đối kháng dựa trên khả năng chuyển giao và cuộc tấn công tạo từ GAN. Phương pháp này tạo ra một so mô hình nhất định bằng cách thực hiện các thay đổi nhỏ đối với mô hình phân loại. Một mặt, ảnh hưởng của khả năng chuyển giao bị loại bỏ về số lượng. Mặt khác, kết quả dự đoán của từng
mô hình phản ánh bản chất của ví dụ đối kháng. Kết quả thực nghiệm cho thay ví dụ đối kháng nhạy cảm với các mô hình đột biến và có ranh giới
rõ ràng với ví dụ lành tính. Hệ thống phát hiện của tác giả có thể tìm thấy tính năng này và phát hiện mẫu đối thủ.
103
Chương 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
5.2 Hướng phát triển
Trong tương lai phương pháp áp dụng các mô hình sử dụng đầu vào ảnh
có thể đạt được thêm nhiều tiến bộ, dựa trên nghiên cứu và kêt quả đạt được chắc chắc có nhiều mô hình sử dụng dữ liệu ảnh và phương pháp xử
lý dữ liệu bang ban đầu mang lại kết quả tốt hơn trong việc phát hiện các cuộc tấn công đối kháng.
Việc nghiên cứu thêm các yêu tố có thể ảnh hưởng đến khả năng tấn công chuyển giao của các mẫu đối kháng lả rất cần thiết. Có khả năng sự không trơn tru của bề mặt mất mát có thể gây cản trở việc chuyển giao các
ví dụ đối kháng...
Phương pháp sử dung các mô hình phân loại có dit liệu đầu vào ảnh
và phương pháp kết hợp đánh giá dựa trên nhiều mô hình học máy, có thể được áp dụng cho các trình phát hiện khác, chẳng hạn như phát hiện các
ứng dụng Android độc hai và mẫu PDF độc hại. Có một số khó khăn cũ
có thể xảy ra trong tương lai đối với phương pháp phát hiện được dé xuất trong khoá luận này này. Ví dụ: chúng ta có thể xem xét thêm các cuộc tan công chuyển giao từ các mô hình khác và tấn công GAN.
104
Tài liệu tham khảo
[1] Dong Su et al. “A comprehensive study on the robustness of 18 deep
image classification models”. In: Proceedings of the European conference
on computer vision. 2018.
[2] Nicolas Papernot, Patrick McDaniel, and Ian Goodfellow. “Practical
black-box attacks against deep learning systems using adversarial ex- amples”. In: (2016).
[3] Yanpei Liu, Xinyun Chen, and Chang Liu. “Delving into transfer-
able adversarial examples and black-box attack”. In: arXiv preprint arXiv:1611.02770 (2016).
[4] Singla et al. “Overcoming the Lack of Labeled Data: Training In-
trusion Detection Models Using Transfer Learning”. In: International Conference on Smart Computing (2019).
[5] Zhang et al. “Autonomous Model Update Scheme for Deep Learning
Based Network Traffic Classifiers”. In: Global Communications Confer- ence (2019).
[6] Sameera, Nerella, and M. Shashi. “Deep transductive transfer learn-
ing framework for zero-day attack detection”. In: ICT Express (2020).
[7] A.S. Qureshi et al. “Intrusion detection using deep sparse auto-encoder
and self-taught learning”. In: Neural Computing and Applications (2020).
[8] lan Goodfellow. “Generative adversarial networks”. In: arXiv preprint
arXiv:1701.00160 (2016).
105