Nâng cao hiệu quả phát hiện xâm nhập mạng bằng huấn luyện DSD

Nghiên cứu này đề xuất mô hình kết hợp mạng nơ-ron nhiều lớp với huấn luyện nhiều giai đoạn DSD để cải tiến đồng thời các tiêu chí liên quan đến hiệu quả thực thi của các hệ thống phát hiện xâm nhập trên tập dữ liệu UNSW‑NB15, là tập được cập nhật thường xuyên các đặc trưng dữ liệu với nhiều hình thức tấn công mới.

Huỳnh Trọng Thưa, Nguyễn Hoàng Thành NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD Huỳnh Trọng Thưa*, Nguyễn Hồng Thành* *Học viện Cơng nghệ Bưu Viễn thơng Cơ sở Thành phố Hồ Chí Minh Tóm tắt: Hầu hết mơ hình phát xâm nhập đại ứng dụng học máy kết phát phân loại cơng xâm nhập với độ xác cao Nghiên cứu đề xuất mơ hình kết hợp mạng nơ-ron nhiều lớp với huấn luyện nhiều giai đoạn DSD để cải tiến đồng thời tiêu chí liên quan đến hiệu thực thi hệ thống phát xâm nhập tập liệu UNSW‑NB15, tập cập nhật thường xuyên đặc trưng liệu với nhiều hình thức cơng Chúng tơi tiến hành thực nghiệm mơ hình mạng nơ-ron RNN, LSTM, GRU để đánh giá hiệu kết hợp với mơ hình thơng qua nhiều tiêu chí độ xác, tỷ lệ phát hiện, tỷ lệ cảnh báo giả, Precision F1-Score Từ khóa: an ninh mạng, học máy, học sâu, IDS, mạng nơ-ron I GIỚI THIỆU Hệ thống phát xâm nhập (Intrusion Detection System - IDS) hệ thống giám sát lưu thơng mạng, có khả nhận biết hoạt động khả nghi hay hành động xâm nhập trái phép hệ thống mạng tiến trình cơng, từ cung cấp thơng tin nhận biết đưa cảnh báo cho hệ thống nhà quản trị Sự phát triển mã độc (malware) đặt thách thức quan trọng việc thiết kế hệ thống phát xâm nhập (IDS) Các công mã độc trở nên tinh vi nhiều thách thức Những kẻ tạo mã độc có khả sử dụng nhiều kỹ thuật khác để che giấu hành vi ngăn chặn phát IDS, từ chúng dễ dàng lấy cắp liệu quan trọng phá hoại hoạt động sản xuất kinh doanh cung cấp dịch vụ nhiều cá nhân tổ chức IDS hoạt động theo ba phương thức gồm Signature-base, Abnormaly-base, Stateful Protocol1 Analysis Signature-base IDS so sánh dấu hiệu đối tượng quan sát với dấu hiệu mối nguy hại biết Abnormaly-base IDS so sánh định nghĩa hoạt động bình thường đối tượng quan sát nhằm xác định độ lệch để đưa cảnh báo Stateful Protocol Analysis IDS so sánh profile định trước hoạt động giao thức coi bình thường với đối tượng quan sát từ xác định độ lệch Ngoại trừ phương thức Signature-base, hai phương thức lại cần phải học để nhận biết dấu hiệu bất thường Vì mà vài thập kỷ qua, học máy sử dụng Tác giả liên hệ: Huỳnh Trọng Thưa, Email: htthua@ptithcm.edu.vn Đến tòa soạn: 08/2020, chỉnh sửa: 10/2020, chấp nhận đăng: 10/2020 SOÁ 03 (CS.01) 2020 để cải thiện phát xâm nhập Hiệu IDS đánh giá dựa hiệu suất thực thi chúng việc xác định công Điều địi hỏi tập liệu hồn chỉnh với đầy đủ hành vi bình thường bất thường Các tập liệu chuẩn trước KDDCUP 99 [1] NSLKDD [2] áp dụng rộng rãi để đánh giá khả thực thi IDS Mặc dù hiệu tập liệu ghi nhận nhiều nghiên cứu trước đó, việc đánh giá IDS cách sử dụng tập liệu không phản ánh hiệu suất đầu thực tế vài lý Lý tập liệu KDDCUP 99 chứa số lượng lớn ghi dư thừa tập huấn luyện Các ghi dư thừa ảnh hưởng đến kết độ lệch bias phát xâm nhập ghi thường xuyên Thứ hai, nhiều ghi bị thiếu yếu tố thay đổi chất liệu Thứ ba, tập liệu NSLKDD phiên cải tiến KDDCUP 99, giải số vấn đề cân liệu ghi bình thường bất thường giá trị bị thiếu [3].Tuy nhiên, tập liệu đại diện tồn diện cho mơi trường cơng thực tế đại Tập liệu chuẩn UNSW‑NB15 [4] tạo nhằm giải hạn chế tập liệu trước đó, đặc biệt cập nhật thường xuyên đặc trưng liệu bám sát hình thức cơng Đã có nhiều phương pháp học máy mơ hình mạng nơ-ron áp dụng vào phát xâm nhập mạng RNN, LSTM, GRU Việc chọn mơ hình phù hợp với liệu UNSW-NB15 để cải thiện kết đánh giá vấn đề quan tâm [5] Bên cạnh đó, nghiên cứu gần để cải tiến chất lượng huấn luyện [6], mơ hình huấn luyện DSD (Dense Sparse Dense) áp dụng hiệu vào số tốn xử lý hình ảnh, nhận dạng giọng nói Trong nghiên cứu này, chúng tơi tập trung vào việc đánh giá hiệu phát xâm nhập mạng dựa mơ hình mạng nơ-ron sâu RNN, LSTM, GRU cách đề xuất mơ hình kết hợp phương pháp huấn luyện DSD vào mơ hình mạng nơ-ron để cải tiến hiệu thực thi cho hệ thống phát xâm nhập mạng Bài viết có phần, phần cịn lại trình bày sau Phần II trình bày nghiên cứu liên quan gồm mơ hình học sâu phương pháp huấn luyện DSD Phần III trình bày mơ hình kết hợp đề xuất Phần IV V trình bày thực nghiệm, kết đánh giá mơ hình đề xuất Phần VI kết luận cho nghiên cứu II CÁC NGHIÊN CỨU LIÊN QUAN Trong phần này, chúng tơi trình bày mơ hình học sâu liên quan phương pháp huấn luyện DSD TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 54 NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD A Mạng nơ-ron hồi quy – Recurrent Neural Network (RNN) RNN [7] phần mở rộng mạng nơ-ron chuyển tiếp thẳng, thiết kế để nhận dạng mẫu chuỗi liệu Các mạng nơ-ron gọi hồi quy chúng thực nhiệm vụ cho thành phần chuỗi với đầu phụ thuộc vào tính tốn trước [8] Hình Kiến trúc RNN đơn giản Có thể xem RNN cách để chia sẻ trọng số theo thời gian, minh họa Hình Các phương trình (1) (2) sau dùng để tính tốn trạng thái ℎ𝑡 đầu ẩn 𝑂𝑡 theo RNN: ℎ𝑡 = 𝜎(𝑊𝑖 ℎ𝑡−1 + 𝑈𝑥𝑡 + 𝑏𝑡 ) (1) 𝑂𝑡 = 𝜏(𝑊𝑜 ℎ𝑡 ) (2) Trong σ  tương ứng hàm kích hoạt sigmoid softmax, xt vectơ đầu vào thời điểm t, ht vectơ trạng thái ẩn thời điểm t, Wi ma trận trọng số đầu vào, U ma trận trọng số lớp ẩn, Wo ma trận trọng số đầu bt hệ số bias Mơ hình RNN có nhược điểm lớn, thời điểm q trình huấn luyện, trọng số tương tự sử dụng để tính tốn đầu 𝑂𝑡 , điều khiến cho kết tạo khơng cịn xác Mơ hình Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) đề xuất để giải vấn đề B Mạng Long Short-Term Memory (LSTM) Mạng nhớ dài-ngắn LSTM (Long Short Term Memory) [7] biến thể mạng nơ-ron hồi quy đề xuất kỹ thuật máy học để giải nhiều vấn đề liệu LSTM giúp trì lỗi lan truyền ngược qua lớp theo thời gian LSTM dùng để tăng độ xác kết đàu ra, làm cho RNN trở nên hữu ích dựa tác vụ nhớ dài hạn Kiến trúc LSTM minh họa Hình 2, bao gồm bốn thành phần chính; cổng đầu vào (i), cổng quên (f), cổng đầu (o) ô nhớ (c) ghi thông qua cổng mở đóng, khối nhớ tương ứng với thời điểm cụ thể Các cổng truyền thông tin dựa tập trọng số Một số trọng số, trạng thái đầu vào ẩn, điều chỉnh trình học Các phương trình từ (3) đến (8) dùng để biểu diễn mối quan hệ đầu vào đầu thời điểm t kiến trúc khối LSTM: 𝑓𝑡 = 𝜎(𝑊𝑓 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝑓 ) (3) 𝑖𝑡 = 𝜎(𝑊𝑖 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝑖 ) (4) 𝑗𝑡 = 𝜔(𝑊𝑗 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝑗 ) (5) 𝑐𝑡 = 𝑓𝑡 × 𝑐𝑡−1 + 𝑖𝑡 × 𝑗𝑡 (6) 𝑧𝑡 = 𝜎(𝑊𝑗 [ℎ𝑡−1 , 𝑥𝑡 ] + 𝑏𝑗 ) (7) ℎ𝑡 = 𝑧𝑡 × 𝜔(𝑐𝑡 ) (8) Trong σ  tương ứng hàm kích hoạt sigmoid tanh, xt vectơ đầu vào thời điểm t, ht vectơ đầu thời điểm t, W b là ma trận trọng số hệ số bias, ft hàm quên dùng để lọc bỏ thông tin không cần thiết, it jt dùng để chèn thông tin vào ô nhớ, zt xuất thông tin liên quan C Mạng Gated Recurrent Unit (GRU) GRU biến thể LSTM giới thiệu K.Cho [8] GRU LSTM khơng có cổng đầu ra, ghi tất nội dung từ nhớ vào mạng lớn thời điểm Tuy nhiên tinh chỉnh cách sử dụng cổng cập nhật bổ sung vào cấu trúc khối GRU Cổng cập nhật kết hợp cổng đầu vào cổng qn Mơ hình GRU đề xuất để đơn giản hóa kiến trúc mơ hình LSTM Cấu trúc GRU thể Hình phương trình từ (9) đến (12) thể mối quan hệ đầu vào kết dự đoán Hình Kiến trúc lõi khối GRU [7] 𝑣𝑡 = 𝜎(𝑊𝑣 [𝑜𝑡−1 , 𝑥𝑡 ] + 𝑥𝑡 ) (9) 𝑠𝑡 = 𝜎(𝑊𝑣 [𝑜𝑡−1 , 𝑥𝑡 ]) (10) 𝑜′𝑡 = 𝜔(𝑊𝑣 [𝑠𝑡 × 𝑜𝑡−1 , 𝑥𝑡 ]) (11) 𝑜𝑡 = (1 − 𝑣𝑡 ) × 𝑜𝑡−1 + 𝑣𝑡 × 𝑜′𝑡 (12) Trong khơng gian đặc trưng (đầu vào) đại diện x dự đoán đại diện ot, vt hàm cập nhật W trọng số tối ưu hóa q trình huấn luyện σ  tương ứng hàm kích hoạt sigmoid để giữ cho thông tin qua GRU phạm vi cụ thể Hình Kiến trúc lõi khối LSTM [7] Khối LSTM đưa định việc lưu trữ, đọc SOÁ 03 (CS.01) 2020 D Mơ hình huấn luyện Dense Sparse Dense (DSD) Các mơ hình nơ-ron nhiều lớp phức tạp cho kết tốt thu quan hệ phi tuyến cao TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 55 Huỳnh Trọng Thưa, Nguyễn Hoàng Thành liệu đặc trưng đầu Nhược điểm mơ hình lớn chúng dễ bị nhiễu tập liệu huấn luyện Việc dẫn đến tình trạng khớp (over-fitting) [9] phương sai cao (high variance) [11] mô tả Bảng I, II III Bảng I Cấu hình mơ hình RNN đề xuất Lớp (Kiểu) Dạng đầu # tham số rnn_1 (SimpleRNN) (None, None, 128) 21.888 drop_out_1 (Dropout) (None, None, 128) rnn_2 (SimpleRNN) (None, None, 128) 32.896 drop_out_2 (Dropout) (None, None, 128) rnn_3 (SimpleRNN) (None, None, 128) 32.896 drop_out_3 (Dropout) (None, None, 128) rnn_4 (SimpleRNN) (None, 128) 32.896 drop_out_4 (Dropout) (None, 128) Lớp (Kiểu) Dạng đầu # tham số dense_1 (Dense) (None, 1) 129 lstm_1 (LSTM) (None, None, 128) 87.552 activation_1(Activatio n) (None, 1) drop_out_1 (Dropout) (None, None, 128) lstm_2 (LSTM) (None, None, 128) 131.584 drop_out_2 (Dropout) (None, None, 128) lstm_3 (LSTM) (None, None, 128) 131.584 drop_out_3 (Dropout) (None, None, 128) lstm_4 (LSTM) (None, 128) 131.584 drop_out_4 (Dropout) (None, 128) dense_1 (Dense) (None, 1) 129 activation_1(Activation) (None, 1) Tổng số tham số 120.705 Tuy nhiên, đưa mơ hình trở dạng phức tạp khiến hệ thống máy học bỏ lỡ quan hệ liên quan đặc trưng đầu ra, dẫn đến vấn đề underfitting [9] bias cao (high bias) [10] Đây vấn đề vô thách thức độ lệch bias phương sai khó để tối ưu hóa lúc Trong nghiên cứu [6], Song đồng giới thiệu DSD, mơ hình huấn luyện “dày đặc – thưa thớt – dày đặc” cách lựa chọn kết nối để loại bỏ phục hồi kết nối khác sau Nhóm tác giả thử nghiệm mơ hình DSD với GoogLeNet, VGGNet ResNet tập liệu ImageNet, NeuralTalk BLEU tập liệu Flickr-8K, DeepSpeech-1&2 tập liệu WSJ’93 Kết thực nghiệm cho thấy mơ hình huấn luyện DSD mang lại hiệu đáng kể tập liệu xử lý ảnh nhận dạng giọng nói áp dụng mạng rơ-ron sâu Hình Kiến trúc RNN/LSTM/GRU gốc với lớp ẩn Bảng II Cấu hình mơ hình LSTM đề xuất Tổng số tham số 482.433 Huấn luyện thưa thớt chuẩn hóa mơ hình huấn luyện dày đặc sau khôi phục trọng số cắt tỉa (màu đỏ), giúp tăng hiệu suất mơ hình mà khơng bị overfitting Ngồi ra, để đánh giá hiệu việc kết hợp, áp dụng kỹ thuật Cross Validation [11] cho mô hình tập liệu UNSW-NB15 III MƠ HÌNH MẠNG NƠ-RON KẾT HỢP Bảng III Cấu hình mơ hình GRU đề xuất Nhận thấy mạng nơ-ron hồi quy (RNN/LSTM/GRU) học hiệu để tạo quan hệ phi tuyến cao đặc trưng đầu vào đầu ra, nghiên cứu đề xuất mơ hình kết hợp RNN/LSTM/GRU với phương pháp huấn luyện giai đoạn DSD để nâng cao hiệu phát xâm nhập mạng Chúng đặt số lượng nơ-ron tất lớp ẩn 128 Mô hình đề xuất gồm: Lớp (Kiểu) Dạng đầu # tham số gru_1 (GRU) (None, None, 128) 65.644 drop_out_1 (Dropout) (None, None, 128) gru_2 (GRU) (None, None, 128) 98.688 drop_out_2 (Dropout) (None, None, 128) gru_3 (GRU) (None, None, 128) 98.688 drop_out_3 (Dropout) (None, None, 128) gru_4 (GRU) (None, 128) 98.688 drop_out_4 (Dropout) (None, 128) dense_1 (Dense) (None, 1) 129 activation_1(Activation) (None, 1) - Mơ hình mạng nơ-ron RNN/LSTM/GRU gốc lớp ẩn thể Hình 4; Mơ hình huấn luyện lai DSD-RNN/DSDLSTM/DSD-GRU sử dụng trình ba giai đoạn: dày đặc (Dense - D), thưa thớt (Sparse - S), tái dày đặc (reDense - D) áp dụng mơ hình mạng nơ-ron gốc lớp ẩn Các giai đoạn minh họa Hình 5; Cấu hình đề nghị mơ hình tương ứng SỐ 03 (CS.01) 2020 Tổng số tham số 361.857 TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 56 NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD IV THỰC NGHIỆM A Mô tả tập liệu Để đánh giá hiệu IDS cần có liệu xâm nhập chuẩn Các liệu quan trọng để thử nghiệm đánh giá phương pháp phát xâm nhập Chất lượng liệu thu thập ảnh hưởng đến hiệu kỹ thuật phát bất thường Một số tập liệu chuẩn dùng rộng rãi KDD Cup 1999 [1] NLS-KDD [2] Tuy nhiên, chúng tồn số hạn chế định Tập liệu chuẩn UNSW-NB15 [4] tạo nhằm giải thách thức Các gói mạng thơ tập liệu UNSW-NB15 tạo công cụ IXIA PerfectStorm Phịng thí nghiệm Cyber Range Trung tâm An ninh mạng Úc (ACCS) để tạo hỗn hợp hoạt động bình thường thực hành vi công tổng hợp đại Tập liệu đầy đủ chứa tổng cộng 2.540.044 ghi Hình Mơ hình huấn luyện lai DSD-RNN/DSD-LSTM /DSD-GRU với giai đoạn Tập liệu rút gọn mô tả Bảng IV có 44 đặc trưng kèm theo nhãn phân lớp, loại bỏ đặc trưng (dstip, srcip, sport, dsport, Ltime Stime) khỏi tập liệu đầy đủ Trong Bảng IV, dur thông tin tổng thời gian; proto giao thức; service là loại dịch vụ (http, ftp, smtp, ssh, ); state biểu thị trạng thái giao thức; spkts số gói từ nguồn đến đích; dpkts số gói từ đích đến nguồn; sbytes số byte từ nguồn tới đích; dbytes số bytes từ đích đến nguồn; sttl giá trị TTL từ nguồn tới đích; dttl giá trị TTL từ đích tới nguồn; sload số bit nguồn; dload số bit đích; sloss gói nguồn truyền lại bị loại bỏ; dloss gói đích truyền lại bị loại bỏ (mili giây); sinpkt thời gian đến gói nguồn (mili giây); dinpkt thời gian đến gói đích; sjit jitter nguồn (mili giây); djit jitter đích (mili giây); swin giá trị kích thước TCP quảng bá nguồn; stcpb số thứ tự TCP nguồn; is_sm_ips_ports cho biết địa IP nguồn đích số cổng nguồn đích biến nhận giá trị ngược lại biến nhận giá trị 0; dtcpb số thứ tự TCP đích; dwin giá trị kích thước TCP quảng bá đích; tcprtt thời gian thiết lập kết nối TCP, tổng synack ackdat; synack thời gian thiết lập kết nối TCP gói SYN SYN_ACK; ackdat thời gian thiết lập kết nối TCP, thời gian SYN_ACK gói ACK; smean giá trị trung bình kích thước gói luồng truyền src; dmean giá trị trung bình kích thước gói luồng truyền dst; trans_depth đại diện cho chiều sâu liên kết kết nối giao dịch yêu cầu/phản hồi http; response_body_len kích thước nội dung thực tế khơng nén liệu truyền từ dịch vụ http máy chủ; ct_srv_src số lượng kết nối chứa dịch vụ địa nguồn 100 kết nối gần nhất; ct_state_ttl số cho trạng thái theo phạm vi giá trị cụ thể cho TTL nguồn/đích; ct_dst_ltm số kết nối có địa đích SOÁ 03 (CS.01) 2020 100 kết nối theo lần gần nhất; ct_src_dport_ltm số kết nối có địa nguồn cổng đích 100 kết nối theo lần cuối cùng; ct_dst_sport_ltm là số kết nối có địa đích cổng nguồn 100 kết nối theo lần cuối cùng; is_ftp_login cho biết phiên ftp truy cập người dùng mật nhận vào giá trị 1, ngược lại nhận giá trị 0; ct_ftp_cmd số luồng có lệnh phiên ftp; ct_flw_http_mthd số luồng có phương thức Get Post dịch vụ http; ct_src_ltm số kết nối có địa nguồn 100 kết nối theo lần gần nhất; ct_srv_dst số lượng kết nối có dịch vụ địa đích 100 kết nối theo lần gần nhất; attack_cat tên loại công Trong liệu này, tập hợp chín loại; label nhận giá trị cho bình thường cho ghi công Bảng IV Mô tả đặc trưng tập liệu rút gọn UNSWNB-15 # Đặc trưng Kiểu # Đặc trưng Kiểu dur float 23 dtcpb integer proto nominal 24 dwin integer service nominal 25 tcprtt float state nominal 26 synack float spkts integer 27 ackdat float dpkts integer 28 smean integer sbytes integer 29 dmean integer dbytes integer 30 trans_depth integer rate float 31 response_bod y_len integer 10 sttl integer 32 ct_srv_src integer 11 dttl integer 33 ct_state_ttl integer 12 sload float 34 ct_dst_ltm integer 13 dload float 35 ct_src_dport_l tm integer 14 sloss integer 36 ct_dst_sport_l tm integer 15 dloss integer 37 ct_dst_src_ltm integer 16 sinpkt float 38 is_ftp_login binary 17 dinpkt float 39 ct_ftp_cmd integer 18 sjit float 40 ct_flw_http_m thd integer 19 djit float 41 ct_src_ltm integer 20 Swin integer 42 ct_srv_dst integer 21 stcpb integer 43 attack_cat nonimal 22 is_sm_i ps_ports binary 44 label binary Một phần tập liệu đầy đủ chia thành tập huấn luyện tập kiểm thử, cụ thể UNSW_NB15_training-set.csv UNSW_NB15_testingset.csv Tập liệu huấn luyện bao gồm 175.341 ghi tập liệu kiểm thử chứa 82.332 ghi Số lượng đặc trưng tập liệu rút gọn khác với số lượng đặc trưng tập liệu đầy đủ TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 57 Huỳnh Trọng Thưa, Nguyễn Hoàng Thành B Tiền xử lý liệu 1) Chuyển đổi đặc trưng nominal thành dạng số Quá trình chuyển đổi đặc trưng nominal thành dạng số gọi Numericalization Trong liệu rút gọn UNSW-NB15 có 40 đặc trưng dạng numeric đặc trưng nominal Vì giá trị đầu vào RNN, LSTM, GRU phải ma trận số nên phải chuyển đổi số đặc trưng nominal, chẳng hạn đặc trưng "proto", "service" "state" thành dạng số Chúng chuyển số thư viện scikit-sklearn LabelEncoder [12] Chẳng hạn, đặc trưng proto tập liệu có giá trị khơng trùng gồm tcp, udp, rdp mã hóa nhãn tương ứng thành số 1, 2, Tập liệu rút gọn chứa 10 loại, loại normal loại công gồm: generic, exploits, fuzzers, DoS, reconnaissance, analysis, backdoor, shellcode worms Bảng V cho thấy chi tiết phân loại lớp tập liệu rút gọn UNSW-NB15 2) Chuẩn hóa liệu Min-Max Chuẩn hóa kỹ thuật chia tỷ lệ giá trị dịch chuyển định cỡ lại cho chúng kết thúc khoảng từ đến Chuẩn hóa địi hỏi phải biết ước tính xác giá trị tối thiểu tối đa quan sát Do phạm vi giá trị liệu thô rộng khác nhau, số thuật toán học máy, hàm mục tiêu không hoạt động không chuẩn hóa Một lý khác cho việc chuẩn hóa đặc trưng áp dụng độ xác dự đốn tăng lên so với khơng có chuẩn hóa [13] Bảng V Phân loại công tập liệu rút gọn UNSW-NB15 Phân loại Tập liệu huấn luyện Tập liệu kiểm thử UNSW_NB_trai ning-set UNSW_NB_tes ting-set Normal 56.000 37.000 Generic 40.000 18.871 Exploits 33.393 11.132 Fuzzers 18.184 6.062 DoS 12.264 4.089 Reconnaissance 10.491 3.496 Analysis 2.000 677 Backdoor 1.746 583 Shellcode 1.133 378 Worms 130 44 Tổng cộng 175.341 82.332 3) Các phương pháp đánh giá Chúng sử dụng metric phổ biến để đánh giá hiệu suất phát xâm nhập bao gồm độ xác (Accuracy), tỷ lệ phát (Detection Rate), Precision, tỷ lệ cảnh báo giả (False Alarm Rate) F1-score Bảng VI thể ma trận nhầm lẫn bao gồm dương tính thật (TP), âm tính thật (TN), dương tính giả (FP) âm tính giả (FN) TP TN trạng thái bị công trạng thái bình thường phân loại xác FP ghi bình thường dự đốn khơng xác, nghĩa IDS cảnh báo công không thực tế FN ghi cơng phân loại khơng xác, nghĩa IDS khơng cảnh báo mà ghi nhận ghi bình thường Bảng VI Ma trận nhầm lẫn Dự đốn Tấn cơng Dự đốn Bình thường Thực tế - Tấn công TP FN Thực tế - Bình thường FP TN Độ xác (Accuracy) – mức độ gần phép đo với giá trị cụ thể, thể số lượng trường hợp liệu phân loại xác tổng số dự đốn Độ xác khơng phải thước đo tốt tập liệu không cân (cả hai lớp âm dương có số lượng liệu khác nhau) Cơng thức tính độ xác định nghĩa công thức (14) 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 Tỷ lệ cảnh báo giả (False Alarm Rate - FAR) - gọi False Positive Rate (tỷ lệ dương tính giả) Thước đo tính theo cơng thức (15) Tỷ lệ lý tưởng cho thước đo thấp tốt, tức số phân loại nhầm phân loại bình thường sang dự đốn cơng (FP) thấp tốt 𝐹𝐴𝑅 = 𝐹𝑃 𝐹𝑃 + 𝑇𝑁 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 SOÁ 03 (CS.01) 2020 (13) (16) Tỷ lệ phát (Detection Rate – DR hay Recall) – Giá trị DR gần với cho phân loại tốt DR tử số mẫu số (TP = TP + FN), điều có nghĩa FN Khi FN tăng giá trị dẫn đến mẫu số lớn tử số giá trị DR giảm Chỉ số nhằm đánh giá mức độ tổng qt hóa mơ hình tìm xác định theo công thức (17) 𝐷𝑒𝑡𝑒𝑐𝑡𝑖𝑜𝑛 𝑅𝑎𝑡𝑒 = 𝑥 − 𝑚𝑖𝑛(𝑥) = 𝑚𝑎𝑥(𝑥) − 𝑚𝑖𝑛(𝑥) (15) Độ xác phép đo (Precision) – mức độ gần phép đo, có giá trị gần với kết tập phân loại tốt Precision tử số mẫu số (TP = TP + FP), điều có nghĩa FP Khi FP tăng giá trị dẫn đến mẫu số lớn tử số giá trị xác giảm Cơng thức tính Precision định nghĩa cơng thức (16) Trong thực nghiệm này, sử dụng chuẩn hóa Min-Max cho phương trình (13): 𝑥′ (14) 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 (17) Chúng ta mong muốn Precision DR tốt, nghĩa hai giá trị FP FN phải gần TAÏP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 58 NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD tốt Do đó, cần tham số đo có tính đến Precision DR, F1-Score, xác định theo công thức (18) F1-Score gọi trung bình điều hịa (harmonic mean) tiêu chí Precision DR Nó có xu hướng lấy giá trị gần với giá trị nhỏ giá trị Precision DR đồng thời có giá trị lớn giá trị Precision DR lớn Chính F1Score thể cách khách quan hiệu mơ hình học máy So với độ xác (Accuracy), F1-Score phù hợp để đánh giá hiệu suất phát mẫu liệu không cân 𝐹1 − 𝑆𝑐𝑜𝑟𝑒 = = 2(𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝐷𝑅) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝐷𝑅 (18) 2𝑇𝑃 2𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁 V KẾT QUẢ VÀ ĐÁNH GIÁ Trong phạm vi nghiên cứu này, mơ hình phân loại nhị phân dựa mạng RNN, LSTM, GRU lựa chọn Mơ hình huấn luyện liệu rút gọn UNSW-NB15 Thuật toán xây dựng ngôn ngữ Python thư viện Keras, Sklearn, chạy tảng Tensorflow môi trường Anaconda Thử nghiệm thực laptop Acer Nitro5, có cấu hình CPU Intel Core i5-9300 2.4 GHz, nhớ 16 GB GPU Gibytes Thực nghiệm thiết kế để nghiên cứu hiệu suất mơ hình mạng nơ-ron RNN, LSTM GRU phân loại nhị phân (bình thường, bất thường) Cả ba mơ hình RNN, LSTM, GRU huấn luyện với số epoch 100, q trình compile mơ hình với thơng số hàm optimize Adam với learning rate theo mặc định (0.001), batch_size 256, hàm 𝑙𝑜𝑠𝑠 𝑏𝑖𝑛𝑎𝑟𝑦_𝑐𝑟𝑜𝑠𝑠𝑒𝑛𝑡𝑟𝑜𝑝𝑦, tiêu chí tối ưu theo độ xác (accuracy) Các mơ hình RNN, LSTM, GRU giống nhau, khác kiến trúc lõi nơ-ron, cụ thể: • Các lớp RNN/LSTM/GRU gồm 128 đơn vị nơ-ron; • Các lớp Dropout với hệ số 0.1; • Lớp Dense với hàm kích hoạt sigmoid Trong đó, lớp Dropout giúp tránh tình trạng overfitting, lớp Dense cuối lớp đầu để đánh giá đầu hay 0, tức bất thường hay bình thường Mỗi pha áp dụng DSD cho mơ hình DSDRNN/DSD-LSTM/DSD-GRU Tuy nhiên pha cuối pha tái dày đặc khơi phục kết nối tỷ lệ học giảm xuống cịn 0.0001 A Kết Thử nghiệm mơ hình huấn luyện thực với trường hợp sau: Trường hợp 1: Mơ hình RNN, LSTM, GRU tập liệu rút gọn UNSW-NB15 Trường hợp 2: Mô hình RNN, LSTM, GRU tập liệu rút gọn UNSW-NB15 kết hợp với mơ hình huấn luyện DSD SỐ 03 (CS.01) 2020 Các trường hợp huấn luyện với Cross validation [11] Kết đánh giá trình bày Bảng VII (trường hợp 1) Bảng VIII (trường hợp 2) Bảng VII Đánh giá Mơ hình RNN, LSTM, GRU liệu rút gọn UNSW-NB15 FAR% Acc% Prec% DR% F1-S% RNN 34.17 83.54 77.87 98.01 86.78 LSTM 33.37 83.70 78.23 97.95 86.85 GRU 34.22 82.90 77.67 96.88 86.19 Kết thực nghiệm ba mơ hình RNN, LSTM GRU Bảng VII cho thấy mơ hình mạng nơ-ron LSTM có kết tốt với Accuracy, Precision, F1 Score có số cao nhất, tỷ lệ dương tính giả FAR thấp nhất, có thông số DR thấp RNN không đáng kể Mơ hình cho kết xấu thực nghiệm mơ hình mạng nơ-ron GRU với tất thơng số Accuracy, Precision, F1 Score có kết thấp tỷ lệ dương tính giả FAR cao Bảng VIII Đánh giá mơ hình huấn luyện DSD-RNN, DSDLSTM, DSD-GRU liệu rút gọn UNSW-NB15 FAR% Acc% Prec% DR% F1-S% DSDRNN 32.62 84.27 78.88 98.06 87.36 DSDLSTM 33.10 84.21 78.67 98.35 87.35 DSDGRU 32.63 84.16 78.80 97.87 87.25 Kết thực nghiệm ba mơ hình DSD-RNN, DSDLSTM DSD-GRU Bảng VIII cho thấy mơ hình kết hợp DSD-RNN cho kết tốt với Accuracy, Precision, F1-Score có số cao nhất, tỷ lệ dương tính giả FAR thấp nhất, có thơng số DR thấp mơ hình kết hợp DSD-LSTM Mơ hình kết hợp cho kết xấu thực nghiệm DSD-GRU với tất thông số Accuracy, Precision, F1-Score có kết thấp tỷ lệ dương tính giả FAR cao Qua thực nghiệm, so sánh hiệu mơ hình mạng nơ-ron RNN, LSTM, GRU với mơ hình kết hợp huấn luyện giai đoạn DSD-RNN, DSD-LSTM, DSDGRU Bảng IX, Bảng X Bảng XI giúp tăng hiệu mơ hình với thông số Accuracy, Precision, DR, F1 Score tăng tỷ lệ dương tính giả FAR giảm B Đánh giá Giữa ba mơ hình mạng nơ-ron RNN, LSTM, GRU có kết tương đồng RNN cho kết tốt với tiêu chí tỷ lệ phát 98.01% LSTM cho kết tốt với tỷ lệ cảnh báo giả (FAR) 33.37%, độ xác 83.70%, Precision 78.23% F1 Score 86.85% GRU khơng có kết tốt thử nghiệm Tương tự, chúng tơi so sánh mơ hình DSD-RNN, DSD-LSTM DSD-GRU Kết ba mơ hình tương đồng DSD-RNN cho tỷ lệ cảnh báo giả tốt với 32.62%, độ xác 84.27%, Precision 78.88%, F1-Score 87.36% DSD-LSTM cho TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 59 Huỳnh Trọng Thưa, Nguyễn Hoàng Thành kết tốt với tỷ lệ phát 98.35% DSD-GRU khơng có kết tốt thử nghiệm Bảng IX Đánh giá mô hình huấn luyện DSD-RNN RNN liệu rút gọn UNSW-NB15 FAR% Acc% Prec% DR% F1-S% DSDRNN 32.62 84.27 78.88 98.06 87.36 RNN 34.17 83.54 77.87 98.01 86.78 Bảng X Đánh giá mơ hình huấn luyện DSD-LSTM LSTM liệu rút gọn UNSW-NB15 FAR% Acc% Prec% DR% F1-S% DSDLSTM 33.10 84.21 78.67 98.35 87.35 LSTM 33.37 83.70 78.23 97.95 86.85 Bảng XI Đánh giá mô hình huấn luyện DSD-GRU GRU liệu rút gọn UNSW-NB15 FAR% Acc% Prec% DR% F1-S% DSDGRU 32.63 84.16 78.80 97.87 87.25 GRU 34.22 82.90 77.67 96.88 86.19 RNN có vấn đề “vanishing gradient” (gradient sử dụng để cập nhật giá trị weight matrix RNN có giá trị nhỏ dần theo layer thực back propagation) Khi gradient trở nên nhỏ (có giá trị gần 0) giá trị weight matrix không cập nhật thêm mạng nơ-ron dừng việc học lớp Tuy nhiên dùng DSD, mạng RNN cắt tỉa trọng số huấn luyện lại lần Điều giúp khôi phục trọng số, khắc phục vấn đề “vanishing gradient” làm tăng hiệu huấn luyện pha Dense cuối Trong đó, LSTM GRU thêm cổng (cổng quên, cổng cập nhật hàm tanh) để khắc phục vấn đề “vanishing gradient”, cải tiến hiệu phát xâm nhập LSTM GRU huấn luyện DSD khơng áp dụng DSD vào RNN Ngồi ra, qua thực nghiệm cho thấy áp dụng mơ hình huấn luyện DSD vào mạng nơ-ron RNN, LSTM, GRU cho kết khả quan Bảng XII minh họa kết mơ hình huấn luyện DSD(RNN/LSTM/GRU) so với mơ hình gốc RNN/LSTM/GRU Với tiêu chí FAR, “-” tốt tiêu chí cịn lại “+” tốt Bảng XII Bảng đánh giá mơ hình huấn luyện DSD (DSDRNN, DSD-LSTM, DSD-GRU) so với mơ hình mạng nơron gốc (RNN, LSTM, GRU) FAR (%) Acc (%) Prec (%) DR (%) F1-S (%) DSDRNN 1.556 + 0.7249 + 1.0044 + 0.0463 + 0.5760 DSDLSTM 0.270 + 0.5123 + 0.4422 + 0.3944 + 0.5009 DSDGRU 1.595 + 1.2646 + 1.1272 + 0.9949 + 1.0612 SOÁ 03 (CS.01) 2020 VI KẾT LUẬN Từ kết thực nghiệm cho thấy mơ hình mạng nơ-ron RNN, LSTM, GRU cho kết tốt tập liệu rút gọn UNSW-NB15 Mơ hình ©mạng nơ-ron LSTM cho thấy hiệu tốt Việc đưa mơ hình huấn luyện DSD vào mạng nơ-ron RNN, LSTM, GRU giúp cải thiện hiệu suất với hầu hết tiêu chí Trong mơ hình mạng nơ-ron RNN cải thiện hiệu sau áp dụng mơ hình huấn luyện DSD Trong phạm vi thực nghiệm nghiên cứu này, dùng độ cắt tỉa 25% Hướng tiếp cận tương lai, nghiên cứu việc thay đổi độ cắt tỉa phù hợp tập liệu đầy đủ UNSW-NB15 áp dụng mơ hình huấn luyện vào mạng nơ-ron khác với thiết kế chi tiết nhằm đánh giá đầy đủ hiệu kết hợp TÀI LIỆU THAM KHẢO [1] Hettich, S and Bay, S D., “KDD Cup 1999 Data,” 28 October 1999 [Online] Available: http://kdd.ics.uci.edu [Accessed 02 Feb 2020] [2] M Tavallaee, E Bagheri, W Lu, and A Ghorbani, “A Detailed Analysis of the KDD CUP 99 Data Set,” 2009 [Online] Available: https://www.unb.ca/cic/datasets/ [3] Nour Moustafa, Jill Slay, “UNSW-NB15: A Comprehensive Data set for Network,” in Military Communications and Information Systems Conference (MilCIS), Canberra, Australia, 2015 [4] Moustafa, Nour Moustafa Abdelhameed, “The UNSWNB15 Dataset Description,” 14 November 2018 [Online] Available: https://www.unsw.adfa.edu.au/unsw-canberracyber/cybersecurity/ADFA-NB15-Datasets/ [Accessed 02 August 2020] [5] Vinayakumar R et al., “A Comparative Analysis of Deep learning Approaches for Network Intrusion Detection Systems (N-IDSs),” International Journal of Digital Crime and Forensics, vol 11, no 3, p 25, July 2019 [6] Song Han∗, Huizi Mao, Enhao Gong, Shijian Tang, William J Dally, “DSD: Dense-Sparse-Dense Traning For Deep Neural Networks,” in ICLR 2017, 2017 [7] Anani, Wafaa, “Recurrent Neural Network Architectures Toward Intrusion Detection,” in Recurrent Neural Network Architectures Toward Intrusion Detection, Electronic Thesis and Dissertation Repository 5625, 2018 [8] K Cho, J Chung, C Gulcehre, and Y Bengio, “Empirical evaluation of gated recurrent neural networks on sequence modeling,” Computing Research Repository (CoRR), 2014 [9] Brownlee, Jason, “Overfitting and Underfitting With Machine Learning Algorithms,” 12 August 2019 [Online] Available: https://machinelearningmastery.com/overfitting-andunderfitting-with-machine-learning-algorithms/ [Accessed 03 August 2020] [10] Brownlee, Jason, “Gentle Introduction to the BiasVariance Trade-Off in Machine Learning,” 25 October 2019 [Online] Available: https://machinelearningmastery.com/gentle-introductionto-the-bias-variance-trade-off-in-machine-learning/ [Accessed 03 August 2020] TAÏP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 60 NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD [11] Gupta, Prashant, “Cross-Validation in Machine Learning,” Towards Data Science, 05 June 2017 [Online] Available: https://towardsdatascience.com/cross-validation-inmachine-learning-72924a69872f [Accessed 02 August 2020] [12] Pedregosa et al., “Scikit-learn: Machine Learning in Python,” 2011 [Online] Available: https://scikitlearn.org/stable/modules/ [13] Sergey Ioffe, Christian Szegedy, “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift,” 2015 ENHANCING NETWORK INTRUSION DETECTION EFFICIENCY USING DSD Abstract: Most modern intrusion detection models are applying machine learning to produce intrusion detection and classification results with high accuracy This study proposes a model combining multi-layered neural networks with DSD multi-stage training method to simultaneously improve many criteria related to the performance of intrusion detection systems on the UNSW ‑ NB15 dataset which is regularly updated for the features and follows new attack patterns We conduct experiments on neural network models RNN, LSTM, and GRU to evaluate the efficiency associated with each model through many criteria such as accuracy, detection rate, false alarm rate, precision and F1-Score Keywords: network security, machine learning, deep learning, IDS, neural network Huỳnh Trọng Thưa, Trưởng Bộ mơn An tồn Thơng tin, Khoa Công nghệ Thông tin 2, Học viện Công nghệ Bưu Viễn thơng sở TP Hồ Chí Minh Thưa nhận Cử nhân Công nghệ Thông tin Đại học Khoa học Tự nhiên TP Hồ Chí Minh, Thạc sĩ Kỹ thuật Máy tính Đại học Kyung Hee, Hàn Quốc Tiến sĩ Khoa học Máy tính Đại học Bách Khoa - Đại học Quốc gia TP Hồ Chí Minh Lĩnh vực nghiên cứu: An tồn bảo mật thơng tin, blockchain, mật mã học, điều tra Email: htthua@ptithcm.edu.vn Nguyễn Hoàng Thành, Nhận Kỹ sư Hệ thống thông tin Học viện Cơng nghệ Bưu Viễn thơng năm 2013 Hiện tại, Thành học viên cao học Học viện Cơng nghệ Bưu Viễn thơng sở TP Hồ Chí Minh Lĩnh vực nghiên cứu chính: An tồn thơng tin, học máy Email: hthanhsg@gmail.com SỐ 03 (CS.01) 2020 TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THOÂNG 61 ...NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD A Mạng nơ-ron hồi quy – Recurrent Neural Network (RNN) RNN [7] phần mở rộng mạng nơ-ron chuyển tiếp thẳng,... THÔNG TIN VÀ TRUYỀN THÔNG 56 NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD IV THỰC NGHIỆM A Mô tả tập liệu Để đánh giá hiệu IDS cần có liệu xâm nhập chuẩn Các liệu quan trọng để... FN phải gần TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG 58 NÂNG CAO HIỆU QUẢ PHÁT HIỆN XÂM NHẬP MẠNG BẰNG HUẤN LUYỆN DSD tốt Do đó, cần tham số đo có tính đến Precision DR, F1-Score, xác