Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)

Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TÔ TRỌNG TÍN NGHIÊN CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) TP.HCM - 2018 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TÔ TRỌNG TÍN NGHIÊN CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ : 8480104 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS TRẦN VĂN LĂNG TP.HCM – 2018 i LỜI CAM ĐOAN Trong trình thực luận văn, hướng dẫn trực tiếp PGS.TS Trần Văn Lăng, tơi nghiên cứu hồn thành luận văn với nổ lực nghiên cứu thân Do đó, tơi xin cam đoan nội dung luận văn thực hướng dẫn PGS.TS Trần Văn Lăng tham khảo sử dụng luận văn có trích dẫn nguồn cụ thể, rõ ràng, trung thực tên tác giả, tên cơng trình nghiên cứu, thời gian địa điểm công bố Mọi chép không hợp lệ vi phạm quy chế đào tạo xin chịu hoàn toàn trách nhiệm./ TP HCM , ngày 10 tháng 11 năm 2017 HỌC VIÊN THỰC HIỆN LUẬN VĂN Tơ Trọng Tín ii LỜI CẢM ƠN Trước hết xin gởi lời cảm ơn chân thành đến ban giám hiệu tập thể thầy cô học viện Công Nghệ Bưu Chính Viễn Thơng nói chung cở sở tp.HCM nói riêng quan tâm tổ chức giảng dạy khóa cao học cơng nghệ thơng tin tạo môi trường thuận lợi cho học tập nghiên cứu chuyên sâu CNTT Xin cảm ơn bạn bè đồng nghiệp động viên, giúp đỡ tạo điều kiện thuận lợi cho q trình thực luận văn Đặc biệt tơi xin gởi lời cảm ơn sâu sắc đến thầy giáo hướng dẫn khoa học – PGS.TS Trần Văn Lăng - tận tình bảo, hướng dẫn cho tơi q trình nghiên cứu thực luận văn Cuối cùng, tơi biết ơn gia đình tạo điều kiện thuận lợi cho yên tâm suốt thời gian nghiên cứu hoàn thành luận văn cao học TP HCM , ngày 10 tháng 11 năm 2017 HỌC VIÊN THỰC HIỆN LUẬN VĂN Tơ Trọng Tín iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH SÁCH HÌNH VẼ vi DANH SÁCH BẢNG viii MỞ ĐẦU .1 CHƯƠNG - TỔNG QUAN HỆ THỐNG PHÁT HIỆN XÂM NHẬP 1.1 Tổng quan công mạng .4 1.1.1 Khái niệm công mạng [8] 1.1.2 Các kiểu công mạng .4 1.2 Tổng quan hệ thống phát xâm nhập IDS 1.2.1 Các thành phần IDS 1.2.2 Chức IDS [10] .8 1.2.3 Quy trình hoạt động IDS .9 1.2.4 Phân loại IDS 10 1.3 Tiểu kết chương 13 CHƯƠNG - MƠ HÌNH MẠNG NEURAL 14 VÀ PHƯƠNG PHÁP HỌC SÂU .14 2.1 Tổng quan mạng Neural 14 2.1.1 Phân loại mạng Neural .16 2.1.2 Thuật toán học mạng Neural 18 2.1.3 Thuật toán lan truyền ngược ( Back propagation) [16] 20 2.2 Học sâu ( Deep Learning ) 22 2.2.1 Khái niệm .22 2.2.2 Kiến trúc mạng neural hồi quy (RNN) .23 2.2.3 Thuật toán lan truyền ngược liên hồi (BPTT) 26 2.2.4 Mơ hình mạng LSTM (Long – short term memory) [3][6][17] .30 2.3 Tiểu kết chương 34 CHƯƠNG - THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 35 3.1 Yêu cầu hệ thống phát xâm nhập 35 iv 3.2 Thiết lập thử nghiệm IDS sử dụng mơ hình mạng neural sâu .35 3.2.1 Thư viện hỗ trợ 36 3.2.2 Bộ liệu huấn luyện KDD99 36 3.2.2 Các phương pháp đánh giá .38 3.2.3 Model setup 39 3.3 Một số kết đánh giá 42 KẾT LUẬN .44 DANH MỤC TÀI LIỆU THAM KHẢO .45 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt DNN Deep Neural Network Mạng neural sâu ANN Artifical Neural Network Mạng neural nhân tạo IDS Intrusion Detection System Hệ thống phát xâm nhập Cơ sở liệu CSDL Dos Denial of Service Tấn công từ chối dịch vụ LSTM Long-Short term memory Bộ nhớ dài- ngắn hạn RNN Recurrent Neural Network Mạng neural hồi quy GPU Graphics Processing Unit Bộ xử lý đồ họa CPU Central Processing Unit Bộ xử lý trung tâm IPS Internet Service Provider Trung tâm cung cấp dịch vụ LAN Local Area Network Mạng cục VPN Virtual Private Network Mạng riêng ảo NIDS Network Based IDS IDS mạng HIDS Host Based IDS IDS máy tính OSI Open Systems Interconnection Mơ hình tham chiếu UDP User Datagram Protocol Giao thức cốt lỗi HTTP HyperText Transfer Protocol Giao thức truyền siêu văn FTP File Transfer Protoco Giao thức truyền file API Application Programming Interface Giao diện lập trình ứng vi DANH SÁCH HÌNH VẼ Hình 1.1 : Các thành phần Ids Hình 1.2: Quy trình hoạt động IDS 10 Hình 1.3 : Hệ thống IDS đặt sau firewall 11 Hình 1.4 : Hệ thống IDS đặt router firewall 12 Hình 2.1 : Ma trận đầu vào ma trận trọng số 14 Hình 2.2 : Kiến trúc mạng neural nhân tạo 14 Hình 2.3 : Mơ hình mạng neural lớp 17 Hình 2.4 : Mơ hình mạng neural nhiều lớp 17 Hình 2.5 : Mơ hình mạng neural truyền thẳng 18 Hình 2.6 : Mơ hình mạng neural hồi quy 18 Hình 2.7 : Mơ tả tiến trình học neural 19 Hình 2.8 Cấu trúc thuật tốn Back propagation 22 Hình 2.9: Mạng neural hồi quy dàn trải theo bước thời gian 24 Hình 2.10 Quá trình truyền ngược chuỗi liệu 27 Hình 2.11 biểu đồ đạo hàm 29 Hình 2.12 Các mô-đun lặp nút mạng RNN 30 Hình 2.13 Các mơ-đun lặp nút mạng LSTM 30 Hình 2.14 Miêu tả trạng thái tế bào 31 Hình 2.15 Dữ liệu truyền qua cổng quên 32 Hình 2.16 Dữ liệu truyền qua cổng đầu vào 32 Hình 2.17 Dữ liệu truyền qua trạng thái 32 Hình 2.18 Dữ liệu qua cổng hội tụ đầu 33 Hình 2.19 peephole connection thêm vào 33 Hình 2.20 Hợp định thêm vào bỏ 34 Hình 2.21 Mơ hình mạng GRU 34 Hình 3.1 Mơ hình IDS sử dụng RNN 35 Hình 3.2 Bảng phân loại cơng 37 Hình 3.3 Tỷ lệ loại cơng tập liệu 38 vii Hình 3.4 Tỷ lệ nhóm cơng tập liệu 38 Hình 3.5 minh họa trích xuất trafic tập liệu KDD99 40 Hình 3.6 minh họa dịch trafic tập liệu KDD99 40 Hình 3.7 Tỷ lệ DR FAR thay đổi learning rate 41 Hình 3.8 Tỷ lệ DR FAR thay đổi lớp ẩn 41 Hình 3.9 Liệt kê loại công phát 42 Hình 3.10 Các loại cơng dự đốn so với công thật 42 Hình 3.11 Confusion matrix 42 Hình 3.12 Confusion matrix chuẩn hóa 43 viii DANH SÁCH BẢNG Bảng 3.1 So sánh hiệu suất thuật tốn học 43 32 Hình 2.15: Dữ liệu truyền qua cổng quên Bước định xem thông tin ta lưu vào trạng thái tế bào Việc gồm phần Đầu tiên sử dụng tầng sigmoid gọi “tầng cổng vào” (đầu vào gate layer) để định giá trị ta cập nhập Tiếp theo tầng tạo véc-tơ cho giá trị Ct nhằm thêm vào cho trạng thái Trong bước tiếp theo, ta kết hợp giá trị lại để tạo cập nhập cho trạng thái Hình 2.16: Dữ liệu truyền qua cổng đầu vào Giờ lúc cập nhập trạng thái tế bào cũ Ct−1 thành trạng thái Ct Ở bước trước định việc cần làm, nên ta cần thực xong Ta nhân trạng thái cũ với ft để bỏ thơng tin ta định qn lúc trước Sau cộng thêm it ∗ Ct~ Trạng thái thu phụ thuộc vào việc ta định cập nhập giá trị trạng thái Hình 2.17: Dữ liệu truyền qua trạng thái 33 Cuối cùng, ta cần định xem ta muốn đầu Giá trị đầu dựa vào trạng thái tế bào, tiếp tục sàng lọc Đầu tiên, ta chạy tầng sigmoid để định phần trạng thái tế bào ta muốn xuất Sau đó, ta đưa trạng thái tế bảo qua hàm để có giá trị khoảng [-1, 1], nhân với đầu cổng sigmoid để giá trị đầu ta mong muốn Hình 2.18: Dữ liệu qua cổng hội tụ đầu Các biến thể mơ hình LSTM Mơ hình LSTM ta vừa nêu mơ hình tiêu chuẩn xây dựng sở mạng neural hồi quy, ngày có nhiều báo áp dụng phiên LSTM khác nhau, khác không lớn, chúng giúp giải phần cấu trúc LTSM Một dạng LTSM phổ biến giới thiệu Gers & Schmidhuber (2000)[8] thêm đường kết nối “peephole connections”, làm cho tầng cổng nhận giá trị đầu vào trạng thái tế bào Hình 2.19: peephole connection thêm vào Một biến thể khác nối cổng loại trừ đầu vào với Thay phân tách định thông tin loại trừ thông tin thêm vào, ta định chúng với nhau, bỏ thông tin mà ta thay thơng tin đưa vào, thơng tin đưa vào thơng tin cũ bỏ đi 34 Hình 2.20: Hợp định thêm vào bỏ Một biến thể thú vị khác LSTM Gated Recurrent Unit, hay GRU giới thiệu Cho, et al (2014) [9] Nó kết hợp cổng loại trừ đầu vào thành cổng “cổng cập nhập” (update gate), hợp trạng thái tế bào trạng thái ẩn với tạo thay đổi khác Hình 2.21: Mơ hình mạng GRU Kết mơ hình nhớ dài – ngắn hạn đơn giản mô hình LSTM chuẩn 2.3 Tiểu kết chương Chương nêu lên cách phân loại đặc điểm mạng neural, cách thức liệu truyền thuật toán học trọng tâm thuật toán lan truyền ngược nêu lên khái niệm nội dung mạng neural với hướng tiếp cận học sâu, trọng tâm cách xử lý liệu mơ hình mạng neural hồi quy thuật toán lan truyền ngược liên hồi 35 CHƯƠNG - THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 Yêu cầu hệ thống phát xâm nhập - Phát cơng mạng cách xác Một hệ thống phát xâm nhập mạng với thuật tốn có độ xác cao bảo vệ tốt an toàn cho hệ thống đồng thời giảm bất lợi việc báo động sai hệ thống phát xâm nhập gây - Phát sớm công mạng - Hỗ trợ tốt cho người quản trị (cung cấp thông tin công) 3.2 Thiết lập thử nghiệm IDS sử dụng mơ hình mạng neural sâu Hình 3.1: Mơ hình IDS sử dụng RNN Các loại cơng mạng phân chia thành năm lớp : DoS, U2R, R2L, Probe liệu bình thường (Normal) Ta xem tốn phát cơng mạng toán dự đoán phân lớp Trong phạm vi nghiên cứu tơi lựa chọn mơ hình phân loại dựa mạng neural đa lớp mạng neural hồi quy (RNN), mơ hình huấn luyện liệu KDD Cup 1999, thuật toán xây dựng ngôn ngữ python thư viện keras, sklearn, chạy tảng tensorflow môi trường spyder windows 10, thử nghiệm gồm hai phần : 36 1) Tìm trọng số tối ưu để huấn luyện mạng neural, lựa chọn tiêu chuẩn đánh giá kết chung, hàm kích hoạt thích hợp với mạng neural chuẩn hóa liệu đầu vào 2) Huấn luyện ghi nhận hiệu suất từ mạng neural đa lớp MLP, LSTMRNN, so sánh đánh giá mơ hình 3.2.1 Thư viện hỗ trợ Keras thư viện Python để học tập sâu chạy tảng Theano TensorFlow Keras phát triển để làm cho việc triển khai mơ hình học tập sâu nhanh dễ dàng cho việc nghiên cứu phát triển Nó chạy Python 2,7 3,5 thực GPUs CPU cho khuôn mẫu bản, Keras c phỏt trin v trỡ bi Franỗois Chollet, Google Scikit-learn (viết tắt sklearn) thư viện mã nguồn mở dành cho học máy, mạnh mẽ thông dụng với cộng đồng Python, thiết kế NumPy SciPy Scikit-learn chứa hầu hết thuật toán machine learning đại nhất, kèm với documentations, cập nhật TensorFlow tảng phần mềm nguồn mở để tính tốn số liệu sử dụng đồ thị lưu lượng liệu Các nút biểu đồ biểu diễn phép toán toán học, cạnh biểu đồ đại diện cho mảng liệu đa chiều (tensors) truyền đạt chúng Kiến trúc linh hoạt cho phép triển khai tính tốn cho nhiều CPU GPU cho pc , máy chủ thiết bị di động với API TensorFlow ban đầu phát triển nhà nghiên cứu kỹ sư làm việc Nhóm Google Brain tổ chức nghiên cứu máy tính Google nhằm mục đích tiến hành nghiên cứu máy móc nghiên cứu mạng thần kinh sâu hệ thống chung chung đủ để áp dụng nhiều lĩnh vực khác 3.2.2 Bộ liệu huấn luyện KDD99 Tập liệu KDD99 sử dụng để đo lường hiệu suất IDS nhiều nghiên cứu tập liệu cũ có nhiều kết đo hiệu năng, thích hợp để so sánh với mơ hình khác 37 Tập liệu KDD99 có tất 4,898,431 traffic mạng traffic có 41 đặc trưng, đặc trưng bao gồm loại giao thức, dịch vụ cờ : ‘duration’,‘protocol_type’,‘service’,‘flag’,‘src_bytes’,‘dst_bytes’,‘land’,‘wrong_fra gment’,‘urgent’,‘hot’,‘num_failed_logins’,‘logged_in,num_compromised’,‘root_sh ell’,‘su_attempted’,‘num_root’,‘num_file_creations’,‘num_shells’,‘num_access_file s’,‘num_outbound_cmds’,‘is_host_login’,‘is_guest_login’,‘count’,‘srv_count’,‘serr or_rate’,‘srv_serror_rate’,‘rerror_rate’,‘srv_rerror_rate’,‘same_srv_rate’,‘diff_srv_r ate’,‘srv_diff_host_rate’,‘dst_host_count’,‘dst_host_srv_count’,‘dst_host_same_srv _rate’,‘dst_host_diff_srv_rate’,‘dst_host_same_src_port_rate’,‘dst_host_srv_diff_h ost_rate’,‘dst_host_serror_rate’,‘dst_host_srv_serror_rate’,‘dst_host_rerror_rate’,‘d st_host_srv_rerror_rate’,‘outcome’ Có 23 kiểu cơng phân loại theo số đặc trưng đó, 23 loại cơng phân làm danh mục Dos, R2L, U2R Probe Hình 3.2: Bảng phân loại cơng Cơng đoạn phải thực xác định chia tập liệu thành thành phần, dùng 60% liệu để huấn luyện 40% liệu dùng để kiểm tra, ta không cần sử dụng tập liệu chưa gán nhãn khác để kiểm tra khả phát mạng neural, sau trình huấn luyện 60% liệu, mạng neural dùng fit model để cố gắng gán nhãn 40% liệu lại sau cập nhật trọng số để mạng neural đạt hiệu cao nhất, đa số tập liệu công Dos tập liệu bình thường nên thuật tốn đào tạo cách chênh lệch Tiếp theo ta phân tích tập liệu KDD99 để thấy thông tin cần thiết chênh lệch liệu cơng (hình 3.3); tỷ lệ tương thích với 23 cơng tồn tập liệu phân loại theo biểu đồ loại cơng liệu bình thường (hình 3.4) 38 Hình 3.3: Tỷ lệ loại cơng tập liệu Hình 3.4: Tỷ lệ nhóm công tập liệu 3.2.2 Các phương pháp đánh giá Khi xây dựng mơ hình Machine Learning, cần phép đánh giá để xem mô hình sử dụng có hiệu khơng để so sánh khả mơ hình, ta dùng phương pháp Accuracy (độ xác) để tính tỉ lệ số điểm dự đoán tổng số điểm tập liệu kiểm thử Cách tính sử dụng accuracy cho biết phần trăm lượng liệu phân loại mà không cụ thể loại phân loại nào, lớp phân loại nhiều nhất, liệu thuộc lớp thường bị phân loại nhầm vào lớp khác Để đánh giá giá trị này, sử dụng ma trận gọi confusion matrix Confusion matrix ma trận vuông với số chiều số lượng công tập liệu Giá trị hàng thứ i, cột thứ j số lượng điểm lẽ thuộc vào lớp i lại dự đoán thuộc vào lớp j Confusion matrix có loại ma trận unnormalized confusion matrix normalized confusion matrix, để có normalized confusion matrix ta lấy hàng unnormalized confusion matrix chia cho tổng phần tử hàng 39 Tiếp theo ta lấy tỷ lệ phát ( DR – Detection Rate ) tỷ lệ phát sai ( FAR – False Alarm Rate) làm thước đo đánh giá độ nghiêm trọng lớp hệ thống phân lớp , DR biểu thị tỷ lệ trường hợp công bị phát thuật toán FAR tỷ lệ trường hợp thường bị phát sai Dựa ma trận sai số, cách tính số thực sau : DR = TP / (TP + FN ) FAR = FP / ( TN + FP ) Trong ( TP - True Positive ) số mẫu phân lớp chấp nhận , ( TN – True Negative ) số mẫu phân lớp bị từ chối, ( FP – False Positive ) số mẫu phân lớp sai chấp nhận, ( FN – False Negative ) số mẫu phân lớp sai bị từ chối Các số TP, TN, FN FP tính dựa normalized confusion matrix Khi số DR tăng số FAR giảm hiệu suất phát triển đánh giá tốt Efficiency = DR.FAR 3.2.3 Model setup Trước sử dụng tập liệu huấn luyện thực chuẩn hóa tất trường hợp từ đến 1, đầu vào có tất 41 trường đặc điểm đầu có loại cơng loại liệu bình thường Do mạng neural yêu cầu đầu vào phải cột có giá trị số cố định, liệu bảng tính phải có đầu vào hồn tồn số nên ta phải mã hóa véc-tơ đặc điểm cho loại liệu khác nhau, thư viện Tensorflow Scikit-learn có số đoạn mã dùng để mã hóa véc-tơ tăng số chiều véc-tơ sau : - Encode_text_dummy : dùng để mã hóa trường văn bản, giống loại công trường lớp, lớp mã hóa thành “1, , 0, 0”, “0, 1, 0, 0”, “0, 0, 1, 0”, “0, 0, 0, 1”, phương pháp mã hóa trình dự đốn non-target 40 - Encode_text_index : Giống Encode_text_dummy, mã mã hóa trường văn thành số đại diện lớp “0”, “1”, “2”, “3”, phương pháp mã hóa trình dự đốn có mục tiêu - Encode_numeric_zscore : Mã hoá giá trị số dạng z-score Hình 3.5: minh họa trích xuất trafic tập liệu KDD99 Hình 3.6: minh họa dịch trafic tập liệu KDD99 Sau mã hóa véc-tơ 41 đặc trưng tập liệu KDD99 cũ dịch thành 120 đặc trưng tập liệu đưa vào mơ hình neural để huấn luyện Ở thử nghiệm ta cài đặt mạng neural đa lớp với số lớp 4, lớp đầu vào có 10 node, lớp ẩn có lớp 50 node, 10 node hàm kích hoạt với lớp ReLU - Hàm kích hoạt cho lớp đầu : hàm Softmax - Trình tối ưu hóa : Stochastic GradientDescent (SGD) 41 - Hàm Loss : Mean Square Error (MSE) tính Accuracy tỷ lệ cơng dự đốn tổng cơng dự đoán Ở thử nghiệm thứ áp dụng kiến trúc RNN LSTM vào lớp ẩn, tham số time-step, batch-size epoch 100, 50, 500 - Hàm kích hoạt cho lớp đầu : hàm Softmax - Trình tối ưu hóa : Stochastic GradientDescent (SGD) - Hàm Loss : Mean Square Error (MSE) tính Accuracy tỷ lệ cơng dự đốn tổng cơng dự đốn - Learning rate momentum 0.01 0,06 Learning rate số kích thước lớp ẩn trọng số có ảnh hưởng đến kết mơ hình huấn luyện, tùy vào giá trị chúng mà hiệu suất bị thay đổi Kalus Greff et al phân tích tác động siêu tham số Trong số đó, họ nhận thấy việc học tỷ lệ kích thước lớp ẩn có ảnh hưởng lớn đến hiệu suất [4], learning rate nên chọn số khoảng 0.0001 0.1 số DR FAR có tỷ lệ tốt learning rate 0.1 số lớp ẩn 80 [5] Hình 3.7: Tỷ lệ DR FAR thay đổi learning rate Hình 3.8: Tỷ lệ DR FAR thay đổi lớp ẩn 42 3.3 Một số kết đánh giá Kết huấn luyện mô hình phát 23 loại cơng tương ứng với thơng tin liệu (hình 3.9) Hình 3.9: Liệt kê loại cơng phát Hình 3.10: Các loại cơng dự đốn so với cơng thật Hình 3.11: Confusion matrix 43 Hình 3.12: Confusion matrix chuẩn hóa Để đánh giá khách quan, so sánh hiệu suất với thuật toán máy học SVM bayesian, tỷ lệ accuracy thể hiệu thuật tốn q trình huấn luyện Bảng 4.1: So sánh hiệu suất thuật toán học DR FAR Accuracy Bayesian 77,65% 17,57% 88,46% SVM 87,65% 6,12% 90,4% MLP 96,33% 7,34% 96,89% LSTM-RNN 98,8% 10,05% 97,3% Với bảng kết ta thấy số FAR LSTM-RNN cao mơ hình MLP số DR Accuracy lại khả quan hơn, đặc tính dùng chung trọng số xuyên suốt nên training tập test ban đầu có số phát sai sau độ xác lại đạt cao hơn, điều thể ưu điểm Deep Learning phát công mạng nhanh cho tỷ lệ xác cao đặc biệt với liệu nhiều thời gian huấn luyện lâu Trong tốn phát cơng mạng, mơ hình neural đa lớp LSTM đáp ứng yêu cầu mà toán đề ra, việc sử dụng mơ hình học sâu vào việc phát cơng mạng hồn tồn phù hợp 44 KẾT LUẬN Luận văn kết sau : - Nghiên cứu tổng quan hệ thống IDS cơng mạng từ biết đặc điểm mối đe dọa cách thức vận hành tìm kiếm hướng phát triển cho hệ thống IDS - Tìm hiểu trình lan truyền liệu mạng neural, mạng neural đa lớp mạng neural hồi quy, mạng neural để ngõ cách thức mà chúng xử lý liệu, hiểu rõ mạng neural cách chúng học từ liệu ta phát triển mạng neural ngày tốt phù hợp - Hướng tiếp cận đề tài áp dụng mạng neural đa lớp với hàm kích hoạt ReLU ( so với hàm kích hoạt Gradient Descent Sigmoid ) mạng neural hồi quy với mơ hình dài-ngắn hạn (LSTM) tập liệu KDD99 Ngồi áp dụng hàm đo độ mát MSE với hiệu đánh giá tổng bình phương tồn độ mát lớp ẩn  Kết thực nghiệm đạt hiệu ngang mạng neural đa lớp mạng hồi quy thuật toán xây dựng để nghiên cứu khơng phải mục đích thương mại, khơng đáp ứng đủ yêu cầu phần cứng, thời gian huấn luyện kích thước tập huấn luyện nên độ chênh lệch thấp Mơ hình mạng neural hồi quy đạt hiệu cao mạng neural đa lớp đặt ngữ cảnh huấn luyện khác Từ kết đặt vấn đề nghiên cứu bỏ ngõ sau: - Cần nghiên cứu mơ hình với tham số hàm số khác để tìm số thích hợp làm tăng hiệu suất thuật toán - Năng lực xử lý liệu tính tốn hệ thống máy đóng vai trò quan trọng việc khai thác thuật toán; đặc biệt thuật toán học sâu yêu cầu lượng lớn nhớ để huấn luyện - Ứng dụng thuật toán vào tập liệu cơng khác bao gồm tập liệu có gán nhãn khơng có gán nhãn 45 DANH MỤC TÀI LIỆU THAM KHẢO [1] Roberto Perdisci, Guofei Gu, Wenke Lee, “Using an Ensemble of One-Class SVM Classifiers to Harden Payload-based Anomaly Detection Systems”, Sixth International Conference on Data Mining, Hong Kong, China, ISBN: 0-7695-27017,DOI: 10.1109/ ICDM.2006.165 [2] Geoffrey E Hinton, Simon Osindero, Yee-Whye Teh, “A Fast Learning Algorithm for Deep Belief Nets”, Neural Computation, Volume: 18, Issue: 7, pp 1527-1554, DOI: 10.1162/neco.2006.18.7.1527 [3] Olalekan Ogunmolu, Xuejun Gu, Steve Jiang, Nicholas Gans, Nonlinear Systems Identification Using Deep Dynamic Neural Networks, American Control Conference (ACC) Seattle, WA, 2017 [4] Jihyun Kim, Jaehyun Kim, Huong Le Thi Thu, and Howon Kim, “Long Short Term Memory Recurrent Neural Network Classifier for Intrusion Detection”, Platform Technology and Service (PlatCon) 2016, Jeju, South Korea, Electronic ISBN: 978-1-4673-8685-2, CD-ROM ISBN: 978-1-4673-8684-5, DOI: 10.1109/PlatCon.2016.7456805 [5] Hoàng Ngọc Thanh, Trần Văn Lăng, Hoàng Tùng, Một tiếp cận máy học để phân lớp kiểu công hệ thống phát xâm nhập, Kỷ yếu Hội nghị Quốc gia lần thứ IX Nghiên cứu Ứng dụng Công nghệ thông tin, – FAIR'2016, Cần Thơ, 04-05/8/2016, ISBN: 978-604-913-472-2, NXB Khoa học tự nhiên Công nghệ, DOI: 10.15625/vap.2016.00061, (2016) 502-508 [6] Hochreiter, Sepp, Jrgen Schmidhuber, Long short-term memory, Neural computation, (9)8, (1997) 1735-1780 [7] Bengio, Yoshua, S Patrice, F.Paolo, Learning long-term dependencies with gradient descent is difficult, Neural Networks, IEEE Transactions on Neural Networks, DOI: 10.1109/72.279181, (5)2 (1994) 157-166 [8] Felix Gers, Jurgen Schmidhuber, Recurrent nets that time and count, Neural Networks, 2000 IJCNN 2000, Proceedings of the IEEE-INNS-ENNS International Joint Conference on, Volume: 3, DOI: 10.1109/IJCNN.2000.861302 46 [9] Junyoung Chung, KyungHyun Cho, Caglar Gulcehre, Y Bengio, Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling, NIPS 2014 Deep Learning and Representation Learning Workshop, Neural and Evolutionary Computing (cs.NE), arXiv:1412.3555 [cs.NE] [10] http://bis.net.vn/forums/t/482.aspx [11] https://ongxuanhong.wordpress.com/category/data-science/deep-learning [12] http://antoanthongtin.vn/Detail.aspx?NewsID=f2df9fe9-de8a-407c-b1e95ea632e02b92&CatID=be577820-e67b-4ac6-95a9-b2c1cd87aa5f [13] https://quantrimang.com/he-thong-phat-hien-xam-pham-ids-phan-1-37334 [14] https://argron.wordpress.com/2012/09/29/ids-tong-quan-cac-thanh-phan-vaphuong-thuc-hoat-dong/ [15] http://bis.net.vn/forums/t/482.aspx [16] https://machinelearningcoban.com/2017/02/24/mlp/ [17] https://vi.wikipedia.org/wiki/H%E1%BB%8Dc_s%C3%A2u#Ki.E1.BA [18] http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1introduction-to-rnns/ [19] https://colah.github.io/posts/2015-08-Understanding-LSTMs/ ... CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING để nghiên cứu thử nghiệm hướng tiếp cận máy học vào công việc phát công mạng 4 CHƯƠNG - TỔNG QUAN HỆ THỐNG PHÁT HIỆN... - TÔ TRỌNG TÍN NGHIÊN CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ : 8480104 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng... độ phát nhanh phải nghiên cứu áp dụng kỹ thuật phân loại, so sánh tiến hơn, có hướng tiếp cận khắc phục hạn chế cũ kỹ thuật máy học (machine learning) , kỹ thuật học sâu (deep learning) dựa thuật