Phát triển một số mô hình phát hiện bất thường mạng dựa trên học sâu và tổng hợp dữ liệu

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG BÙI CƠNG THÀNH PHÁT TRIỂN MỘT SỐ MƠ HÌNH PHÁT HIỆN BẤT THƯỜNG MẠNG DỰA TRÊN HỌC SÂU VÀ TỔNG HỢP DỮ LIỆU LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI – 2021 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG BÙI CƠNG THÀNH PHÁT TRIỂN MỘT SỐ MƠ HÌNH PHÁT HIỆN BẤT THƯỜNG MẠNG DỰA TRÊN HỌC SÂU VÀ TỔNG HỢP DỮ LIỆU CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: : 9.48.01.04 LUẬN ÁN TIẾN SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HOÀNG MINH PGS TS NGUYỄN QUANG UY HÀ NỘI – 2021 i TÓM TẮT Sự phát triển nhanh mạng máy tính IoT (sau gọi mạng) dịch vụ hạ tầng kéo theo thách thức lớn vấn đề bảo đảm an ninh mạng Tìm kiếm giải pháp phát công mạng nhiệm vụ trọng tâm cho bảo vệ an ninh mạng, phát bất thường mạng (Network Anomaly Detection -NAD) nhiều học giả quan tâm nghiên cứu năm qua NAD lĩnh vực nghiên cứu để tìm giải pháp hiệu phân tách trạng thái bình thường bất thường mạng Học máy biết phương pháp chủ yếu cho xây dựng thuật tốn phát bất thường Các mơ hình học máy huấn luyện với liệu bình thường hay gọi phân đơn lớp (One-class Classification - OCC) cho lựa chọn phù hợp cho thấy kết phát bất thường hiệu Những năm gần đây, phát triển kỹ thuật học sâu (deep learning) mạng lại nhiều thành tựu lĩnh vực, học sâu dựa kiến trúc AutoEncoders (AE) công nhận rộng rãi phương pháp tiên tiến, có khả giải vấn đề phức tạp phát bất thường mạng, tiêu biểu SAE (Shrink AutoEncoder) Mặc dù vậy, phương pháp NAD cần phải liên tục nghiên cứu cải tiến để đáp ứng tốt mà nguy đe doạ an ninh mạng ngày tăng Thêm vào đó, phương pháp NAD đơn lẻ dựa OCC nhìn chung phải đối mặt với số thách thức khác như: phương pháp đơn cho hiệu điều kiện môi trường mạng cụ thể; phương pháp OCC cần hỗ trợ chuyên gia để đưa ngưỡng định, u cầu mơ hình phát công triển khai thực tế Luận án hướng tới mục tiêu nghiên cứu cải tiến phương pháp phát bất thường mạng theo hướng giải số vấn đề đặt Kết số ii nội dung thực gồm (i) Đã đề xuất giải pháp cho cải tiến số hạn chế phương pháp học sâu NAD tiêu biểu, thuật toán cải tiến cho phép xây dựng mơ hình NAD hiệu điều kiện liệu đối tượng quan sát có tính phân cụm cao, tồn dạng nhiều cụm; phát hiệu nhóm cơng mạng mà mơ hình tiêu biểu dựa học sâu AutoEncoder gặp khó (ii) Luận án đề xuất mơ hình khung tổng hợp liệu, có tên OFuseAD, cho tốn phát bất thường Mơ hình đạt từ kết cải tiến lý thuyết Dempster-Shafer, giải thách thức kết hợp phương pháp OCC xác định ngưỡng, trọng số cho kết hợp, sở chọn lựa phương pháp đơn tham gia mô hình tổng hợp Kết thử nghiệm mơ hình OFuseAD mười tập liệu phổ biến lĩnh vực an ninh mạng cho thấy mơ hình hoạt động khả thi, cho hiệu phát bất thường hiệu quả, ổn định so với phương pháp đơn OCC đa số tập liệu (9/10 tập liệu thực nghiệm) Ngồi ra, mơ hình OFuseAD hoạt động mà không cần can thiệp cuả chuyên gia thiết lập ngưỡng định Các vấn đề luận án nghiên cứu, giải Các đóng góp luận án cơng bố cơng trình khoa học có uy tín Trong hiểu biết nghiên cứu sinh, đóng góp luận án không trùng với kết nghiên cứu cơng bố ngồi nước iii LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận án kết nghiên cứu thực tác giả hướng dẫn thầy hướng dẫn khoa học Luận án sử dụng trích dẫn thơng tin từ nhiều nguồn khác có nguồn gốc rõ ràng Những đóng góp luận án công bố báo tác giả chưa cơng bố cơng trình khoa học khác Hà Nội, ngày tháng năm 2021 iv LỜI CẢM ƠN Thực luận án Tiến sĩ đòi hỏi nghiên cứu sinh phải tập trung cao độ, thời gian dài Kết nghiên cứu NCS góp sức lớn từ thầy hướng dẫn khoa học, sở đào tạo, quan công tác, đồng nghiệp đặc biệt gia đình Tơi muốn bày tỏ lòng biết ơn họ Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc đến Thầy giáo PGS.TS Hoàng Minh PGS.TS Nguyễn Quang Uy tận tình hướng dẫn, trang bị kiến thức khoa học phương pháp nghiên cứu để hồn thành nội dung nghiên cứu luận án Tơi xin cảm ơn TS Cao Văn Lợi góp ý hữu ích, giúp tơi thêm động lực nghiên cứu Nghiên cứu sinh xin bày tỏ lòng biết ơn chân thành tới Học viện Cơng nghệ Bưu Viễn thông, Khoa Sau đại học, thầy cô giáo giúp đỡ tơi suốt q trình tham gia học tập Nghiên cứu sinh xin bày tỏ lòng biết ơn đến BTL Thông tin liên lạc, Thủ trưởng đồng chí Trung tâm Kỹ thuật thơng tin cơng nghệ cao giúp đỡ, tạo điều kiện thời gian cho Cuối cùng, nghiên cứu sinh vô biết ơn đến gia đình bạn bè người thân, bố mẹ hai bên ln động viên khích lệ tơi, vợ tơi Đặng Thị Bích ln cổ vũ động viên, chăm sóc gia đình để tơi yên tâm nghiên cứu hoàn thành luận án NCS Bùi Cơng Thành v MỤC LỤC TĨM TẮT i LỜI CAM ĐOAN iii LỜI CẢM ƠN iv MỤC LỤC v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT viii DANH MỤC CÁC BẢNG BIỂU xii DANH MỤC CÁC HÌNH VẼ xii PHẦN MỞ ĐẦU 1 Giới thiệu Tính cấp thiết luận án 3 Phát biểu toán Mục tiêu luận án 10 Đối tượng Phạm vi luận án 11 Phương pháp nghiên cứu 11 Đóng góp luận án 12 Bố cục luận án 12 CHƯƠNG TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG MẠNG 1.1 1.2 13 Hệ thống phát bất thường mạng 13 1.1.1 Khái niệm 13 1.1.2 Mơ hình phát bất thường mạng 15 1.1.3 Lưu lượng mạng 18 1.1.4 Đầu mơ hình NAD 19 Một số phương pháp đơn cho phát bất thường mạng 20 vi 1.3 1.4 1.5 1.2.1 Một số phương pháp OCC truyền thống 21 1.2.2 Phương pháp OCC học sâu 29 Phát bất thường dựa tổng hợp, kết hợp 35 1.3.1 Tổng hợp theo lai ghép 36 1.3.2 Tổng hợp theo học cộng đồng 36 1.3.3 Tổng hợp liệu 38 1.3.4 Tổng hợp liệu dựa lý thuyết Dempster-Shafer 40 Đánh giá giải pháp 46 1.4.1 Bộ liệu cho kiểm thử 46 1.4.2 Các số đánh giá 50 Kết luận 54 CHƯƠNG PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN HỌC SÂU AUTOENCODER 56 2.1 Giới thiệu 56 2.2 Giải pháp đề xuất 58 2.3 2.2.1 Giải pháp Clustering-Shrink AutoEncoder 59 2.2.2 Giải pháp Double-shrink AutoEncoder 61 Thực nghiệm 65 2.3.1 Dữ liệu thực nghiệm 65 2.3.2 Phương pháp xác định số cụm tối ưu 66 2.3.3 Thiết lập tham số thực nghiệm 67 2.4 Kết đánh giá 68 2.5 Kết luận 79 CHƯƠNG PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN TỔNG HỢP DỮ LIỆU 82 3.1 Giới thiệu 82 3.2 Giải pháp đề xuất 86 3.2.1 Các thành phần phương pháp OFuseAD 86 vii 3.2.2 3.3 Cơ chế hoạt động OFuseAD 97 Thực nghiệm 98 3.3.1 Dữ liệu thực nghiệm 98 3.3.2 Thiết lập tham số thực nghiệm 98 3.4 Kết đánh giá 99 3.5 Kết luận 109 KẾT LUẬN 112 Một số kết luận án 113 Một số giới hạn luận án 114 Hướng nghiên cứu tương lai 115 CÁC CƠNG TRÌNH LIÊN QUAN ĐẾN LUẬN ÁN 116 TÀI LIỆU THAM KHẢO 118 viii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Viết tắt Viết đầy đủ Nghĩa ACC Accuracy Chỉ số độ xác AD Anomaly Detection Phát bất thường AE AutoEncoder Kiến trúc mạng nơ-ron AutoEncoder ANN Artificial Neural Net- Mạng nơ-ron nhân tạo work AS Anomaly Score BPA Basic Probability As- Hàm gán trọng số lý thuyết AUC Độ đo bất thường signment D-S Area Under the Curve Chỉ số đo dựa diện tích đường cong ROC Bayes A Bayesian Inference Suy luận Bayes CEN Centroid Thuật tốn Centroid CNN Convolution Neural Mạng nơ-ron tích chập Network KSAE Clustering-Shrink Mơ hình kết hợp phân cụm SAE Autoencoder CTU Czech Technical Univer- Đại học kỹ thuật Séc sity DAE Denoising Autoencoder Mạng giảm nhiễu AE DARPA Defence Advanced Re- Tổ chức DARPA search Project Agency DBN Deep Belief Network Mạng niềm tin theo học sâu DeAE Deep AutoEncoder Mạng nơ-ron học sâu AE ...HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG BÙI CƠNG THÀNH PHÁT TRIỂN MỘT SỐ MƠ HÌNH PHÁT HIỆN BẤT THƯỜNG MẠNG DỰA TRÊN HỌC SÂU VÀ TỔNG HỢP DỮ LIỆU CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: :... biểu dựa học sâu; phát triển mơ hình khung cho NAD dựa tổng hợp liệu Chi tiết phát biểu toán gồm: • Vấn đề thứ nhất, phương pháp học sâu dựa AutoEncoder cho phương pháp tiên tiến cho phát bất thường. .. cho phát bất thường mạng phát triển dựa học sâu AutoEncoder Phương pháp huấn luyện để tìm cách biểu diễn liệu bình thường vùng chụm gốc toạ độ không gian xem xét Do vậy, với đầu vào liệu bất thường