Nghiên cứu phát triển dịch vụ quản lý các hệ thống phát hiện và phòng chống xâm nhập

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ SANGKHOM SENGOULICHANH NGHIÊN CỨU PHÁT TRIỂN DỊCH VỤ QUẢN LÝ CÁC HỆ THỐNG PHÁT HIỆN VÀ PHÒNG CHỐNG XÂM NHẬP LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Hà Nội - 2021 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ SANGKHOM SENGSUOLICHANH NGHIÊN CỨU PHÁT TRIỂN DỊCH VỤ QUẢN LÝ CÁC HỆ THỐNG PHÁT HIỆN VÀ PHÒNG CHỐNG XÂM NHẬP LUẬN VĂN THẠC SỸ HỆ THỐNG THƠNG TIN Chun ngành: Hệ thống thơng tin Người hướng dẫn luận văn: PGS.TS Nguyễn Ngọc Hóa Hà Nội - 2021 LỜI CẢM ƠN Em xin chân thành cảm ơn thầy cô giáo trường Đại học Công Nghệ, Đại Học Quốc Gia Hà Nội, tận tình hướng dẫn, giảng dạy suốt trình học tập, nghiên cứu trường Em xin gửi lời cảm ơn sâu sắc đến giảng viên PGS.TS Nguyễn Ngọc Hóa tồn thể quý thầy cô thuộc môn Hệ Thống Thông Tin Thầy, tận tình hướng dẫn định hướng cho em hồn thành khóa luận Mặc dù có nhiều cố gắng thực đề tài luận văn cách hồn chỉnh Song luận văn cịn nhiều thiếu sót Rất mong góp ý quý thầy, bạn để luận văn hồn chỉnh Em xin chân thành cảm ơn! Hà Nội, tháng 11 năm 2021 Sangkhom Sengsoulichanh i LỜI CAM ĐOAN Em xin cam đoan kết báo cáo đạt luận văn em thực hướng dẫn PGS.TS Nguyễn Ngọc Hóa Tất tham khảo từ nghiên cứu liên quan nêu nguồn gốc cách rõ ràng từ danh mục tài liệu tham khảo luận văn Luận văn không chép tài liệu, cơng trình nghiên cứu người khác mà không rõ mặt tài liệu tham khảo Các kết thực nghiệm luận văn tiến hành thực nghiệm thống kê từ kết thực tế Tác giả Sangkhom Sengsoulichanh ii Mục lục GIỚI THIỆU CHUNG 1.1 Động lực nghiên cứu 1.2 Mục tiêu nội dung nghiên cứu 1.3 Tổ chức luận văn TỔNG QUAN VỀ HỆ THỐNG PHÁT HIỆN VÀ PHÒNG CHỐNG XÂM NHẬP MẠNG IDPS 2.1 Giới thiệu chung xâm nhập, phát ngăn chặn xâm nhập 2.1.1 Giới thiệu chung xâm nhập 2.1.2 Giới thiệu chung phát xâm nhập 12 2.1.3 Giới thiệu chung hệ thống ngăn chặn xâm nhập 15 2.1.4 Giới thiệu chung hệ thống phát ngăn chặn xâm nhập 17 Kỹ thuật phát xâm nhập dựa bất thường 18 2.2.1 Kỹ thuật phát xâm nhập dựa thống kê 19 2.2.2 Kỹ thuật phát xâm nhập dựa tri thức 19 2.2.3 Kỹ thuật phát xâm nhập dựa học máy 20 2.3 Phát xâm nhập dựa học sâu 23 2.4 Phần cứng hệ thống phát xâm nhập 26 2.5 Quản lý cộng tác hệ thống phát xâm nhập 29 2.5.1 Hệ thống quản lý hệ thống phát ngăn chặn xâm nhập 29 2.5.2 Mơ hình nhiều lớp phát ngăn chặn xâm nhập 30 2.5.3 Mạng phát xâm nhập cộng tác 31 2.6 Một số thách thức phát ngăn chăn xâm nhập 32 2.7 Kết luận chương 36 2.2 GIẢI PHÁP QUẢN LÝ CÁC HỆ THỐNG PHÁT HIỆN PHÒNG CHỐNG XÂM NHẬP MẠNG VÀ MÁY CHỦ 37 3.1 Giới thiệu 37 3.2 Giải pháp quản lý hệ thống NetIPS HostIPS 40 3.2.1 Kiến trúc hệ thống IPSManager 40 3.2.2 Các phân hệ chức 42 iii MỤC LỤC iv 3.3 Phân tích, đánh giá yêu cầu cụ thể 43 3.3.1 Yêu cầu phi chức 43 3.3.2 Yêu cầu chức 43 Thiết kế chi tiết 44 3.4.1 Xác định tác nhân ca sử dụng 44 3.4.2 Biểu đồ ca sử dụng 45 3.4.3 Biểu đồ 49 3.4.4 Lược đồ liệu 50 Kết chương 52 3.4 3.5 THỰC NGHIỆM 53 4.1 Xây dựng dịch vụ IPS Manager 53 4.2 Môi trường phát triển thử nghiệm 53 4.3 Kết xây dựng dịch vụ IPSManager 54 4.3.1 Tập API phía back-end 54 4.3.2 Quản lý HostIPS NetIPS 58 4.3.3 Quản lý luật mơ hình học máy 60 4.3.4 Trực quan hoá liệu thu thập từ HostIPS 60 4.3.5 Trực quan hoá liệu thu thập từ NetIPS 62 4.3.6 Quản trị hệ thống 63 Kết chương 64 4.4 TÀI LIỆU THAM KHẢO 66 Danh sách hình vẽ 1.1 Mơ hình kiến trúc tổng thể giải pháp phát ngăn chặn xâm nhập 2.1 Khung phân loại công ATTT C Fung R Boutaba Tên gọi kiểu công cụ thể in chữ thường không nghiêng 12 2.2 Khung hệ thống phát xâm nhập tổng quát 2.3 Một khung phân loại hệ thống phát xâm nhập 13 2.4 Các thành phần hệ thống phát xâm nhập mạng 15 2.5 Kiến trúc mức cao sử dụng dịch vụ Tính tốn đám mây để giảm lỗi cảnh báo sai từ IDS 16 2.6 Tiếp cận phát bất thường dựa học máy 20 2.7 Mô hình AB-TRAP xây dựng đình kỳ cải tiến mơ-đun phát xâm nhập 22 2.8 Một khung phân loại phương pháp phát xâm nhập dựa học sâu 2.9 Một kiến trúc IDS dựa học sâu 23 24 2.10 Một sơ đồ khối tảng phần cứng cho phát xâm nhập 26 2.11 Kiến trúc Shunting: Thành phần Shunt kiểm tra tiêu đề gói nhận để xác định hành động phù hợp: forward (chuyển tiếp), drop (bỏ đi), shunt (chuyển tới Cơng cụ phân tích) Thành phần Cơng cụ phân tích trực tiếp cập nhật đệm Shunt để điều khiển trình xử lý tới bỏ gói phân tích ngăn chặn xâm nhập gửi lại chúng kiểm tra an toàn [González07] 27 2.12 Sơ đồ khối phần cứng Shunt dựa NetFPGA (Virtex Pro FPGA) Các mục mờ sửa đổi từ thiết kế tham chiếu NetFPGA [González07] 28 2.13 Hệ thống quản lý phát xâm nhập [Lichtenberg05] 29 2.14 Một ví dụ hệ thống bảo vệ nhiều lớp tường lửa, HostIPS NetIPS [Fung13] 30 3.1 Mơ hình chung hệ thống IDS/IPS 37 3.2 Cấu trúc tập trung 38 3.3 Cấu trúc đa tác nhân 39 3.4 Mơ hình kiến trúc hệ thống IPS Manager 3.5 Giải pháp quản lý trực quan hoá liệu cảnh báo xâm nhập IPSManager 41 3.6 Ca sử dụng hệ thống IPSManager với khách v 40 47 DANH SÁCH HÌNH VẼ vi 3.7 Ca sử dụng hệ thống IPS manager với người giám sát 48 3.8 Ca sử dụng hệ thống IPS manager với người quản trị vùng 48 3.9 Ca sử dụng hệ thống IPS manager với người siêu quản trị 49 3.10 Biểu đồ minh hoạ số chức quản trị hệ thống 50 51 3.12 Cấu trúc ánh xạ tài liệu để quản lý liệu trạng thái liệu xâm nhập 52 4.1 APIs quản lý người dùng theo chế kiểm soát truy cập theo vai 55 4.2 APIs quản lý NetIPS HostIPS 56 4.3 APIs điều khiển cập nhật luật/mơ hình NetIPS HostIPS 57 4.4 APIs quản lý tập luật, dấu hiệu mã độc, mơ hình học máy 58 4.5 Danh sách dashboard sử dụng IPSManager 58 4.6 Quản lý NetIPS HostIPS mô hình trạng topo 59 4.7 Cập nhật luật HostIPS/NetIPS 60 4.8 Quản lý luật mơ hình học máy 60 4.9 Thông tin chung hệ thống HostIPS quản lý IPSManager 61 3.11 Lược đồ sở liệu hệ thống IPSManager 4.10 Thông tin cụ thể HostIPS 61 4.11 Thông tin cảnh báo từ HostIPS gửi 62 4.12 Giám sát nguy xâm nhập từ mạng 62 4.13 Cảnh báo xâm nhập mạng thu thập từ NetIPS 63 4.14 Quản lý người dùng theo chế kiểm sốt truy cập theo vai trị RBAC 63 Danh sách bảng 3.1 Danh mục vai trò người dùng hệ thống IPS Manager 45 3.2 Mối quan hệ tác nhân ca sử dụng 45 vii Danh mục thuật ngữ viết tắt IDS NIDS Intrusion Detection System Hệ thống phát xâm nhập Network-Based Hệ thống phát xâm nhập Intrusion Detection System mạng Signature-Based NetworkSNIDS Based Intrusion Detection System Anomaly-Based ANIDS Network- Based Intrusion Detection System Hệ thống phát xâm nhập mạng dựa chữ ký Hệ thống phát xâm nhập mạng dựa bất thường Host Intrusion Prevention Hệ thống ngăn ngừa xâm nhập System máy chủ Network Intrusion Preven- Hệ thống ngăn ngừa xâm nhập tion System mạng MLP Multi-layer Perceptron Perceptron nhiều lớp IPS Intrusion Prevention AE Auto-Encoder HostIPS NetIPS RBM GAN LSTM Hệ thống ngăn ngừa xâm nhập mạng Bộ mã hoá tự động Restricted Boltzmann Machine Generative Adversarial Network Long short time memory viii Máy hạn chế Boltzmann Mạng lưới đối thủ chung Bộ nhớ thời gian ngắn hạn Chương THỰC NGHIỆM 4.1 Xây dựng dịch vụ IPS Manager Dựa thiết kế chi tiết dịch vụ IPSManager quản lý hệ thống NetIPS HostIPS nêu chương 3, chúng tơi tiến hành lập trình xây dựng IPSManager phần back-end front-end • Back-end: xây dựng dựa khung phát triển ứng dụng Web vi mô Flask, sử dụng ngơn ngữ lập trình Python Nó phân loại microframework khơng u cầu cơng cụ thư viện cụ thể.Flask hỗ trợ tiện ích mở rộng thêm tính ứng dụng thể chúng triển khai Flask Các tiện ích mở rộng tồn cho người lập đồ quan hệ đối tượng, xác thực biểu mẫu, xử lý tải lên, công nghệ xác thực mở khác số công cụ liên quan đến khn khổ chung • Front-end: xây dựng dựa khung phát triển dịch vụ Web VueJS sử dụng ngôn ngữ Javascript VueJS khung JavaScript giao diện người dùng modelview-viewmodel mã nguồn mở để xây dựng giao diện người dùng ứng dụng trang (sigle-page application) 4.2 Môi trường phát triển thử nghiệm Cả back-end front-end dịch vụ IPSManager xây dựng tảng tính tốn trang bị Bộ mơn Các hệ thống thơng tin Cấu hình hệ thống tính tốn sau: • CPU: Intel R Xeon R Gold 5118 Processor • RAM: 64GB • SSD: 256GB • OS: Ubuntu Server v.21.04 Về phần mềm, máy chủ cài đặt gói thư viện sau đây: 53 CHƯƠNG THỰC NGHIỆM • Web server: nginx, python flask • DBMS: PostgreSQL 12 • Front-end: VueJS, npm, yarn, Việc thực thử nghiệm, khai thác sử dụng toàn chức dịch vụ tiến hành máy tính cá nhân có cấu sau: • CPU: i7-3720QM, 2.6GHz • RAM: 16GB • SSD: 256GB • OS: Windows 10 4.3 Kết xây dựng dịch vụ IPSManager Học viên nhóm thực đề tài tiến hành xây dựng phân hệ chức IPSManager tiến hành việc phối ghép chúng Các kết q trình xây dựng dịch vụ IPSManager mô tả cụ thể mục sau: 4.3.1 Tập API phía back-end Tồn chức IPS Manager xây dựng dạng 77 hàm Restfull API minh hoạ thơng qua hình sau: - Quản lý người dùng, vai trò, quyền: 54 CHƯƠNG THỰC NGHIỆM Hình 4.1: APIs quản lý người dùng theo chế kiểm soát truy cập theo vai - Quản lý, điều khiển NetIPS HostIPS 55 CHƯƠNG THỰC NGHIỆM Hình 4.2: APIs quản lý NetIPS HostIPS 56 CHƯƠNG THỰC NGHIỆM Hình 4.3: APIs điều khiển cập nhật luật/mơ hình NetIPS HostIPS - Quản lý tập luật, dấu hiệu mã độc, mô hình học máy: 57 CHƯƠNG THỰC NGHIỆM Hình 4.4: APIs quản lý tập luật, dấu hiệu mã độc, mô hình học máy - Trực quan hố liệu cảnh báo xâm nhập trạng thái NetIPS, HostIPS: thực thông qua 300 dashboard xây dựng tảng Kibana 7.8 Hình 4.5: Danh sách dashboard sử dụng IPSManager 4.3.2 Quản lý HostIPS NetIPS Việc quản lý HostIPS NetIPS thực thơng qua nhóm chức “Quản lý IPS” menu bên (sidebar) Để trực quan, xây dựng chức quản lý nốt HostIPS/NetIPS phân cấp theo vùng, thao tác trực quan thông qua topo minh hoạ hình sau: 58 CHƯƠNG THỰC NGHIỆM Hình 4.6: Quản lý NetIPS HostIPS mơ hình trạng topo Việc quản lý HostIPS Host mơ hình trạng cung cấp chức sau: • Đảm bảo có kênh truyền bảo mật phục vụ kết nối với HostIPS/NetIPS • Tiếp nhận liệu từ HostIPS/NetIPS • Đủ lực điều khiển HostIPS/NetIPS tuỳ theo đặc quyền • Cập nhật luật, sách phía HostIPS/NetIPS • Cập nhật mơ hình phát bất thường dựa học máy HostIPS/NetIPS Để chủ động cập nhật tập luật, mơ hình học máy phía HostIPS/NetIPS, IPSManager cung cấp chức để thực tính từ danh sách nốt IPS quản lý Chức tiến hành thông qua việc người quản trị lựa chọn nút tương ứng với hệ thống NetIPS/HostIPS muốn thực cập nhật Hệ thống IPSManager hiển thị giao diện để người quản trị thực cập nhật minh hoạ hình sau: 59 CHƯƠNG THỰC NGHIỆM Hình 4.7: Cập nhật luật HostIPS/NetIPS 4.3.3 Quản lý luật mơ hình học máy Nhóm chức thứ hai menu bên hệ thống IPSManager dành để quản lý luật, mơ hình học máy cho HostIPS NetIPS Hình 4.8: Quản lý luật mơ hình học máy 4.3.4 Trực quan hoá liệu thu thập từ HostIPS Việc trực quan hoá liệu thu thập từ HostIPS chia thành nhóm chức riêng menu bên: thông tin cảnh bảo thu nhận được; thông tin chung hệ thống HostIPS; thông tin cụ thể HostIPS; thông tin dịch vụ hoạt động HostIPS 60 CHƯƠNG THỰC NGHIỆM Hình 4.9: Thơng tin chung hệ thống HostIPS quản lý IPSManager Từ giao diện thơng tin chung tồn HostIPS IPSManger quản lý, người dùng chọn HostIPS, chẳng hạn HostIPS có địa “192.168.0.135”, thu thơng tin cụ thể HostIPS minh hoạ hình sau: Hình 4.10: Thơng tin cụ thể HostIPS Các cảnh báo thu nhận từ HostIPS trực quan hố giao diện minh hoạ hình sau: 61 CHƯƠNG THỰC NGHIỆM Hình 4.11: Thơng tin cảnh báo từ HostIPS gửi 4.3.5 Trực quan hoá liệu thu thập từ NetIPS Đối với liệu phân tích xâm nhập mạng từ NetIPS vận chuyển IPSManager, xây dựng chức chuyên biệt: giám sát xâm nhập; cảnh báo bất thường; Tìm kiếm; Thống kê; Báo cáo Hình 4.12: Giám sát nguy xâm nhập từ mạng ngồi 62 CHƯƠNG THỰC NGHIỆM Hình 4.13: Cảnh báo xâm nhập mạng thu thập từ NetIPS Toàn chức IPSManager mô tả chi tiết tài liệu hướng dẫn sử dụng hệ thống IPSManager 4.3.6 Quản trị hệ thống Quản trị hệ thống IPSManger tổ chức theo chế kiểm sốt truy cập theo vai trị RBAC (Role-Based Access Control) Ngồi ra, nói mục thiết kế, việc quản trị HostIPS/NetIPS xác lập theo vùng để thuận lợi triển khai quan cấp Bộ với nhiều đơn vị khác Hình 4.14: Quản lý người dùng theo chế kiểm soát truy cập theo vai trò RBAC 63 CHƯƠNG THỰC NGHIỆM 4.4 Kết chương Trong chương luận văn trình bày mơi trường thực nghiệm, cơng nghệ sử dụng Bên cạnh hình ảnh hệ thống kèm theo đánh giá Chương tiếp theo, luận văn tổng kết lại kết đạt được, hạn chế luận văn hướng phát triển luận văn 64 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Các kết Trong trình làm luận văn, chúng tơi phối hợp với nhóm nghiên cứu xây dựng NetIPS HostIPS để xây dựng giải pháp quản lý NetIPS HostIPS Các kết thu luận văn bao gồm: • Tìm hiểu tổng quan toán phát ngăn chặn xâm nhập mạng • Xây dựng phương án quản lý NetIPS HostIPS, thu thập liệu cảnh báo từ hệ thống NetIPS HostIPS để quản lý tập trung IPSManager • Xây dựng phát triển dịch vụ Web để quản lý hệ thống NetIPS HostIPS • Xây dựng phát triển giao diện trực quan hoá liệu cảnh báo NetIPS HostIPS, sinh báo cáo thống kê Hướng phát triển tương lai Trong thời gian tới, hướng dẫn thầy hướng dẫn, tiếp tục nghiên cứu chuyên sâu việc phát xâm nhập mạng, đặc biệt ứng dụng số phương pháp học máy đại phát xâm nhập mạng máy chủ 65 Tài liệu tham khảo Tiếng Việt [1] Nhóm thực đề tài KC.01.28/16-20,Báo cáo tổng hợp kết đề tài "Nghiên cứu thiết kế, chế tạo thiết bị phát hiện, phòng chống xâm nhập mạng máy tính phục vụ phát triển phủ điện tử", Mã số: KC.01.28/16-20, Trường Đại học Cơng nghệ, 2021 [2] Nhóm thực đề tài KC.01.28/16-20 Báo cáo chuyên đề 5.1, "Phân tích, thiết kế chi tiết hệ thống IPS Manager", Trường Đại học Công nghệ, 2021 Tiếng Anh [3] R Vinayakumar, M Alazab, K P Soman, P Poornachandran, A Al-Nemrat and S Venkatraman, "Deep Learning Approach for Intelligent Intrusion Detection System", in IEEE Access, vol 7, pp 41525-41550, 2019 [4] Ram B Basnet1, Riad Shash, Clayton Johnson, Lucas Walgren, and Tenzin Doleck Towards Detecting and Classifying Network Intrusion Traffic Using Deep Learning Frameworks Colorado Mesa University, Grand Junction, CO 81501 USA [5] P Mishra, V Varadharajan, U Tupakula and E S Pilli, "A Detailed Investigation and Analysis of Using Machine Learning Techniques for Intrusion Detection" In IEEE Communications Surveys and Tutorials, vol 21, no 1, pp.686-728, Firstquarter 2019 [6] Iman Sharafaldin, Arash Habibi Lashkari, and Ali A Ghorbani, “Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization” , 4th International Conference on Information Systems Security and Privacy (ICISSP), Portugal, January 2018 [7] Sagar N Shah, Ms Purnima Singh Signature-Based Network Intrusion Detection System Using SNORT And WINPCAP International Journal of Engineering Research and Technology (IJERT) Vol Issue 10, December- 2012 ISSN: 2278-0181 66 TÀI LIỆU THAM KHẢO [8] P Garcı’a-Teodoro, J Dı’az-Verdejo, G Macia’-Ferna’ndez, E Va’zquez Anomaly-based network intrusion detection: Techniques, systems and challenges Received January 2008, Accepted 13 August 2008 [9] Nassima Bougueroua, Smaine Mazouzi, Mohamed Belaoued, Noureddine Seddari, Abdelouahid Derhab, Abdelghani Bouras "A Survey on Multi-Agent Based Collaborative Intrusion Detection Systems", J Artif Intell Soft Comput Res 11(2): 111-142 (2021) [10] Carlos Garcia Cordero "Improving the Capabilities of Distributed Collaborative Intrusion Detection Systems using Machine Learning", PhD Thesis, Darmstadt University of Technology, Germany, 2019 [11] Hanan Hindy, David Brosset, Ethan Bayne, Amar Kumar Seeam, Christos Tachtatzis, Robert C Atkinson, Xavier J A Bellekens A Taxonomy of Network Threats and the Effect of Current Datasets on Intrusion Detection Systems IEEE Access 8: 104650-104675 (2020) [12] Pedro Garcia-Teodoro, Jesús Esteban Díaz Verdejo, Gabriel Maciá-Fernández, Enrique Vázquez Anomaly-based network intrusion detection: Techniques, systems and challenges Comput Secur 28(1-2): 18-28 (2009) [13] Gustavo de Carvalho Bertoli, Louren¸co Alves Pereira Júnior, Osamu Saotome An Endto-End Framework for Machine Learning-Based Network Intrusion Detection System IEEE Access 106790-106805 (2021) [14] A Aldweesh, A Derhab, A Z Emam Deep learning approaches for anomaly-based intrusion detection systems: A survey, taxonomy, and open issues Knowledge-Based Systems, Volume 189, 15 February 2020, 105124 [15] Jens Lichtenberg, Jorge Marx Gómez Intrusion Detection Management System for eCommerce Security PRIS 2005: 134-143 67 ... xuất biện pháp chống lại việc xâm nhập vào hệ thống bảo vệ Kiến trúc hệ thống quản lý xâm nhập dẫn Hình 2.18 Thành phần quản lý hệ thống Bộ quản lý hệ thống Từ đầu hệ thống phát xâm nhập, với hợp... quát hệ thống phát xâm nhập điển hình hệ thống phát xâm nhập máy chủ HostIDS hệ thống phát xâm nhập mạng NetIDS Các chương sau giới thiệu chi tiết hệ thống triển khai đề tài Hệ thống phát xâm nhập. .. ĐẠI HỌC CÔNG NGHỆ SANGKHOM SENGSUOLICHANH NGHIÊN CỨU PHÁT TRIỂN DỊCH VỤ QUẢN LÝ CÁC HỆ THỐNG PHÁT HIỆN VÀ PHÒNG CHỐNG XÂM NHẬP LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Chuyên ngành: Hệ thống thông tin