XÂY DỰNG FRAMEWORK PHÁT HIỆN VÀ PHÂN LOẠI BẤT THƯỜNG MẠNG DỰA TRÊN CÁC KỸ THUẬT HỌC MÁY VÀ PHẦN CỨNG KHẢ CẤU HÌNH

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN HOÀNG QUỐC BẢO XÂY DỰNG FRAMEWORK PHÁT HIỆN VÀ PHÂN LOẠI BẤT THƯỜNG MẠNG DỰA TRÊN CÁC KỸ THUẬT HỌC MÁY VÀ PHẦN CỨNG KHẢ CẤU HÌNH Chuyên ngành: Khoa học Máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2022 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG - HCM Cán hướng dẫn khoa học : PGS TS Trần Ngọc Thịnh Cán chấm nhận xét : PGS TS Đinh Đức Anh Vũ Cán chấm nhận xét : PGS TS Trần Mạnh Hà Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 28 tháng năm 2022 Thành phần Hội đồng đánh giá Luận văn thạc sĩ gồm: Chủ tịch: PGS TS PHẠM QUỐC CƯỜNG Thư ký: TS LÊ TRỌNG NHÂN Phản biện 1: PGS TS ĐINH ĐỨC ANH VŨ Phản biện 2: PGS TS TRẦN MẠNH HÀ Ủy viên: PGS TS TRẦN NGỌC THỊNH Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: TRẦN HOÀNG QUỐC BẢO Ngày, tháng, năm sinh: 15/8/1996 Ngành: Khoa học máy tính MSHV: 2070402 Nơi sinh: Vũng Tàu Mã số: 8480101 I TÊN ĐỀ TÀI: Xây dựng framework phát phân loại bất thường mạng dựa kỹ thuật học máy phần cứng khả cấu hình A framework for network anomaly detection and classification based on machine learning techniques and reconfigurable hardware II NHIỆM VỤ VÀ NỘI DUNG: • Tìm hiểu vấn đề hành vi xâm nhập bất thường mạng, tập liệu phổ biến nay, kỹ thuật học máy/học sâu, tảng phần cứng khả cấu hình cho thiết bị mạng sở lý thuyết liên quan • Phân tích tập liệu, đề xuất giải pháp phát phân loại bất thường mạng sử dụng kỹ thuật học máy/học sâu • Xây dựng khung sườn lõi xử lý tính tốn mơ hình học máy ứng dụng phân loại hành vi bất thường mạng • Xây dựng môi trường đánh giá, kiểm thử hệ thống, đưa định hướng phát triển tương lai III NGÀY GIAO NHIỆM VỤ: 14/02/2022 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 10/06/2022 V CÁN BỘ HƯỚNG DẪN: PGS.TS TRẦN NGỌC THỊNH CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) Tp HCM, ngày 28 tháng năm 2022 CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) LỜI CÁM ƠN Lời đầu tiên, tác giả xin trân trọng gửi lời cảm ơn đến thầy hướng dẫn PGS TS Trần Ngọc Thịnh khơng ngần ngại giúp đỡ q trình thực đề tài, cảm ơn thầy tận tình góp ý định hướng trình tiến hành nghiên cứu Một lần nữa, tác giả xin cảm ơn thầy hướng dẫn thầy PGS TS Phạm Quốc Cường tạo điều kiện thuận lợi để tác giả thực đề tài, môi trường làm việc học tập hiệu để có kết hơm Gửi đến người bạn đồng hành CE Lab, cám ơn anh Ngô Đức Minh, anh Lê Tấn Long, anh chị khóa trước để lại tảng sở giúp cho tác giả tiếp tục phát triển cơng trình nghiên cứu Gửi lời tri ân tới bạn đồng hành Nguyễn Xuân Quang, Huỳnh Hoàng Kha Huỳnh Phúc Nghị khơng quản ngại giúp đỡ tác giả q trình hồn thành luận văn Kính xin gửi lời thân yêu trân trọng tới gia đình bạn bè, người xung quanh ủng hộ tác giả mặt tinh thần lúc khó khăn Ngoài ra, tác giả xin chân thành cảm ơn thầy cô trường Đại học Bách Khoa - ĐHQG - HCM tận tình truyền đạt kiến thức suốt trình theo học Thạc sĩ Cuối xin gửi lời cảm ơn tới công ty Xilinx tài trợ quyền phần mềm board NetFPGA-SUME để tác giả điều kiện thực nghiên cứu Tp Hồ Chí Minh, tháng năm 2022 Trần Hồng Quốc Bảo i TÓM TẮT LUẬN VĂN THẠC SĨ Phát xâm nhập mạng dựa dấu hiệu bất thường (Anomaly-based Network Intrusion Detection System - ANIDS) ứng dụng kỹ thuật học máy học sâu, lĩnh vực nhiều cơng trình nghiên cứu thời gian gần Trước nguy công mạng, môi trường mạng cần đảm bảo an ninh nhằm giảm thiểu rủi ro mặt chi phí thơng tin cá nhân Để phòng tránh tiềm ẩn đó, hệ thống ANIDS phải đáp ứng khả nhận dạng hành vi bất thường khả phản hồi có dấu hiệu rủi ro Trong năm gần đây, kỹ thuật học máy học sâu (Machine Learning/Deep Learning) áp dụng nhiều lĩnh vực đặc biệt IDS Để đánh giá khả nhận dạng bất thường cách hiệu ANIDS cần kiểm thử tập liệu phổ biến NSL-KDD, UNSW-NB15, CIC-IDS2017 Trong đề tài này, tác giả đề xuất giải pháp xây dựng khung sườn tính tốn mơ hình học máy/học sâu phần cứng mạng khả cấu hình (NetFPGA) cho kiến trúc ANIDS Khối thiết kế phát bất thường mạng tự mã hoá (Anomaly Detection Autoencoder - ADA) dùng để xử lý liệu cho NSL-KDD Và mơ hình đề xuất phân loại mạng nơ-ron nhân tạo (Artificial Neural Classification - ANC) dùng để phân loại cho liệu UNSW-NB15, CIC-IDS2017 Thiết bị phần cứng thực NetFPGA-SUME thiết kế với mơ hình ADA ANC sử dụng 21% tài nguyên LUT, 15.1% FF, sử dụng 19.42% 14.59% BRAM Tốc độ truyền tải liệu ADA đạt 28.7 Gbps ANC 31.08 Gbps Khi xét lưu lượng xử lý số phép tính ADA xử lý tốc độ 18.7 Gops, ADA 9.1 Gops xét liệu khác Cịn độ xác đánh giá tập liệu NSL-KDD ADA đạt 90.87% với tỷ lệ FNR (False Negative Rate) 7.01% ANC xử lý liệu UNSW-NB15 CIC-IDS2017 có độ xác 87.49% 98.22%, với tỷ lệ FNR đạt 3.05% 1.27% Từ khóa - Machine Learning, IDS, An ninh mạng, FPGA ii ABSTRACT Anomaly-based Network Intrusion Detection System (ANIDS) is applied with machine learning or deep learning techniques, which is a field of research in recent times Before the risks of cyber attacks, the network environment needs to be secured to minimize the damage costs and personal information To avoid those potentials, the ANIDS must adapt the ability to recognize abnormal behavior and alert risky signs In recent years, machine learning or deep learning techniques are being used in many fields and IDS For evaluation of the ability to identify anomalies, ANIDS is tested on popular datasets such as NSL-KDD, UNSW-NB15, and CIC-IDS2017 In this study, the author proposes a solution to build a computational framework for machine learning/deep learning models on configurable network hardware (NetFPGA) in ANIDS The Anomaly Detection Autoencoder (ADA) design block will be used to process data for NSL-KDD Artificial Neural Classification (ANC) will be used to classify data in UNSW-NB15, CIC-IDS2017 The NetFPGA-SUME which is an implementation hardware device is designed with ADA, ANC models using 21% LUTs resources, 15.1% FFs, using 19.42% and 14.59% BRAMs respectively The bandwidth of ADA is 28.7 Gbps, ANC is 31.08 Gbps In terms of computational traffic, ADA can process at 18.7 Gops, while ADA is 9.1 Gops with different datasets With the NSL-KDD dataset, the ADA achieved 90.87% accuracy and the FNR of 7.01% The ANC when processing on UNSW-NB15, CIC-IDS2017 has an accuracy of 87.49% and 98.22%, respectively, with FNR rates achieving 3.05% and 1.27% Keywords: Machine Learning, IDS, Cyber Security, FPGA iii iv Lời cam đoan Tôi xin cam đoan ngoại trừ trường hợp tham khảo cụ thể cơng việc người khác nội dung gốc chưa đệ trình tồn nội dung cho cơng trình khác Nếu khơng nêu trên, tơi xin hồn tồn chịu trách nhiệm đề tài Một phần cơng trình cơng bố hình thức báo khoa học: Tran Hoang Quoc Bao, Long Tan Le, Tran Ngoc Thinh and CongKha Pham A High-Performance FPGA-Based Feature Engineering Architecture for Intrusion Detection System in SDN Networks In The First International Conference on Intelligence of Things (ICIT 2022), Hanoi, Vietnam, 2022 Tran Ngoc Thinh, Tran Hoang Quoc Bao, Duc-Minh Ngo, Cuong Pham-Quoc High-performance anomaly intrusion detection system with ensemble neural networks on reconfigurable hardware In Concurrency and Computation Practice and Experience, 2021, p e6370, ISBN/ISSN: 1532-0634 (SCIE) Trần Hoàng Quốc Bảo MỤC LỤC Lời cám ơn i Tóm tắt Luận Văn Thạc sĩ ii Lời cam đoan iv Danh sách hình vẽ viii Danh sách bảng x GIỚI THIỆU 1.1 Mục tiêu đề tài 1.2 Đóng góp đề tài 1.3 Nội dung đề tài CƠ SỞ LÝ THUYẾT VÀ CƠNG TRÌNH LIÊN QUAN 2.1 Transmission Control Protocol / Internet Protocol Model 2.2 Nền tảng NetFPGA 2.2.1 Field-Programmable Gate Array 2.2.2 Kiến trúc NetFPGA 2.3 Hệ thống phát xâm nhập mạng 2.4 Học máy 2.5 Học sâu 2.5.1 Mạng nơ-ron học sâu nhân tạo 2.5.2 Mạng tự mã hóa 2.6 Tập liệu 2.6.1 KDD Cup 99 2.6.2 NSL-KDD 2.6.3 UNSW-NB15 2.6.4 CIC-IDS2017 v 8 10 10 11 14 20 25 26 29 32 32 33 34 35 MỤC LỤC vi 2.7 Cơng trình liên quan 38 2.7.1 Các thuật toán học máy phát bất thường 38 2.7.2 Các cơng trình học máy phát bất thường FPGA 41 HỆ THỐNG ĐỀ XUẤT VÀ GIẢI PHÁP 3.1 Tổng hợp yêu cầu hệ thống 3.1.1 Yêu cầu bảo mật mạng máy tính 3.1.2 Đặc trưng liệu 3.1.3 Yêu cầu khả đáp ứng hiệu suất xử lý 3.1.4 Yêu cầu tiết kiệm lượng 3.2 Tổng quan hệ thống đề xuất 3.3 Thiết kế thực ANIDS 3.3.1 Trích xuất & chuyển hố đặc trưng (Feature Extraction & Normalization - FEN) 3.3.2 Phát bất thường mơ hình mạng tự mã hố (Anomaly Detection Autoencoder - ADA) 3.3.3 Mơ hình phân loại sử dụng mạng nơ-ron nhân tạo (Artificial Neural Classification - ANC) 3.4 Xây dựng khung sườn lõi xử lý tính tốn ADNN (Anomaly Detection Neural Network) 3.4.1 Kiến trúc tổng quan NetFPGA-SUME 3.4.2 Mơ hình mạng nơ-ron phần cứng 3.4.3 Bộ xử lý lớp nơ-ron 3.4.4 Đơn vị xử lý 3.4.5 Khối xử lý hàm mát 3.4.6 Khối phát bất thường THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1 Các tiêu chí đánh giá hệ thống 4.1.1 Tài nguyên tổng hợp 4.1.2 Hiệu suất xử lý 4.1.3 Khả phân loại 4.2 Kết thực nghiệm 4.2.1 Chi tiết tập liệu 4.2.2 Kết tổng hợp 4.2.3 Kết đánh giá tốc độ xử lý 43 43 44 46 47 47 48 48 50 54 58 59 59 61 63 64 65 65 67 67 67 67 68 70 70 73 74 MỤC LỤC 4.2.4 vii Kết đánh giá khả phân loại ANIDS 77 KẾT LUẬN 85 Công bố khoa học 88 Tài liệu tham khảo 110 Lý lịch trích ngang 121