(LUẬN văn THẠC sĩ) nghiên cứu giải pháp phát hiện xâm nhập (IDS) dựa trên công nghệ học máy cho thiết bị iot gateway

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Lưu Bích Hạnh NGHIÊN CỨU GIẢI PHÁP PHÁT HIỆN XÂM NHẬP (IDS) DỰA TRÊN CÔNG NGHỆ HỌC MÁY CHO IoT GATEWAY LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - NĂM 2022 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Lưu Bích Hạnh NGHIÊN CỨU GIẢI PHÁP PHÁT HIỆN XÂM NHẬP (IDS) DỰA TRÊN CÔNG NGHỆ HỌC MÁY CHO THIẾT BỊ IoT GATEWAY Chuyên ngành: Kỹ thuật viễn thông Mã số: 8.52.02.08 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS LÊ HẢI CHÂU HÀ NỘI - NĂM 2022 LỜI CAM ĐOAN Em xin cam đoan toàn nội dung đề tài luận văn “Nghiên cứu giải pháp phát xâm nhập (IDS) dựa công nghệ học máy cho thiết bị IoT gateway” cơng trình nghiên cứu độc lập riêng em hướng dẫn PGS.TS Lê Hải Châu Đồng thời, kết nghiên cứu có đề tài hồn tồn trung thực khơng chép hình thức Trong luận văn em có sử dụng tài liệu tham khảo, em trích dẫn thích rõ ràng Em xin hồn tồn chịu trách nhiệm phát có sai sót Tác giả luận văn Lưu Bích Hạnh LỜI CẢM ƠN Lời em xin chân thành cảm ơn PGS.TS Lê Hải Châu tồn thể thầy giáo khoa Viễn Thơng I – Học viện cơng nghệ bưu viễn thơng giúp đỡ em tồn q trình thực luận văn Đối với em, hành trình khó khăn đầy thử thách, thời gian học tập nghiên cứu Nhưng nhờ giúp đỡ tận tình dạy thầy q trình học Thạc sĩ trường, em có thêm kiến thức, tạo tảng, dạy cách tư duy, định hướng để em hồn thành q trình học tập thực luận văn Sau cùng, em xin cảm ơn anh bạn học viên lớp M20CQTE02B sát cánh đồng hành em trình học tập tại trường hồn thành luận văn Em xin chân thành cảm ơn! MỤC LỤC DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Thuật ngữ viết tắt ACL AMQP ANN CNN CoAP CSV DDS DoS EMS FTP HIDS Tiếng Anh Access Control List Advanced Message Nghĩa tiếng Việt Danh sách điều khiển truy cập Queuing Protocol Artificial Neural Network Convolutional Neural Network Constrained Application Protocol Comma Separated Value Data Distribution Service Denial of Service Event Management System File Transfer Protocol Host-based Intrusion Detection Giao thức xếp hàng thông tin nâng cao Mạng nơ ron nhân tạo Mạng Nơ ron tích chập Giao thức ứng dụng ràng buộc Giá trị phân tách dấu phẩy Dữ liệu phân phối dịch vụ Từ chối dịch vụ Hệ thống quản lý kiện Giao thức truyền tải tập tin Hệ thống phát truy nhập dựa HTTP IDS IMAP System Hypertext Transfer Protocol Intrusion Detection System Internet Message Access Protocol máy trạm Giao thức truyền tải siêu văn Hệ thống phát xâm nhập Giao thức truy cập tin nhắn Internet IoT KNN LAN Internet of Things K-Nearest Neighbors Local Area Network LoRa Long Range Radio Vạn vật kết nối internet K láng giềng gần Mạng nội Giao thức không dây để truyền thông LTE Long Term Evolution LTE-M LTE Cat-M1 MEMS MQTT NIDS Micro Systems Message Electro Queuing Transport Network-based Detection System tầm xa Tiêu chuẩn truyền thông di động 4G Giao thức truyền thông di động băng thông thấp Mechanical Telemetry Intrusion Hệ thống vi điện tử Giao thức truyền thông điệp Hệ thống phát xâm nhập mạng POP RF SMTP SVM WAN Wifi WSN Post Office Protocol Random Forest Simple Mail Transfer Protocol Support Vector Machine Wide Area Network Wireless Fidelity Wireless Sensor Network Giao thức nhận email từ máy chủ Thuật tốn học có giám sát AI Giao thức truyền tải thư tín đơn giản Thuật tốn học máy có giám sát Mạng diện rộng Hệ thống truy cập Internet không dây Mạng cảm biến khơng dây DANH SÁCH HÌNH VẼ MỞ ĐẦU Hiện nay, IoT ngày bùng nổ coi xu hướng Bên cạnh tiện ích mà IoT mang lại IoT hàm chứa mối nguy hại Trong năm vừa qua, IoT dần trở thành mục tiêu hàng đầu giới hacker toàn giới Những hacker ngày nguy hiểm, tinh vi, trình độ cao hoạt động phức tạp với hành động có tổ chức chuyên nghiệp Trong vấn đề IoT ngày nhiều công nghệ thiết bị thử nghiệm, ứng dụng thực tiễn với mục đích đem lại tiện ích cho người chưa tập trung nhiều vào vấn đề an tồn thơng tin Hệ dẫn tới kiểm sốt trở nên khó khăn vơ tình tiếp tay kẻ xấu lợi dụng để thực hành vi xâm nhập trái phép, công vào thiết bị IoT tiềm ẩn nhiều rủi ro cá nhân, tổ chức gây thiệt hại nghiêm trọng tài sản hữu hình lẫn vơ hình [1] Vì vậy, giải pháp ứng dụng an ninh bảo mật cho thiết bị IoT ngày quan tâm Các sản phẩm công nghệ IoT ngày đa dạng chất lượng bùng nổ số lượng nên hệ thống phát xâm nhập (IDS) giải pháp quan tâm hàng đầu nhằm bảo vệ linh hoạt, hiệu trước xâm nhập trái phép Internet nhắm tới thiết bị IoT Ở đây, phát hành vi truy nhập bất thường sử dụng kỹ thuật học máy Thực cách thiết lập mơ hình dựa vào thuật tốn học máy, thuật toán thống kê mạng Nơ ron nhân tạo Nhưng công bảo mật phức tạp khó đốn trước Do đó, việc phải tạo hệ thống phát xâm nhập tốt, có tính xác cao có tỷ lệ báo động giả thấp q trình phát xâm nhập cịn gặp nhiều khó khăn Do vậy, với mục tiêu nghiên cứu, tìm hiểu nắm bắt giải pháp phát xâm nhập hiệu cho thiết bị IoT gateway, nội dung luận văn tập trung nghiên cứu, xây dựng thử nghiệm giải pháp phát xâm nhập dựa công nghệ học máy cho thiết bị IoT gateway Luận văn trình bày theo 03 chương với nội dung sau: 10 - Chương - Tổng quan IoT, IoT gateway kỹ thuật phát xâm nhập: Giới thiệu tổng quan cơng nghệ IoT, khái niệm, vai trị vị trí thiết bị IoT gateway, đồng thời trình bày kiến trúc, thành phần chức thành phần hệ thống IDS khả ứng dụng, triển khai hệ thống IDS IoT - Gateway Chương - Giải pháp phát xâm nhập ứng dụng học máy: Giới thiệu tổng quan giải pháp phát xâm nhập cho IoT gateway, đồng thời trình bày kỹ thuật học máy sử dụng phát xâm nhập, mô tả chi tiết tập liệu mẫu, phân tích lựa chọn thuật tốn học máy để hỗ trợ cho việc thực đánh giá hiệu ứng dụng thuật toán học máy phát xâm nhập cho IoT - gateway Chương – Thử nghiệm hệ thống IDS IoT gateway: Trình bày mơ hình phát xâm nhập IoT gateway, xây dựng kiến trúc hệ thống phát xâm nhập cho IoT gateway dựa học máy, đồng thời thiết lập thử nghiệm hệ thống IDS ứng dụng giải pháp mạng Nơ ron thuật tốn Random Forest từ đưa kết đánh giá thử nghiệm 61 Hình 3.6: Khởi chạy ứng dụng chia liệu - Tìm tính quan trọng cho hai mơ hình Chọn tính quan trọng Lưu tập liệu vào HDF5 Tiếp theo đến bước giảm tính Dữ liệu có điểm 294 tính sau vector hóa ExtraTreesClassifier sử dụng để chọn 10 tính quan trọng cho phân loại cơng hay bình thường (Random Forest) 25 tính quan trọng cho mạng Nơ ron Hình 3.7 3.8 minh họa cho tính có tầm quan trọng hai nhiệm vụ phân loại Chia loại liệu thành liệu huấn luyện thử nghiệm cho thuật toán Random Forest mạng Nơ ron (NN) Giá trị điểm liệu nhằm mục đích minh họa 62 Hình 3.7: Mức độ quan trọng tính phân loại cơng (Random Forest) Hình 3.8: Mức độ quan trọng tính phân loại cơng (mạng Nơ ron) Trong đó, giá trị trục features số tính năng, giá trị trục scores mức độ quan trọng tính Đối với trường hợp phát công, Scikit-Learn’s Random Forest Classifier sử dụng 31 công cụ ước tính (cây định) chất lượng việc phân tách định đo mức tăng thông tin ("entropy") Các cài đặt khác 63 để mặc định Chỉ có số lượng (estimators) cài đặt giá trị 31 chất lượng việc phân tách định (criterion) cài đặt tham số "entropy" 3.4 Đánh giá kết thử nghiệm Chương mô tả kết cho trường hợp phân loại công phát công Luận văn chia liệu thành tập huấn luyện kiểm tra Sử dụng mạng Nơ ron thuật toán Random Forest để phân loại liệu thành liệu mạng - bình thường liệu cơng, từ đánh giá hiệu Giải thích ý nghĩa giá trị kết phân loại đây: Lớp có nghĩa bình thường khơng phải công Lớp - cơng TP (True Positive): Chính số lượng mẫu thuộc lớp công phân loại - xác vào lớp cơng FP (False Positive): Là số lượng mẫu không thuộc lớp công bị - phân loại nhầm vào lớp công TN (True Negative): Là số lượng mẫu không thuộc lớp công - phân loại FN (False Negative): Là số lượng mẫu thuộc lớp công bị phân loại - nhầm vào lớp lớp công Đầu tiên độ xác mơ hình phát tính theo cơng thức: (3.1) - Precision: Là giá trị thể việc số mẫu mô hình phân loại vào lớp cơng có mẫu thực thuộc lớp công (3.2) - Recall: Là giá trị giúp nhận biết có mẫu thực lớp công mô hình phân lớp mẫu thực lớp cơng (3.3) Precision Recall có giá trị khoảng [0,1], hai giá trị gần với mơ hình xác Precision cao đồng nghĩa với việc mẫu phân loại xác Đồng thời, Recall cao thể - cho việc bỏ sót liệu F1-Score: Là giá trị sử dụng để đánh giá lúc Precision Recall Được tính theo cơng thức: 64 (3.4) giá trị mơ tả độ mạnh Recall so với độ xác Precision - Support: Là số lần xuất lớp mẫu mơ hình phân loại vào lớp công không công 3.4.1 Kết sử dụng mạng Nơ ron Hình 3.9: Kết phân loại công (mạng Nơ ron) Kết cho thấy mạng Nơ ron hoạt động ổn với liệu này, độ xác 0, 90 cho liệu công Các lớp công thể số hay Số điểm liệu bình thường điểm số phần lại số loại công khác Lớp dự đốn xác Precision 1.0 Recall 0,93 Điều cho thấy lớp (dữ liệu bình thường) có tính riêng biệt tập liệu Ma trận nhầm lẫn đánh giá hiệu thuật tốn phát cơng sau 65 Hình 3.10: Ma trận nhầm lẫn để phân loại công (NN) Ma trận nhầm lẫn cho thấy dự đoán chủ yếu thuộc lớp Do đó, trường hợp lớp có điểm Recall cao (0,81 cho lớp 0,52 cho lớp 4) Hầu hết điểm liệu dự đốn trường hợp lớp 2, độ xác thấp 3.4.2 Kết dùng thuật tốn Random Forest Hình 11: Kết phân loại cơng (Random Forest) Qua kết ta thấy Random Forest Classifier hoạt động tốt với liệu Điểm số cải thiện sau giảm tính phân loại Điểm Recall 0.93 cho lớp 1.00 cho lớp Đồng thời, Precision cho lớp 0,38 thấp lớp 1.00 Ma trận nhầm lẫn đánh giá hiệu thuật toán phát cơng: 66 Hình 12: Ma trận nhầm lẫn biểu thị kết (Random Forest) - TP (True Positive): 96261 FP (False Positive): 129 TN (True Negative): 2027072 FN (False Negative): 160384 Sau quy trình xử lý tập liệu mẫu để thực đánh giá hiệu sử dụng thuật tốn học máy Random Forest thấy thuật toán Random Forest hoạt động hiệu tốt phân loại công 3.5 Kết luận chương Chương trình bày ứng dụng triển khai giải pháp phát xâm nhập dựa mạng Nơ ron thuật toán Random Forest Trong chương nêu mơ hình phát xâm nhập IoT gateway, kiến trúc hệ thống phát xâm nhập, tiến hành thiết lập thử nghiệm đưa kết đánh giá cuối Các kết thử nghiệm cho thấy hệ thống IDS ứng dụng giải pháp mạng Nơ ron đạt độ xác 90% ứng dụng thuật tốn Random Forest có độ xác lên đến 93% 67 KẾT LUẬN Hệ thống phát xâm nhập giải pháp quan tâm hàng đầu nhằm bảo vệ linh hoạt, hiệu trước xâm nhập trái phép Internet nhắm tới thiết bị IoT Mặc dù gặp nhiều thách thức nguy công bảo mật phức tạp khó đốn trước được, hệ thống phát xâm nhập ứng dụng kỹ thuật học máy cho thấy nhiều tiềm thu hút nhiều quan tâm, đầu tư nghiên cứu Trong tình hình đó, việc nghiên cứu, tìm hiểu nắm bắt giải pháp phát xâm nhập hiệu cho thiết bị IoT gateway dựa công nghệ học máy cấp thiết Trong khuôn khổ luận văn này, học viên tập trung nghiên cứu vấn đề an tồn thơng tin cho thiết bị IoT gateway kỹ thuật phát xâm nhập ứng dụng kỹ thuật học máy IoT, sở đó, xây dựng thử nghiệm giải pháp phát xâm nhập sử dụng công nghệ học máy kịch ứng dụng cho thiết bị IoT gateway Các nội dung đạt luận văn bao gồm: - Nghiên cứu tổng quan Internet of things, thiết bị IoT Gateway, kỹ thuật mà hệ thống IDS truyền thống sử dụng để phát xâm nhập lý thuyết thuật toán học máy ứng dụng phát xâm nhập: KNN, SVM, Naive Bayes, J48 Decision Tree Đặc biệt thuật toán Random Forest mạng Nơ - ron Nghiên cứu thuật toán học máy ứng dụng tiếp cận phát xâm nhập, đưa giải pháp phát xâm nhập ứng dụng cho IoT Gateway đề xuất mơ hình ứng dụng học máy phát xâm nhập Đồng thời nghiên cứu mơ hình, kiến trúc Random Forest mạng Nơ ron nhằm áp dụng vào hệ thống phát xâm nhập giúp cải thiện tỷ lệ phát xác giảm - thiểu tỷ lệ cảnh báo nhầm hệ thống IDS thông thường Ứng dụng triển khai thử nghiệm giải pháp phát xâm nhập sử dụng mạng Nơ ron thuật toán Random Forest tập liệu UNSW-NB15 Thông qua 68 bước xây dựng mơ hình kiến trúc tổng thể thiết lập thử nghiệm cho thấy hệ thống IDS ứng dụng giải pháp mạng Nơ ron đạt độ xác tương đối khoảng 90% ứng dụng thuật tốn Random Forest đạt độ xác lên đến 93% Tuy nhiên, thời gian nghiên cứu ngắn phạm vi lĩnh vực nghiên cứu rộng, nên luận văn nhiều vấn đề chưa đề cập chưa giải triệt để Trong thời gian tới, em tiếp tục nghiên cứu thử nghiệm kết hợp với giải pháp phù hợp vào hệ thống phát xâm nhập cố gắng đưa ứng dụng vào thực tiễn 69 DANH MỤC TÀI LIỆU THAM KHẢO [1] A Hameed and A Alomary, "Security Issues in IoT: A Survey," 2019 International Conference on Innovation and Intelligence for Informatics, Computing, and Technologies (3ICT), pp 1-5, 2019 [2] Jorma Laaksonen, Erkki Oja, (1996) Classification with learning k-Nearest Neighbors [3] Maheshkumar Sabhnani Gursel Serpen, (2015), “Application of Machine Learning Algorithms to KDD Intrusion Detection Dataset within Misuse Detection Context” [4] Markus Goldstein, Seiichi Uchida, (2013) “Behavior Analysis Using Unsupervised Anomaly Detection” [5] Michael Nielsen (2018), Neural Networks and Deep Learning [6] Mitchell, T (1997) Machine Learning [7] Ranzhe Jing, Yong Zhang A View of Support Vector Machines Algorithm on Classification Problems International Conference on Multimedia Communications [8] Syed Ali Raza Shah, Biju Issac, “Performance comparison of intrusion detection systems and application of machine learning to Snort system,” Future Generation Computer Systems, Vol 80, pp 157-170, 2018 [9] Swain, Philip H., Hans Hauska (1977) The Decision Tree classifier: design and potential IEEE Transactions on Geoscience Electronics [10] Nguyễn Ngọc Điệp, Nguyễn Thị Thanh Thuỷ, “Nâng cao khả phát xâm nhập mạng sử dụng mạng CNN”, Tạp chí khoa học cơng nghệ thơng tin truyền thơng, số 4B (CS.01), pp 61-68, 2020 ... giải pháp phát xâm nhập (IDS) dựa công nghệ học máy cho thiết bị IoT gateway Ứng dụng thuật toán học máy Random Forest mạng Nơ ron để phát xâm nhập dựa tập liệu UNSW-NB15 Nghiên cứu phương pháp kết... nhập hiệu cho thiết bị IoT gateway, nội dung luận văn tập trung nghiên cứu, xây dựng thử nghiệm giải pháp phát xâm nhập dựa công nghệ học máy cho thiết bị IoT gateway Luận văn trình bày theo 03... thống IDS IoT - Gateway Chương - Giải pháp phát xâm nhập ứng dụng học máy: Giới thiệu tổng quan giải pháp phát xâm nhập cho IoT gateway, đồng thời trình bày kỹ thuật học máy sử dụng phát xâm nhập,