Nghiên cứu các phương pháp phát hiện botnet dựa trên học máy sử dụng lưu lượng mạng

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THÔNG TIN -  - ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN BOTNET DỰA TRÊN HỌC MÁY SỬ DỤNG LƯU LƯỢNG MẠNG Giảng viên hướng dẫn: TS Hoàng Xuân Sinh viên thực hiện: Dậu Nguyễn Quốc Mã sinh viên: Tuấn B17DCAT201 Khoa: Công nghệ thông tin Lớp: D17CQAT01-B 2017 Niên khóa: - 2021 Hà Nội, tháng 01 năm 2022 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THÔNG TIN -  - ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN BOTNET DỰA TRÊN HỌC MÁY SỬ DỤNG LƯU LƯỢNG MẠNG Giảng viên hướng dẫn: TS Hoàng Xuân Sinh viên thực hiện: Dậu Nguyễn Quốc Mã sinh viên: Tuấn B17DCAT201 Khoa: Công nghệ thông tin Lớp: D17CQAT01-B 2017 Niên khóa: - 2021 Hà Nội, tháng 01 năm 2022 LỜI CẢM ƠN Đầu tiên, em xin bày tỏ lòng biết ơn sâu sắc đến Thầy giáo hướng dẫn em – TS Hồng Xn Dậu, người ln tận tình hướng dẫn dạy cho em, người dành thời gian quan tâm đến em suốt trình học tập thực đồ án tốt nghiệp Giúp em có định hướng phương pháp tiếp cận trình tìm hiểu, phát triển đồ án Em xin chân thành cảm ơn thầy! Em xin chân thành cảm ơn Thầy, Cô Khoa Cơng Nghệ Thơng Tin tồn thể cán Học viện Cơng nghệ Bưu Viễn thơng Hà Nội tạo điều kiện để em học tập môi trường tốt Cảm ơn Thầy, Cô cung cấp cho em kiến thức hữu ích học tập kinh nghiệm công việc Giúp em bạn sinh viên ngày trưởng thành Xin gửi lời cảm ơn chân thành đến tất bạn bè em, người bên em, động viên, cổ vũ, tận tình giúp đỡ tạo điều kiện thuận lợi cho em trình làm đồ án tốt nghiệp Cuối cùng, với trình độ hiểu biết cịn nhiều hạn chế thân vốn kiến thức cịn ỏi nên đồ án em khơng tránh khỏi thiếu sót Em mong nhận góp ý Thầy, Cơ để đồ án em hoàn thiện Em xin chân thành cảm ơn! Hà Nội, tháng năm 2022 Sinh viên thực Nguyễn Quốc Tuấn i NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (của giảng viên hướng dẫn) Điểm: (bằng chữ: ) Đồng ý/Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm tốt nghiệp? Hà Nội, ngày tháng năm 2022 CÁN BỘ - GIẢNG VIÊN HƯỚNG DẪN HOÀNG XUÂN DẬU ii NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (của giảng viên phản biện) Điểm: (bằng chữ: ) Đồng ý/Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm tốt nghiệp? Hà Nội, ngày tháng năm 2022 CÁN BỘ - GIẢNG VIÊN PHẢN BIỆN iii MỤC LỤC LỜI CẢM ƠN i MỤC LỤC .iv DANH MỤC HÌNH ẢNH .vi DANH MỤC BẢNG viii DANH MỤC TỪ VIẾT TẮT ix LỜI MỞ ĐẦU .xi CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN BOTNET 12 1.1 Khái quát Botnet 12 1.1.1 Giới thiệu mã độc 12 1.1.2 Giới thiệu Botnet 15 1.1.3 Kiến trúc hoạt động Botnet 16 1.2 Các phương pháp, kỹ thuật phát Botnet 22 1.2.1 Phát dựa honeypot .22 1.2.2 Phát dựa chữ ký 23 1.2.3 Phát dựa bất thường 23 1.3 Kết chương .25 CHƯƠNG 2: PHÁT HIỆN BOTNET DỰA TRÊN HỌC MÁY SỬ DỤNG LƯU LƯỢNG MẠNG 26 2.1 Mô hình phát Botnet dựa học máy sử dụng lưu lượng mạng .26 2.1.1 Giới thiệu mô hình 26 2.1.2 Các khâu xử lý 26 2.2 Khái quát học máy 27 2.2.1 Giới thiệu học máy 27 2.2.2 Quy trình làm việc (Workflow) 29 2.2.3 Phân loại 29 2.2.4 Các thuật ngữ học máy 31 2.2.5 Ứng dụng thực tế .31 2.3 Một số thuật toán học máy có giám sát 32 2.3.1 SVM (Support Vector Machine) .32 2.3.2 Cây định (Decision Tree) 37 2.3.3 Rừng ngẫu nhiên (Random Forest) 41 2.3.4 Naïve Bayes 43 iv 2.4 Kết chương .45 CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 46 3.1 Giới thiệu tập liệu thử nghiệm 46 3.2 Các tảng công cụ thử nghiệm .47 3.2.1 Phần cứng 47 3.2.2 Phần mềm thư viện .47 3.3 Các độ đo đánh giá 47 3.3.1 Ma trận nhầm lẫn 47 3.3.2 Accuracy 48 3.3.3 Precision 48 3.3.4 Recall 48 3.3.5 F1-score 49 3.3.6 FPR (False positive rate) FNR (False negative rate) 49 3.4 Thử nghiệm 49 3.4.1 Tiền xử lý 50 3.4.2 Huấn luyện kiểm thử mơ hình .54 3.4.3 Kết .58 3.4.4 Nhận xét .63 3.5 Kết chương .64 KẾT LUẬN 65 v DANH MỤC HÌNH ẢNH Hình 1-1: Phân loại mã độc 13 Hình 1-2: Mơ hình cơng Botnet .15 Hình 1-3: Kiến trúc Client-Server Botnet 16 Hình 1-4: Kiến trúc P2P Botnet .17 Hình 2-1: Mơ hình xử lý toán 26 Hình 2-2: Các thành phần AI 27 Hình 2-3: Học máy học sâu .28 Hình 2-4: Các bước triển khai mơ hình học máy 29 Hình 2-5: Siêu phẳng phân cách hai lớp 33 Hình 2-6: Lề phân cách hai lớp 34 Hình 2-7: Các siêu phẳng phân lớp .35 Hình 2-8: Điểm liệu gây nhiễu 35 Hình 2-9: Siêu phẳng chọn trường hợp có điểm gây nhiễu .35 Hình 2-10: Các điểm liệu hai lớp khơng phân biệt tuyến tính 36 Hình 2-11: Siêu phẳng trường hợp điểm liệu khơng phân biệt tuyến tính 36 Hình 2-12: Mơ hình định 38 Hình 2-13: Mơ hình Rừng ngẫu nhiên 41 Hình 2-14: Mơ hình chi tiết thuật toán Rừng ngẫu nhiên 42 Hình 3-1: Ma trận nhầm lẫn 48 Hình 3-2: Các ghi lưu lượng 50 Hình 3-3: Code chuẩn hóa trường nhãn .51 Hình 3-4: Code chuẩn hóa trường giao thức 51 Hình 3-5: Kết quả, số lượng ghi sau chuẩn hóa trường giao thức 52 Hình 3-6: Code chuẩn hóa trường có giá trị rỗng 52 Hình 3-7: Code chuẩn hóa trường có giá trị hexa 52 Hình 3-8: Code chuẩn hóa trường địa IP 53 Hình 3-9: Danh sách liệu sau bước tiền xử lý 53 Hình 3-10: Code tách liệu huấn luyện kiểm thử 53 Hình 3-11: Code scaling liệu 54 Hình 3-12: Các thư viện sử dụng 54 Hình 3-13: Đọc liệu 54 Hình 3-14: Tách liệu huấn luyện kiểm thử, scaling liệu .55 vi Hình 3-15: Khai báo thư viện Naive Bayes huấn luyện mơ hình 55 Hình 3-16: Kiểm thử mơ hình Naive Bayes tính độ đo 55 Hình 3-17: Huấn luyện, kiểm thử tính độ đo cho mơ hình Cây định 56 Hình 3-18: Huấn luyện, kiểm thử tính độ đo cho mơ hình Rừng ngẫu nhiên 57 Hình 3-19: Khai báo thư viện SVM huấn luyện mơ hình 58 Hình 3-20: Kiểm thử mơ hình tính độ đo mơ hình SVM 58 Hình 3-21: Các độ đo mơ hình .58 vii DANH MỤC BẢNG Bảng 3-1: Các thuộc tính ghi lưu lượng sử dụng 50 Bảng 3-2: Các độ đo kịch .59 Bảng 3-3: Các độ đo kịch .59 Bảng 3-4: Các độ đo kịch .59 Bảng 3-5: Các độ đo kịch .60 Bảng 3-6: Các độ đo kịch .60 Bảng 3-7: Các độ đo kịch .61 Bảng 3-8: Các độ đo kịch .61 Bảng 3-9: Các độ đo kịch .61 Bảng 3-10: Các độ đo kịch 62 Bảng 3-11: Các độ đo kịch 10 62 Bảng 3-12: Các độ đo kịch 11 62 Bảng 3-13: Các độ đo kịch 12 63 Bảng 3-14: Các độ đo kịch 13 63 viii