Phát hiện xâm nhập mạng bằng phát hiện bất thường dựa trên phân tíh lưu lượng mạng và họ máy

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Phát xâm nhập mạng phát bất thường dựa phân tích lưu lượng mạng học máy NGUYỄN ANH ĐỨC Ngành Công nghê Thông tin Giảng viên hướng dẫn: PGS TS Nguyễn Linh Giang Viện: Công nghệ Thông tin Truyền thông HÀ NỘI, 06/2020 Tai ngay!!! Ban co the xoa dong chu nay!!! 17061132045311000000 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Phát xâm nhập mạng phát bất thường dựa phân tích lưu lượng mạng học máy NGUYỄN ANH ĐỨC Ngành Công nghệ thông tin Giảng viên hướng dẫn: PGS TS Nguyễn Linh Giang Viện: Công nghệ Thông tin Truyền thông HÀ NỘI, 06/2020 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Nguyễn Anh Đức Đề tài luận văn: Phát xâm nhập mạng phát bất thường dựa phân tích lưu lượng mạng học máy Ngành: Công nghệ thông tin Mã số SV: CA170240 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày…27/06/2020 với nội dung sau STT 10 11 12 13 14 Nội dung chỉnh sửa Bổ sung mục tiêu luận văn Bổ sung ưu nhược điểm IDS IPS Bổ sung phương pháp phát bất thường Bô sung ưu nhược điểm hệ thống IDS/IPS dựa luật Bơ sung mơ tả chi tiết thuật tốn lan truyền ngược Đưa kiểu công Portscan xuống chương Bổ sung giới thiệu mô tả chi tiết PortscanAI Sửa lại mô tả chi tiết liệu đầu vào cho mạng nơ-ron Thay đổi hình vẽ mơ hình thử nghiệm Bổ sung giải thích kết thử nghiệm Bổ sung so sanh hiệu suất trước sau áp dụng học máy Bổ sung đánh giá kết thử nghiệm Sửa lỗi tả Sửa lỗi trích dẫn tài liệu tham khảo Giáo viên hướng dẫn Mục lục Trang 1.1.2 2.1 4-5 19 2.1.1 19-20 2.1.2.2 3.1 3.2.1 23-26 36-38 39-42 3.2.1 3.2.2 3.2.3.1 42-49 50 61-62 3.2.3.2 3.2.4 63-62 64-65 Ngày tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG Lời cảm ơn Trước hết, em xin chân thành gửi lời cảm ơn đến trường Đại Học Bách Khoa Hà Nội đào đạo, trau dồi cho em kiến thức thật bổ ích thời gian học trường Em xin cảm ơn thầy Nguyễn Linh Giang hướng dẫn em hoàn thành Đồ án chuyên ngành Cảm ơn thầy định hướng, hướng dẫn, truyền đạt lại kiến thức bổ ích, cung cấp tài liệu cần thiết để em hoàn thành đồ án Cảm ơn nhiệt tình, tận tâm thầy chúng em Em xin cảm ơn tất thầy cô trường Đại Học Bách Khoa Hà Nội thầy cô viện Công Nghệ Thông Tin truyền thông đào tạo, tạo điều kiện cung cấp cho chúng em kiến thức hữu ích, làm hành trang bước vào tương lai Em kính chúc thầy Nguyễn Linh Giang tất thầy cô viện Công Nghệ Thông Tin truyền thông trường Đại Học Bách Khoa Hà Nội dồi sức khỏe, gặt hái nhiều thành nghiệp trồng người mà thầy cô chọn Em xin cảm ơn Viện Hóa học Mơi trường Qn hỗ trợ tơi q trình thực luận văn "Nghiên cứu tài trợ Quỹ Phát triển khoa học công nghệ Quốc gia (NAFOSTED) đề tài mã số 102.02- 2019.314” Tóm tắt nội dung luận văn Đề tài: Phát xâm nhập mạng phát bất thường dựa phân tích lưu lượng mạng học máy Tác giả luận văn: Nguyễn Anh Đức Khóa: 2017A Người hướng dẫn: PGS.TS Nguyễn Linh Giang Nội dung tóm tắt: a) Lý chọn đề tài: An ninh thơng tin nói chung an ninh mạng nói riêng vấn đề quan tâm khơng Việt Nam mà tồn giới Thời gian gần đây, quan, tổ chức tăng cường triển khai đào tạo, đầu tư mua sắm trang thiết bị nghiên cứu biện pháp nhằm đảm bảo an tồn thơng tin cho máy tính cá nhân mạng nội Tuy nhiên, tình trạng cơng mạng thường xun xảy ra, có nhiều quan, tổ chức bị đánh cắp thông tin gây nên hậu vô nghiêm trọng Hiện nay, theo nghiên cứu Việt Nam giới xây dựng hệ thống phát xâm nhập mạng trái phép dựa mã nguồn mở phát triển mạnh, nhiên Việt Nam nghiên cứu có mức độ triển khai vào thực tế chưa cao Ngoài ra, chương trình giám sát hầu hết tích hợp thiết bị phần cứng nên việc khai thác chức năng, người dùng tự phát triển mở rộng thêm chức chương trình nhằm phục vụ cho cơng việc quản trị mạng bị hạn chế Vì vậy, lựa chọn đề tài "Phát xâm nhập mạng phát bất thường dựa phân tích lưu lượng mạng học máy" nhằm nâng cao khả bảo đảm an tồn thơng tin, hỗ trợ giám sát bảo vệ hệ thống mạng yêu cầu khách quan cần thiết giai đoạn b) Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu - Mục đích nghiên cứu: Nghiên cứu phương pháp phát xâm nhập trái phép dựa phát bất thường học máy - Đối tượng, phạm vi nghiên cứu: + Phương pháp phát xâm nhập trái phép dựa bất thường + Thử nghiệm Snort phát xâm nhập + Ứng dụng Snorttrong IDS/IPS c) Kết luận Luận văn nghiên cứu trình bày tổng quan hệ thống phát xâm nhập, kỹ thuật phát xâm nhập, nghiên cứu thử nghiệm hệ thống Snort đưa số kết phát xâm nhập dựa dấu hiệu; nghiên cứu phương pháp phát xâm nhập dựa bất thường học máy MỤC LỤC MỞ ĐẦU CHƯƠNG TƠNG QUAN VỀ PHÁT HIỆN VÀ PHỊNG CHỐNG XÂM NHẬP MẠNG IDS/IPS 1.1 Giới thiệu IDS/IPS 1.1.1 Khái niệm IDS/IPS 1.1.2 Sự khác IDS/IPS 1.1.3 Phân biệt hệ thống IDS 1.2 Chức IDS/IPS 1.3 Phân biệt IDS IPS 1.4 1.5 1.3.1 Network based IDS – NIDS 1.3.2 Host Based IDS-HIDS 1.3.3 So sánh NIDS HIDS 10 Kiến trúc IDS nguyên lý hoạt động 12 1.4.1 Kiến trúc IDS 12 1.4.2 Nguyên lý hoạt động 13 Cơ chế hoạt động hệ thống IDS/IPS 14 1.5.1 Phát lạm dụng 14 1.5.2 Phát bất thường 15 1.5.3 So sánh mô hình 17 CHƯƠNG CÁC PHƯƠNG PHÁP PHÁT HIỆN TẤN CÔNG TRONG HỆ THỐNG IDS/IPS VÀ SNORT 19 2.1 Các phương pháp phát bất thường 19 2.1.1 Phát xâm nhập mạng bất thường dựa luật (rule-based) IDS/IPS 19 2.1.2 Phát xâm nhập mạng bất thường dựa mạng nơ-ron (Artificial Neural Network) 20 2.2 Hệ thống phát xâm nhập với Snort 26 2.3 Kiến trúc snort 27 2.3.1 Môđun giải mã gói tin 28 2.3.2 Môđun tiền xử lý 28 2.3.3 Môđun phát 29 2.3.4 Môđun log cảnh báo 30 2.3.5 Mô đun kết xuất thông tin 30 2.3.6 Bộ luật snort 31 CHƯƠNG THỬ NGHIỆM PHÁT HIỆN TẤN CÔNG XÂM NHẬP MẠNG BẤT THƯỜNG BẰNG HỌC MÁY 36 3.1 3.2 Các kiểu cống Portscan 36 3.1.1 TCP Connect Scan 36 3.1.2 UDP Scan 37 3.1.3 SYN Scan 37 3.1.4 FIN Scan 38 3.1.5 XMAS Scan 38 3.1.6 NULL Scan 38 3.1.7 Decoy Scan 38 Thử nghiệm phát công học máy 39 3.2.1 Giới thiệu PortscanAI 39 3.2.2 Mơ hình thử nghiệm 50 3.2.3 Quá trình thử nghiệm 50 3.2.4 Đánh giá kết thử nghiệm 64 KẾT LUẬN 66 TÀI LIỆU THAM KHẢO 67 DANH MỤC HÌNH VẼ HÌNH 1.1 Mơ hình IDS HÌNH 1.2 Mơ hình NIDS HÌNH 1.3 Mơ hình Host based IDS – HIDS HÌNH 1.4 Một ví dụ sử dụng kết hợp NIDS HIDS 11 HÌNH 1.5 Thành phần IDS 12 HÌNH 1.6 Hoạt động IDS 13 HÌNH 1.7 Hệ thống kết hợp mơ hình phát 18 HÌNH 2.1 Mơ hình hệ thống phát bất thường dựa rule-based 20 HÌNH 2.2 Kiến trúc nơ ron nhân tạo 22 HÌNH 2.3Mơ hình mạng nơ ron 22 HÌNH 2.4 Mạng truyền thẳng 24 HÌNH 2.5 Hệ thống phát xâm nhập sử dụng snort (Snort IDS) 27 HÌNH 2.6 Kiến trúc Snort 27 HÌNH 2.7 Mơ hình xử lý gói tin Ethernet 28 HÌNH 3.1 Mơ hình kiến trúc snort chưa tích hợp học máy 39 HÌNH 3.2 Kiểu cơng TCP CONNECT ( Trái ) TCP SYN ( Phải ) 40 HÌNH 3.3 Sơ đồ hoạt động hệ thống 41 HÌNH 3.4 Sơ đồ chi tiết PortscanAI 42 HÌNH 3.5 Mơ hình mạng nơ ron PortscanAI 45 HÌNH 3.6 Sơ đồ gói AI tích hợp Snort 47 HÌNH 3.7 Thông số lớp đầu vào đâu mạng nơ ron 48 HÌNH 3.8 Đồ thị huấn luyện mạng 49 HÌNH 3.9 Mạng nơ-ron với lớp đầu vào lớp đâu 49 HÌNH 3.10 Mơ hình thử nghiệm 50 MỤC LỤC BẢNG BIỂU Bảng 1.1 So sánh mơ hình phát 17 Bảng 2.1 Cấu trúc luật Snort 31 Bảng 2.2 Cấu trúc Header luật Snort 32 Bảng 3.1 Bảng thu thập liệu đầu vào 44 MỞ ĐẦU 1.Tính cấp thiết đề tài: An ninh mạng vấn đề giới công nghệ thông tin quan tâm Một internet đời phát triển, nhu cầu trao đổi thông tin trở nên cần thiết Mục tiêu việc nối mạng làm cho người sử dụng chung tài nguyên từ vị trí địa lý khác Cũng mà tài ngun dễ dàng bị phân tán, dẫn điều hiển nhiên chúng bị xâm phạm, gây mát liệu thơng tin có giá trị Càng giao thiệp rộng dễ bị cơng Từ đó, vấn đề bảo vệ thơng tin đồng thời xuất Ngồi lợi ích mà Internet mạng lại cho người hiểm họa từ Internet mang đến khơng Nhiều người dựa lỗ hỗng bảo mật Internet để xâm nhập, chiếm dụng thông tin phá hoại hệ thống máy tính khác Vì vậy, phát phịng chống công xâm nhập trái phép cho mạng máy tính vấn đề cần thiết Có nhiều giải pháp đưa dùng tường lửa (Firewall), Mạng riêng ảo VPN, IDS/IPS… Hệ thống phát xâm nhập IDS (Intrusion Detection System) phương pháp bảo mật có khả phát chống lại kiểu công mới, vụ lạm dụng, dùng sai xuất phát từ hệ thống hoạt động tốt với phương pháp bảo mật truyền thống khác Luận văn tập trung nghiên cứu Phát xâm nhập mạng phát bất thường dựa phân tích lưu lượng mạng học máy 2.Tổng quan nội dung nghiên cứu đề tài Cách khoảng 25 năm, khái niệm phát xâm nhập xuất qua báo James Anderson [1] Khi người ta cần IDS với mục đích dị tìm nghiên cứu hành vi bất thường thái độ người sử dụng mạng, phát việc làm dụng đặc quyền để giám sát tài sản hệ thống mạng Hiện IDS/IPS công nghệ an ninh sử dụng nhiều phát triển Hệ thống phát xâm nhập (IDS) phương pháp bảo mật có khả chống lại kiểu cơng hoạt động tốt với phương pháp bảo mật truyền thống Nó nghiên cứu, phát triển ứng dụng nhiều quốc gia Tuy nhiên Việt Nam hệ thống nghiên cứu ứng dụng thực tế nhiều hạn chế Nguyên nhân việc hệ thống IDS phức tạp, tốn thời gian đào tạo để sử dụng, hệ thống lớn, yêu cầu nhiều trang thiết bị, nhiều công sức để quản lý bảo dưỡng, không phù hợp với điều kiện hệ thống Việt Nam Từ vấn đề nêu trên, thực đề tài với mong muốn nghiên cứu đặc trưng hệ thống phát xâm nhập trái phép, giới