Hệ thống phát hiện bất thường trong mạng sử dụng khai phá dữ liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC HỆ THỐNG PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG SỬ DỤNG KHAI PHÁ DỮ LIỆU NGÀNH : CÔNG NGHỆ THÔNG TIN MÃ SỐ : LÊ THẾ THẮNG Người hướng dẫn khoa học: TS NGUYỄN LINH GIANG HÀ NỘI 2007 Tai ngay!!! Ban co the xoa dong chu nay!!! 17061131786911000000 Lời cảm ơn Trước hết xin gửi lời cảm ơn đặc biệt tới TS Nguyễn Linh Giang, Bộ môn Truyền Thông Mạng, Khoa Công nghệ thông tin, Trường Đại học Bách Khoa Hà Nội, người định hướng đề tài tận tình hướng dẫn bảo tơi suốt q trình thực luận văn cao học Tơi xin gửi lời cảm ơn sâu sắc tới Trung tâm Đào tạo Sau đại học thầy cô giáo Khoa Công nghệ thông tin, Trường Đại học Bách Khoa Hà Nội tận tình giảng dạy truyền đạt kiến thức, kinh nghiệm quý báu suốt năm học Cao học Cuối xin dành tình cảm biết ơn tới gia đình bạn bè, người luôn bên cạnh tôi, động viên, chia sẻ suốt thời gian học cao học trình thực luận văn Hà Nội, tháng 11 năm 2007 Lê Thế Thắng iii Mục lục Lời cảm ơn i Mục lục iv Danh sách ký hiệu, từ viết tắt vi Danh sách hình vẽ vii Chương Mở đầu 1 Bối cảnh nghiên cứu Nội dung nghiên cứu Cấu trúc luận văn Chương Tổng quan Hệ thống phát xâm nhập trái phép Khái quát bảo mật hệ thống thông tin 1.1 Các nguy đe dọa 1.2 Các nguyên tắc bảo vệ hệ thống thông tin 10 1.3 Các biện pháp bảo vệ 11 Kỹ thuật phát xâm nhập trái phép 14 2.1 Thành phần 14 2.2 Phân loại 17 2.2.1 Host-based IDS 17 2.2.2 Network-based IDS 18 2.2 Nguyên lý hoạt động 20 2.3 Chất lượng cảnh báo 24 2.4 Phát xâm nhập 26 Kết chương 28 Chương Hệ thống IDS dựa phát bất thường 30 Định nghĩa Bất thường mạng 31 Kỹ thuật phát Bất thường 33 Ưu nhược điểm Phát bất thường 34 Dữ liệu phát bất thường 36 Các phương pháp phát bất thường 39 5.1 Xác suất thống kê 39 5.1.1 Haystack 40 iv 5.1.2 NIDES 40 5.1.3 SPADE 41 5.2 Máy trạng thái hữu hạn 44 5.3 Phát bất thường Mạng Nơ-ron 46 5.4 Hệ chuyên gia 48 5.5 Mạng Bayes 49 Kết chương 51 Chương Phát bất thường sử dụng kỹ thuật Khai phá liệu 52 Khai phá liệu 52 Ứng dụng Khai phá liệu Phát bất thường 54 2.1 Hình thành tốn 54 2.2 Khái niệm phần tử tách biệt 56 2.3 Các thuật toán phát phần tử tách biệt 58 2.3.1 Phát tách biệt sử dụng Khoảng cách đến phần tử gần thứ k 58 2.3.2 Thuật toán NN 59 2.3.3 Phát Phần tử tách biệt dựa khoảng cách Mahalanobis 59 2.3.4 Thuật toán LOF 60 Mô hình Hệ thống Phát bất thường dựa kỹ thuật Khai phá liệu 63 3.1 Môđun Lọc tin 64 3.2 Môđun Trích xuất liệu 65 3.3 Môđun Phát Phần tử tách biệt 65 3.4 Môđun Tổng hợp 69 So sánh Đánh giá 70 4.1 Hệ thống phát bất thường MINDS 71 4.2 Đánh giá khả hoạt động hệ thống MINDS 74 4.3 So sánh MINDS Snort 75 4.4 So sánh MINDS SPADE 76 Kết chương 78 Chương Kết luận 79 5.1 Kết luận luận văn 79 5.2 Hướng nghiên cứu 82 Tài liệu tham khảo 83 v Danh sách ký hiệu, từ viết tắt Từ viết tắt Tên đầy đủ VPN Virtual Private Network IPSec Internet Protocol Security IPS Intrusion Prevention System HTTPS Hypertext Transfer Protocol Secure SNMP Simple Network Management Protocol DoS Denial of Service SSL Secure Socket Layer IDS Intrusion Detection System NIDS Network-based Intrusion Detection System HIDS Host-based Intrusion Detection System SOM Self Organized Map FSM Finite States Machine SPADE Statistical Packet Anomaly Detection Engine MINDS Minnesota Intrusion Detection System NN Nearest Neighbor BTTM Bất thường mạng LOF Local Outlier Factor KPDL Khai phá liệu vi Danh sách hình vẽ Hình Nội dung Hình 2.1 Thời gian có cơng sau cơng bố lỗ hổng Hình 2.2 Số lượng máy bị cơng ngày tăng Hình 2.3 Thời gian lây nhiễm 10.000 máy rút ngắn Hình 2.4 Vai trị IDS hệ thống bảo mật Hình 2.5 Hệ thống phịng thủ theo chiều sâu Hình 2.6 Thành phần hệ thống IDS Hình 2.7 Hoạt động IDS Hình 2.8 Vị trí NIDS HIDS hệ thống mạng Hình 2.9 Nguyên lý hoạt động hệ thống IDS Hình 2.10 IDS gửi TCP Reset Hình 2.11 IDS yêu cầu Firewall tạm dừng dịch vụ Hình 2.12 Ví dụ đường cong ROC Hình 2.13 IDS dựa dấu hiệu Hình 2.14 Thêm luật vào IDS dựa dấu hiệu Hình 3.1 IDS dựa Phát bất thường Hình 3.2 Hoạt động IDS dựa phát bất thường Hình 3.3 Mơ hình hệ thống Phát xâm nhập bất thường thống kê xác suất Hình 3.4 Hình 3.5 Mơ hình IDS sử dụng FSM Hoạt động IDS sử dụng FSM Hình 3.6 IDS dựa SOM Hình 3.7 Sơ đồ Mạng Bayes tổng quát vii Hình 4.1 Ánh xạ Bài toán Phát bất thường toán Phát PT Tách biệt Hình 4.2 Kết nối bất thường phần tử tách biệt Hình 4.3 Khoảng cách Mahalanobis Hình 4.4 Khoảng cách tiếp cận R-dis Hình 4.5 Phân bố điểm liệu Hình 4.6 Hệ thống Phát bất thường sử dụng Kỹ thuật Khai Phá liệu Hình 4.7 Đường cong ROC thuật tốn Hình 4.8 Sử dụng nhiều hướng quan sát bổ sung cho Hình 4.9 Ví dụ tổng hợp luật Hình 4.10 Hoạt động Mơđun Tổng hợp viii Chương M đầu Bối cảnh nghiên cứu Ngày nay, giới, cơng nghệ thơng tin đóng vai trị quan trọng khơng thể thiếu lĩnh vực từ văn hóa, giáo dục, tới đào tạo, sản xuất kinh doanh, quản lý Cùng với lợi ích vơ to lớn mà công nghệ thông tin mang lại, nhận thấy nguy ngày tăng hành vi trái phép, xâm phạm đến hệ thống thông tin Những năm gần chứng kiến bùng phát vụ công vào hệ thống thông tin toàn giới Đặc điểm chung vụ cơng trình độ cơng nghệ ngày cao, khả lây lan phạm vi rộng thời gian ngắn Số vụ công liên quan đến lợi ích kinh tế gia tăng gây tổn thất to lớn cho cá nhân, tổ chức doanh nghiệp Báo cáo hãng bảo mật Symantec năm 2006 cho thấy ngày, giới có đến 6110 vụ công Từ chối dịch vụ, 63.912 máy tính bị nhiễm mã độc hại [18] Tình hình an ninh mạng Việt Nam thời gian gần diễn biến phức tạp số vụ công không ngừng gia tăng Các dạng công DoS, Deface xuất ngày nhiều, gây ảnh hưởng lớn đến q trình hoạt động uy tín tổ chức Số lượng máy tính bị nhiễm virus, worm Việt Nam ước tính đến số hàng triệu năm 2006 Để đối phó trước nguy đó, người ta đưa nhiều giải pháp nhằm tăng cường tính an ninh, hạn chế đến mức tối đa khả bị công Hệ thống Phát xâm nhập (Instrustion Detection System - IDS) thành Lê Thế Thắng Cao học CNTT 2005-2007 phần quan trọng chiến lược xây dựng Hệ thống An ninh Mạng theo chiều sâu Nhiệm vụ IDS thu thập liệu Mạng, tiến hành phân tích, đánh giá, từ xác định xem có dấu hiệu công hay không IDS cảnh bảo cho nhà quản trị trước thủ phạm thực hành vi đánh cắp thông tin hay phá hoại, giảm thiểu nguy an ninh hệ thống Hệ thống Phát xâm nhập có hướng tiếp cận Tiếp cận dựa dấu hiệu Tiếp cận dựa phát bất thường Nếu dựa dấu hiệu, hệ thống sử dụng mẫu cơng có từ trước, tiến hành so sánh để xác định liệu xét có phải bất thường khơng Hướng sử dụng rộng rãi nhiên điểm yếu phát cơng có dấu hiệu biết trước Kỹ thuật phát bất thường khắc phục nhược điểm này, cách tiến hành xây dựng hồ sơ mô tả “trạng thái bình thường” Một hành vi hệ thống coi “bất thường” thông số đo có độ khác biệt đáng kể với mức “bình thường”, từ suy luận “bất thường” dấu hiệu hành vi công Rõ ràng hướng tiếp cận dựa Hành vi bất thường có tính “trí tuệ” cao hồn tồn nhận diện cơng mà chưa có dấu hiệu cụ thể Nội dung nghiên cứu Trong thời gian thực luận văn, tác giả tiến hành nghiên cứu vấn đề sau: • Phân tích vai trị, chức Hệ thống xâm nhập trái phép, tìm hiểu thành phần, cách phân loại hoạt động hệ thống Đưa tiêu chí đánh giá hệ thống IDS Chương 1: Mở đầu Lê Thế Thắng Cao học CNTT 2005-2007 • Tìm hiểu Hệ thống IDS dựa Phát bất thường Phân tích ưu nhược điểm hướng tiếp cận Nghiên cứu kỹ thuật sử dụng để phát bất thường: Khai phá liệu (Data mining), Xác suất thống kê, mạng Neutral, Hệ chuyên gia, Máy trạng thái hữu hạn v.v Đưa đánh giá hiệu kỹ thuật • Nghiên cứu khái quát hóa Hệ thống phát bất thường dựa kỹ thuật Khai phá liệu Đưa đề xuất cải tiến số giai đoạn So sánh đánh giá hệ thống dựa Kỹ thuật với hệ thống Phát xâm nhập khác Cấu trúc luận văn Phần lại luận văn cấu trúc sau: Chương giới thiệu tổng quan Hệ thống Phát xâm nhập trái phép Trong chương tác giả trình bày cách khái qt vai trị IDS hệ thống thơng tin, hình thức phân loại, cấu trúc nguyên lý hoạt động Hệ thống IDS Chương mô tả nguyên tắc phát công dựa theo dõi dấu hiệu bất thường hệ thống, so sánh đánh giá ưu nhược điểm Hệ thống phát xâm nhập trái phép dựa phát bất thường Chương đưa đánh giá số hướng nghiên cứu thực Chương giới thiệu kỹ thuật Khai phá Dữ liệu, đưa toán phát bất thường mạng toán Phát phần tử tách biệt Tác giả trình bày thuật toán Phát phần tử tách biệt, sau đưa đánh Từ đến cuối luận văn, Hệ thống Phát bất thường hiểu Hệ thống Phát xâm nhập trái phép dựa hướng tiếp cận Phát bất thường mạng Chương 1: Mở đầu