Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu

Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu Hệ thống phát hiện bất thường trong mạng khai phá dữ liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC HỆ THỐNG PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG SỬ DỤNG KHAI PHÁ DỮ LIỆU NGÀNH : CÔNG NGHỆ THÔNG TIN MÃ SỐ : LÊ THẾ THẮNG Người hướng dẫn khoa học: TS NGUYỄN LINH GIANG HÀ NỘI 2007 Lời cảm ơn Trước hết xin gửi lời cảm ơn đặc biệt tới TS Nguyễn Linh Giang, Bộ môn Truyền Thông Mạng, Khoa Công nghệ thông tin, Trường Đại học Bách Khoa Hà Nội, người định hướng đề tài tận tình hướng dẫn bảo tơi suốt q trình thực luận văn cao học Tơi xin gửi lời cảm ơn sâu sắc tới Trung tâm Đào tạo Sau đại học thầy cô giáo Khoa Công nghệ thông tin, Trường Đại học Bách Khoa Hà Nội tận tình giảng dạy truyền đạt kiến thức, kinh nghiệm quý báu suốt năm học Cao học Cuối xin dành tình cảm biết ơn tới gia đình bạn bè, người luôn bên cạnh tôi, động viên, chia sẻ suốt thời gian học cao học trình thực luận văn Hà Nội, tháng 11 năm 2007 Lê Thế Thắng iii Mục lục Lời cảm ơn i Mục lục iv Danh sách ký hiệu, từ viết tắt vi Danh sách hình vẽ vii Chương Mở đầu 1 Bối cảnh nghiên cứu Nội dung nghiên cứu Cấu trúc luận văn Chương Tổng quan Hệ thống phát xâm nhập trái phép Khái quát bảo mật hệ thống thông tin 1.1 Các nguy đe dọa 1.2 Các nguyên tắc bảo vệ hệ thống thông tin 10 1.3 Các biện pháp bảo vệ 11 Kỹ thuật phát xâm nhập trái phép 14 2.1 Thành phần 14 2.2 Phân loại 17 2.2.1 Host-based IDS 17 2.2.2 Network-based IDS 18 2.2 Nguyên lý hoạt động 20 2.3 Chất lượng cảnh báo 24 2.4 Phát xâm nhập 26 Kết chương 28 Chương Hệ thống IDS dựa phát bất thường 30 Định nghĩa Bất thường mạng 31 Kỹ thuật phát Bất thường 33 Ưu nhược điểm Phát bất thường 34 Dữ liệu phát bất thường 36 Các phương pháp phát bất thường 39 5.1 Xác suất thống kê 39 5.1.1 Haystack 40 iv 5.1.2 NIDES 40 5.1.3 SPADE 41 5.2 Máy trạng thái hữu hạn 44 5.3 Phát bất thường Mạng Nơ-ron 46 5.4 Hệ chuyên gia 48 5.5 Mạng Bayes 49 Kết chương 51 Chương Phát bất thường sử dụng kỹ thuật Khai phá liệu 52 Khai phá liệu 52 Ứng dụng Khai phá liệu Phát bất thường 54 2.1 Hình thành tốn 54 2.2 Khái niệm phần tử tách biệt 56 2.3 Các thuật toán phát phần tử tách biệt 58 2.3.1 Phát tách biệt sử dụng Khoảng cách đến phần tử gần thứ k 58 2.3.2 Thuật toán NN 59 2.3.3 Phát Phần tử tách biệt dựa khoảng cách Mahalanobis 59 2.3.4 Thuật toán LOF 60 Mô hình Hệ thống Phát bất thường dựa kỹ thuật Khai phá liệu 63 3.1 Môđun Lọc tin 64 3.2 Môđun Trích xuất liệu 65 3.3 Môđun Phát Phần tử tách biệt 65 3.4 Môđun Tổng hợp 69 So sánh Đánh giá 70 4.1 Hệ thống phát bất thường MINDS 71 4.2 Đánh giá khả hoạt động hệ thống MINDS 74 4.3 So sánh MINDS Snort 75 4.4 So sánh MINDS SPADE 76 Kết chương 78 Chương Kết luận 79 5.1 Kết luận luận văn 79 5.2 Hướng nghiên cứu 82 Tài liệu tham khảo 83 v Danh sách ký hiệu, từ viết tắt Từ viết tắt Tên đầy đủ VPN Virtual Private Network IPSec Internet Protocol Security IPS Intrusion Prevention System HTTPS Hypertext Transfer Protocol Secure SNMP Simple Network Management Protocol DoS Denial of Service SSL Secure Socket Layer IDS Intrusion Detection System NIDS Network-based Intrusion Detection System HIDS Host-based Intrusion Detection System SOM Self Organized Map FSM Finite States Machine SPADE Statistical Packet Anomaly Detection Engine MINDS Minnesota Intrusion Detection System NN Nearest Neighbor BTTM Bất thường mạng LOF Local Outlier Factor KPDL Khai phá liệu vi Danh sách hình vẽ Hình Nội dung Hình 2.1 Thời gian có cơng sau cơng bố lỗ hổng Hình 2.2 Số lượng máy bị cơng ngày tăng Hình 2.3 Thời gian lây nhiễm 10.000 máy rút ngắn Hình 2.4 Vai trị IDS hệ thống bảo mật Hình 2.5 Hệ thống phịng thủ theo chiều sâu Hình 2.6 Thành phần hệ thống IDS Hình 2.7 Hoạt động IDS Hình 2.8 Vị trí NIDS HIDS hệ thống mạng Hình 2.9 Nguyên lý hoạt động hệ thống IDS Hình 2.10 IDS gửi TCP Reset Hình 2.11 IDS yêu cầu Firewall tạm dừng dịch vụ Hình 2.12 Ví dụ đường cong ROC Hình 2.13 IDS dựa dấu hiệu Hình 2.14 Thêm luật vào IDS dựa dấu hiệu Hình 3.1 IDS dựa Phát bất thường Hình 3.2 Hoạt động IDS dựa phát bất thường Hình 3.3 Mơ hình hệ thống Phát xâm nhập bất thường thống kê xác suất Hình 3.4 Mơ hình IDS sử dụng FSM Hình 3.5 Hoạt động IDS sử dụng FSM Hình 3.6 IDS dựa SOM Hình 3.7 Sơ đồ Mạng Bayes tổng quát vii Hình 4.1 Ánh xạ Bài toán Phát bất thường toán Phát PT Tách biệt Hình 4.2 Kết nối bất thường phần tử tách biệt Hình 4.3 Khoảng cách Mahalanobis Hình 4.4 Khoảng cách tiếp cận R-dis Hình 4.5 Phân bố điểm liệu Hình 4.6 Hệ thống Phát bất thường sử dụng Kỹ thuật Khai Phá liệu Hình 4.7 Đường cong ROC thuật tốn Hình 4.8 Sử dụng nhiều hướng quan sát bổ sung cho Hình 4.9 Ví dụ tổng hợp luật Hình 4.10 Hoạt động Mơđun Tổng hợp viii Chương Mở đầu Bối cảnh nghiên cứu Ngày nay, giới, cơng nghệ thơng tin đóng vai trị quan trọng khơng thể thiếu lĩnh vực từ văn hóa, giáo dục, tới đào tạo, sản xuất kinh doanh, quản lý Cùng với lợi ích vơ to lớn mà công nghệ thông tin mang lại, nhận thấy nguy ngày tăng hành vi trái phép, xâm phạm đến hệ thống thông tin Những năm gần chứng kiến bùng phát vụ công vào hệ thống thông tin toàn giới Đặc điểm chung vụ cơng trình độ cơng nghệ ngày cao, khả lây lan phạm vi rộng thời gian ngắn Số vụ cơng liên quan đến lợi ích kinh tế gia tăng gây tổn thất to lớn cho cá nhân, tổ chức doanh nghiệp Báo cáo hãng bảo mật Symantec năm 2006 cho thấy ngày, giới có đến 6110 vụ công Từ chối dịch vụ, 63.912 máy tính bị nhiễm mã độc hại [18] Tình hình an ninh mạng Việt Nam thời gian gần diễn biến phức tạp số vụ công không ngừng gia tăng Các dạng công DoS, Deface xuất ngày nhiều, gây ảnh hưởng lớn đến q trình hoạt động uy tín tổ chức Số lượng máy tính bị nhiễm virus, worm Việt Nam ước tính đến số hàng triệu năm 2006 Để đối phó trước nguy đó, người ta đưa nhiều giải pháp nhằm tăng cường tính an ninh, hạn chế đến mức tối đa khả bị công Hệ thống Phát xâm nhập (Instrustion Detection System - IDS) thành Lê Thế Thắng Cao học CNTT 2005-2007 phần quan trọng chiến lược xây dựng Hệ thống An ninh Mạng theo chiều sâu Nhiệm vụ IDS thu thập liệu Mạng, tiến hành phân tích, đánh giá, từ xác định xem có dấu hiệu công hay không IDS cảnh bảo cho nhà quản trị trước thủ phạm thực hành vi đánh cắp thông tin hay phá hoại, giảm thiểu nguy an ninh hệ thống Hệ thống Phát xâm nhập có hướng tiếp cận Tiếp cận dựa dấu hiệu Tiếp cận dựa phát bất thường Nếu dựa dấu hiệu, hệ thống sử dụng mẫu cơng có từ trước, tiến hành so sánh để xác định liệu xét có phải bất thường khơng Hướng sử dụng rộng rãi nhiên điểm yếu phát cơng có dấu hiệu biết trước Kỹ thuật phát bất thường khắc phục nhược điểm này, cách tiến hành xây dựng hồ sơ mô tả “trạng thái bình thường” Một hành vi hệ thống coi “bất thường” thông số đo có độ khác biệt đáng kể với mức “bình thường”, từ suy luận “bất thường” dấu hiệu hành vi công Rõ ràng hướng tiếp cận dựa Hành vi bất thường có tính “trí tuệ” cao hồn tồn nhận diện công mà chưa có dấu hiệu cụ thể Nội dung nghiên cứu Trong thời gian thực luận văn, tác giả tiến hành nghiên cứu vấn đề sau: • Phân tích vai trị, chức Hệ thống xâm nhập trái phép, tìm hiểu thành phần, cách phân loại hoạt động hệ thống Đưa tiêu chí đánh giá hệ thống IDS Chương 1: Mở đầu Lê Thế Thắng Cao học CNTT 2005-2007 • Tìm hiểu Hệ thống IDS dựa Phát bất thường Phân tích ưu nhược điểm hướng tiếp cận Nghiên cứu kỹ thuật sử dụng để phát bất thường: Khai phá liệu (Data mining), Xác suất thống kê, mạng Neutral, Hệ chuyên gia, Máy trạng thái hữu hạn v.v Đưa đánh giá hiệu kỹ thuật • Nghiên cứu khái quát hóa Hệ thống phát bất thường dựa kỹ thuật Khai phá liệu Đưa đề xuất cải tiến số giai đoạn So sánh đánh giá hệ thống dựa Kỹ thuật với hệ thống Phát xâm nhập khác Cấu trúc luận văn Phần lại luận văn cấu trúc sau: Chương giới thiệu tổng quan Hệ thống Phát xâm nhập trái phép Trong chương tác giả trình bày cách khái qt vai trị IDS hệ thống thơng tin, hình thức phân loại, cấu trúc nguyên lý hoạt động Hệ thống IDS Chương mô tả nguyên tắc phát công dựa theo dõi dấu hiệu bất thường hệ thống, so sánh đánh giá ưu nhược điểm Hệ thống phát xâm nhập trái phép dựa phát bất thường Chương đưa đánh giá số hướng nghiên cứu thực Chương giới thiệu kỹ thuật Khai phá Dữ liệu, đưa toán phát bất thường mạng toán Phát phần tử tách biệt Tác giả trình bày thuật tốn Phát phần tử tách biệt, sau đưa đánh Từ đến cuối luận văn, Hệ thống Phát bất thường hiểu Hệ thống Phát xâm nhập trái phép dựa hướng tiếp cận Phát bất thường mạng Chương 1: Mở đầu Lê Thế Thắng 71 Cao học CNTT 2005-2007 lượng cao bao quát tất vấn đề lĩnh vực Ngoài việc đánh giá phải gồm nhiều tiêu chí tỷ lệ phát (có tất cơng phát đúng), tỷ lệ phát sai (có kết nối bình thường bị coi cơng) v.v… Trong phần nhằm làm rõ ưu điểm Hệ thống phát bất thường sử dụng Kỹ thuật Khai phá liệu, đánh giá Hệ thống MINDS, hệ thống sử dụng thuật toán phát phần tử tách biệt để phát bất thường Ngoài ra, phần đưa kết so sánh MINDS với phần mềm SNORT, Hệ thống IDS dựa dấu hiệu sử dụng phổ biến kết so sánh MINDS với SPADE, môđun phát bất thường dựa phương pháp Xác suất thống kê 4.1 Hệ thống phát bất thường MINDS MINDS (Minnesota Intrusion Detection System) hệ thống phát bất thường sử dụng kỹ thuật Khai phá liệu Hiện MINDS triển khai số hệ thống mạng với hàng chục nghìn máy tính giám sát hành triệu dịng lưu thơng mạng ngày MINDS đánh giá hoạt động hiệu hệ thống mạng lớn, cho phép tìm thấy nhiều dạng công mà hệ thống khác khơng thể phát Thêm vào đó, MINDS có khả xác định kênh kết nối giả mạo hành vi đánh cắp thông tin hệ thống IDS sử dụng rộng rãi khác Snort gặp nhiều khó khăn để phát cảnh báo Đầu vào cho hệ thống MINDS liệu mạng thu thập nhờ công cụ Netflow Công cụ bắt thông tin header gói tin khơng can thiệp vào nội dung gói tin Điều nhằm tăng khả xử lý Hệ thống phát bất thường đa số thông tin cần thiết nằm Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Lê Thế Thắng 72 Cao học CNTT 2005-2007 phần header gói tin Netflow sau lấy thông tin xây dựng phiên giao dịch chiều (hay gọi dòng tin- flow) Có thể sử dụng cơng cụ tcpdump để thay cho Netflow Netflow sử dụng cửa sổ quan sát 10 phút, thơng thường với thời gian có khoảng đến triệu phiên giao dịch chiều Sau hệ thống tiến hành lọc thơng tin khơng cần thiết gói tin xuất phát từ nguồn tin cậy, số gói tin giao thức HTTP hay FTP, gói tin bất thường mà hệ thống biết hành vi công Với nguồn liệu làm sạch, MINDS tiến hành trích xuất thống kê số yếu tố đặc trưng nhằm phục vụ cho kỹ thuật Khai phá liệu Các yếu tố trích xuất bao gồm: SIP, DIP, Sport, Dport, Protocol, Flags, BytesNum, PacketsNum Yếu tố Tên Mô tả SIP Địa IP nguồn DIP Địa IP đích Sport Cổng nguồn Dport Cổng đích Protocol Giao thức sử dụng Flags Các cờ gói tin BytesNum Số lượng byte PacketNum Số gói tin Ngồi yếu tố liệt kê trên, Hệ thống MINDS sử dụng hướng đánh giá khác dựa Quan sát dựa Thời gian Quan sát dựa Kết nối Quan sát thời gian thống kê số lượng kết nối có tính chất tương tự khoảng thời gian T (giây) Quan sát dựa Thời gian phát hiệu loại công Từ chối dịch vụ, cơng dị Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Lê Thế Thắng Cao học CNTT 2005-2007 73 quét cổng, , đặc điểm loại công số lượng gói tin lớn khoảng thời gian khơng dài Các yếu tố cần sử dụng cho Quan sát Thời gian là: Yếu tố Tên Mô tả Count_des Cùng địa IP nguồn, số lượng IP đích mạng T giây gần 10 Count_src Cùng địa IP đích, số lượng IP nguồn mạng T giây gần 11 Count_ser_src Số lượng kết nối từ địa IP nguồn đến địa cổng đích T giây gần 12 Count_ser_des Số lượng kết nối từ địa IP đích đến địa cổng đích T giây gần Tấn cơng dị qt “chậm” dạng công mà thủ phạm sử dụng nhiều thời gian lần dò quét Loại công dễ dàng qua mặt hệ thống IDS thơng thường Snort Để đối phó với với loại công này, MINDS sử dụng Quan sát dựa Kết nối, tức số lượng kết nối có đặc điểm N kết nối gần Các yếu tố thống kê bao gồm: Yếu tố Tên Mô tả 13 Count_des_conn Cùng địa IP nguồn, số lượng IP đích mạng N kết nối gần 14 Count_src_conn Cùng địa IP đích, số lượng IP nguồn mạng N kết nối gần 15 Count_srv_src_conn Số lượng kết nối từ địa IP nguồn đến địa cổng đích N kết nối gần Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Lê Thế Thắng 74 16 Count_srv_des_conn Cao học CNTT 2005-2007 Số lượng kết nối từ địa IP đích đến địa cổng đích N kết nối gần Sau bước trích xuất thông tin, MINDS sử dụng phát công biết trước để lọc thông tin khơng cần phải phân tích thêm Tiếp theo, liệu đưa vào môđun Phát bất thường sử dụng thuật toán phát phần tử tách biệt Đối với kết nối, MINDS gán cho số bất thường Các chuyên gia kiểm định kết nối có số bất thường cao để nhận định có phải cơng thực biến động hệ thống mạng Mơđun phân tích kết hợp mẫu tổng kết kết nối có mức độ bất thường cao Sau chuyên gia quan sát đưa phản hồi liệu có cần thiết phải đưa luật để bổ sung vào dạng công biết 4.2 Đánh giá khả hoạt động hệ thống MINDS Hệ thống MINDS phát nhiều dạng cơng chưa có dấu hiệu Thử nghiệm loại sâu “SQL Slammer/Sapphire” cho thấy MINDS nhanh chóng xác định dấu hiệu cơng vòng 48 Các dòng in đậm có dấu hiệu sâu Slammer Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Lê Thế Thắng score 4008.4 3657.2 srcIP 200.250.Z.20 202.175.Z.237 Cao học CNTT 2005-2007 75 sPort 27016 27016 dstIP dPort 128.101.X.116 4629 128.101.X.116 4148 packets [2,4) [2,4) 0 0 0 10 0 11 0 15 1 16 0 17679 63.150.X.253 1161 160.94.X.220 1434 [0,2) 0 0.81 0.58 0 8183.6 63.150.X.253 1161 128.101.X.108 1434 [0,2) 0 0.82 0.58 0 7143 63.150.X.253 1161 128.101.X.223 1434 [0,2) 0 0.82 0.57 0 5139 4008.4 3657.2 4008.4 3657.2 63.150.X.253 200.250.Z.20 202.175.Z.237 200.250.Z.20 202.175.Z.237 1161 27016 27016 27016 27016 128.101.X.142 128.101.X.116 128.101.X.116 128.101.X.116 128.101.X.116 [0,2) [2,4) [2,4) [2,4) [2,4) 0 0 0 0 0 0.82 0 0 0 0 0.57 0 0 1 1 0 0 1434 4629 4148 4629 4148 Các thử nghiệm cho thấy MINDS phát loại sâu biến thể Slapper, loại sâu không phát Snort MINDS phát loại sâu biến thể dựa yếu tố sau: - Sâu sử dụng địa nguồn đích khơng lạ nhiên kết hợp chúng xảy - Các kết nối sâu tạo nên làm tăng đột biến giá trị Count_serv_src_conn (số lượng kết nối từ địa IP nguồn đến địa cổng đích N kết nối gần đây) 4.3 So sánh MINDS Snort Snort hệ thống phát ngăn chặn xâm nhập trái phép xây dựng cộng đồng nguồn mở Snort có khả theo dõi phân tích thời gian thực lưu thông mạng IP Chúng ta tiến hành đánh giá hai hệ thống MINDS Snort hai phương diện là: Phát hành vi Dò quét Phát vi phạm sách Xét khả Phát hành vi Dò quét, MINDS có nhiều ưu điểm so với Snort Snort phát hành vi dị qt theo phương pháp sau: Nó lưu lại địa IP đích kết nối từ IP nguồn cửa sổ thời gian định (3 giây), số lượng IP đích lớn ngưỡng (thường 4) Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Lê Thế Thắng 76 Cao học CNTT 2005-2007 Snort phát sinh cảnh báo Như Snort không nhận hành vi dị qt có tốc độ chậm (Nếu mở rộng cửa số quan sát số lượng cảnh báo sai tăng) Ngồi không sử dụng yếu tố bất thường khác gói tin dị qt Trái lại, hệ thống MINDS ý đến yếu tố khác lạ gói tin, theo dõi số lượng địa IP đích, thơng thường số lượng địa IP đích số lượng IP nguồn Cácyếu tố nhiều yếu tố khác đo đạc nhằm tính tốn số “bất thường” chung Từ MINDS đối phó với hầu hết dạng cơng dị qt Xét phương diện Phát vi phạm sách, MINDS hoạt động hiệu quan sát hành vi khơng bình thường mạng, Snort phát vi phạm sách có tập luật cho hành vi cụ thể Ngoài việc đối chiếu với luật Snort tốn nhiều thời gian làm giảm hiệu hoạt động Snort Mặt khác, đưa tập luật q chi tiết Snort khơng phát biến đổi hành vi cơng Ngồi ra, Snort cần phải có chuyên gia để cập nhật tập luật thường xuyên, MINDS “học” cách tự động 4.4 So sánh MINDS SPADE SPADE môđun phát bất thường cài đặt thêm vào Hệ thống IDS Snort SPADE cụ thể hóa hệ thống Phát bất thường sử dụng phương pháp Xác suất thống kê [] Việc lựa chọn SPADE để so sánh với MINDS hai hệ thống sử dụng thuật toán phát bất thường tự học khơng dựa tri thức có sẵn hệ thống Hệ thống SPADE không giống kiểu phát cơng dị qt trước giám sát X kiện Y đơn vị thời gian mà thống kê số lượng gói tin để xây dựng sở liệu thống kê hoạt động mạng bình Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Lê Thế Thắng 77 Cao học CNTT 2005-2007 thường, bao gồm phân bố xác suất kiện Khi nhận biến cố x , ta dễ dàng tính P(x) xác suất xuất x hoạt động bình thường mạng Từ tính Chỉ số bất thường A(x) (anomaly score) cách thực làm Logarit P(x) : A(x) = - log(P(x)) Ở cần tri thức I cung cấp thêm nhằm đánh giá đâu ngưỡng để đánh giá kiện bất thường A(x) > I, kiện x bất thường, A(x) ≤ I, kiện x bình thường Cả hai hệ thống MINDS SPADE gán trọng số bất thường cho kết nối để nhấn mạnh mức độ khác thường chúng Cả hai dùng chế phát bất thường không giám sát không cần đến tập liệu đào tạo đánh giá sẵn Đối với SPADE, mức độ bất thường tính dựa nghịch đảo xác suất quan sát thấy kiện Với phương pháp có nhiều yếu tố cần phải giám sát xác suất tính khơng xác tin cậy khơng có sở kết hợp yếu tố Ngược lại, MINDS không bị ảnh hưởng nhiều số yếu tố quan sát tăng lên sử dụng mối quan hệ lân cận kiện với nhau, từ ước tính Xác suất phân bố thật không cần phải lưu trữ khối lượng liệu lớn để trì Người ta tiến hành chạy SPADE (v021031.1) hệ thống mạng thời gian thực vòng 10 phút với ngưỡng SPADE phát sinh 296.921 cảnh báo khoảng triệu gói tin, chiếm khoảng 26% tổng số kết nối TCP SYN từ bên vào, số lượng cảnh báo giao thức Web khoảng 25%, 28% giao thức P2P Như hệ thống SPADE sinh nhiều cảnh báo sai Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Lê Thế Thắng 78 Cao học CNTT 2005-2007 Kết chương Chương đề cập đến việc áp dụng Kỹ thuật Khai phá liệu cho Hệ thống phát bất thường Sử dụng hướng tiếp cận dựa Khai phá liệu để có nhiều ưu điểm Trước hết, giống hầu hết kỹ thuật phát bất thường khác, Hệ thống IDS sử dụng KPDL khơng cần có tri thức trước lỗ hổng bảo mật hay dạng cơng, phát công “zero-day” dạng công hình thành Sử dụng kỹ thuật KPDL phát xác dạng cơng diễn thời gian kéo dài DoS hay Quét cổng Thêm vào đó, Kỹ thuật KPDL thích ứng với trường hợp liệu không đầy đủ, liệu thiếu sót khơng xác Chương trình bày cách qui toán phát bất thường mạng toán phát phần tử tách biệt tập liệu, giới thiệu số thuật toán giải toán lựa chọn thuật tốn phù hợp Trong chương khái qt hóa mơ hình Hệ thống phát bất thường dựa KPDL, bao gồm mơđun: Lọc tin, Trích xuất liệu, Phát phần tử tách biệt Tổng hợp Cuối cùng, đưa so sánh đánh giá hệ thống sử dụng hướng tiếp cận với hệ thống phát xâm nhập khác Chương 4: Phát bất thường dựa kỹ thuật Khai phá liệu Chương Kết luận 5.1 Kết luận luận văn Trong thời gian làm luận văn, tác giả tìm hiểu hệ thống bảo mật, đặc biệt Hệ thống Phát xâm nhập trái phép IDS thành phần quan trọng chiến lược phịng thủ theo chiều sâu Hệ thống thơng tin Hệ thống Phát xâm nhập trái phép có chức phát cảnh báo sớm dấu hiệu cơng, giúp người quản trị chủ động đối phó với nguy xâm phạm Luận văn trình bày cách tổng quan nguyên lý hoạt động, hình thức phân loại, phương pháp phát xâm nhập Hệ thống IDS hoạt động dựa thành phần Cảm ứng, Giao diện Bộ phân tích Xét chức IDS phân làm loại NIDS HIDS NIDS thường đặt cửa ngõ mạng để giám sát lưu thông tồn mạng, cịn HIDS cài đặt máy trạm để phân tích hành vi liệu đến máy trạm Xét cách thức hoạt động hệ thống IDS chia thành giai đoạn : Giám sát, Phân tích, Liên lạc, Cảnh báo Phản ứng Hệ thống IDS phát cơng dựa dấu hiệu dựa tượng bất thường Ý tưởng phương pháp Phát bất thường lấy sở nhận định: công thường gây dấu hiệu khác thường hệ thống, ví dụ tăng đột biến loại gói tin xuất phát từ Tấn cơng từ chối dịch vụ, hay xuất kết nối lạ thủ phạm dò quét điểm yếu Do đó, để cảnh báo cơng, hệ thống phân loại phát dấu hiệu “bất thường” tập thông Lê Thế Thắng 80 Cao học CNTT 2005-2007 số quan sát Với tiếp cận vậy, lợi Phương pháp khả phát kiểu công chưa có dấu hiệu hay biến thể cơng có mà Hệ thống IDS khác khơng thể nhận Ngồi ra, phương pháp Phát bất thường cịn giải vấn đề q tải tính tốn, tính tự động vận hành Hệ thống phát xâm nhập trái phép Hệ thống IDS dựa Phát bất thường sử dụng kỹ thuật khác Luận văn giới thiệu hệ thống Phát bất thường dựa Xác suất thống kê, Máy trạng thái hữu hạn, Hệ chuyên gia, Mạng Bayes v.v Mỗi kỹ thuật có chế hoạt động riêng, đồng thời có ưu-nhược điểm khác Luận văn giới thiệu số hướng nghiên cứu lĩnh vực đưa đánh giá hướng Chương Luận văn sâu vào nghiên cứu Mơ hình hệ thống phát bất thường sử dụng phương pháp Khai phá liệu Đây hướng công nghệ có nhiều ưu điểm bật khả hoạt động với CSDL chứa nhiều nhiễu, liệu không đầy đủ biến đổi liên tục Đây tính chất thường thấy liệu Mạng Luận văn trình bày tính tương đương tốn Phát bất thường với toán Phát phần tử tách biệt Khai phá liệu Trong đó, phần tử tách biệt hiểu quan sát có độ sai lệch lớn so với quan sát khác nghi ngờ sinh từ chế khác Như sử dụng thuật tốn phát Phần tử tách biệt để phát bất thường tập liệu mạng thu thập Có nhiều thuật tốn thực nhiệm vụ này, luận văn phân tích số thuật tốn tiên tiến thuật toán Khoảng cách Mahalanobis, NN, LOF Mỗi thuật tốn có ưu điểm riêng hiệu tính chất phân bố liệu Luận văn đưa kết Chương 5: Kết luận Lê Thế Thắng 81 Cao học CNTT 2005-2007 thử nghiệm liệu mẫu để chứng tỏ thuật tốn LOF thích hợp với liệu Mạng Luận văn khái qt hóa mơ hình Hệ thống Phát bất thường sử dụng kỹ thuật Khai phá liệu, có mơđun là: Mơđun Lọc tin, mơđun Trích xuất liệu, mơđun Phát phần từ tách biệt môđun Tổng hợp Môđun lọc tin có chức loại bỏ thơng tin thừa, lưu lượng mạng mà hệ thống biết khơng có cơng Những thơng tin có ích cho hệ thống chiếm khoảng 20% tổng số lượng tin mà cơng cụ bắt gói tin đưa Dữ liệu sau qua Môdun lọc tiến hành trích xuất yếu tố quan sát Mỗi thuật tốn phát bất thường có tập thông số cần quan sát riêng Thông thường gói tin mạng, thơng tin quan trọng chủ yếu nằm phần Header gói tin Mơđun Phát phần tử tách biệt thực bước phân liệu, tính “khoảng cách” kiện tìm kiện có khác biệt lớn tập kiện Do khối lượng giám sát lớn nên cần thiết phải có rút gọn cảnh báo Môđun Tổng hợp thực chức Ngồi ra, sau dạng cơng phát hiện, môđun Tổng hợp bổ sung mẫu dạng công cho hệ thống phát xâm nhập dựa dấu hiệu Các mẫu phải tập luật dạng rút gọn, phản ánh công thuận tiện việc so sánh kiểm tra tương lai Ở tác giả đưa số đề xuất cải tiến Môđun Tổng hợp để tối ưu hóa hoạt động Hệ thống Cuối Luận văn đưa kết thử nghiệm đánh giá Hệ thống Phát bất thường sử dụng KPDL MINDS, so sánh MINDS với hệ thống IDS khác SNORT, SPADE để chứng minh ưu điểm việc áp dụng kỹ thuật Khai phá liệu Chương 5: Kết luận Lê Thế Thắng 82 Cao học CNTT 2005-2007 5.2 Hướng nghiên cứu Lĩnh vực Phát bất thường lĩnh vực nghiên cứu mới, đã, quan tâm vai trị quan trọng Hệ thống thơng tin Sau số hướng nghiên cứu mà tác giả dự định phát triển thêm:  Xây dựng Phần mềm Phát bất thường dựa Khai phá liệu  Thử nghiệm thuật toán Phát phần tử tách biệt tiên tiến khác để tăng tỉ lệ Phát đúng, giảm tỷ lệ Cảnh báo sai Chương 5: Kết luận Tài liệu tham khảo [1] Marina Thottan,Chuanyi Ji, Anomaly Detection in IP Networks, IEEE transactions on Signal processing, August 2003 [2] Nguyen Linh Giang, Anomaly detection by statistical analysis and neutral network, Department of Communications and Computer Networks, Hanoi University of Technology [3] Stefan Axelsson, Research in Intrusion-Detection System : A Survey, Chalmers University of Technology, Sweden 1998 [4] James A Hoagland, Practical automated detection of stealthy portscans, Journal of Computer Security 10 (2002) [5] Matthew Vincent Mahoney, A Machine Learning Approach to Detecting Attacks by Identifying Anomalies in Network Traffic, Florida Institute of Technology 2003 [6] Christopher Kruegel, Bayesian Event Classification for Intrusion Detection, University of California, Santa Barbara, 2003 [7] Intrusion Prevention Fundamental, Cisco Press 2006 [8] Matthew Tanase, One of These Things is not Like the Others: The State of Anomaly Detection [9] Network Security Architectures, Cisco Press, 2004 [10] Network Intrusion Detection, Third Edition, SANS 2006 [11] F Feather and R Maxion, Fault detection in an ethernet network using anomaly signature matching Lê Thế Thắng 84 Cao học CNTT 2005-2007 [12] M M Breunig, H.-P Kriegel, R T Ng, J Sander, LOF: Identifying Density-Based Local Outliers, Proceedings of the ACM SIGMOD Conference, 2000 [13] Hawkins D.M, Identification of Outliers, Chapman and Hall, London 1980 [14] M Ramadas, S O B Tjaden, Detecting Anomalous Network Traffic with Self-organizing Maps, 6th International Symposium on Recent Advances in Intrusion Detection, Pittsburgh, PA, USA, 2003, pp 36 – 54 [15] James Michael Stewart, Security+ Fast Pass, Sybex Press [16] J P Anderson, Computer security threat monitoring and surveillance, Technical Report, 1980 [17] S E Smaha, Haystack: An Intrusion Detection System, IEEE Fourth Aerospace Computer Security Applications Conference, Orlando, FL, 1988, pp 37 – 44 [18] Symantec Internet Security Threat Report – Symantec 03-2007 www.symantec.com [19] A K Ghosh, A Schwartzbart, M Schatz, Learning Program Behavior Profiles for Intrusion Detection, 1st USENIX Workshop on Intrusion Detection and Network Monitoring, Santa Clara, CA, USA, 1999 [20] J L Elman, Finding Structure in Time, Cognitive Science, vol 14, pp 179-211, 1990 [21] A Valdes and K Skinner, Adaptive Model-based Monitoring for Tài liệu tham khảo Lê Thế Thắng 85 Cao học CNTT 2005-2007 Cyber Attack Detection, Recent Advances in Intrusion Detection Toulouse, France, 2000, pp 80—92 [22] Debra Anderson, Next-Generation Intrusion Detection Expert System (NIDES) – A summary, SRI-CSL-95-07, 1995 [23] Gerald Tripp, A finite-state-machine based string matching system for intrusion detection on high-speed networks, EICAR, 2005 [24] T Mitchell, Machine Learning and Data Mining, Communications of the ACM, Vol.42 (1999), No 11, pp 30—36 [25] U M Fayyad, G Piatetsky-Shapiro, P Smyth and R Uthurusamy: Advances in Knowledge Discovery and Data Mining, AAAI Press, Menlo Park, CA, (1996) [26] P Chapman, J Clinton, R Kerber, T Khabaza, T Reinartz, C Shearer, R.Wirth, CRISP-DM 1.0 Process and User Guide, http://www.crisp-dm.org, (2000) [27] Vipin Kumar, A Comparative Study of Anomaly Detection Schemes in Network Intrusion Detection, Minnesota University Tài liệu tham khảo ... thuật phát xâm nhập Kỹ thuật dựa bất thường Chương 2: Tổng quan Hệ thống phát xâm nhập trái phép Chương Hệ thống IDS dựa phát bất thường Hệ thống phát bất thường giống hệ thống IDS truyền thống. .. đặc quyền bất thường Dữ liệu phát bất thường Nguồn liệu đóng vai trị quan trọng phương pháp phát bất thường Số liệu xác tình trạng hoạt động mạng có tính chất định đến việc bất thường có phát hay... thuật Khai phá Dữ liệu, đưa toán phát bất thường mạng toán Phát phần tử tách biệt Tác giả trình bày thuật tốn Phát phần tử tách biệt, sau đưa đánh Từ đến cuối luận văn, Hệ thống Phát bất thường