Sử dụng kỹ thuật khai phá dữ liệu để xây dựng hệ thống phát hiện xâm nhập trái phép

Mục lục Lời cảm ơn Error! Bookmark not defined Mục lục Danh sách ký hiệu, từ viết tắt Danh sách hình vẽ Lời mở đầu Chương Tổng quan Hệ thống phát xâm nhập trái phép Khái quát bảo mật hệ thống thông tin 1.1 Các nguy đe dọa 10 1.1.1 Mối đe dọa bên .11 1.1.2 Mối đe dọa bên 11 1.1.3 Mối đe dọa cấu trúc 12 1.1.4 Mối đe dọa có cấu trúc 12 1.2 Các nguyên tắc bảo vệ hệ thống thông tin 13 1.3 Các biện pháp bảo vệ .14 Kỹ thuật phát xâm nhập trái phép 15 2.1 Thành phần 15 2.2 Phân loại 17 2.2.1 Host-based IDS 18 2.2.2 Network-based IDS 20 2.3 Nguyên lý hoạt động 23 2.4 Chất lượng cảnh báo 26 2.5 Phát xâm nhập 28 Kết chương 29 Chương Hệ thống IDS dựa phát bất thường .31 Định nghĩa Bất thường mạng 32 Kỹ thuật phát Bất thường .34 Ưu nhược điểm Phát bất thường 35 Dữ liệu phát bất thường 36 Các Phương pháp phát bất thường 39 5.1 Xác suất thống kê 39 5.1.1 Haystack 39 5.1.2 NIDES 40 5.1.3 SPADE .40 5.2 Máy trạng thái hữu hạn 43 5.3 Phát bất thường Mạng Nơ-ron 45 5.4 Hệ chuyên gia 47 5.5 Mạng Bayes .48 Kết chương 49 Chương Phát bất thường sử dụng kỹ thuật Khai phá liệu 50 Khai phá liệu .50 Ứng dụng Khai phá liệu phát bất thường 53 2.1 Hình thành toán 53 2.2 Khái niệm phần tử tách biệt .55 2.3 Các thuật thoán phát phần tử tách biệt 57 2.3.1 Phát tách biệt sử dụng Khoảng cách đến phần tử gần thứ k 57 2.3.2 Thuật toán NN 57 2.3.3 Phát phần tử tách biệt dựa khoảng cách Mahalanobis 57 2.3.4 Thuật toán LOF .58 Mô hình Hệ thống Phát bất thường dựa kỹ thuật Khai phá liệu 60 3.1 Môđun Lọc tin 61 3.2 Mô đun Trích xuất liệu 62 3.3 Mô đun Phát Phần tử tách biệt 63 3.4 Mô đun tổng hợp 65 So sánh đánh giá 69 4.1 Hệ thống phát bất thường MINDS 69 4.2 Đánh giá khả hoạt động hệ thống MINDS .72 4.3 So sánh MINDS Snort 73 4.4 So sánh MINDS SPADE .74 Kết chương 75 Kết luận 77 Tài liệu tham khảo .80 Phụ lục 83 Lời mở đầu  Ngày nay, nhu cầu trao đổi liệu qua hệ thống mạng máy tính trở nên vô quan trọng hoạt động xã hội Vấn đề bảo đảm an ninh, an toàn thông tin mạng ngày mối quan tâm hàng đầu công ty, tổ chức, nhà cung cấp dịch vụ Cùng với thời gian kỹ thuật công ngày tinh vi khiến hệ thống an ninh trở nên hiệu Các hệ thống an ninh mạng truyền thông túy dựa tường lửa nhằm kiểm soát luồng thông tin vào hệ thống cách cứng nhắc dựa luật bảo vệ cố định Với kiểu phòng thủ này, hệ thống an ninh bất lực trước kỹ thuật công mới, đặc biệt công nhằm vào điểm yếu hệ thống Điều quan trọng bảo mật mạng máy tính mạng máy tính phải có khả bảo vệ tốt Các hệ thống bảo mật cần thiết phải có giải pháp hỗ trợ mềm dẻo đa Trong số vấn đề bảo mật, xâm nhập vấn đề nguy hiểm phổ biến Xâm phạm định nghĩa việc xâm phạm để gây tổn thất tác hại lớn cho hệ thống mạng Phát xâm nhập bao gồm việc dò tìm truy cập trái phép gây hại từ hay nhiều máy tính Ngoài vấn đề nhận diện công, hệ thống phát xâm nhập trái phép (IDS) sử dụng để tìm điểm yếu mạng sách bảo mật khác Đó lý em chọn đề tài Nội dung đề tài bao gồm ba chương: Chương 1: Tổng quan Hệ thống phát xâm nhập trái phép Chương 2: Hệ thống IDS dựa phát bất thường Chương 3: Phát bất thường sử dụng kỹ thuật Khai phá liệu Trong chương tác giả phân tích vai trò, chức Hệ thống xâm nhập trái phép, tìm hiểu thành phần, cách phân loại hoạt động hệ thống Đưa tiêu chí đánh giá hệ thống IDS Trong chương tác giả tìm hiểu Hệ thống IDS dựa Phát bất thường Phân tích ưu nhược điểm hướng tiếp cận Nghiên cứu kỹ thuật sử dụng để phát bất thường: Khai phá liệu, Xác suất thống kê, Mạng Neutral, Hệ chuyên gia, Máy trạng thái hữu hạn v.v Đưa đánh giá hiệu kỹ thuật Trong chương tác giả nghiên cứu khái quát hóa Hệ thống phát bất thường1 dựa kỹ thuật Khai phá liệu Đưa đề xuất cải tiến số giai đoạn So sánh đánh giá hệ thống dựa Kỹ thuật với hệ thống Phát xâm nhập khác Tuy nhiên thời gian có hạn, đề tài em tránh khỏi thiếu sót Em mong nhận góp ý thầy, cô bạn Em xin chân thành cảm ơn thầy Lê Tuấn Anh trực tiếp hướng dẫn em hoàn thành đề tài Từ đến cuối đồ án, hệ thống Phát bất thường hiểu Hệ thống Phát xâm nhập trái phép dựa hướng tiếp cận Phát bất thường mạng Danh sách ký hiệu, từ viết tắt Từ viết tắt Tên đầy đủ VPN Virtual Private Network IPSec Internet Protocol Security IPS Intrusion Prevention System HTTPS Hypertext Transfer Protocol Secure SNMP Simple Network Managerment Protocol DoS Denial of Service SSL Secure Socket Layer IDS Intrusion Detection System NIDS Network-based Intrusion Detection System HIDS Host-based Intrusion Detection System SOM Self Organized Map FSM Finite States Machine SPADE Statistical Packet Anomal Detection Engine MINDS Minnesota Intrusion Detection System NN Nearest Neighbor BTTM Bất thường mạng LOF Local Outlier Factor KPDL Khai phá liệu TCP Transmission Control Protocol Danh sách hình vẽ Hình Nội dung Hình 1.1 Thành phần hệ thống IDS Hình 1.2 Hoạt động IDS Hình 1.3 Mô hình HIDS Hình 1.4 Mô hình NIDS Hình 1.5 Nguyên lý hoạt động hệ thống IDS Hình 1.6 IDS gửi TCP reset Hình 1.7 IDS yêu cầu Firewall tạm ngừng dịch vụ Hình 1.8 Ví dụ đường cong ROC Hình 1.9 IDS dựa dấu hiệu Hình 1.10 Thêm luật vào IDS dựa dấu hiệu Hình 2.1 IDS dựa phát bất thường Hình 2.2 Hoạt động IDS dựa phát bất thường Hình 2.3 Mô hình hệ thống Phát xâm nhập bất thường bắng thống kê xác suất Hình 2.4 Mô hình IDS sử dụng FSM Hình 2.5 Hoạt động IDS sử dụng FSM Hình 2.6 IDS dựa SOM Hình 3.1 Ánh xạ Bài toán Phát bất thường Bài toán Phát PT tách biệt Hình 3.2 Kết nối bất thường phần tử tách biệt Hình 3.3 Khoảng cách Mahalanobis Hình 3.4 Khoảng cách tiếp cận R-dis Hình 3.5 Phân bố điểm liệu Hình 3.6 Hệ thống Phát bất thường sử dụng Kỹ thuật Khai phá liệu Hình 3.7 Đường cong ROC thuật toán Hình 3.8 Sử dụng nhiều hướng quan sát bổ sung cho Hình 3.9 Ví dụ tổng hợp Luật Hình 3.10 Hoạt động Môđun Tổng hợp Hình 3.11 Tập hợp tri thức công Chương Tổng quan Hệ thống phát xâm nhập trái phép Khái quát bảo mật hệ thống thông tin Thông tin có giá trị cao đảm bảo tính xác kịp thời, hệ thống cung cấp thông tin có giá trị thực chức hệ thống đảm bảo hoạt động đắn Mục tiêu việc đảm bảo an toàn an ninh cho hệ thống thông tin đưa giải pháp ứng dụng giải pháp vào hệ thống để loại trừ giảm bớt nguy hiểm Hiện công ngày tinh vi, gây mối đe dọa tới an toàn thông tin Các công đến từ nhiều hướng theo nhiều cách khác nhau, cần phải đưa sách biện pháp đề phòng cần thiết Mục đích cuối an toàn bảo mật bảo vệ thông tin tài nguyên theo yêu cầu sau [9]:  Đảm bảo tính tin cậy (Confidentiality): Thông tin bị truy cập trái phép người thẩm quyền  Đảm bảo tính nguyên vẹn (Integrity): Đảm bảo tính toàn vẹn thông tin đảm bảo thông tin không bị thay đổi đường truyền, thông tin không bị làm giả, bị sửa đổi người thẩm quyền  Đảm bảo tính sẵn sàng (Availability): Tính sẵn sàng diễn tả tỉ lệ thời gian mà hệ thống hay thành phần dùng cho người dùng Tính sẵn sàng luôn có ý nghĩa, vài ứng dụng đặc biệt cần thiết; chẳng hạn phút ngừng hoạt động mạng máy tính chỗ hàng không làm thiệt hại mười ngàn đôla, ngừng mạng ngân hàng làm khoảng triệu đôla Tính sẵn sàng dựa độ tin cậy thành phần cá nhân hệ thống Độ tin cậy xác suất mà thành phần thực chức đặc biệt thời gian đặc biệt với điều kiện đặc biệt  Đảm bảo tính từ chối (Non-repudiation): Thông tin cam kết mặt pháp luật người cung cấp Cần nhấn mạnh thực tế hệ thống an toàn tuyệt đối Bởi hệ thống bảo vệ dù đại chắn đến đâu có lúc bị vô hiệu hóa kẻ phá hoại có trình độ cao có đủ thời gian Chưa kể tính an toàn hệ thống thông tin phụ thuộc nhiều vào việc sử dụng người Từ thấy vấn đề an toàn mạng thực tế chạy tiếp sức không ngừng, không dám khẳng định có đích cuối hay không 1.1 Các nguy đe dọa Nếu bảo mật thích hợp, phần mạng bị ảnh hưởng vụ công hay hoạt động trái phép mang tính xâm phạm Những router, switch, host tất bị xâm phạm hacker chuyên nghiệp, người công công ty, hay nhân viên quốc tế Thật vậy, theo nhiều nghiên cứu, nhiều phân nửa người công mạng giới trả lương cách bí mật Học viện bảo mật máy tính (CSI) San Francisco ước tính khoảng 60 tới 80 phần trăm lạm dụng mạng đến từ bên công trình mà lạm dụng nắm nơi Để định rõ cách tốt cho việc bảo vệ chống lại công, nhà quản lí công nghệ thông tin nên hiểu nhiều loại công mà sử dụng mối nguy hiểm mà loại công gây cho cấu trúc hệ thống thông tin Để bảo vệ hệ thống bạn, bạn phải nhận bạn cần bảo vệ chúng khỏi khỏi Để phòng thủ công, bạn phải hiểu mối đe dọa đến bảo mật mạng bạn Có bốn mối đe dọa bảo mật: ● Mối đe dọa bên ● Mối đe dọa bên ● Mối đe dọa cấu trúc 10 hành vi đánh cắp thông tin hệ thống IDS sử dụng rộng rãi khác Snort gặp nhiều kho khăn để phát cảnh báo Đầu vào cho hệ thống MINDS liệu mạng thu thập từ công cụ Netflow Công cụ bắt thông tin header gói tin không can thiệp vào nội dung gói tin Điều làm tăng khả xử lý Hệ thống phát bất thường thông tin cần thiết nằm phần header gói tin Netflow sau lấy thông tin xây dựng phiên giao dịch chiều (hay gọi dòng tin - flow) Có thể sử dụng công cụ tcpdump để thay cho Netflow Netflow sử dụng cửa sổ quan sát 10 phút, thông thường với thời gian có khoảng đến hai triệu phiên giao dịch chiều Sau hệ thống tiến hành lọc thông tin không cần thiết gói tin xuất phát từ nguồn tin cậy, số gói tin giao thức HTTP hay FTP, gói tin bất thường mà hệ thống biết hành vi công Với nguồn liệu làm sạch, MINDS tiến hành trích xuất thống kê số yếu tố đặc trưng nhằm phục vụ cho kỹ thuật Khai phá liệu Các yếu tố trích xuất bao gồm: sIP, dIP, sPort, dPort, Protocol, Flags, BytesNum, PacketsNum Yếu tố Tên sIP dIP sPort dPort Protocol Flags BytesNum PacketsNum Mô tả Địa IP nguồn Địa IP đích Cổng nguồn Cổng đích Giao thức sử dụng Các cờ gói tin Số lượng byte Số gói tin Ngoài yếu tố liệt kê trên, Hệ thống MINDS sử dụng hai hướng đánh giá khác quan sát dựa Thời gian quan sát dựa Kết nối Quan sát thời gian thống kê số lượng kết nối có tính chất tương tự khoảng thời gian T(giây) Quan sát dựa thời gian phát 70 hiệu loại công từ chối dịch vụ như: SYN Floot, Teardrop, Land Attack, UDP Food, đặc điểm loại công số lượng gói tin lớn khoảng thời gian dài nhằm chiếm dụng băng thông Các yếu tố cần sử dụng cho Quan sát Dựa thời gian là: Yếu tố Tên Count_des 10 Count_src 11 Count_ser_src 12 Count_ser_des Mô tả Cùng địa IP nguồn, số lượng IP đích mạng T giây gần Cùng địa IP đích, số lượng IP nguồn mạng T giây gần Số lượng kết nối từ địa IP nguồn đến địa cổng đích T giây gần Số lượng kết nối từ địa IP đích đến địa cổng đích T giây gần Tấn công dò quét “chậm” dạng công thủ phạm sử dụng nhiều thời gian lần dò quét Loại công dễ dàng qua mặt hệ thống IDS thông thường như: Snort Để đối phó với loại công này, MIDS sử dụng Quan sát dựa Kết nối, tức số lượng kết nối có đặc điểm N kết nối gần Các yếu tố thông kê bao gồm: 71 Yếu tố 13 Tên Count_des_conn 14 Count_src_conn 15 Count_srv_src_conn 16 Count_srv_des_conn Mô tả Cùng địa IP nguồn, số lượng IP đích mạng N kết nối gần Cùng địa IP đích, số lượng IP nguồn mạng N kết nối gần Số lượng kết nối từ địa IP nguồn đến địa cổng đích N kết nối gần Số lượng kết nối từ địa IP đích đến địa cổng đích N kết nối gần Sau bước trích xuất thông tin, MINDS sử dụng phát công biết trước để lọc thông tin không cần phải phân tích thêm Tiếp theo, liệu đưa vào môđun Phát bất thường sử dụng thuật toán phát phần tử tách biệt Đối với kết nối, MINDS gán cho địa bất thường Các chuyên gia kiểm định kết nối có số bất thường cao để nhận định có phải công thực biến động hệ thống mạng Môđun phân tích kết hợp mẫu tổng kết kết nối có mức độ bất thường cao Sau chuyên gia quan sát đưa phản hồi liệu có cần thiết phải đưa luật để bổ sung vào dạng công biết 4.2 Đánh giá khả hoạt động hệ thống MINDS Hệ thống MINDS phát nhiều dạng công chưa có dấu hiệu Thử nghiệm loại sâu “SQL Slammer/Sapphire” cho thấy MINDS nhanh chóng xác định dấu hiệu công vòng 48 Các dòng in đậm có dấu hiệu sâu Slammer 72 Score 4008.4 3657.2 17679 8183.6 7143 5139 4008.4 3657.2 4008.4 3657.2 srcIP 200.250.Z.20 202.175.Z.237 63.150.X.253 63.150.X.253 63.150.X.253 63.150.X.253 200.250.Z.20 202.175.Z.237 200.250.Z.20 202.175.Z.237 sPort 27016 27016 1161 1161 1161 1161 27016 27016 27016 27016 dstIP 128.101.X.116 128.101.X.116 160.94.X.220 128.101.X.108 128.101.X.223 128.101.X.142 128.101.X.116 128.101.X.116 128.101.X.116 128.101.X.116 dPort 4629 4148 1434 1434 1434 1434 4629 4148 4629 4148 Packets [2,4) [2,4) [0,2) [0,2) [0,2) [0,2) [2,4) [2,4) [2,4) [2,4) 0 0 0 0 0 0 0 0 0 0 0 0.81 0.82 0.82 0.82 0 0 10 0 0 0 0 0 11 0 0.58 0.58 0.57 0.57 0 0 15 1 0 0 1 1 Các thử nghiệm cho thấy MINDS phát loại sâu biến thể Slapper, loại sâu không phát Snort MINDS phát loại sâu biến thể dựa yếu tố sau: ● Sâu sử dụng địa nguồn đích không lạ nhiên kết hợp chúng xảy ● Các kết nối sâu tạo nên làm tăng đột biến giá trị Count_sev_src_conn (số lượng kết nối từ địa IP nguồn đến địa cổng đích N kết nối gần đây) 4.3 So sánh MINDS Snort Snort hệ thống phát ngăn chặn xâm nhập trái phép xây dựng cộng đồng nguồn mở Snort có khả theo dõi phân tích thời gian thực lưu thông mạng IP Chúng ta tiến hành đánh giá hai hệ thống MINDS Snort hai phương diện là: Phát hành vi Dò quét Phát vi phạm sách Xét khả Phát hành vi Dò quét, MINDS có nhiều ưu điểm Snort Snort phát hành vi dò quét theo phương pháp sau: Nó lưu lại địa IP đích kết nối từ IP nguồn cửa sổ thời gian định (3 giây), số lượng IP đích lớn ngưỡng (thường 4) Snort phát sinh cảnh báo Như Snort không nhận hành vi dò quét có tốc độ chậm (Nếu mở rộng cửa sổ quan sát số lượng cảnh báo sai tăng) Ngoài không sử dụng yếu tố bất thường khác gói tin dò quét Trái lại, hệ thống MINDS ý đến yếu tố khác lạ gói tin, theo dõi số lượng địa IP đích, thông thường số lượng địa IP đích số lượng IP 73 16 0 0 0 0 0 nguồn Các yếu tố nhiều yếu tố khác đo đạc nhằm tính toán số “bất thường” chung Từ MINDS đối phó với hầu hết dạng công dò quét Xét phương diện Phát vi phạm sách, MINDS hoạt động hiệu quan sát hành vi không bình thường mạng, Snort phát vi phạm sách có tập luật cho hành vi cụ thể Ngoài việc đối chiếu với luật Snort tốn nhiều thời gian làm giảm hiệu hoạt động Snort Mặt khác, đưa tập luật chi tiết Snort không phát biến đổi hành vi công Ngoài ra, Snort cần phải có chuyên gia để cập nhật tập luật thường xuyên, MINDS “học” cách tự động 4.4 So sánh MINDS SPADE SPADE môđun phát bất thường cài đặt thêm vào hệ thống IDS Snort SPADE cụ thể hóa hệ thống Phát bất thường sử dụng phương pháp Xác suất thống kê [4] Việc lựa chọn SPADE để so sánh với MINDS hai hệ thống sử dụng thuật toán phát bất thường tự học không dựa tri thức sẵn có hệ thống Hệ thống SPADE không giống kiểu phát công dò quét trước giám sát X kiện Y đơn vị thời gian mà thống kê số lượng gói tin để xây dựng sở liệu thống kê hoạt động mạng bình thường, bao gồm phân bố xác suất kiện Khi nhận biến cố x, ta dễ dàng tính P(x) xác suất xuất x hoạt động bình thường mạng Từ tính Chỉ số bất thường A(x) (anomaly score) cách thực làm Logarit P(x): A(x) = -log(P(x)) Ở cần tri thức I cung cấp thêm nhằm đánh giá đâu ngưỡng để đánh giá kiện bất thường A(x) > I, kiện x bất thường, A(x)  I, kiện x bình thường 74 Cả hai hệ thống MINDS SPADE gán trọng số bất thường cho kết nối để nhấn mạnh mức độ khác thường chúng Cả hai dùng chế phát bất thường không giám sát không cần đến tập liệu đào tạo đánh giá sẵn Đối với SPADE, mức độ bất thường tính dựa nghịch đảo xác suất quan sát thấy kiện Với phương pháp có nhiều yếu tố cần phải giám sát xác suất tính không xác tin cậy sở kết hợp yếu tố Ngược lại, MINDS không bị ảnh hưởng nhiều số yếu tố quan sát tăng lên sử dụng mối quan hệ lân cận kiện với nhau, từ ước tính Xác suất phân bố thật không cần phải lưu trữ khối lượng liệu lớn để trì Người ta tiến hành chạy SPADE (v021031.1) hệ thống mạng thời gian thực vòng 10 phút với ngưỡng SPADE phát sinh 296.921 cảnh báo khoảng triệu gói tin, chiếm khoảng 26% tổng số kết nối TCP SYN từ bên vào, số lượng cảnh báo giao thức Web khoảng 25%, 28% giao thức P2P Như hệ thống SPADE sinh nhiều cảnh báo sai Kết chương Chương đề cập đến việc áp dụng Kỹ thuất Khai phá liệu cho hệ thống Phát bất thường Sử dụng hướng tiếp cận dựa Khai phá liệu đề có nhiều ưu điểm Trước hết, giống hầu hết kỹ thuật phát bất thường khác, Hệ thống IDS sử dụng KPDL không cần tri thức trước lỗ hổng bảo mật hay dạng công, phát công “zero-day” dạng công hình thành Sử dụng kỹ thuật KPDL phát xác dạng công diễn thời gian kéo dài DoS hay Quét cổng Thêm vào đó, Kỹ thuất KPDL thích ứng với trường hợp liệu không đầy đủ, liệu thiếu sót không xác Chương trình bày cách quy toán phát bất thường mạng toán phát phần tử tách biệt tập liệu, giới thiệu số thuật toán giải toán lựa chọn thuật toán phù hợp Trong chương khái quát hóa mô hình Hệ thống phát bất thường dựa KPDL, bao gồm môđun: Lọc tin, Trích xuất liệu, Phát phần tử tách biệt Tổng hợp Môđun lọc 75 tin Trích xuất liệu giai đoạn tiền xử lý liệu cho phù hợp với thuật toán xử lý giai đoạn sau Môđun Phát phần tử tách biệt sử dụng thuật toán LOF thuật toán thích hợp liệu mạng Môđun Tổng hợp có nhiệm vụ rút gọn cảnh báo tập hợp tri thức công Ở đưa đề xuất việc sử dụng thuật toán cho phù hợp với môđun Tổng hợp Nhằm nâng cao khả phối hợp hệ thống IDS vùng khác nhau, chương đưa giải pháp việc tập hợp tri thức riêng rẽ IDS thành tri thức chung, từ nâng cao khả phối hợp hệ thống IDS Cuối cùng, chương đưa so sánh đánh giá hệ thống sử dụng hướng tiếp cận dựa Khai phá liệu với hệ thống phát xâm nhập khác 76 Kết luận Trong thời gian làm đồ án, tác giả tìm hiểu hệ thống bảo mật, đặc biệt Hệ thống Phát xâm nhập trái phép IDS thành phần quan trọng chiến lược phòng thủ theo chiều sâu Hệ thống thông tin Hệ thống Phát xâm nhập trái phép có chức phát cảnh báo sớm dấu hiệu công, giúp người quản trị chủ động đối phó với nguy xâm phạm Đồ án trình bày cách tổng quan nguyên lý hoạt động, hình thức phân loại, phương pháp phát xâm nhập Hệ thống IDS hoạt động dựa thành phần Cảm ứng, Giao diện Bộ phân tích Xét chức IDS chia làm hai loại NIDS HIDS NIDS thường đặt cửa ngõ mạng để giám sát lưu thông toàn mạng, HIDS cài đặt máy trạm để phân tích hành vi liệu đến máy trạm Xét cách thức hoạt động hệ thống IDS chia thành giai đoạn là: Giám sát, Phân tích, Liên lạc, Cảnh báo Phản ứng Hệ thống IDS phát công dựa dấu hiệu dựa tượng bất thường Ý tưởng phương pháp Phát bất thường lấy sở nhận định: công thường gây dấu hiệu khác thường hệ thống, ví dụ tăng đột biến loại gói tin xuất phát từ Tấn công từ chối dịch vụ , hay xuất kết nối lạ thủ phạm dò quét điểm yếu Do đó, để cảnh báo công, hệ thống phân loại phát dấu hiệu “bất thường” tập thông số quan sát Với cách tiếp cận vậy, lợi phương pháp khả phát kiểu công chưa có dấu hiệu hay biến thể công có mà Hệ thống IDS khác nhận Ngoài ra, phương pháp Phát bất thường giải vấn đề tải tính toán, tính tự động vận hành Hệ thống phát xâm nhập trái phép Hệ thống IDS dựa Phát bất thường sử dụng kỹ thuật khác Đố án giới thiệu Hệ thống Phát bất thường dựa Xác suất thống kê, Máy trạng thái hữu hạn, Hệ chuyên gia, Mạng Bayes v.v… Mỗi 77 kỹ thuật có chế hoạt động riêng, đồng thời có ưu, nhược điểm khác Đồ án giới thiệu số hướng nghiên cứu lĩnh vực đưa đánh giá hướng Chương Đồ án sâu vào nghiên cứu Mô hình hệ thống phát bất thường sử dụng phương pháp Khai phá liệu Đây hướng công nghệ có nhiều ưu điểm bật khả hoạt động với CSDL chứa nhiều nhiễu, liệu không đầy đủ biến đổi liên tục Đây tính chất thường thấy liệu Mạng Đồ án trình bày tính tương đương toán Phát bất thường với toán Phát phần tử tách biệt Khai phá liệu Trong đó, phần tử tách biệt hiểu quan sát có độ sai lệch lớn so với quan sát khác nghi ngờ sinh từ chế khác Như sử dụng thuật toán phát Phần tử tách biệt để phát bất thường tập liệu mạng thu thập Có nhiều thuật toán thực nhiệm vụ này, Đồ án phân tích số thuật toán tiên tiến thuật toán Khoảng cách Mahalanobis, NN, LOF Mỗi thuật toán có ưu điểm riêng hiệu tính chất phân bố liệu Đồ án đưa kết thử nghiệm liệu mẫu để chứng tỏ thuật toán LOF thích hợp với liệu Mạng Đồ án khái quát hóa mô hình hệ thống Phát bất thường sử dụng kỹ thuật Khai phá liệu, có môđun là: Môđun Lọc tin, môđun Trích xuất liệu, môđun Phát phần tử tách biệt môđun Tổng hợp Môđun lọc tin có chức loại bỏ thông tin dư thừa, lưu lượng mạng mà hệ thống biết công Những thông tin có ích cho hệ thống chiếm khoảng 20% tổng số lượng tin mà công cụ bắt gói tin đưa Dữ liệu sau qua môđun Lọc tin tiến hành trích xuất yếu tố quan sát Mỗi thuật toán phát bất thường có tập thông số cần quan sát riêng Thông thường gói tin mạng, thông tin quan trọng chủ yếu nằm phần Header gói tin Môđun Phát phần tử tách biệt thực bước phân tích liệu, tính “khoảng cách” kiện tìm kiện có khác biệt lớn tập kiện Do khối lượng giám 78 sát lớn nên cần thiết phải có rút gọn cảnh báo Môđun tổng hợp thực chức Ngòai ra, sau dạng công phát hiện, môđun Tổng hợp bổ sung mẫu dạng công cho hệ thống phát xâm nhập dựa dấu hiệu Các mẫu phải tập luật dạng rút gọn, phản ánh công thuận tiện việc so sánh kiểm tra tương lai Ở tác giả đưa số đề xuất cải tiến Môđun Tổng hợp để tối ưu hóa hoạt động Hệ thống Đó việc xây dựng hàm định lượng để đánh giá trình tổng hợp, việc tổng hợp tri thức thành tri thức dùng chung hệ thống IDS Cuối Đồ án đưa kết thử nghiệm đánh giá Hệ thống Phát bất thường sử dụng KPDL MINDS, so sánh MINDS với hệ thống IDS khác Snort, SPADE để chứng minh ưu điểm việc áp dụng kỹ thuật Khai phá liệu Lĩnh vực Phát bất thường lĩnh vực nghiên cứu mới, đã, quan tâm vai trò quan trọng Hệ thống thông tin Sau số hướng nghiên cứu mà tác giả dự định phát triển thêm:  Xây dựng Phần mềm Phát bất thường dựa Khai phá liệu  Thử nghiệm thuật toán Phát phần tử tách biệt tiên tiến khác để tăng tỉ lệ Phát đúng, giảm tỷ lệ Cảnh báo sai 79 Tài liệu tham khảo [1] Marina Thottan, Chuanyi Ji, Anomaly Detection in IP Networks, IEEE transaction on Signal processing, August 2003 [2] Data Mining Approaches for Intrusion Detection System, Wenke Lee Salvatore J Stolfo, Computer Science Department, Columbia University, 500 West 120th Street, NewYork, NY 10027, fwenke, salg@cs.columbia.edu [3] Stefan Axelsson, Research in Intrustion-Detection System: A Survey, Chalmers University of Technology, Sweden 1998 [4] Jame A Hoagland, Practical automate detection of stealthy portscans, Journal of Computer Security 10 (2002) [5] Matthew Vincent Mahoney, A Machine Learning Approach to Detection Attacks by Identifying Anomalies in Network Traffic, Florida Institute ò Technology 2003 [6] Chirstopher Kruegel, Bayesian Event Classification for Intrusion Detection, University of California, Santa Barbara, 2003 [7] Intrusion Prevention Fundamental, Cisco Press 2006 [8] Matthew Tanase, One of These Things is not like the Others: The State ò Anomaly Detection [9] Network Security Architectures, Cisco press, 2004 [10] Network Intrusion Detection, Third Edition, SANS 2006 [11] F Feather and R Maxion, Fault detection in an Ethernet network using anomaly signature matching [12] M M Breuning, H.-P Kriegel, R T Ng, J Sander, LOF: Identifying Density-Based Local Outliers, Proceedings of the ACM SIGMOD Conference, 2000 80 [13] Hawkins D.M, Identification of Outlier, Chapman and Hall, London 1980 [16] J P Anderson, Computer security theart monitoring and surveillance, Technical Report, 1980 [17] S E Smaha, Haystack: An Intrusion Detection System, IEEE Fourth Aerospace Computer Security Application Conference, Orlando, FL, 1998, pp 37-44 [18] Symantec Internet Security Theat Report - Symantec 03-2007 www.symantec.com [19] A.K Ghosh, A Schwartzbart, M Schatz, Learning Program Behavior Profile for Intrusion Detection, 1st USENIX Workshop on Intrusion Detection and Netword Monitoring, Santa Clara, Ca, USA, 1999 [20] J L Elman, Finding Structure in Time, Cognitive Science, vol 14, pp 179-211, 1990 [21] A Valdes and K Skinner, Adaptive Model-based Monitoring for Cyber Attack Detection, Recent Advances in Intrusion Detection Toulouse, France, 2000, pp 80-92 [22] Debra Anderson, Next-Genaration Intrusion Detection Expert System (NIDES) – A summary, SRI-CSL-95-07, 1995 [23] Gerald Tripp, A finite-state-machine based string matchinh system for intrusion detection on high-speed networks, EICAR, 2005 [24] T Mitchell, Machine Learning and Data Mining, communications of the ACM, Vol.42 (1999), No 11, pp 30-36 [25] U M Fayyad, G Piatetsky-Shapiro, P Smyth and R Uthurusamy: Advances in Knowledge Discovery and Data Mining, AAAI Press, Menlo Park, CA, (1996) 81 [26] P Chapman, J Clinton, R Kerber, T Khabara, T Reinartz, C Shearer, R With, CRISP-DM 1.0 Process and Uses Guide, http://www.crispdm.org, (2000) [27] Vipin Kumar, A Comparative Study of Anomaly Detection Schemes in Network Intrusion Detection, Minnesota University [28] Jiawei Han, Micheline Kamber, Data Mining: Concept and Techniques, Morgan Kaufmann Publishers, 2001 [29] David Hand, Heikki Mannila, Padhraic, Principles of Data Mining, The MIT Press, 2001 [30] Matthew Vincent Mahoney, A Machine Learning Approach to Detecting Attacks by Identifying Anomalies in Network Traffic, Florida Institute of Tchnology, 2003 82 Phụ lục Tấn công từ chối dịch vụ Tấn công từ chối dịch vụ DoS (Denial of Service) mô tả hành động ngăn cản người dùng hợp pháp khả truy cập sử dụng vào dịch vụ Nó bao gồm làm tràn ngập mạng, kết nối với dịch vụ … mà mục đích cuối máy chủ (Server) đáp ứng yêu cầu sử dụng dịch vụ từ máy trạm (client) DoS làm ngưng hoạt động máy tính, mạng nội bộ, chí hệ thống mạng lớn Về chất thực DoS, kẻ công chiếm dụng lượng lớn tài nguyên mạng bằn thông, nhớ, … làm khả xử lý yêu cầu dịch vụ từ client khác Các cách công DoS Tấn công kiểu SYN flood Lợi dụng cách thức hoạt động kết nối TCP/IP, hacker bắt đầu trình thiết lập kết nối TCP/IP tới mục tiêu muốn công mà không gửi trả gói tin ACK, khiến cho mục tiêu rơi vào trạng thái chờ (đợi gói tin ACK từ phía yêu cầu thiết lập kết nối) liên tục gửi gói tin SYN ACK để thiết lập kết nối Một cách khác giả mạo địa IP nguồn gói tin yêu cầu thiết lập kết nối SYN trường hợp trên, máy tính đích rơi vào trạng thái chờ gói tin SYN ACK đến đích địa IP nguồn thật Kiểu công SYN flood hacker áp dụng để công hệ thống mạng có băng thông lớn hệ thống hacker Kiểu công Land Attack Kiểu công Land Attack tương tự SYN flood, hacker sử dụng IP mục tiêu cần công để dùng làm địa IP nguồn gói tin, đẩy mục tiêu vao vòng lặp vô tận cố gắng thiết lập kết nối với 83 Kiểu công UDP flood Hacker gửi gói tin UDP echo với địa IP nguồn cổng loopback mục tiêu cần công máy tính mạng Với mục tiêu sử dụng cổng UDP echo (port 7) để thiết lập việc gửi nhận gói tin echo hai máy tính (hoặc mục tiêu với mục tiêu có cấu hình cổng loopback), khiến cho hai máy tính dần đân sử dụng hết băng thông chúng, cản trở hoạt động chia sẻ tài nguyên mạng máy tính khác mạng Tấn công kiểu DDoS (Distributed Denial of Service) Đây cách thức công nguy hiểm Hacker xâm nhập vào hệ thống máy tính, cài đặt chương trình điều khiển từ xa, kích hoạt đồng thời chương trình vào thời điểm để đồng loạt công vào mục tiêu Với DDoS, hacker huy động tới hàng trăm chí hàng ngàn máy tính tham gia công thời điểm 84