nghiên cứu giải pháp phát hiện xâm nhập mạng máy tính bất thường dựa trên khai phá dữ liệu

Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG NGUYỄN VĂN DIỄN NGHIÊN CỨU GIẢI PHÁP PHÁT HIỆN XÂM NHẬP MẠNG MÁY TÍNH BẤT THƯỜNG DỰA TRÊN KHAI PHÁ DỮ LIỆU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2014 i LỜI CAM ĐOAN Tôi xin cam đoan đề tài “Nghiên cứu Giải pháp phát hiện xâm nhập mạng máy tính bất thƣờng dựa trên Khai phá dữ liệu” là công trình nghiên cứu của riêng tôi. Đề tài đƣợc hoàn thành dƣới sự hƣớng dẫn của Thầy TS. Nguyễn Ngọc Cƣơng. Những kết quả nghiên cứu, thử nghiệm đƣợc thực hiện hoàn toàn khách quan và trung thực. Các số liệu, kết quả trình bày trong luận văn là hoàn toàn trung thực và chƣa từng đƣợc công bố trong bất cứ công trình nào. Các tài liệu tham khảo sử dụng trong luận văn đều đƣợc dẫn nguồn (có bảng thống kê các tài liệu tham khảo) hoặc đƣợc sự đồng ý trực tiếp của tác giả. Nếu xảy ra bất cứ điều gì không đúng nhƣ những lời cam đoan trên, tôi xin chịu hoàn toàn trách nhiệm. Hà Nội, ngày 18 tháng 07 năm 2014 TÁC GIẢ Nguyễn Văn Diễn ii LỜI CẢM ƠN Em xin chân thành cảm ơn Thầy TS. Nguyễn Ngọc Cƣơng ngƣời đã trực tiếp hƣớng dẫn tận tình em trong suốt quá trình thực hiện Luận văn tốt nghiệp. Em xin chân thành cảm ơn Quý thầy, cô Trƣờng Đại học Công nghệ thông tin & Truyền thông Thái Nguyên, Viện Công nghệ Thông Tin, những ngƣời đã nhiệt tình giảng dạy và truyền đạt những kiến thức quí báu trong suốt thời gian em học tập và nghiên cứu tại trƣờng. Với vốn kiến thức tiếp thu đƣợc trong quá trình học tập và nghiên cứu không chỉ là nền tảng cho quá trình nghiên cứu luận văn mà còn là hành trang quí báu trong quá trình hoạt động chuyên môn của em. Cuối cùng, em xin kính chúc Quý thầy cô, đồng nghiệp, gia đình dồi dào sức khỏe và thành công. Trân trọng cảm ơn! iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC TỪ VIẾT TẮT vi DANH MỤC BẢNG vii DANH MỤC HÌNH viii MỞ ĐẦU ix TỔNG QUAN VỀ NHIỆM VỤ CỦA LUẬN VĂN xi CHƢƠNG 1: HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG VÀ PHƢƠNG PHÁP PHÁT HIỆN XÂM NHẬP MẠNG 1 1. 1 Hệ thống phát hiện xâm nhập mạng IDS (Intrusion Detection System) 1 1.1.1. Định nghĩa 1 1.1.2. Vai trò, chức năng của IDS 1 1.1.3. Mô hình IDS mức vật lý 2 1.1.4. Kiến trúc và hoạt động bên trong mô hình hệ thống IDS 3 1.1.5. Phân loại IDS 6 1.1.6. Một số kiểu tấn công cơ bản vào hệ thống mạng 8 1. 2 Một số phƣơng pháp phát hiện bất thƣờng trong hệ thống IDS 11 1.2.1 Phƣơng pháp tiếp cận dựa trên xác suất thống kê 11 1.2.2 Phƣơng pháp tiếp cận dựa trên trạng thái 12 1.2.3 Phƣơng pháp tiếp cận dựa trên hệ chuyên gia 12 1.2.4 Phƣơng pháp tiếp cận dựa trên khai phá dữ liệu 13 1. 3 Khai phá dữ liệu trong IDS 14 1.3.1 Định nghĩa khai phá dữ liệu 14 iv 1.3.2 Nhiệm vụ của khai phá dữ liệu 16 1.3.3 Các loại dữ liệu đƣợc khai phá 17 1.3.4 Quy trình khai phá dữ liệu 18 1.3.5 Một số phƣơng pháp khai phá dữ liệu 19 1.3.6 Một số kỹ thuật dùng trong khai phá dữ liệu 21 CHƢƠNG 2: PHƢƠNG PHÁP PHÁT HIỆN BẤT THƢỜNG DỰA TRÊN KỸ THUẬT KHAI PHÁ DỮ LIỆU 26 2.1. Phát hiện bất thƣờng dựa trên khai phá dữ liệu. 26 2.1.1. Phƣơng pháp phát hiện bất thƣờng dựa trên khai phá dữ liệu 26 2.1.2. Kỹ thuật phát hiện xâm nhập dựa trên khai phá dữ liệu 26 2.2. Bài toán phát hiện phần tử dị biệt trong khai phá dữ liệu 28 2.2.1. Một số thuật toán phát hiện dị biệt trong khai phá dữ liệu 30 2.2.2. Mô hình phát hiện bất thƣờng dựa trên kỹ thuật khai phá dữ liệu 36 CHƢƠNG 3: ĐỀ XUẤT TRIỂN KHAI THỬ NGHIỆM HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG. 42 3.1. Bài toán phân cụm dữ liệu trong CSDL kết nối mạng 42 3.2. Thuật toán sử dụng cho bài toán ứng dụng 42 3.3. Đánh giá Thuật toán phân cụm ứng dụng trong bài toán 44 3.4. Ứng dụng thuật toán phân cụm K-medoids trong KPDL 48 3.4.1. Quy trình xử lý bài toán ứng dụng: 48 3.4.2. Tập hợp dữ liệu 49 3.4.3. Tiền xử lý 49 3.4.4. Tiến trình khai phá dữ liệu 51 3.5. Chƣơng trình Demo 54 v 3.6. Nhận xét bài toán KPDL 59 KẾT LUẬN VÀ HƢỚNG PHÁP TRIỂN 61 TÀI LIỆU THAM KHẢO 62 vi DANH MỤC TỪ VIẾT TẮT ADAM Audit Data Analysis Mining CSDL Cơ sở dữ liệu DdoS Distributed Daniel of Servies DOS Daniel of Services HIDS Host Instrucsion Detection System HTTP Hypertext Markup Languge ICMP Internet Control Message Protocol IDS Intrucsion Detection System IDDM Intrucsion Detection Data Mining IPS Intrucsion Prevention System IP Internet Protocol KPDL Khai phá dữ liệu LOF Local Outlier Partor LSC Local Sparsity Ratio NIDS Networks Instrusion Detection System MAC Media Accsess Controllers SQL Structured Query Language VPN Virtual Private Network TCP Transmission Control Protocol UDP User Datagram Protocol vii DANH MỤC BẢNG Bảng 2.1: Danh sách các cảnh báo chƣa rút gọn Bảng 2.2: Danh sách các cảnh báo sau khi rút gọn Bảng 3.1: Bảng thuộc tính CSDL mạng Bảng 3.2: Thông tin chƣơng trình cài đặt ứng dụng viii DANH MỤC HÌNH Hình 1.1: Mô hình IDS vật lý Hình 1.2: Kiến trúc Modul trong IDS Hình 1.3: Mô hình thu thập dữ liệu ngoài luồng Hình 1.4: Mô hình thu thập dữ liệu trong luồng Hình 1.5: Modul phân tích, phát hiện tấn công Hình 1.6: Quá trình khám phá tri thức Hình 2.1: Gán giá trị để lƣợng hóa các cuộc tấn công trên sơ đồ Hình 2.2: Minh họa bài toán phát hiện phần tử dị biệt Hình 2.3: Khoảng cách Reach – dist Hình 2.4: Phƣơng pháp LOF Hình 2.5: Thuật toán LSC – Mine Hình 2.6: Mô hình phát hiện bất thƣờng sử dụng kỹ thuật KPDL Hình 2.7: Mô hình Modul tổng hợp Hình 3.1: Lƣu đồ thuật toán K-Medoids Hình 3.2: Tiến trình phát hiện xâm nhập mạng sử dụng kỹ thuật phân cụm Hình 3.3: Biểu diễn CSDL mạng Hình 3.4: Biến đổi dữ liệu trong CSDL Hình 3.5: Gom cụm dữ liệu trong CSDL Hình 3.6: Biểu diễn kết quả mẫu bất thƣờng Hình 3.7: Giao diện Menu chính Hình 3.8: Giao diện khai phá trên giao thức HTTP Hình 3.9: Giao diện khai phá dữ liệu tự động Hình 3.10: Giao diện tiền xử lý Hình 3.11: Giao diện khai phá dựa trên ngƣỡng kết nối ix MỞ ĐẦU Ngày nay, Công nghệ thông tin nói chung và Ngành mạng máy tính nói riêng đã đƣợc ứng dụng trong hầu hết các lĩnh vực quan trọng của đời sống, nó tác động trực tiếp đến sự tồn tại và phát triển của nền kinh tế tri thức và công nghệ. Chính vì vậy, việc áp dụng Công nghệ thông tin đã trở thành một yêu cầu không thể thiếu cho tất cả các tổ chức, doanh nghiệp. Với tầm quan trọng nhƣ vậy, cần phải có một hệ thống mạng doanh nghiệp ổn định, hoạt động liên tục, đảm bảo tính tin cậy, nguyên vẹn, sẵn sàng và không thể từ chối để đáp ứng đƣợc mọi yêu cầu kết nối và xử lý của công việc. Tuy nhiên, bên cạnh yêu cầu cấp thiết đó thì mạng máy tính luôn phải đối diện với rất nhiều nguy cơ mất an toàn nhƣ các cuộc “viếng thăm” bất hợp pháp hoặc các cuộc tấn công từ bên ngoài mạng luôn luôn có thể xảy ra với mức độ ngày càng phức tạp và tinh vi hơn. Do đó, yêu cầu phải có một hệ thống có thể phát hiện tự động những hành vi thâm nhập không đƣợc phép để cảnh báo nguy cơ và ngăn chặn đã trở nên cấp thiết. Đã có nhiều hƣớng nghiên cứu và xây dựng hệ thống cảnh báo và thâm nhập dựa trên các phƣơng pháp thâm nhập nhƣ: phát hiện thâm nhập dựa vào luật; kỹ thuật phân biệt ý định ngƣời dùng, phân tích trạng thái phiên, phƣơng pháp phân tích thống kê … Tuy nhiên đây là các phƣơng pháp phát hiện xâm nhập dựa trên các dấu hiệu bất thƣờng. Tức là dựa trên các dấu hiệu của các vụ tấn công đã biết, các phƣơng pháp này phát hiện ra xâm nhập mạng bằng cách so sánh các giá trị đặc tả với một dãy các ký tự tấn công đƣợc cung cấp bởi chuyên gia và đƣợc cập nhật lại trong cơ sở dữ liệu. Điểm hạn chế của các phƣơng pháp trên là chúng không thể phát hiện ra các cuộc tấn công mới không có trong cơ sở dữ liệu. So với các phƣơng pháp trên thì phƣơng pháp phân tích dựa trên kỹ thuật khai phá dữ liệu có nhiều ƣu điểm rõ rệt hơn. Phƣơng pháp này có thể sử dụng với cơ sở dữ liệu chứa nhiều nhiễu, dữ liệu không đầy đủ, biến đổi liên tục, đặc biệt phƣơng pháp này đòi hỏi mức độ sử dụng các chuyên gia không quá thƣờng xuyên. Các ƣu điểm này đem lại [...]... phƣơng pháp phát hiện bất thƣờng trên CSDL dựa trên kỹ thuật Khai phá dữ liệu 4 Đề xuất phƣơng pháp để triển khai chƣơng trình ứng dụng phát hiện xâm nhập mạng máy tính bất thƣờng dựa trên Khai phá dữ liệu Bố cục của luận văn Luận văn đƣợc chia làm 3 chƣơng: Chƣơng 1: Hệ thống phát hiện xâm nhập mạng và các phƣơng pháp phát hiện xâm nhập mạng Chƣơng 2: Phƣơng pháp phát hiện bất thƣờng dựa trên kỹ thuật khai. .. phƣơng pháp sử dụng kỹ thuật khai phá dữ liệu có khả năng xử lý dữ liệu lớn, sử dụng trong các hệ thống thời gian thực Đây là lý do để chúng tôi chọn đề tài “ Nghiên cứu giải pháp phát hiện xâm nhập mạng máy tính bất thƣờng dự trên khai phá dữ liệu Đề tài sẽ tập trung nghiên cứu phƣơng pháp phát hiện xâm nhập mạng máy tính bất thƣờng bằng kỹ thuật khai phá dữ liệu để phát hiện các hành vi xâm nhập một... phƣơng pháp đó Với mong muốn đƣa ra đƣợc một giải pháp tốt nhất cho việc đảm bảo an toàn, an ninh mạng, luận văn tập trung vào các nhiệm vụ chính: 1 Nắm đƣợc kiến trúc, chức năng và cơ chế hoạt động của một hệ thống phát hiện xâm nhập mạng máy tính 2 Nghiên cứu một số phƣơng pháp phát hiện xâm nhập mạng dựa trên cơ chế phát hiện bất thƣờng của các hệ thống phát hiện xâm nhập mạng hiện nay 3 Nghiên cứu. .. thuật khai phá dữ liệu Chƣơng 3: Đề xuất triển khai thử nghiệm hệ thống phát hiện xâm nhập mạng 1 CHƢƠNG 1: HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG VÀ PHƢƠNG PHÁP PHÁT HIỆN XÂM NHẬP MẠNG 1 1 Hệ thống phát hiện xâm nhập mạng IDS (Intrusion Detection System) 1.1.1 Định nghĩa Xâm nhập là một thuật ngữ dùng để chỉ các hành động đột nhập trái phép làm ảnh hƣởng tới hệ thống mạng hoặc các thiết bị máy tính điện... động dựa trên dấu hiệu bất thƣờng so với dữ liệu quá khứ xi TỔNG QUAN VỀ NHIỆM VỤ CỦA LUẬN VĂN Với mục tiêu xây dựng đƣợc một giải pháp an toàn mạng cho các nhà quản trị mạng, luận văn tập trung vào nghiên cứu một số phƣơng pháp phát hiện xâm nhập mạng dựa trên cơ chế phát hiện bất thƣờng của các hệ thống phát hiện xâm nhập mạng hiện nay Từ đó, đề xuất đƣợc ý kiến triển khai một hệ thống hoạt động dựa. .. bao gồm phát hiện lạm dụng và phát hiện bất thƣờng + Phát hiện lạm dụng: thông thƣờng còn có tên là phát hiện dựa trên dấu hiệu Phát hiện lạm dụng đòi hỏi những file mẫu của dấu hiệu để nhận dạng những hành động xâm nhập Những file mẫu của dấu hiệu sử dụng trong phƣơng pháp phát hiện lạm dụng phải đƣợc cập nhật thƣờng xuyên Ưu điểm: có thể phát hiện và đƣa ra cảnh báo chính xác cuộc tấn công dựa trên. .. đƣợc xây dựng lại một cách định kỳ để phù hợp với các mẫu sử dụng mới 1.2.4 Phƣơng pháp tiếp cận dựa trên khai phá dữ liệu Khai phá dữ liệu tập trung khai thác các thông tin hữu ích tiềm tàng, chƣa biết trƣớc từ các tập dữ liệu Các hệ thống phát hiện xâm nhập có ứng dụng phƣơng pháp khai phá dữ liệu trong phát hiện bất thƣờng là ADAM (Audit Data Analysis and Mining, của Wu,2001, Barbara và cộng sự,... thập dữ liệu Theo cách tiếp cận này hệ thống phát hiện xâm nhập IDS không làm ảnh hƣởng tới tốc độ lƣu thông của mạng Hình 1.3: Mô hình thu thập dữ liệu ngoài luồng + Mô hình thu thập dữ liệu trong luồng: Trong mô hình này, hệ thống phát hiện xâm nhập IDS đƣợc đặt trực tiếp vào luồng dữ liệu vào ra trong hệ thống mạng, luồng dữ liệu phải đi qua hệ thống phát hiện xâm nhập IDS trƣớc khi đi vào trong mạng. .. Khi có các cuộc tấn công xâm nhập gây ra các hoạt động bất bình thƣờng thì kỹ thuật này sẽ phát hiện ra các hoạt động bất bình thƣờng dựa trên các phát hiện bất thƣờng nhờ: mức ngƣỡng, phát hiện nhờ quá trình tự học, phát hiện dựa trên bất thƣờng về giao thức + Cảnh báo: Quá trình này thực hiện sinh ra các cảnh báo tùy theo đặc điểm và loại tấn công, xâm nhập mà hệ thống phát hiện đƣợc + Modul phản ứng:... thuộc tính nào đó trong tập dữ liệu Khám phá quy luật biến đổi: tìm những tập luật phản ánh những hành vi tiến hóa, biến đổi chung của một tập dữ liệu Ví dụ nhƣ quy luật lây nhiễm và phát tán của Virus máy tính trên mạng Internet 1.3.3 Các loại dữ liệu đƣợc khai phá Khai phá dữ liệu thƣờng làm việc với nhiều kiểu dữ liệu khác nhau Hầu hết các kiểu dữ liệu đƣợc khai phá là những kiểu sau: 18 - Cơ sở dữ liệu . PHƢƠNG PHÁP PHÁT HIỆN BẤT THƢỜNG DỰA TRÊN KỸ THUẬT KHAI PHÁ DỮ LIỆU 26 2.1. Phát hiện bất thƣờng dựa trên khai phá dữ liệu. 26 2.1.1. Phƣơng pháp phát hiện bất thƣờng dựa trên khai phá dữ liệu. xâm nhập mạng máy tính bất thƣờng dự trên khai phá dữ liệu . Đề tài sẽ tập trung nghiên cứu phƣơng pháp phát hiện xâm nhập mạng máy tính bất thƣờng bằng kỹ thuật khai phá dữ liệu để phát hiện. phát hiện xâm nhập mạng dựa trên cơ chế phát hiện bất thƣờng của các hệ thống phát hiện xâm nhập mạng hiện nay. 3. Nghiên cứu các phƣơng pháp phát hiện bất thƣờng trên CSDL dựa trên kỹ thuật Khai