Tiểu luận môn Hệ hỗ trợ quyết định ỨNG DỤNG DATA MINING TRONG PHÒNG CHỐNG XÂM NHẬP

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Phan Hữu Phước (CH1301106) TIỂU LUẬN ỨNG DỤNG DATA MINING TRONG PHÒNG CHỐNG XÂM NHẬP GIẢNG VIÊN: PGS.TS. Đỗ Phúc TP HỒ CHÍ MINH – 6/2014 Trang 1 MỤC LỤC Trang 2 GIỚI THIỆU Data Mining đã trở thành một trong những lĩnh vực mũi nhọn trong thời đại hiện nay là việc làm cho máy tính trở nên thông minh hơn, tăng cường sự cộng tác giữa người và máy, tự động hóa một phần, góp phần giải quyết các công việc trong lĩnh vực đời sống xã hội. Bên cạnh đó, nó còn có tính ứng dụng rất cao trong các ngành khoa học sản xuất, đặt biệt là những ngành cần phân tích khối lượng dữ liệu khổng lồ. Nội dung tiểu luận này sẽ khảo sát một phần nhỏ về ứng dụng của Data Mining, đó là việc ứng dụng trong phòng chống tấn công mạng máy tính. Hiện nay với sự bùng nổ cua internet, thương mại điện tử, trao đổi, hợp tác trong kinh doanh đều qua internet, v.v. Từ đó, chúng ta thấy được vị trí quan trọng của internet, và các vấn đề bảo mật, phòng chống/ngăn ngừa các tấn công của hackers trên internet cũng là vấn đề quan trọng không những cho doanh nghiệp, công ty, trường học, mà còn cho chính phủ, v.v. Như vậy, việc phòng chống tấn công mạng máy tính là công việc vô cùng quan trọng và cấp bách hiện nay. Trang 3 ĐẶT VẤN ĐỀ 1. ĐẶT VẤN ĐỀ Hiện nay đa số các doanh nghiệp vừa nhỏ, hay lớn, các tổ chức, công ty, trường học, chính phủ, v.v. đều kết nối internet. Và một điều thách thức hiện nay là vấn đề bảo mật thông tin trên internet. Bảo mật thông tin trở thành bài toán cấp thiết từ khi mạng internet phát triển một cách bùng nổ. Hệ thống thông tin khổng lồ trên internet được chia sẻ trên khắp thế giới. Tuy nhiên, đồng thời với lợi ích to lớn của nó, mạng internet cùng với các công nghệ liên quan cũng cho thấy mặt hạn chế tất yếu là tính mất an toàn, dễ bị xâm phạm, tấn công. Hậu quả của các cuộc tấn công có thể chỉ là những phiền phức nhỏ nhưng có thể làm suy yếu hoàn toàn hệ thống, các dữ liệu, thông tin quan trọng bị xóa, sự riêng tư bị xâm phạm v.v. Dó đó, chúng ta phải tránh tối đa sự mất an toàn, phải bảo vệ an toàn cho hệ thống. Các đối tượng cần đảm bảo an ninh bao gồm: Dữ liệu truyền đi trên mạng phải đáp ứng được các yêu cầu về: Tính bảo mật (Confidentiality) - đảm bảo thông tin không thể bị truy cập trái phép bởi những người không có thẩm quyền; tính toàn vẹn(Integrity) – đảm bảo thông không bị thay đổi trong quá trình truyền; tín sẵn sàng(Availability) – đảm bảo dữ liệu luon sẵn sàng khi có yêu cầu truy cập. Tài nguyên bao gồm các thành phần phần cứng và phần mềm của hệ thống . Kẻ tấn công có thể lợi dụng các lỗ hổng an ninh như các lỗ hổng về hệ điều hành, mạng, ứng dụng. Nếu máy tính không có dữ liệu quan trọng thì vẫn rất cần được bảo vệ bởi vì kẻ tấn công có thể đột nhập và sử dụng nó làm tiền đề cho các cuộc tấn công khác. Danh tiếng – kẻ tấn công có thể dùng hệ thống máy tính của một người sử dụng để tấn công nơi khác, gây tổn thất về uy tín của người sủ dụng đó, v.v Mối nguy hiểm đầu tiên đối với hệ thống thông tin được phát tán vào năm 1988, khi mà Rober Morris 23 tuổi kích hoạt con sâu máy tính đầu tiên và đã làm lây nhiễm hơn 6000 máy tính mạng ARPANET. Và gần đây nhất là lỗ hổng Heartbleed(trái tim rỉ máu) – vào ngày 07/04/2014 lỗ hổng bảo mật "Trái tim rỉ máu", nó dựa trên cơ sở làm suy yếu các phần mềm bảo mật trên OpenSSL, từ đó Trang 4 ĐẶT VẤN ĐỀ cho phép hacker dễ dàng đánh cắp dữ liệu được bảo vệ bởi biện pháp mã hóa SSL/TLS. "Trái tim rỉ máu" đã gây ra một cơn hoảng loạn thực sự trên toàn cầu trước những hậu quả mà nó mang lại, rất nhiều người đã để lộ thông tin, dữ liệu cá nhân quan trọng mà không hề hay biết, thông tin tài khoản ngân hàng, chứng khoán, các giao dịch trực tuyến, v.v. Các cuộc tấn công, các mã độc, sâu máy tính, virus ngày càng trở nên tinh vi hơn làm xuất hiện nhu cầu lớn về một hệ thống có thể phát hiện được các vấn đề này. Một hệ thống phát hiện xâm nhập có khả năng giám sát luồng dữ liệu ra vào hệ thống mạng, so sánh với cơ sở dữ liệu kiến thức mà nó có để xác định các luồng dữ liệu mang mã độc. Một trong những giải pháp để bảo mật thông tin là phát hiện ra các cuộc tấn công, các mã độc hại, v.v. Để phát hiện các cuộc tấn công, v.v. chúng ta cần xây dựng hệ thống phát hiện xâm nhập – IDS(Intrusion Detection System) hay hệ thống ngăn chặn tấn công – IPS (Intrusion Prevention System). Bài luận này sẽ đề cập đến một vấn đề là kết hợp các kỷ thuật Data mining( khai phá dữ liệu) và ứng dụng trong phòng chống, phát hiện xâm nhập. Trang 5 DATA MINING 2. DATA MINING 2.1. Giới thiệu về Data Mining Khai phá dữ liệu (Data mining) là một khái niệm ra đời vào những năm cuối của thập kỷ 80. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, khai phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu. Năm 1989, Fayyad, Piatestsky-Shapiro và Smyth đã dùng khái niệm Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database – KDD) để chỉ toàn bộ quá trình phát hiện các tri thức có ích từ các tập dữ liệu lớn. Trong đó, khai phá dữ liệu là một bước đặc biệt trong toàn bộ quá trình, sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu từ dữ liệu. Lịch sử phát triển của Data mining Những năm 1960: Xuất hiện Cơ sở dữ liệu(CSDL) theo mô hình mạng và mô hình phân cấp. Những năm 1970: Thiết lập nền tẩng lý thuyết cho CSDL quan hệ, các hệ quản trị CSDL quan hệ. Những năm 1980: Hoàn thiện lý thuyết về CSDL quan hệ và các hệ quản trị CSDL quan hệ, xuất hiện các hệ quản trị CSDL cao cấp (hướng đối tượng, suy diễn, ) và hệ quản trị hướng ứng dụng trong lĩnh vực không gian, khoa học, công nghiệp, nông nghiệp, địa lý Những năm 1990-2000: phát triển Khai phá dữ liệu và kho dữ liệu, CSDL đa phương tiện, và CSDL Web. Quá trình xử lý khai phá dữ liệu bắt đầu bằng cách xác định chính xác vấn đề cần giải quyết. Sau đó sẽ xác định các dữ liệu liên quan dùng để xây dựng giải pháp. Bước tiếp theo là thu thập các dữ liệu có liên quan và xử lý chúng thành dạng sao cho giải thuật khai phá dữ liệu có thể hiểu được. Về lý thuyết thì có vẻ rất đơn giản nhưng khi thực hiện thì đây thực sự là một quá trình rất khó khăn, gặp phải nhiều vướng mắc như: các dữ liệu phải được sao ra nhiều bản (nếu được chiết xuất Trang 6 DATA MINING vào các tệp), quản lý các tệp dữ liệu, phải lặp đi lặp lại nhiều lần toàn bộ quá trình (nếu mô hình dữ liệu thay đổi), v.v. Bước tiếp theo là chọn thuật toán khai phá dữ liệu thích hợp và thực hiện việc khai phá dữ liệu để tìm được các mẫu (pattern) có ý nghĩa dưới dạng biểu diễn tương ứng với các ý nghĩa đó (thường thì được biểu diễn dưới dạng các luật xếp loại, cây quyết định, phát sinh luật, biểu thức hồi quy,…) Hiện nay, ngoài thuật ngữ khai phá dữ liệu, người ta còn dùng một số thuật ngữ khác có ý nghĩa tương tự như: khai phá tri thức từ CSDL (knowlegde mining from databases), trích lọc dữ liệu (knowlegde extraction), phân tích dữ liệu/mẫu (data/pattern analysis), khảo cổ dữ liệu (data archaeology),nạo vét dữ liệu (data dredging). Quá trình này bao gồm các bước sau: • Làm sạch dữ liệu (data cleaning): loại bỏ nhiễu hoặc các dữ liệu không thích hợp. • Tích hợp dữ liệu (data integration): Tích hợp dữ liệu từ các nguồn khác nhau như: CSDL, Kho dữ liệu, file text • Chọn dữ liệu (data selection): Ở bước này, những dữ liệu liên quan trực tiếp đến nhiệm vụ sẽ được thu thập từ các nguồn dữ liệu ban đầu. • Chuyển đổi dữ liệu (data transformation): Trong bước này, dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp. • Khai phá dữ liệu (data mining): Là giai đoạn thiết yếu, trong đó các phương pháp thông minh sẽ được áp dụng để trích xuất ra các mẫu dữ liệu • Đánh giá mẫu (pattern evaluation): Đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa vào một số phép đo. Đây là mô hình minh họa cho các quá trình khai thác dữ liệu : Một số ứng dụng kỹ thuật khai phá dữ liệu trong viễn thông. Trang 7 DATA MINING 2.2. Các nhiệm vụ của Data mining Cho đến nay đã có rất nhiều công trình nghiên cứu và phát triển trong lĩnh vực khai phá dữ liệu. Dựa trên những loại tri thức được khám phá, chúng ta có thể phân loại như theo các nhiệm cụ như sau: Khai phá luật thuộc tính: tóm tắt những thuộc tính chung của tập dữ liệu nào đó trong cơ sở dữ liệu. Ví dụ như những triệu chứng của một căn bệnh S thì thường có thể được thể hiện qua một tâp các thuộc tính A. Khai phá những luật phân biệt: khai phá những đặc trưng, những thuộc tính để phân biệt giữa tập dữ liệu này với tập dữ liệu khác. Ví dụ như nhằm phân biệt giữa các chứng bệnh thì một luật phân biệt được dùng để tóm tắt những triệu chứng nhằm phân biệt chứng bệnh xác định với những chứng bệnh khác. Trang 8 DATA MINING Khám phá luật kết hợp: khai phá sự kết hợp giữa những đối tượng trong một tập dữ liệu. Giả sử hai tập đối tượng {A 1 , A 2 ,… ,A n } và {B 1 , B 2 ,… ,B n } thì luật kết hợp có dạng {A 1 ^A 2 ^…^ A n ) →{B 1 ^ B 2 ^… ^B n ). Khám phá luật phân lớp: phân loại dữ liệu vào trong tập những lớp đã biết. Ví dụ như một số chiếc xe có những đặc tính chung để phân vào các lớp dựa trên cách tiêu thụ nhiên liệu hoặc có thể phân vào các lớp dựa trên trọng tải… Phân nhóm: xác định một nhóm cho một tập các đối tượng dựa trên thuộc tính của chúng. Một số các tiêu chuẩn được sử dụng để xác định đối tượng có thuộc về nhóm hay không. Dự báo: dự báo giá trị có thể đúng cuỷa những dữ liệu bị thiếu hoặc sự phân bố thuộc tính nào đó trong tập dữ liệu. Khám phá quy luật biến đổi: tìm những tập luật phản ánh những hành vi tiến hóa, biến đổi chung của một tập dữ liệu. Ví dụ như luật khám phá những yếu tố chính tác động lên sự thay đổi của những giá cổ phiếu nào đó. 2.3. Ứng dụng của Data mining Khai phá dữ liệu là một lĩnh vực liên quan tới nhiều ngành học khác như: hệ CSDL, thống kê, trực quan hoá… hơn nưa, tuỳ vào cách tiếp cận được sử dụng, khai phá dữ liệu còn có thể áp dụng một số kỹ thuật như mạng nơron, lý thuyết tập thô, tập mờ, biểu diễn tri thức… So với các phương pháp này, khai phá dữ liệu có một số ưu thế rõ rệt. So với phương pháp học máy, khai phá dữ liệu có lợi thế hơn ở chỗ, khai phá dữ liệu có thể sử dụng với các CSDL chứa nhiều nhiễu, dữ liệu không đầy đủ hoặc biến đổi liên tục. Trong khi đó phương pháp học máy chủ yếu được áp dụng trong các CSDL đầy đủ, ít biến động và tập dữ liệu không qua lớn Phương pháp hệ chuyên gia: phương pháp này khác với khai phá dữ liệu ở chỗ các ví dụ của chuyên gia thường ở mức cao hơn nhiều so với các dữ liệu trong CSDL, và chúng thường chỉ bao hàm được các trường hợp quan trọng. Hơn nữa các chuyên gia sẽ xác nhận giá trị và tính hữu ích của các mẫu phát hiện được. Trang 9 DATA MINING Phương pháp thống kê là một trong những nên tảng lý thuyết của khai phá dữ liệu, nhưng khi so sánh hai phương pháp với nhau ta có thể thấy các phương pháp thống kê còn tồn tại một số điểm yếu mà khai phá dữ liệu khắc phục được: • Các phương pháp thống kê chuẩn không phù hợp với các kiểu dữ liệu có cấu trúc trong rất nhiều CSDL. • Các phương pháp thống kê hoạt động hoàn toàn theo dữ liệu, nó không sử dụng tri thức có sẵn về lĩnh vực. • Kết quả phân tích của hệ thống có thể sẽ rất nhiều và khó có thể làm rõ được. • Phương pháp thống kê cần có sự hướng dẫn của người dùng để xác định phân tích dữ liệu như thế nào và ở đâu. • Khai thác dữ liệu được ứng dụng rộng rãi trong rất nhiều lĩnh vực như: • Ngân hàng: Xây dựng mô hình dự báo rủi ro tín dụng; tìm kiếm tri thức, qui luật của thị trường chứng khoán và đầu tư bất động sản; phát hiện dùng thẻ tín dụng giả trên mạng và là công cụ hữu ích cho dịch vụ quản lý rủi ro cho thương mại điện tử • Thương mại điện tử: Công cụ tìm hiểu, định hướng thúc đẩy, giao tiếp với khách hàng; phân tích hành vi mua sắm trên mạng và cho biết thông tin tiếp thị phù hợp với loại khách hàng trong một phân khu thị trường nhất định • An ninh, an toàn mạng: Ứng dụng trong hệ thống phát hiện xâm nhập trái phép IDS/IPS để phát hiện ra các cuộc tấn công xâm nhập mạng trái phép; và nhiều lĩnh vực khác,.v.v. 2.4. Các phương pháp khai phá dữ liệu Quá trình khai phá dữ liệu là quá trình phát hiện mẫu trong đó giải thuật khai phá dữ liệu tìm kiếm các mẫu đáng quan tâm theo dạng xác định như các luật, cây phân lớp, hồi quy, phân nhóm,… 2.4.1. Phương pháp quy nạp (Induction) Một cơ sở dữ liệu là một kho thông tin nhưng các thông tin quan trọng hơn cũng có thể được suy diễn từ kho thông tin đó. Có hai việc chính để thực hiện việc này là suy diễn và quy nạp. Trang 10 [...]... hiện xâm nhập dựa vào các mẫu có sẵn IPS có chức năng ngăn chặn những xâm nhập được nghi ngờ ở IDS 3.1.2.3 Vai trò, chức năng của IDS Phát hiện các nguy cơ tấn công và truy nhập trái phép Đây là vai trò chính của một hệ thống phát hiện xâm nhập IDS, nó có nhiệm vụ xác định những tấn công và truy nhập trái phép vào hệ thống mạng bên trong Hệ thống IDS có khả năng hỗ trợ Trang 15 ỨNG DỤNG KỸ THUẬT DATA MINING. .. 14 ỨNG DỤNG KỸ THUẬT DATA MINING TRONG HỆ THỐNG IDS 3.1.2 Hệ thống phát hiện xâm nhập - IDS 3.1.2.1 IDS(Intrusion Detection System) là gì? Khi bạn đặt một đồng hồ báo động trên những cánh cửa và trên những cửa sổ trong nhà của bạn, giống như việc bạn đang cài đặt một hệ thống phát hiện xâm nhập (IDS) trong nhà bạn vậy Hệ thống phát hiện xâm nhập được dùng để bảo vệ mạng máy tính của bạn điều hành trong. .. cách tiếp cận này hệ thống phát hiện xâm nhập IDS không làm ảnh hưởng tới tốc độ lưu thông của mạng Mô hình thu thập dữ liệu trong luồng: Trong mô hình này, hệ thống phát hiện xâm nhập IDS được đặt trực tiếp vào luồng dữ liệu vào ra trong hệ thống mạng, luồng dữ liệu phải đi qua hệ thống phát hiện xâm nhập IDS trước khi đi vào trong mạng Ưu điểm của mô hình này, hệ thống phát hiện xâm nhập IDS trực tiếp... DATA MINING TRONG HỆ THỐNG IDS phát hiện các nguy cơ an ninh đe dọa mạng mà các hệ thống khác (như bức tường lửa) không có, kết hợp với hệ thống ngăn chặn xâm nhập IPS giúp cho hệ thống chặn ứng, hạn chế các cuộc tấn công, xâm nhập từ bên ngoài Khả năng cảnh báo và hỗ trợ ngăn chặn tấn công IDS có thể hoạt động trong các chế độ làm việc của một thiết bị giám sát thụ động (sniffer mode) hỗ trợ cho các... bên trong của hệ thống IDS Hệ thống phát hiện xâm nhập bao gồm 3 modul chính: Modul thu thập thông tin, dữ liệu; modul phân tích, phát hiện tấn công; modul phản ứng Module thu thập thông tin, dữ liệu: Modul này có nhiệm vụ thu thập các gói tin trên mạng để đem phân tích Vấn đề đặt ra trong thực tế là chúng ta cần triển Trang 16 ỨNG DỤNG KỸ THUẬT DATA MINING TRONG HỆ THỐNG IDS khai hệ thống phát hiện xâm. .. sử dụng để tái tạo các tập dữ liệu ở dạng dễ hiểu hơn, đồng thời cũng cung cấp các nhóm dữ liệu cho các hoạt động cũng như công việc phân tích Đối với cơ sở dữ liệu lớn, việc lấy ra các nhóm này là rất quan trọng Trang 13 ỨNG DỤNG KỸ THUẬT DATA MINING TRONG HỆ THỐNG IDS 3 ỨNG DỤNG KỸ THUẬT DATA MINING TRONG HỆ THỐNG IDS 3.1 Hệ thống IDS 3.1.1 Giới thiệu Ngày nay, sự phát triển liên tục của công nghệ... của hệ thống mạng, để phát hiện xâm nhập cho khu vực đó So sánh giữa hệ thống HIDS và NIDS: NIDS Áp dụng trong phạm vi rộng (theo dõi HIDS Áp dụng trong phạm vi một Host toàn bộ hoạt động của mạng) Phát hiện tốt những tấn công, xâm nhập Phát hiện tốt những tấn công, xâm nhập từ bên ngoài Phát hiện dựa trên các dữ liệu, thông tin từ bên trong Phát hiện dựa trên thông tin, dữ liệu trên thu thập trong. .. diễn tả về các đối tượng trong cơ sở dữ liệu Phương pháp này liên quan đến việc tìm kiếm các mẫu trong cơ sở dữ liệu Trong khai phá dữ liệu, quy nạp được sử dụng trong cây quyết định và tạo luật 2.4.2 Cây quyết định và luật Trong lĩnh vực học máy, cây quyết định là một kiểu mô hình dự báo (predictive model), nghĩa là một ánh xạ từ các quan sát về một sự vật/hiện tượng tới các kết luận về giá trị mục tiêu... chọn đúng tập các thuộc tính hệ thống là một bước quan trọng khi thực hiện việc phân nhóm 3.2.2 Luật kết hợp Một luật kết hợp chủ yếu là luật toán học được tìm thấy hữu ích trong hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu Mỗi và mọi mô hình được phát Trang 21 ỨNG DỤNG KỸ THUẬT DATA MINING TRONG HỆ THỐNG IDS triển tới một mức độ nào đó trong ngữ cảnh này có mối liên hệ theo cách này hay cách... cho phương pháp dò sự lạm dụng Nhược điểm: thường tạo ra một số lượng các cảnh báo sai làm giảm hiệu suất hoạt động của mạng Cảnh báo: Quá trình này thực hiện sinh ra các cảnh báo tùy theo đặc điểm và loại tấn công, xâm nhập mà hệ thống phát hiện được Module phản ứng: Đây là một điểm khác biệt giữa hệ thống phát hiện xâm nhập IDS và một hệ thống ngăn chặn xâm nhập IPS Đối với hệ thống IDS, chúng thường . các kỷ thuật Data mining( khai phá dữ liệu) và ứng dụng trong phòng chống, phát hiện xâm nhập. Trang 5 DATA MINING 2. DATA MINING 2.1. Giới thiệu về Data Mining Khai phá dữ liệu (Data mining) là. trọng. Trang 13 ỨNG DỤNG KỸ THUẬT DATA MINING TRONG HỆ THỐNG IDS 3. ỨNG DỤNG KỸ THUẬT DATA MINING TRONG HỆ THỐNG IDS 3.1. Hệ thống IDS 3.1.1. Giới thiệu Ngày nay, sự phát triển liên tục của công nghệ máy. của một hệ thống phát hiện xâm nhập IDS, nó có nhiệm vụ xác định những tấn công và truy nhập trái phép vào hệ thống mạng bên trong. Hệ thống IDS có khả năng hỗ trợ Trang 15 ỨNG DỤNG KỸ THUẬT DATA MINING