Xây dựng mô hình phát hiện đột nhập bất thường dựa trên học máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO TẬP ĐOÀN BƯU CHÍNH VIỄN THÔNG VIỆT NAM HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN ĐỨC THIỆN XÂY DỰNG MÔ HÌNH PHÁT HIỆN ĐỘT NHẬP BẤT THƯỜNG DỰA TRÊN HỌC MÁY CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH MÃ SỐ: 60.48.15 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI - 2010 Luận văn được hoàn thành tại: Học viện Công nghệ Bưu chính Viễn thông Tập đoàn Bưu chính Viễn thông Việt Nam Người hướng dẫn khoa học: TS. HOÀNG XUÂN DẬU……………………… Phản biện 1: …………………………………………………… …………………………………………………… Phản biện 2: …………………………………………………… …………………………………………………… Luận văn sẽ được bảo vệ trước hội đồng chấm luận văn tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu chính Viễn thông 1 Chương 1 TỔNG QUAN AN TOÀN MẠNG Từ khi ra đời mạng Internet đã mở ra một làn sóng mới về xu hướng phát triển của xã hội, đó là sự phát triển như vũ bão của thời đại công nghệ thông tin và truyền thông. Song song với những tiến bộ và lợi ích mang lại, Internet cũng là không gian rộng mở cho kẻ xấu lợi dụng thực hiện những vụ tấn công, đột nhập, truy cập trái phép vào các hệ thống máy tính và mạng của người dùng. Vì thế, bên cạnh việc phát triển các dịch vụ và ứng dụng trên mạng, an toàn, bảo mật mạng là một vấn đề hết sức quan trọng cần được quan tâm nghiên cứu thường xuyên. Chương này sẽ trình bày tổng quan về an toàn mạng, một số hình thức tấn công, đột nhập phổ biến và các biện pháp phòng chống. 1.1 AN TOÀN MẠNG VÀ CÁC YÊU CẦU CƠ BẢN Sự bùng nổ của công nghệ thông tin đã và đang ảnh hưởng sâu rộng tới mọi lĩnh vực của cuộc sống. Đặc biệt cùng với sự phát triển của Internet, nhiều dịch vụ trực tuyến cũng phát triển mạnh mẽ như các dịch vụ thương mại điện tử, thanh toán trực tuyến… Internet mang lại như cho phép mọi người truy cập, khai thác và chia sẻ thông tin, vấn đề an toàn mạng và bảo mật thông tin cũng là một thách thức lớn. Thông tin trao đổi qua mạng máy tính nếu không được bảo vệ, thì những kẻ đột nhập, truy nhập trái phép sẽ đánh cắp, thay đổi thông tin làm ảnh hưởng không chỉ tới lợi ích cá nhân mà còn có thể xâm hại đến lợi ích quốc gia. Một hệ thống an ninh mạng phải đảm bảo được các thuộc tính sau của thông tin và hệ thống: 2  Tính xác thực (Authentication)  Phân quyền (Authorization)  Tính bí mật (Confidentiality)  Tính toàn vẹn dữ liệu (Data Integrity)  Tính không thể phủ nhận (Non-repudiation)  Tính sẵn dùng (Availability )  Kiểm soát truy nhập (Access Control) 1.2 CÁC DẠNG TẤN CÔNG VÀ ĐỘT NHẬP TRÊN MẠNG Tấn công (attack), hay đột nhập (intrusion) lên một hệ thống là sự vi phạm chính sách an toàn bảo mật của hệ thống đó. Mặc dù các tấn công, đột nhập ngày càng trở nên phức tạp, tinh vi nhưng chúng ta cũng có thể chia chúng thành một số dạng tấn công và đột nhập thường gặp. Các dạng tấn công đột nhập thường gặp bao gồm: 1.2.1 Các phần mềm phá hoại Có 2 loại phần mềm phá hoại: Phần mềm phá hoại phụ thuộc chương trình chủ và phần mềm phá hoại độc lập chương trình chủ. Các phần mềm phá hoại cần chương trình chủ bao gồm: Trap-door, Logic bomb, Trojan horse, Virus. Các phần mềm phá hoại không cần chương trình chủ gồm: Worm, Zombie. 1.2.2 Các dạng tấn công máy tính và mạng Người đứng giữa (Man-in-the-Middle Attack) Nghe trộm (Eavesdropping) Giả mạo địa chỉ IP (IP Address Spoofing ) / Identity Spoofing 3 Dạng gián đoạn (interruption) 1.3 CÁC BIỆN PHÁP PHÒNG CHỐNG Các biện pháp phòng chống tấn công và đột nhập đảm bảo an toàn thông tin và hệ thống thường gồm hai nhóm chính: i) Các biện pháp ngăn chặn đột nhập như: Tường lửa, xác thực, mã hóa. ii) Các biện pháp phát hiện đột nhập. Trong thực tế, cả hai nhóm trên đều được sử dụng trong đó biện pháp ngăn chặn đột nhập được sử dụng như lớp phòng vệ thứ nhất, biện pháp phát hiện đột nhập được sử dụng như lớp phòng vệ thứ hai. 1.3.1 Các biện pháp ngăn chặn đột nhập Tường lửa (Firewall) Bảo vệ vật lý (Physical) Mã hóa dữ liệu (Data Encryption) Xác thực (Authentication) Quyền truy cập (Access Rights) 1.3.2 Các biện pháp phát hiện đột nhập Có 2 phương pháp phân loại các biện pháp phát hiện đột nhập: (i) Phương pháp dựa trên kĩ thuật phân tích dữ liệu ; (ii) Phương pháp dựa trên nguồn dữ liệu cho phát hiện đột nhập. Phương pháp dựa trên kĩ thuật phân tích dữ liệu: Có 2 kĩ thuật phát hiện đột nhập: Phát hiện đột nhập dựa trên chữ kí: Phát hiện đột nhập dựa trên bất thường: Phương pháp dựa trên nguồn dữ liệu: Có 2 loại hệ thống phát hiện đột nhập: 4 Hệ thống phát hiện đột nhập mạng (Network-based instrusion detection systems-NIDS): Hệ thống phát hiện đột nhập cho host (Host-based instrusion detection systems-HIDS): 1.4 KẾT CHƯƠNG Internet càng phát triển mạnh thì các kẻ tấn công mạng cũng tìm ra những công cụ và phương pháp tấn công ngày càng tinh vi hơn. Để tăng tính bảo mật cho hệ thống, các biện pháp ngăn chặn và phát hiện đột nhập được sử dụng đồng thời với nhau như hai lớp song song bảo vệ cho hệ thống. Ta sẽ đi sâu hơn vào các phương pháp phát hiện đột nhập trong chương II của tài liệu này. Chương 2 CÁC GIẢI PHÁP PHÁT HIỆN ĐỘT NHẬP Phát hiện đột nhập là một khâu quan trọng trong đảm bảo an toàn cho hệ thống máy tính và mạng. Có nhiều giải pháp hiệu quả được sử dụng trong phát hiện đột nhập. Chương này trình bày một số giải pháp phát hiện đột nhập, với các khái niệm cơ bản và phân loại các phương pháp phát hiện đột nhập. 2.1 KHÁI NIỆM VỀ CÁC GIẢI PHÁP PHÁT HIỆN ĐỘT NHẬP 2.1.1 Phát hiện đột nhập dựa trên chữ kí Phát hiện đột nhập dựa trên chữ kí quyết định hành vi bình thường hay bất thường dựa trên những gì đã biết. Phương pháp này gồm hai bước để phát hiện đột nhập: (i) Đầu tiên là xây dựng tập chữ kí của các tấn công hay đột nhập đã biết; (ii) Sau đó kiểm tra hành vi hiện tại xem có match với tập các chữ kí đã xây dựng hay không để nhận biết một tấn công. Một chữ kí đột 5 nhập đặc tả một phần kịch bản hay các sự kiện có thể dẫn đến một tấn công hay đột nhập. Chữ kí tấn công không chỉ dùng để phát hiện đột nhập mà còn có thể dùng để ngăn chặn đột nhập. 2.1.2 Phát hiện đột nhập dựa trên bất thường Phương pháp này nhằm nhận diện một hành vi bất thường, hay có dấu hiệu của sự tấn công – xâm nhập của một luồng dữ liệu dựa vào tập hồ sơ của cách hành vi được xác định là bình thường, hay hợp pháp, không gây hại. Tương tự như phương pháp phát hiện đột nhập dựa trên chữ ký, phương pháp phát hiện đột nhập dựa trên bất thường này gồm có hai bước: (i) Bước huấn luyện: Xây dựng cơ sở dữ liệu (CSDL) các hành vi bình thường của đối tượng (người sử dụng, chương trình ứng dụng, chương trình hệ thống, lưu lượng mạng ); (ii) Và bước kiểm tra: So sánh hành vi hiện tại của đối tượng với các hành vi được xác định là bình thường được lưu trong CSDL để xác định các hành vi tấn công, đột nhập. 2.2 PHƯƠNG PHÁP PHÁT HIỆN ĐỘT NHẬP BẤT THƯỜNG 2.2.1 Các kĩ thuật giám sát trong phát hiện đột nhập Một trong những nghiên cứu sớm nhất về phát hiện đột nhập được thực hiện bởi Jim Anderson. Anderson định nghĩa một đột nhập là bất kì sự cố gắng truy nhập trái phép, thao tác, thay đổi hay xóa thông tin, hoặc đưa ra một hệ thống không tin cậy hay không thể sử dụng. Anderson đưa ra ý tưởng là kẻ đột nhập có thể bị phát hiện bằng cách giám sát sự thay đổi bất thường trong hành vi của người sử dụng, hay rộng hơn ý tưởng có thể được áp dụng để phát hiện đột nhập bằng cách giám sát 6 hành vi của một đối tượng có thể là chương trình, lưu lượng mạng. 2.2.1.1 Kiểm soát hành vi người sử dụng Phương pháp này thường áp dụng cho các hệ thống HIDS, dữ liệu được thu thập từ các bản ghi hoạt động hệ thống của bản thân các máy trạm. Một số hành vi người sử dụng như: thay đổi registry, thao tác file, truy nhập hệ thống, đổi mật khẩu, có thêm quyền sử dụng, và một số các hành vi khác ảnh hưởng trực tiếp tới máy trạm … có thể dùng để lập hồ sơ hành vi cho hệ thống phát hiện đột nhập. 2.2.1.2 Kiểm soát hoạt động của mạng Trong các hệ thống NIDS, các hệ thống giám sát sẽ thu thập thông tin từ nhiều điểm trong mạng, bao gồm cả các giao dịch ở biên và nội bộ mạng. Các thông tin có được từ việc giám sát hoạt động mạng như: địa chỉ IP nguồn – đích, cổng nguồn – đích của các giao dịch TCP/UDP, các gói tin ICMP với thông điệp không tìm thấy trạm đích, các máy chủ và dịch vụ đang được sử dụng trong mạng … Từ đó hệ thống phát hiện tấn công đột nhập có thể đưa ra một số cảnh báo, ví dụ: máy trạm trong mạng có địa chỉ không được xác thực, máy trạm cố gắng sử dụng dịch vụ không được xác thực, máy trạm cố gắng kết nối tới một máy trạm cụ thể khác trong hoặc ngoài mạng … Ưu điểm của phương pháp này so với phương pháp kiểm soát hành vi người sử dụng là các hoạt động của mạng ít có sự thay đổi hành vi bình thường như của người dùng. 2.2.1.3 Kiểm soát hành vi chương trình Một phương pháp được đưa ra bởi Fink, Levitt và Ko, thay vì cố gắng xây dựng hồ sơ người dùng bình thường, họ xác định 7 hành vi bình thường của các tiến trình đặc quyền. Họ định nghĩa hành vi bình thường sử dụng một ngôn ngữ đặc tả chương trình trong đó các hoạt động được phép (các lời gọi hệ thống và các tham số của nó) của một tiến trình được xác định. 2.2.2 Mô hình hóa hành vi chương trình sử dụng lời gọi hệ thống Các hệ thống phát hiện đột nhập sử dụng rất nhiều loại dữ liệu khác nhau để phân biệt các hoạt động là bình thường hay một đột nhập. Và lời gọi hệ thống được sinh ra từ các chương trình khác nhau là một trong các dữ liệu phổ biến mà các phương pháp sử dụng để xây dựng mô hình mô tả hành vi bình thường cho phát hiện đột nhập. Mỗi phương pháp bao gồm việc xây dựng hoặc huấn luyện mô hình sử dụng các trace của các tiến trình bình thường. Dưới đây là một số phương pháp thường được sử dụng. 2.2.2.1 Phương pháp dựa trên tần số Mô hình các phương pháp dựa trên tấn số phân phối tần số của các sự kiện khác nhau. Các sự kiện này chính là các sự kiện của các mẫu của các lời gọi hệ thống trong chuỗi. Phương pháp mô hình hóa này tính toán tần số xuất hiện của các mẫu. Phương pháp này được giới thiệu bởi Bhangoo và Helman. Trong phương pháp này, tần số của mỗi chuỗi lời gọi được xếp hạng bởi số lần xuất hiện cả trong các trace bình thường và trace có dấu hiệu xâm nhập. Vì thế, những chuỗi thường xuất hiện trong các trace xâm nhập, hay ít xuất hiện trong các thao tác bình thường được cho phân loại vào nhóm chuỗi không đáng tin. 2.2.2.2 Phương pháp dựa trên khai khoáng dữ liệu 8 Phương pháp khai khoáng dữ liệu được thiết kế để xác định các đặc điểm quan trọng nhất từ một tập dữ liệu lớn.Ý tưởng của phương pháp này là phát hiện được nhiều định nghĩa ngắn gọn của chương trình bình thường hơn là đạt được đơn giản bằng cách lấy danh sách tất cả các mẫu trong chương trình bình thường. Phương pháp này thực hiện như sau: Đầu tiên chương trình khai khoáng dữ liệu được sử dụng để phát hiện các mẫu tổng quát (tập các qui tắc) từ cơ sở dữ liệu lớn. Tiếp theo các mẫu được sử dụng để mô tả hành vi người dùng. Hồ sơ người dùng được thống kê trên hành vi của người dùng trong các mẫu. Từ đó xác định hành vi của người sử dụng là đột nhập hay không. Cuối cùng, mô hình (đã học) kết hợp với bằng chứng từ các hồ sơ đưa ra cảnh báo nếu có đột nhập. 2.3 ỨNG DỤNG HỌC MÁY TRONG PHÁT HIỆN ĐỘT NHẬP BẤT THƯỜNG FSA là một cách tự nhiên để mô tả các hành vi bình thường của chương trình bằng cách biểu diễn cấu trúc chương trình như các vòng lặp, phân nhánh. Khác với các kĩ thuật trước, các trạng thái của FSA có thể nhớ sự tương quan các trường hợp ngắn và trường hợp dài giữa các lời gọi hệ thống do đó thực hiện phát hiện đột nhập tin cậy hơn. Kosoresow và Hofmeyr xây dựng bằng tay máy tự động hữu hạn đơn định (DFA-Deterministic Finite Automaton) để mô tả hành vi bình thường của chương trình sử dụng các lời gọi hệ thống. DFA có thể được xây dựng để mô tả hành vi bằng cách sử dụng ngôn ngữ macro. Mỗi chương trình, lựa chọn thủ công các macro match với các mẫu mô tả hành vi chương trình bình thường. Sau đó, so sánh các macro đã tạo với hành vi [...]... phương pháp phát hiện đột nhập dựa trên chữ kí, phương pháp phát hiện đột nhập dựa trên bất thường và 18 phương pháp phát hiện đột nhập bằng cách kiểm soát hành vi chương trình cùng với ưu, nhược điểm của từng loại Luận văn tập trung nghiên cứu mô hình phát hiện đột nhập dựa trên thống kê và mô hình FSA Trên cơ sở đó luận văn đưa ra mô hình phát hiện đột nhập kết hợp dựa trên thống kê và FSA Mô hình này... thuật phát hiện đột nhập cơ bản, dựa trên chữ ký và dựa trên bất thường, là so sánh các trường hợp giám sát hiện tại với các mô hình định nghĩa xâm nhập của mình Sự khác biệt nhất giữa hai phương pháp đó là các hệ thống dựa chữ ký mô hình hóa các trường hợp bất thường, còn các hệ thống dựa bất thường lại sử dụng các trường hợp bình thường để mô hình hóa Mỗi phương pháp phát hiện đột nhập và mô hình. .. tấn công, đột nhập vào các máy chủ cung cấp dịch vụ Hình 4.4 là một ví dụ về hướng dựng mô hình phát hiện kết hợp đề nghị cho máy chủ web Mô hình phát hiện liên tục giám sát máy chủ web nhằm phát hiện các bất thường khi máy chủ web cung cấp dịch vụ KẾT LUẬN Tựu trung, luận văn đã trình bày tổng quan về an toàn mạng, các giải pháp phát hiện đột nhập, và các biện pháp phát hiện bất thường dựa trên thống... III PHÁT HIỆN ĐỘT NHẬP BẤT THƯỜNG ĐA LỚP DỰA TRÊN THÔNG KÊ VÀ MÁY TRẠNG THÁI HỮU HẠN Chương II đã phân tích chi tiết các phương pháp phát hiện đột nhập được nghiên cứu hiện nay Trong đó các phương pháp phát hiện đột nhập dựa trên thống kê và học máy cho kết rất khả quan Tuy nhiên, do các dạng tấn công và đột nhập phát triển rất nhanh và thường xuyên thay đổi hình thức, nên các phương pháp phát hiện. .. l-gram khác nhau xuất hiện trong dữ liệu luyện 3.2.4 Phát hiện đột nhập dựa trên FSA Ý tưởng ban đầu của phát hiện bất thường dựa trên trạng thái đó là máy phát hiện sẽ trả lại một giá trị lớn bất thường khi 13 nó gặp phải sự chuyển dịch trạng thái sai, và trả lại giá trị 0 nếu sự chuyển trạng thái đúng Nhưng điều này không phải là cách tốt nhất để mô tả kết quả phát hiện đột nhập, bởi vì người sử... độ nhạy của máy phát hiện Máy phát hiện có thể trả lại một giá trị từ 0 đến 1 thể hiện sự chắc chắn rằng có một xâm nhập xảy ra 3.3 MÔ HÌNH KẾT HỢP THỐNG KÊ N-GRAM VÀ FSA ĐỂ PHÁT HIỆN BẤT THƯỜNG Sử dụng CSDL bình thường và mô hình FSA kiểm tra các chuỗi thử để phát hiện bất thường Các bước thực hiện: Bước 1: Chuỗi các lời gọi hệ thống được so sánh với chuỗi các lời gọi trong CSDL bình thường để tìm... đơn lớp thường gặp nhiều khó khăn 9 Trong chương này, một mô hình phát hiện đa lớp được phát triển nhằm giảm tỷ lệ cảnh báo sai và nâng cáo tỷ lệ phát hiện đúng 3.1 PHƯƠNG PHÁP PHÁT HIỆN ĐỘT NHẬP BẤT THƯỜNG DỰA TRÊN THỐNG KÊ 3.1.1 Xây dựng CSDL bình thường Để xây dựng CSDL, ta trượt cửa sổ kích thước k qua các trace của các lời gọi hàm hệ thống và ghi lại những chuỗi lời gọi khác nhau xuất hiện bên... thống) 10 3.2 MÔ HÌNH PHÁT HIỆN ĐỘT NHẬP DỰA TRÊN MÁY TRẠNG THÁI HỮU HẠN (FSA) 3.2.1 Xây dựng mô hình FSA Định nghĩa: Máy trạng tháy hữu hạn (FSM- Finite State Machine) hay máy tự động trạng thái hữu hạn (FSA – Finite State Automaton), hoặc gọi đơn giản là máy trạng thái, là một trừu tượng toán học thường được sử dụng để thiết kế mạch logic số hoặc chương trình máy tính Nó là một mô hình hành vi bao... qua các trace kiểm tra Hệ thống đếm số chuỗi bất thường m trong mỗi vùng và xem xét tỷ lệ (m/r) là giá trị của tín hiệu bất thường Một ngưỡng được sử dụng để xác định xem miền cục bộ này là bình thường hay bất thường 4.2.2 Một số kết quả Sau khi xây dựng mô hình kết hợp phát hiện đột nhập bất thường như mô tả ở chương III, các thử nghiệm được thực hiện trên dữ liệu thu được từ chương trình sendmail... hiệu quả phát hiện tổng thể Hơn nữa, mô hình còn có thể được tích hợp khả năng tự cập nhật, giúp cho nó có khả năng phát hiện các đột nhập mới thay đổi theo thời gian Chương IV THỬ NGHIỆM VÀ KẾT QUẢ 14 Trong chương này các thử nghiệm mô hình phát hiện đột nhập kết hợp được thực hiện trên chương trình sendmail chạy trên các hệ điều hành Unix và Linux Dữ liệu thử nghiệm để phát hiện đột nhập là các chuỗi . PHÁP PHÁT HIỆN ĐỘT NHẬP 2.1.1 Phát hiện đột nhập dựa trên chữ kí Phát hiện đột nhập dựa trên chữ kí quyết định hành vi bình thường hay bất thường dựa trên. nhập dựa trên chữ kí: Phát hiện đột nhập dựa trên bất thường: Phương pháp dựa trên nguồn dữ liệu: Có 2 loại hệ thống phát hiện đột nhập: 4 Hệ thống phát