Phát hiện bất thường của mạng theo cách tiếp cận học máy

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - LÊ HỮU DŨNG PHÁT HIỆN BẤT THƯỜNG CỦA MẠNG THEO CÁCH TIẾP CẬN HỌC MÁY LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - LÊ HỮU DŨNG PHÁT HIỆN BẤT THƯỜNG CỦA MẠNG THEO CÁCH TIẾP CẬN HỌC MÁY Chuyên ngành: Cơ sở Toán học cho Tin học Mã số: 60460110 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Lê Trọng Vĩnh Hà Nội – Năm 2014 MỤC LỤC Danh mục hình vẽ .3 Danh mục bảng biểu LỜI CẢM ƠN .5 LỜI CAM ĐOAN .6 LỜI NÓI ĐẦU CHƯƠNG 1: TỔNG QUAN .8 Sự phát triển mạng máy tính Nguy bị công mạng .9 Các phương pháp phát xâm nhập mạng có .12 3.1 Nhận diện dấu hiệu 12 3.2 Phát bất thường .13 3.2.1 Bằng số liệu thống kê 13 3.2.2 Theo cách tiếp cận học máy 13 CHƯƠNG 2: THUẬT TOÁN HỌC MÁY SUPPORT VECTOR MACHINE (SVM) 15 2.1 Giới thiệu .15 2.2 Ý tưởng SVM 15 2.3 Nội dung SVM 16 2.3.1 Cơ sở lý thuyết 16 2.3.2 Bài toán phân lớp với SVM 18 2.3.3 Phân nhiều lớp với SVM 22 2.3.4 Các bước thuật toán SVM .23 2.3.5 Thuật toán SVM trường hợp liệu phân tách tuyến tính .24 2.3.6 Thuật toán SVM trường hợp liệu không phân tách tuyến tính không gian đặc trưng 36 2.3.6.1 Nhận xét 36 2.3.6.2 Dạng thuật toán SVM, toán C – SVC 36 2.3.6.3 Dạng thuật toán SVM, toán v-SVC .41 2.3.7 SVM nhiều lớp 42 2.3.8 Lựa chọn hàm nhân cho ứng dụng .43 2.3.9 Lựa chọn tham số cho hàm nhân RBF .44 2.4 Các thư viện, phần mềm hỗ trợ phân lớp liệu theo thuật toán SVM 44 CHƯƠNG 3: MÔ HÌNH PHÁT HIỆN BẤT THƯỜNG MẠNG SỬ DỤNG THUẬT TOÁN HỌC MÁY SVM 46 3.1 Thu thập liệu 47 3.2 Bóc tách Header gói tin 50 3.3 Tạo liệu đầu vào cho trình huấn luyện 59 3.4 Dựng mô hình phân lớp .59 3.5 Kiểm tra chéo điều chỉnh tham số 59 3.6 Ghi nhận mô hình 59 CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ .60 4.1 Định dạng liệu đầu vào 61 4.2 Huấn luyện, tạo mô hình 63 4.3 Kiểm tra mô hình điều chỉnh tham số .65 CHƯƠNG 5: KẾT LUẬN 67 5.1 Kết đạt 67 5.2 Hướng nghiên cứu tương lai 67 TÀI LIỆU THAM KHẢO 68 Danh mục hình vẽ Hình 2.1 Siêu phẳng f phân chia liệu học thành lớp + – với khoảng cách biên lớn Các điểm gần f (điểm khoanh tròn) Support Vector .16 Hình 2.2 Minh họa cho toán phân hai lớp 18 Hình 2.3 Minh họa toán phân hai lớp với Thuật toán SVM 21 Hình 2.4 Bài toán SVM trường hợp liệu mẫu không phân tách tuyến tính 21 Hình 2.5 Minh họa phân tách liệu không gian đặc trưng .24 Hình 2.7 Dữ liệu phân tách tuyến tính không gian đặc trưng qua phép ánh xạ  .27 Hình 3.1 Cấu trúc tổng thể mô hình phát bất thường giai đoạn huấn luyện 46 Hình 3.2 Phát gói tin bất thường thời gian thực 47 Hình 3.3: Cấu trúc gói tin [8] 52 Hình 3.4: Quá trình thêm header cho liệu truyền qua tầng mạng 53 Hình 3.5: Thuật toán bóc tách header từ gói tin 58 Hình 3.6: Một phần tệp liệu theo khuôn dạng đầu vào LibSVM .59 Hình 4.1: Giao diện chương trình thực nghiệm 60 Hình 4.2: Một phần nội dung tệp header liệu ngày thứ 2, tuần thứ (xem dạng Hexa) 61 Hình 4.3: Tệp liệu phục vụ huấn luyện 61 Hình 4.4: Giao diện chương trình tiến hành huấn luyện .63 Hình 4.5: Giao diện chương trình chạy bước dự đoán (prediction) với liệu kiểm tra .65 Danh mục bảng biểu Bảng 3.1: Các liệu năm 1999 dự án DARPA intrusion detection evaluation 48 Bảng 3.2: Bảng mô tả kiểu công triển khai tuần liệu năm 1999 dự án DARPA intrusion detection evaluation 48 Bảng 3.3: Ý nghĩa thành phần gói tin 52 Bảng 3.4: IP Header 53 Bảng 3.5: TCP Header 55 Bảng 3.6: Các đặc trưng dùng để phân lớp gói tin .56 Bảng 4.1: Kết dự đoán tệp liệu kiểm tra 66 LỜI CẢM ƠN Trước tiên, em xin gửi lời cảm ơn chân thành tới PGS TS Lê Trọng Vĩnh - giảng viên khoa Toán - Cơ - Tin học, Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội dành nhiều công sức hướng dẫn em thực luận văn này! Em xin chân thành cảm ơn thầy cô khoa Toán – Cơ – Tin học, trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội nhiệt tình truyền đạt kiến thức, kinh nghiệm, phương pháp nghiên cứu say mê khoa học tới nhiều lứa học viên cao học – có em! Với tận tình bảo thầy, cô, em cố gắng để hoàn thành luận văn Tuy nhiên, em nhiều điểm hạn chế nên hẳn luận văn tồn thiếu sót Em kính mong tiếp tục nhận ý kiến góp ý, bảo thầy, cô bạn học viên để em tiếp tục hoàn thiện chuyên môn thân Em xin trân trọng cảm ơn! Học viên Lê Hữu Dũng LỜI CAM ĐOAN Tôi xin cam đoan luận văn công trình nghiên cứu thân Các số liệu, kết trình bày luận văn trung thực chưa công bố luận văn trước Học viên Lê Hữu Dũng LỜI NÓI ĐẦU Các hoạt động kinh tế, xã hội người ngày sử dụng nhiều đến máy tính thiết bị công nghệ Cùng với điều này, nhu cầu sử dụng mạng máy tính để trao đổi thông tin, chia sẻ tài nguyên ngày tăng cao Bên cạnh đó, vấn đề đảm bảo cho an toàn thông tin mạng máy tính ngày trở nên thiết Để đảm bảo an toàn cho thông tin hoạt động mạng máy tính cần triển khai nhiều giải pháp đồng Trong đó, phát sớm bất thường mạng coi khâu quan trọng giúp đảm bảo an toàn cho mạng máy tính Có nhiều cách nghiên cứu, triển để phát bất thường mạng sử dụng phương pháp nhận diện dấu hiệu, phương pháp thống kê phương pháp sử dụng thuật toán học máy Trong đó, phương pháp học máy cho phép đưa kết phát bất thường có độ xác cao đặc biệt cải tiến kết cao Luận văn với tên gọi “Phát bất thường mạng theo cách tiếp cận học máy” tập trung tìm hiểu việc phát gói tin mạng bình thường hay bất thường cách áp dụng thuật toán học máy để phân lớp gói tin Luận văn bao gồm chương với nội dung sau: Chương 1: Tổng quan Chương 2: Thuật toán học máy Support Vector Machines (SVM) Chương 3: Mô hình phát bất thường mạng sử dụng thuật toán học máy SVM Chương 4: Thực nghiệm kết Chương 5: Kết luận CHƯƠNG 1: TỔNG QUAN Sự phát triển mạng máy tính Với phát triển vũ bão mạng máy tính kỉ nguyên thông tin truyền thông, khoảng cách vật lý dần trở nên vô nghĩa Chúng ta chứng kiến nhiều lợi ích mà mạng máy tính mang lại cho phát triển đời sống, công nghệ, kinh tế xã hội Trong lĩnh vực thông tin, thương mại điện tử: email gần thay hoàn toàn thư truyền thống; Các dịch vụ viễn thông truyền thống bị cạnh tranh mạnh mẽ dịch vụ Over-The-Top (OTT) Internet; Báo điện tử đối thủ cạnh tranh trực tiếp, gây nên nhiều “sự đi” báo giấy; Các cửa hàng trực tuyến ngày phát triển, mang đến lợi ích to lớn cho người mua người bán Trong lĩnh vực phủ điện tử: Hạ tầng mạng máy tính, công nghệ thông tin – truyền thông phát triển với khả tiếp cận sản phẩm công nghệ người dân tạo điều kiện thuận lợi để nhiều nước triển khai phủ điện tử thành công Ngay nước ta, nhiều dịch vụ hành công triển khai trực tuyến, mang lại nhiều lợi ích cho người dân như: tờ khai Hải quan điện tử, khai thuế trực tuyến, đăng ký cấp Hộ chiếu trực tuyến Công an TP Hà Nội, … Các dịch vụ “Đám mây”: Trong vài năm qua, Công nghệ thông tin (IT) bắt đầu mẫu hình - điện toán đám mây Mặc dù điện toán đám mây cách khác để cung cấp tài nguyên máy tính, công nghệ mới, châm ngòi cách mạng cách cung cấp thông tin dịch vụ tổ chức Điện toán đám mây giải pháp toàn diện cung cấp công nghệ thông tin dịch vụ Nó giải pháp điện toán dựa Internet cung cấp tài nguyên chia sẻ giống dòng điện phân phối lưới điện Các máy tính đám mây cấu hình để làm việc ứng dụng khác sử dụng sức mạnh điện toán tập hợp thể chúng chạy hệ thống Những lợi ích mà điện toán đám mây mang lại gồm: - Chi phí giảm: Điện toán đám mây làm giảm chi phí vốn lẫn chi phí vận hành tài nguyên mua cần phải trả tiền sử dụng - Cách sử dụng nhân viên tinh giản: Việc sử dụng điện toán đám mây giải phóng đội ngũ nhân viên quý giá cho phép họ tập trung vào việc cung cấp giá trị trì phần cứng phần mềm - Khả mở rộng vững mạnh: Điện toán đám mây cho phép khả điều chỉnh quy mô tăng lên giảm xuống, lúc mà không cần giao kết dài hạn Chỉ đơn cử tiện ích người dùng cuối thực công việc với liệu lúc, nơi, thiết bị, tảng (mà cần có kết nối mạng) ta hình dung lợi ích to lớn khác mức độ tổ chức lớn Xử lý nghiệp vụ theo hướng cộng tác: Với kết nối mạng thiết lập chia sẻ thích hợp, người dùng đâu, lúc cộng tác để tạo sản phẩm mà trước thường phải gặp trực tiếp tiến hành tuần tự, nhiều thời gian Đó xử lý nghiệp vụ theo hướng cộng tác Nguy bị công mạng Song song với lợi ích mà mạng máy tính mang lại mạng máy tính môi trường lí tưởng để kẻ xấu lợi dụng thực hành vi công đến thông tin máy tính hay mạng máy tính người dùng Tấn công (attack), hay đột nhập (intrusion) lên hệ thống vi phạm sách an toàn bảo mật hệ thống Mặc dù vụ công, đột nhập ngày trở nên phức tạp, tinh vi chia chúng thành số dạng công đột nhập thường gặp như: TÀI LIỆU THAM KHẢO Tiếng Việt Phạm Văn Lương (2014), Giải pháp phát xâm nhập dựa học máy Vector hỗ trợ SVM, Luận văn Thạc sĩ kĩ thuật, Học viện Công nghệ Bưu Viễn thông Thái Sơn (2006), Kỹ thuật Support Vector Machines ứng dụng, Luận văn Thạc sĩ khoa học, Trường Đại học Bách khoa Hà Nội Tiếng Anh Chih-Wei Hsu, Chih-Chung Chang, Chih-Jen Lin (2010), A Practical Guide to Support Vector Classication, Department of Computer Science National Taiwan University Chih-Chung Chang, Chih-Jen Lin (2013), LIBSVM:A Library for Support Vector Machines, Department of Computer Science National Taiwan University < http://www.csie.ntu.edu.tw/~cjlin/papers/libsvm.pdf > Kristopher Kendall (1999), A Database of Computer Attacks for the Evaluation of Intrusion Detection Systems, In Partial Fulfillment of the Requirements for the Degree of Bachelor of Science in Computer Science and Engineering and Master of Engineering in Electrical Engineering and Computer Science, Massachusetts Institute of Technology Lincoln Laboratory, DARPA intrusion dectection evaluation, MIT Stephen Northcutt, Judy Novak, 2002, Network Intrusion Detection 3rd Ed, New Riders Publishing Lydia Parziale, David T.Britt, Chuck Davis, Jason Forrester, Wei Liu, Carolyn Matthews, Nicolas Rosselot, 2006, TCP/IP Tutorial and Technical Overview, IBM International Technical Support Organization Taeshik Shon *, Jongsub Moon, 2007, “A hybrid machine learning approach to network anomaly detection”, Information Sciences, 177, pp.3799-3821 68 10 Charles E Spurgeon, Joann Zimmerman, Ethernet: The Definitive Guide, Second Edition, 2014, O’Reilly 69