Hiện thực hệ thống phát hiện tấn công trong mạng internet dựa vào các bất thường lên FPGA

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN PHẠM ANH KHOA Đề tài: HIỆN THỰC HỆ THỐNG PHÁT HIỆN TẤN CÔNG TRONG MẠNG INTERNET DỰA VÀO CÁC BẤT THƯỜNG LÊN FPGA Chuyên ngành: Khoa học máy tính LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, tháng 12 năm 2011 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học: TS Trần Ngọc Thịnh TS Đinh Đức Anh Vũ Cán chấm nhận xét 1: TS Huỳnh Hữu Thuận Cán chấm nhận xét 2: TS Vũ Đức Lung Luận văn thạc sĩ bảo vệ trường Đại học Bách Khoa, ĐHQG TP HCM ngày 06 tháng 01 năm 2012 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch hội đồng: TS Trần Văn Hoài Thư ký hội đồng: TS Trần Mạnh Hà Ủy viên phản biện 1: TS Huỳnh Hữu Thuận Ủy viên phản biện 2: TS Vũ Đức Lung Ủy viên hội đồng: TS Trần Ngọc Thịnh Chủ tịch hội đồng đánh giá LV Bộ môn quản lý chuyên ngành TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc Lập - Tự Do - Hạnh Phúc TP HCM, ngày 06 tháng 01 năm 2012 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Phạm Anh Khoa Phái: Nam Ngày, tháng, năm sinh: 25/11/1983 Nơi sinh: Đồng Nai Chuyên ngành: Khoa học Máy tính MSHV: 09070447 I- TÊN ĐỀ TÀI: HIỆN THỰC HỆ THỐNG PHÁT HIỆN TẤN CÔNG TRONG MẠNG INTERNET DỰA VÀO CÁC BẤT THƯỜNG LÊN FPGA II- NHIỆM VỤ VÀ NỘI DUNG: Đề xuất mô hình thực phần lõi việc phát công mạng internet dựa bất thường lên FPGA Mục tiêu có khả phát loại công với tỉ lệ >90% tỉ lệ phát cảnh báo sai < 1.0% III- NGÀY GIAO NHIỆM VỤ: 14/02/2011 IV- NGÀY HOÀN THÀNH NHIỆM VỤ: 02/12/2011 V- CÁN BỘ HƯỚNG DẪN: TS Trần Ngọc Thịnh TS Đinh Đức Anh Vũ CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) KHOA QL CHUYÊN NGÀNH (Họ tên chữ ký) LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Thành phố Hồ Chí Minh, tháng 12 năm 2011 Nguyễn Phạm Anh Khoa Nguyễn Phạm Anh Khoa i Lời cám ơn Đầu tiên, xin gửi lời cảm ơn chân thành đến TS Trần Ngọc Thịnh TS Đinh Đức Anh Vũ cung cấp tài liệu tận tình hướng dẫn, hỗ trợ tơi suốt q trình nghiên cứu để hồn thành luận văn tốt nghiệp Các thầy động lực lớn giúp tơi hồn thành đề tài Bên cạnh đó, tơi xin cảm ơn giúp đỡ nhiệt tình bạn đồng nghiệp phịng thí nghiệm máy tính tịa nhà C5 ln tạo điều kiện tốt để tơi kiểm thử đề tài board mạch thực tế Cuối cùng, xin cảm ơn đến gia đình bạn bè, người ủng hộ giúp đỡ sống để tơi hồn thành tốt luận văn Thành phố Hồ Chí Minh, tháng 12 năm 2011 Nguyễn Phạm Anh Khoa ii Tóm tắt luận văn thạc sĩ Luận văn trình bày kiến thức kiến trúc FPGA hệ thống phát công mạng internet sâu vào phương pháp dựa vào dấu hiệu bất thường mạng Bên cạnh luận văn đề xuất cách thức để thực hiệu việc dị tìm công dựa bất thường mạng lên board NetFPGA Xilinx hình thành nhóm định Cụ thể xây dựng định với ngõ nhập 41 thuộc tính kết nối mạng dùng phương thức bầu cử để đưa định cuối Tập liệu sử dụng để test so sánh kết KDD 99 Nguyễn Phạm Anh Khoa iii Mục lục nội dung - - LỜI CAM ĐOAN ii Lời cám ơn ii Tóm tắt luận văn thạc sĩ iii Mục lục nội dung iv Mục lục hình vi Mục lục bảng vii Phần 1.1 GIỚI THIỆU ĐỀ TÀI Tổng quan 1.2 Giới thiệu đề tài 1.3 Tính cấp thiết đề tài 1.4 Mục tiêu giới hạn đề tài 1.5 Tính khả thi đề tài Phần NHỮNG CƠNG TRÌNH LIÊN QUAN 2.1 Hệ thống phát cơng phương pháp rút trích thành phần FPGA 2.2 Kết hợp phương pháp phân loại hệ thống phát công 2.3 Hệ thống phát bất thường mạng internet sử dụng giải thuật lí thuyết thơng tin, K-NN KMC 2.4 Một cách tiếp cận cho hệ thống phát công cách sử dụng mạng Neural phương pháp phân cụm mờ Phần CƠ SỞ LÍ THUYẾT 3.1 Kiến trúc tổng quát hệ thống phát công mạng internet 3.2 Các phương pháp dùng hệ thống phát công dựa bất thường mạng máy tính 3.3 Rút trích thông tin đặc trưng mạng internet 15 3.4 Công nghệ Field Programmable Gate-Array board NetFPGA 23 Phần 4.1 HIỆN THỰC HỆ THỐNG 26 Tập liệu KDD 99 (Knowledge Discovery and Data mining) 26 Nguyễn Phạm Anh Khoa iv 4.2 Công cụ hỗ trợ xây dựng kiểm thử phương pháp datamining 29 4.3 Qui trình phát triển thực hệ thống 30 4.4 Xây dựng mơ hình 31 4.5 Hiện thực mơ hình lên board NetFPGA 38 4.6 Phần Kết thực nghiệm 43 KẾT LUẬN 47 5.1 Tổng kết 47 5.2 Những đóng góp đề tài 47 5.3 Hướng phát triển 48 Phần TÀI LIỆU THAM KHẢO 49 Nguyễn Phạm Anh Khoa v Mục lục hình -o0o Hình - Nhiệm vụ đề tài Hình - Hệ thống phát công phương pháp PCA Hình - Hệ thống phát cơng cách kết hợp nhiều giải thuật Hình - Mơ hình hệ thống FC-ANN Hình - Kiến trúc tổng quát hệ thống phát công Hình - Các bước hệ thống phát công dựa vào bất thường mạng internet Hình - Cấu trúc tổng quát chip FPGA[13] 24 Hình - Board NetFPGA [16] 24 Hình - Kiến trúc bên board NetFPGA [16] 25 Hình 10 - Giao diện phần mềm WEKA với tính Explorer 29 Hình 11 - Qui trình phát triển thực hệ thống lên board NetFPGA 30 Hình 12 - Mơ hình hệ thống phát công 37 Hình 13 - Hiện thực hệ thống lên board NetFPGA 39 Hình 14 - Phần giao tiếp module J48_Classifier_Top 40 Hình 15 - Cấu trúc chi tiết module J48_Classifier_Top 41 Hình 16 - Bộ tổng hợp kết từ phân loại 42 Hình 17 - Kết mơ ISE với 1000 kết nối 44 Hình 18 - Kết phân loại tỉ lệ phát cảnh báo sai phương pháp PCA 45 Nguyễn Phạm Anh Khoa vi Mục lục bảng -o0o Bảng - Những thuộc tính kết nối 17 Bảng - Những thuộc tính nội dung kết nối 18 Bảng - Những thuộc tính lưu lượng theo thời gian 20 Bảng - Những thuộc tính lưu lượng theo máy 22 Bảng - Các loại công tập liệu KDD99 28 Bảng - So sánh giải thuật phương pháp học máy [17] 34 Bảng 7- So sánh tỉ lệ phát công giải thuật học máy 35 Bảng - So sánh độ xác nhóm định 36 Bảng - Cấu trúc định mơ hình sinh 37 Bảng 10 - So sánh kết phân loại hệ thống người chiến thắng KDD99[19] 45 Nguyễn Phạm Anh Khoa vii Phần Hiện Thực Hệ Thống - Các định sinh tra có cấu trúc tổng quát sau: Cây J48 Cây J48 Cây J48 Cây J48 Cây J48 thứ thứ thứ thứ thứ Số node 603 679 536 679 968 Kích thước 697 772 629 780 1085 Bảng - Cấu trúc định mơ hình sinh - Mơ hình xây dựng thể qua hình đây: Tập 41 thuộc tính kết nối Cây J48 Cây J48 Cây J48 Cây J48 Cây J48 Bộ so sánh lựa chọn kết Kết phân loại Hình 12 - Mơ hình hệ thống phát công Nguyễn Phạm Anh Khoa 37 Phần Hiện Thực Hệ Thống 4.5 Hiện thực mơ hình lên board NetFPGA - Do đề tài tập trung vào xây dựng phần lõi hệ thống với giả định tập thuộc tính có từ kết nối trước nên thực lên board NetFPGA tơi khơng thực phần tương tác trực tiếp với card mạng mà tập 41 thuộc tính truyền từ máy tính host xuống board với mục đính chứng minh tính mơ hình xây dựng - Khi thực lên board hệ thống mơ tả hình đây: Nguyễn Phạm Anh Khoa 38 Phần Hiện Thực Hệ Thống Đọc/Ghi lên tập ghi J48_Classifier_Top J48_Classifier_Top Tập 41 ghi thuộc tính kết nối J48 Classifier J48 Classifier J48 Classifier J48 Classifier Thanh ghi kết J48 Classifier Bộ so sánh lựa chọn kết Kết phân loại Hình 13 - Hiện thực hệ thống lên board NetFPGA Nguyễn Phạm Anh Khoa 39 Phần Hiện Thực Hệ Thống - Phần giao tiếp module J48_Classifier_Top tín hiệu dùng để đọc ghi tập ghi thuộc tính kết trả về: J48_Classifier_Top o o o o o o o o i_clk i_reset_n i_req i_read_write_L o_req_ack i_address i_datain o_data Hình 14 - Phần giao tiếp module J48_Classifier_Top - J48_Classifier_Top thực instance định truyền ghi thuộc tính ngõ nhập cho Dưới mơ hình chi tiết: Nguyễn Phạm Anh Khoa 40 Phần Hiện Thực Hệ Thống J48_Classifier_Top i_clk i_reset_n r_duration ……… …… Tập ghi thuộc tính r_ dst_host_srv_rerror_rate r_enable r_ result_classify_final J48_Classifier_1 i_clk i_reset_n i_duration ……… i_dst_host_srv_rerror_rate i_enable o_result ……… …… J48_Classifier_5 i_clk i_reset_n i_duration Bộ tổng hợp kết trả từ phân loại ……… i_dst_host_srv_rerror_rate i_enable o_result Hình 15 - Cấu trúc chi tiết module J48_Classifier_Top Nguyễn Phạm Anh Khoa 41 Phần Hiện Thực Hệ Thống - Phần tổng hợp kết trả từ phân loại chọn lựa kết cuối thực sau: o_result_1 , o_result_2 o_result_3 + o_result_4 o_result_5 10 11 12 13 14 NORMAL U2R R2L Mạch tổ hợp so sánh PROBE DOS r_result_classify_final Hình 16 - Bộ tổng hợp kết từ phân loại Kết có từ định ghi 15bit, ghi sau qua cộng Thanh ghi tổng ghi chứa tổng số kết phân loại giống định với vị trí loại hình vẽ Sau kết qua mạch tổ hợp để thực việc so sánh với ngõ kết phân loại cuối - Với định dạng nên ta cần dùng cấu trúc “if … else if … else …” thực Mặc dù số node Nguyễn Phạm Anh Khoa 42 Phần Hiện Thực Hệ Thống tương đối lớn phải dùng đến khoảng 500 dòng code cho định ta dễ dàng chuyển code từ Java Model sang Verilog với điều chỉnh Đây ưu điểm định so với giải thuật khác chọn thực lên FPGA 4.6 Kết thực nghiệm - Do tuân theo qui trình phát triển rõ ràng với việc liệu kết bước sử dụng để so sánh với tận dụng lại code bước trước mà kết có sau mơ hệ thống môi trường ISE thực hệ thống lên board NetFPGA đạt độ xác có Java Model Với tỉ lệ phát công 91.217317% tỉ lệ cảnh báo sai 0.5017081% - Sau hình ảnh mơ mạch phát cơng môi trường ISE với 1000 mẫu (do giới hạn nhớ nên chọn mô 1000 mẫu để so sánh với kết có Java Model) Nguyễn Phạm Anh Khoa 43 Phần Hiện Thực Hệ Thống Hình 17 - Kết mô ISE với 1000 kết nối - Tập liệu sử dụng để kiểm tra khả phát hệ thống tập liệu kiểm tra thi KDD 99 Sau bảng so sánh kết mà hệ thống xây dựng so với người chiến thắng thi KDD 99: Phân loại NORMAL U2R R2L NORMAL 60262 60289 168 208 14527 14878 Nguyễn Phạm Anh Khoa U2R R2L PROBE DOS 243 224 78 76 30 10 13 20 1 1360 968 294 340 44 Phần Hiện Thực Hệ Thống PROBE 511 622 3471 3199 DOS 5299 6287 0 0 1328 24 78 345 223226 223542 : Kết người chiến thắng thi KDD 99 : Kết hệ thống mà thực Bảng 10 - So sánh kết phân loại hệ thống người chiến thắng KDD99[19] - Nhìn vào bảng so sánh, ta thấy khả phát công mà hệ thống xây dựng gần xấp xỉ với người chiến thắng thi KDD99 (91.217317% - 91.8122794%) bù lại tỉ lệ phát cảnh báo sai mà hệ thống tơi có tốt (0.5017081% - 0.5462677%) - Nếu so sánh với kết có từ phương pháp PCA [1] hình bên dưới: Hình 18 - Kết phân loại tỉ lệ phát cảnh báo sai phương pháp PCA Nguyễn Phạm Anh Khoa 45 Phần Hiện Thực Hệ Thống Thì ta thấy với tỉ lệ phát công khoảng 92.2% tỉ lệ phát cảnh báo sai phương pháp lớn (trên 10%) nên không hiệu áp dụng vào thực tế - So với tỉ lệ phát cơng trung bình khoảng 83.3% phương pháp kết hợp phân cụm mờ mạng neural [5], tỉ lệ phát công khoảng 92.5% có tỉ lệ phát cảnh báo sai khoảng 2-4% phương pháp SF-KNN[4] hệ thống mà tơi thực có khả phát cơng cao xấp xỉ với tỉ lệ phát cảnh báo sai thấp nhiều - Hệ thống có khả hoạt động tần số tối đa 103.327MHz board NetFPGA Xilinx Nguyễn Phạm Anh Khoa 46 Phần Kết Luận Phần KẾT LUẬN 5.1 Tổng kết - Luận văn trình bày nhiều phương pháp có đánh giá, so sánh giải thuật phương pháp học máy để lựa chọn xây dựng phần lõi hệ thống phát công mạng internet dựa vào dấu hiệu bất thường lên board NetFPGA - Cùng với khả phát loại công cao xấp xỉ với phương pháp nghiên cứu trước tỉ lệ phát cảnh báo sai thấp hệ thống việc hệ thống hoạt động ổn định với tần số 100Mhz board NetFPGA hoàn thành phần nhiệm vụ đặt cho luận văn 5.2 Những đóng góp đề tài - Trước đây, ứng dụng giải thuật Data Mining để phát cơng mạng internet chủ yếu hệ thống thực phần mềm thực lên FPGA gần giải thuật cho việc so trùng chuỗi Thành công việc kết hợp lĩnh vực Data Mining FPGA, đề tài góp phần mở hướng việc phát công mạng - Đề tài cho thấy việc kết hợp nhiều định J48 có tỉ lệ phát công mạng tốt khả thực dễ dàng lên board NetFPGA nhằm tăng tốc độ xử lí, đáp ứng yêu cầu thời gian thực tế Nguyễn Phạm Anh Khoa 47 Phần Kết Luận 5.3 Hướng phát triển - Do khối lượng công việc nhiều thời gian hạn chế nên phát triển phần lõi hệ thống, để hệ thống hồn chỉnh hoạt động thực tế tới tơi xây dựng thêm rút trích thuộc tính cho kết nối mạng Cũng thấy hệ thống phát cơng dựa vào bất thường mạng phát loại công khả phát loại công khoảng 91.2% nên nên xem phần mở rộng hệ thống chống xâm nhập hiệu - Ngồi việc tăng tần số hoạt động mạch cách phân chia lại kiến trúc hệ thống thành dạng pipeline dựa vào phương pháp Entropy hay xác suất Bayes để rút ngắn lại danh sách thuộc tính để giảm độ phức tạp mạch Nguyễn Phạm Anh Khoa 48 Phần Tài Liệu Tham Khảo Phần [1] TÀI LIỆU THAM KHẢO Abhishek Das, David Nguyen, Joseph Zambreno, Gokhan Memik, and Alok Choudhary, “An FPGA-based network intrusion detection architecture”, IEEE Transactions on information forensics and security, Vol.3, No 1, March 2008 [2] Faisal M Cheema, Adeel Akram, Zeshan Iqbal, “Comparative Evaluation of Header vs Payload based Network Anomaly Detectors”, Proceedings of the World Congress on Engineering 2009 Vol I, July - 3, 2009, London, U.K [3] Prasanta Gogoi, B Borah and D K Bhattacharyya, “Anomaly Detection Analysis of Intrusion Data using Supervised & Unsupervised Approach”, Journal of Convergence Information Technology Volume 5, Number 1, February 2010 [4] Anazida Zainal, Mohd Aizaini Maarof and Siti Mariyam Shamsuddin, “Ensemble Classifiers for Network Intrusion Detection System”, Journal of Information Assurance and Security 4, pp.217-225, 2009 [5] Hossein M Shirazi, Malek-Ashtar, “Anomaly Intrusion Detection System Using Information Theory, K-NN and KMC Algorithms”, Australian Journal of Basic and Applied Sciences , 3(3): pp.2581-2597, 2009 [6] Gang Wang, Jinxing Hao, Jian Ma, Lihua Huang, “A new approach to intrusion detection using Artificial Neural Networks and fuzzy clustering”, Exper Systems wit Applications, Vol.37, pp.6225-6232, 2010 Nguyễn Phạm Anh Khoa 49 Phần Tài Liệu Tham Khảo [7] Mrutyunjaya Panda and Manas Ranjan Patra, “A Novel Classification via Clustering Method for Anomaly Based Network Intrusion Detection System”, International Journal of Recent Trends in Engineering, Vol 2, No 1, November 2009 [8] Vivek A Patole, V K Pachghare, Parag Kulkarni, “Self Organizing Maps to Build Intrusion Detection System”, International Journal of Computer Applications, Volume – No 8, 2010 [9] Hua Jiang, Junhu Ruan, “The Application of Genetic Neural Network in Network Intrusion Detection”, Journal of computer, Vol.4,No 12, December 2009 [10] P.Garcia-Teodoro, J.Diaz-Verdejo, G.Macia-Fernandez, E.Vazquez, “Anomaly-based network intrusion detection: Techniques, systems and challenges”, Computer & Security, Vol.28, pp.18-28, 2009 [11] Field-Programmable Gate Array, http://en.wikipedia.org/wiki/Field- programmable_gate_array [12] DARPA, http://www.ll.mit.edu/mission/communications/ist/corpora/ideval/data/index.html [13] Christophe Bodda, “Introduction to Reconfigurable Computing”, Springer, [14] WEKA, http://www.cs.waikato.ac.nz/ml/weka/ [15] KDD99 , http://kdd.ics.uci.edu/databases/kddcup99/task.html [16] NetFPGA Forum, http://netfpga.org/ 2007 Nguyễn Phạm Anh Khoa 50 Phần Tài Liệu Tham Khảo [17] S.B.Kotsiantis, “Supervised Machine Learning: A Review of Classification Techniques”, Informatica, Vol.31, pp.249-268, 2007 [18] Ian H.Witten, Eibe Frank, Mark A.Hall, “Data Mining: Practical Machine Learning Tools and Techniques”, Third Edition, Elsevier, pp.352-356, 2011 [19] Charles Elkan, “Results of the KDD’99 Classifier Learning”, SIGKDD Explorations, Volume 1, Issue 2, pp.63–64, 2000 Nguyễn Phạm Anh Khoa 51 ... HIỆN THỰC HỆ THỐNG PHÁT HIỆN TẤN CÔNG TRONG MẠNG INTERNET DỰA VÀO CÁC BẤT THƯỜNG LÊN FPGA II- NHIỆM VỤ VÀ NỘI DUNG: Đề xuất mơ hình thực phần lõi việc phát công mạng internet dựa bất thường lên. .. FPGA hệ thống phát công mạng internet sâu vào phương pháp dựa vào dấu hiệu bất thường mạng Bên cạnh luận văn đề xuất cách thức để thực hiệu việc dị tìm cơng dựa bất thường mạng lên board NetFPGA... lí phát cơng dựa dấu hiệu bất thường mạng máy tính 3.2 Các phương pháp dùng hệ thống phát công dựa bất thường mạng máy tính - Mặc dù tồn nhiều cách tiếp cận khác việc phát công hệ thống mạng dựa