Nghiên cứu ứng dụng mạng nơron trong bài toán phát hiện truy cập trái phép

i MỤC LỤC LỜI CẢM ƠN iii MỞ ĐẦU Tính cấp thiết đề tài Tổng quan vấn đề nghiên cứu Mục đích nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Chương 1: Cơ sở lý thuyết Chương 2: Tìm hiểu nghiên cứu phương pháp phát công hệ thống IDS Chương 3: Phương pháp phát xâm nhập dựa mạng Nơ-ron CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan công mạng 1.1.1 Khái niệm 1.1.2 Các kiểu công mạng 1.2 Bài toán phát xâm nhập mạng 1.2.1 Phát xâm nhập mạng 1.2.2 Phân loại phương pháp phát xâm nhập mạng 1.3 Hệ thống phát xâm nhập IDS 10 1.3.1 Thành phần hệ thống IDS 10 1.3.2 1.4 Phân loại hệ thống IDS 12 Kết luận chương 16 CHƯƠNG 2: TÌM HIỂU VÀ NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN TẤN CÔNG TRONG HỆ THỐNG IDS 17 2.1 Thế bất thường mạng 17 2.2 Các nguồn liệu dùng cho phát bất thường 19 2.2.1 Network Probes 19 2.2.2 Lọc gói tin cho việc phân tích luồng 19 2.2.3 Dữ liệu từ giao thức định tuyến 20 2.2.4 Dữ liệu từ giao thức quản trị mạng 20 2.3 Các phương pháp phát bất thường 21 2.3.1 Phương pháp hệ chuyên gia (rule-based) 22 2.3.2 Phương pháp mạng nơ-ron (Artificial Neural Network) 23 2.3.3 Phân tích thống kê 28 ii 2.3.4 Mạng Bayes (Bayesian network based) 31 2.3.5 Máy trạng thái hữu hạn 32 2.4 Kết luận chương 33 CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN XÂM NHẬP DỰA TRÊN MẠNG NƠ-RON 35 3.1 Mô hình mạng nơ-ron toán phát xâm nhập 35 3.1.1 Mạng nhiều lớp truyền thẳng - MLP 38 3.1.2 Thuật toán học theo phương pháp lan truyền ngược sai số mạng nơ-ron MLP 40 3.1.3 Một số vấn đề cần ý sử dụng mạng MLP 43 3.2 Bộ liệu KDD cup 99 49 3.3 Tiền xử lý liệu 52 3.3.1 Chuyển giá trị phi số sang số 53 3.3.2 Chuẩn hóa lại giá trị đầu vào tập liệu 10% KDD 99 55 3.3.3 Loại bỏ ghi trùng lặp tập liệu 10% KDD 99 57 3.3.4 Loại bỏ đặc trưng dư thừa tập KDD 99 58 3.4 Đánh giá kết phát xâm nhập bước đầu với lớp đầu 60 3.5 Phương pháp cải tiến chất lượng hệ thống IDS sử dụng mạng nơ-ron 64 3.6 Kết thực nghiệm sau cải tiến 67 3.7 Kết luận chương 72 KẾT LUẬN 73 Kết đạt 73 Hướng nghiên cứu tương lai 74 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 75 iii DANH MỤC ẢNH Hình 1: Mô hình cảnh báo với NIDS [1] 12 Hình 2: Hệ thống Host-based Intrusion Detection [1] 15 Hình 3: Hệ thống Hybrid Intrusion Detection 16 Hình 1: Mô hình hệ thống phát bất thường dựa rule-based [1] 23 Hình 2: Mô hình mạng nơ-ron phát bất thường 25 Hình 3: Cấu trúc hệ thống phát bất thường sử dụng SOM [1] 27 Hình 4: Thiết kế mạng SOM [1] 28 Hình 5: Mô hình FSM cho kết nối TCP [1] 33 Hình 1: Các bước kiểm tra liệu với mô hình mạng nơ-ron huấn luyện 36 Hình 2: Sơ đồ hoạt động mạng nơ-ron trình huấn luyện 37 Hình 3: Phát gói tin bất thường sử dụng mạng nơ-ron 38 Hình 4: Mạng MLP tổng quát [3] 39 Hình 5: Đường nét đứt thể chế lan truyền ngược để điều chỉnh lại trọng số 41 Hình 6: Hàm sigmoid g(x) = 1/(1+e-x) [4] 43 Hình 7: Nội suy hàm y = sin(x/3) + v, 0≤ x ≤ 20 sử dụng MLP [12] 45 Hình 8: Huấn luyện luân phiên hai tập mẫu [3] 46 Hình 9: Tỉ lệ phát thành công với hàm trainbfg 62 Hình 10: Tỉ lệ phát thành công với hàm traincgf 63 Hình 11: Tỉ lệ phát thành công với hàm traingdm 63 Hình 12: Tỉ lệ phát thành công với hàm traingdx 63 Hình 13: Kết hợp mạng nơ-ron Snort để cải tiến chất lượng phát xâm nhập 66 Hình 14: Giao diện chương trình phát xâm nhập sử dụng mạng nơ-ron 68 Hình 15: Thông số lớp đầu vào đầu mạng nơ-ron 68 Hình 16: Quá trình học mạng nơ-ron 69 Hình 17: Đồ thị huấn luyện mạng 70 Hình 18: Kết test dòng liệu (1,0,0 trạng thái Normal) 70 Hình 19: Kết test 22544 dòng liệu độc lập với train 70 Hình 20: Các luật dùng để phát công U2R R2L 72 iv DANH MỤC BẢNG Bảng 1: Mô tả đặc trưng liệu KDD cup 99 49 Bảng 2: Đặc điểm tập liệu thuộc KDD cup 99 [5] 52 Bảng 3: Chuyển chữ phi số sang chữ số 53 Bảng 4: Nhãn lớp xuất "10% KDD 99" dataset 54 Bảng 5: Giá trị nhỏ lớn cột tập 10% KDD 99 56 Bảng 6: Số lượng mẫu liệu R2L, U2R sau loại bỏ trùng lặp 64 Bảng 7: Nhãn đầu lớp Normal, DoS, Probe 66 Bảng 8: Kết phát xâm nhập với nhiều mô hình mạng nơ-ron khác 71 LỜI CẢM ƠN Trước tiên xin gửi lời cảm ơn chân thành tới thầy cô giáo khoa Công nghệ thông tin, truyền đạt cho nguồn kiến thức vô quý báu, cách học tập nghiên cứu khoa học hiệu Đặc biệt, xin gửi lời cảm ơn chân thành tới TS Vũ Tất Thắng – viện công nghệ thông tin – viện Hàn lâm Khoa học Công nghệ Việt Nam Thầy hướng dẫn định hướng giúp hoàn thành tốt luận văn Trong trình thực luận văn, nhận giúp đỡ bạn lớp Khoa học máy tính Mặc dù cố gắng tránh khỏi thiếu sót lúc thực hiện, mong đón nhận đóng góp ý kiến từ bạn bè, thầy cô Một lần chân thành cảm ơn! MỞ ĐẦU Tính cấp thiết đề tài Mặc dù đời chưa lâu mạng Internet phát triển mạnh mẽ ngày có ảnh hưởng sâu rộng hầu hết tất lĩnh vực đời sống người Bên cạnh lợi ích to lớn mang lại nguy bị công không nhỏ cho tổ chức người dùng kết nối vào Internet Các công mạng toàn giới không ngừng tăng số lượng mức độ nguy hiểm chúng [12] Những công mạng gây hậu nghiêm trọng kinh tế, xã hội chí ảnh hưởng tới an ninh trị quốc gia Tại Việt Nam, năm gần không lần chứng kiến hệ thống website tiếng bị tin tặc công như:dantri.com.vn, vietnamnet.vn, vff.org.vn [12], [13], [14], [15] Việc phát xử lý thủ phạm gây công khó khăn Giải pháp kỹ thuật phổ biến cho vấn đề tìm cách phát sớm công mạng để từ có giải pháp thích hợp xử lý đối phó với chúng Tổng quan vấn đề nghiên cứu Một số hệ thống phát xâm nhập đời (IDS – Intrusion Detection System) nhằm phát ngăn chặn sớm công mạng Hai hướng tiếp cận phổ biến để xây dựng hệ thống IDS là: xây dựng Hệ chuyên gia (rule-based) [1] hướng ứng dụng Học máy (SVM, mạng nơ-ron ) Mỗi phương pháp mang lại hiệu định, bên cạnh chúng tồn hạn chế riêng: - Hệ chuyên gia (rule-based): Phương pháp sử dụng luật công biết trước, dựa vào luật định nghĩa hệ thống mà có công hệ thống so sánh đặc trưng, dấu hiệu gói tin với tập luật có Hệ thống phát dựa hệ chuyên gia kể đến Snort Ưu điểm định nghĩa luật cho công khả phát nhầm thấp, hệ thống thêm luật linh động, chế hoạt động không phức tạp Nhược điểm luật cho kiểu công hệ thống không phát Số lượng luật nhiều hệ thống hoạt động chậm IDS dạng phụ thuộc nhiều vào khả cập nhật luật trình độ am hiểu bảo mật người quản trị - Ứng dụng học máy: Phương pháp đời với mục đích khắc phục việc phải cập nhật luật tạo xung đột tập luật có, vốn phù hợp với mô hình qui mô vừa nhỏ Thay vào hệ thống IDS học mô hình phát bất thường dựa số lượng định mẫu liệu thu thập Hiệu phương pháp thường cho hệ thống có khả tốt đồng thời lại linh động thay đổi huấn luyện Với cách tiếp cận này, người ta dễ dàng việc xây dựng hệ thống IDS phức tạp, việc phát xâm nhập không đơn phát nhằm cảnh báo có công hay không công mà đưa loại hình, tính chi tiết công tương ứng Mạng nơ-ron phương pháp học máy chọn luận văn để ứng dụng cho toán phát xâm nhập theo phương pháp học máy Trên thực tế, hướng tiếp cận ứng dụng học máy không đảm bảo cho kết tốt tình Ví dụ, hình thức công DoS,DDoS, Probe (thăm dò), U2R (leo thang đặc quyền) thường có tần suất chênh lệch nhiều Các công DoS phổ biến công leo thang đặc quyền lại để lấy mẫu cho huấn luyện Điều dẫn đến tình trạng liệu thu thập áp dụng cho học máy có tỉ lệ chênh lệch lớn kiểu công, dẫn đến việc dự báo bị thiên vị cho trường hợp liệu nhiều hiệu với trường hợp liệu ít, làm giảm chất lượng dự báo chung hệ thống Mục đích nghiên cứu Mục đích đề tài tìm hiểu mạng nơ-ron để áp dụng cho toán phát xâm nhập Bên cạnh đề tài quan tâm đến việc cải tiến chất lượng hệ thống IDS, nhằm mục đích phát xác không thiên vị kiểu cảnh báo công điều kiện liệu huấn luyện chênh lệch Trong trình thực luận văn thực số giải pháp cải tiến sau: - Cải tiến liệu huấn luyện cách loại bỏ ghi trùng lặp, việc loại bỏ giúp phần giảm bớt thiên vị cảnh báo Luận văn muốn giảm bớt số thuộc tính dư thừa ghi cách kế thừa nghiên cứu Mukkamala Sung [10], việc loại bỏ thuộc tính dư thừa giúp trình huấn luyện trở nên nhanh hơn, xác - Kết hợp hệ thống chuyên gia (rule-based) với mạng nơ-ron Hệ thống rule-based dùng để phát kiểu công phổ biến, luật thêm vào hệ thống không nhiều, độ xác thời gian phát nhanh Hệ thống IDS sử dụng mạng nơ-ron dùng để phát kiểu công có tần suất lớn, nhằm hạn chế việc phải thêm nhiều luật tay Đối tượng phạm vi nghiên cứu Nghiên cứu kỹ thuật học máy mạng nơ-ron, sau ứng dụng để làm công cụ phân loại kết nối mạng liệu KDD cup 99 Trong chương trình đánh giá phát công mạng Cơ quan Quản lý Nghiên cứu Dự Án Bộ quốc phòng Mỹ (DARPA), môi trường thiết lập để thu liệu thô TCP/IP dump cho mạng mô giống mạng LAN Không lực Hoa Kỳ Với kết nối TCP/IP, 41 đặc trưng số phi số trích xuất Dữ liệu sử dụng thi KDD cup 1999 phiên liệu Các công thuộc bốn loại chính: DoS, R2L, U2R, Probing Dữ liệu KDD cup 1999 tải từ trang web đại học California (UCI) [5]http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html Nghiên cứu hệ thống IDS sử dụng mô hình hệ chuyên gia (rule-based) Snort để nắm ưu nhược điểm để tiến hệ thống IDS sử dụng học máy Phương pháp nghiên cứu Nghiên cứu cài đặt kỹ thuật học máy mạng nơ-ron Thu thập tiền xử lý liệu mẫu có công mạng Áp dụng giải pháp cải tiến liệu xử lý, đánh giá kết sau thực với kết nghiên cứu công bố trước Đó lý chọn đề tài “Nghiên cứu ứng dụng mạng nơron toán phát truy cập trái phép” Nội dung luận văn gồm chương: Chương 1: Cơ sở lý thuyết Chương đưa khái niệm công mạng toán phát xâm nhập Chương giới thiệu hệ thống phát xâm nhập (IDS), thành phần hệ thống IDS phân loại hệ thống IDS Chương 2: Tìm hiểu nghiên cứu phương pháp phát công hệ thống IDS Để nghiên cứu phát triển hệ thống IDS cần nắm khái niệm liên quan như: dấu hiệu bất thường, nguồn liệu dùng cho phát bất thường, phương pháp phát bất thường Từ chọn lọc phương pháp phù hợp cho xây dựng mô hình IDS Chương 3: Phương pháp phát xâm nhập dựa mạng Nơ-ron Có nhiều phương pháp học máy sử dụng cần cải tiến cho toán phát xâm nhập Hiệu phương pháp thường đánh giá qua độ xác cảnh báo xâm nhập Chương tập trung trình bày phương pháp học máy mạng nơ-ron đề xuất phương pháp cải tiến kết phát xâm nhập Phần cuối chương demo thực nghiệm phân tích CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan công mạng 1.1.1 Khái niệm Trong thực tế có nhiều cách diễn giải khác công mạng, theo Sandeep Gutta công mạng (cyber attack hay intrusion) hiểu loạt hoạt động máy tính nguy hiểm đe dọa làm tổn hại tới bảo mật tính toàn vẹn máy tính hay hệ thống mạng Tấn công mạng phá vỡ hoạt động bình thường hệ thống máy tính truy nhập trái phép phá hủy thông tin hệ thống máy tính [1] Theo cách định nghĩa khác công mạng hiểu hành động cố gắng làm tổn hại toàn vẹn, bí mật, tính sẵn sàng tài nguyên ngược lại mục tiêu bảo mật tài nguyên 1.1.2 Các kiểu công mạng Trong lịch sử tồn mạng máy tính xảy nhiều công mạng với qui mô lớn, nhỏ khác để lại nhiều thiệt hại nghiêm trọng Có nhiều cách thức công phân thành bốn loại hình công mạng sau: DoS- Denial of Service attack : Là công làm cho tài nguyên máy tính (ví dụ Web server) không phục vụ theo yêu cầu người dùng thực [2] Dạng phổ biến DoS làm cho tài nguyên máy tính bận bị sử dụng toàn với nhiều yêu cầu vô ích đến mức người dùng thực sử dụng Có nhiều biến thể công DoS bao gồm TCP-SYN Flood, ICMP/UDP Flood, Smurf, Ping of Death, Teardrop, Mailbomb, Apache2 R2L - Remote to Local attack : Trong loại công này, tin tặc cố gắng đạt quyền truy cập vào khu vực hệ thống máy tính việc gửi gói tin tới hệ thống thông qua mạng Một vài cách phổ biến mà loại thực đoán mật 62 Hình 9: Tỉ lệ phát thành công với hàm trainbfg 63 Hình 10: Tỉ lệ phát thành công với hàm traincgf Hình 11: Tỉ lệ phát thành công với hàm traingdm Hình 12: Tỉ lệ phát thành công với hàm traingdx 64 Đánh giá tỉ lệ phát xâm nhập, tùy thuộc vào hàm huấn luyện mà độ xác đạt từ 95% đến 97% Đây số hấp dẫn thực chưa tốt tỉ lệ phát kiểu công U2R R2L không xác Trong mục luận văn trình bày phương pháp cải tiến kết cho hệ thống IDS 3.5 Phương pháp cải tiến chất lượng hệ thống IDS sử dụng mạng nơ-ron Như đánh giá kết phát xâm nhập bước đầu mạng nơ-ron mục 3.4, tỉ lệ phát thiên vị lớp trạng thái chênh lệch lớn liệu huấn luyện Mục đích thiết kế hệ thống IDS có khả phát đâu gói tin nguy hại, đâu gói tin bình thường mà IDS có khả phân loạicác gói tinnguy hạithuộc nhóm công Trong tập liệu huấn luyện bao gồm bốn loại hình công là: DoS, Probe, R2L, U2R Sử dụng mạng nơron cho hệ thống IDS có khả phát bốn loại công Thế việc liệu U2R R2L so với trạng thái mạng lại nên việc cải tiến dựa mạng nơ-ron khó đạt Việc bổ sung thêm liệu cho U2R R2L không khả thi thực tế hai loại công gặp Tỉ lệ liệu loại công tập 10% KDD 99 tập KDD 99 đầy đủ (Full KDD 99) tỉ lệ phổ biến loại công mạng thực tế, liệu KDD liệu có từ trạng thái mạng thu thực tế Bảng 6: Số lượng mẫu liệu R2L, U2R sau loại bỏ trùng lặp Tập liệu R2L U2R 10% KDD 99 995 52 Full KDD 99 999 52 Như bảng 3.6, số lượng liệu R2L, U2R tập 10% KDD 99 Full KDD 99 chênh lệch không nhiều Sau bổ sung thêm liệu chênh lệch từ đầy đủ sang 10% huấn luyện lại, kết thu nhiều thay đổi 65 Hiện nay, để đưa cảnh báo xâm nhập mạng người ta sử dụng rộng rãi hệ thống IDS dựa luật (rule-based) Một giải pháp rule-based lựa chọn phổ biến Snort, hệ thống IDS cung cấp miễn phí có chất lượng cao Các tập luật thông dụng cung cấp miễn phí, có tập luật nâng cao cung cấp có phí cho doanh nghiệp Ưu điểm Snort hoạt động nhanh, hiệu số lượng luật không lớn (cỡ 3000 luật trở xuống) Snort có ưu điểm dễ xây dựng luật, dễ cấu hình sử dụng, tương thích cao với thiết bị mạng Nhược điểm Snort tốc độ đưa cảnh báo chậm số lượng luật lớn, không phát xâm nhập chưa định nghĩa tập luật phải chờ người quản trị bổ sung luật Vì ưu điểm Snort phát nhanh với tập luật nên hoàn toàn kết hợp Snort với hệ thống IDS sử dụng mạng nơ-ron để tạo thành hệ thống lai (hybrid) đưa cảnh báo tốt Cụ thể với số lượng công thực tế không phổ biến hai loại R2L U2R đưa vào luật để Snort giám sát Còn trạng thái Normal, Dos, Probe trạng thái mạng phổ biến thực tế cập nhật luật thường xuyên sử dụng mạng nơ-ron để phát xâm nhập Dưới sơ đồ hoạt động hệ thống lai IDS sử dụng mạng nơ-ron Snort IDS: 66 Hình 13: Kết hợp mạ ạng nơ-ron Snort để cải tiến chất lượng ng phát hi xâm nhập Hai loại n công U2R R2L gi đượcc Snort giám sát, nhi nhiệm vụ giám sát trạng ng thái: Normal, DoS, Probe đư dành cho nơ-ron IDS Nhãn đầu trạng thái mạng hệ thống nơ-ron IDS cập nhật lại bảng ng dư đây: Bảng ng 7: Nhãn đầu lớp p Normal, DoS, Probe Loại công Thể loại Nhãn chuyển công sang vector normal 11,0,0 smurf dos 0, 0,1,0 neptune dos 0, 0,1,0 dos 0, 0,1,0 dos 0, 0,1,0 normal back teardrop # Số mẫu 67343 45927 67 Pod dos 0,1,0 land dos 0,1,0 satan probe 0,0,1 probe 0,0,1 portsweep probe 0,0,1 nmap probe 0,0,1 ipsweep 11656 Số lượng mẫu bảng 3.7 loại bỏ trùng lặp liệu so với tập 10% KDD ban đầu 3.6 Kết thực nghiệm sau cải tiến Để huấn luyện mạng nơ-ron với liệu nêu trên, tác giả xây dựng chương trình ngôn ngữ lập trình Matlab Chương trình có sử dụng số hàm mạng nơ-ron MLP công cụ Neural Network Toolbox Việc sử dụng hàm hỗ trợ Matlab giúp người lập trình tiết kiệm nhiều thời gian đồng thời kết tin cậy Để khởi tạo mạng neural luận văn tác giả sử dụng hàm newff(P,T,[S1 S2 S(N-l)],{TF1 TF2 TFNl},BTF) Với hàm khởi tạo newffcho phéptạo mạng neural với véc tơ đầuvào P véc tơ mục tiêu T Tập liệu training gồm 125973 dòng (đã loại bỏ trùng lặp từ 10%KDD) 34 cột tương ứng với 34 đặc trưng đầu vào (đã loại bỏ đặc trưng dư thừa) Trong tác giả chọn ngẫu nhiên 70% dành cho huấn luyện, 5% cho Validation, 25% cho kiểm tra Ngoài luận văn sử dụng thêm liệu test độc lập với train, chứa 22544 dòng liệu Bộ test có nhiều ghi không nằm train để đánh giá kết khách quan Sau khởi tạo, công việc huấn luyện mạng Trong chương trình sử dụng hàm huấn luyện[net,tr] train(net,P,T) với net biến điều khiển mạng nơ-ron khởi tạo, P T véc tơ đầu vào véc tơ mục tiêu tương ứng, sau hàm train(net,P,T) thực xong, mạng nơ-ronmới lưu vào 68 biến net, mạng sử dụng hàm T=sim(net,P_test) đểkiểm tra đầu mạng tương ứng với đầu vào, P_test véc tơ đầu vào, T véc tơ đầu ra.Chương trình cho phép thử nghiệm với nhiều mô hình mạng nơ-ron khác toán phát xâm nhập Nó cho phép lựa chọn số lớp, số nơ-ron lớp, hàm truyền, hàm huấn luyện cách dễ dàng, đồng thời chương trình tích hợp chức huấn luyện kiểm tra liệu trình bày phần Giao diện chương trình thiết kế sau: Hình 14: Giao diện chương trình phát xâm nhập sử dụng mạng nơ-ron Hình 15: Thông số lớp đầu vào đầu mạng nơ-ron 69 Hình 16: Quá trình học mạng nơ-ron 70 Hình 17: Đồ thị huấn luyện mạng Hình 18: Kết test dòng liệu (1,0,0 trạng thái Normal) Hình 19: Kết test 22544 dòng liệu độc lập với train Chương trình thử nghiệm phát xâm nhập với nhiều mô hình mạng nơron khác nhau, kết thu bảng 3.8: 71 Bảng 8: Kết phát xâm nhập với nhiều mô hình mạng nơ-ron khác STT Cấu trúc Hàm Hàm Số Số Thời Tỉ lệ Tỉ lệ mạng truyền training epoch vòng gian (s) phát phát hiện trên Train Test lặp 30-10-3 logsig traingdx 1000 184 58 94.2% 90.6% 20-10-3 logsig traingdx 1000 177 45 95.05% 91.7% 20-10-3 purelin traingdx 1000 118 20 90.8% 90.3% 20-10-3 logsig traingdm 1000 1000 254 87% 86% 20-10-3 tansig traingdm 1000 1000 259 91.7% 87.1% 20-10-3 tansig traingd 1000 1000 255 86.95% 85.2% 20-10-3 logsig traingd 1000 1000 250 73.3% 66.8% 20-10-3 purelin traingd 1000 1000 238 88.34% 88.1% 10-3 logsig traingdx 1000 258 34 53.9% 52.64% 10 10-3 tansig traingdx 1000 211 28 90.1% 87.6% 11 10-3 purelin traingdx 1000 133 26 92.9% 91.4% 12 20-3 purelin traingdx 1000 110 24 93% 89.5% 13 30-3 purelin traingdx 1000 127 27 92.4% 91.1% 14 30-3 logsig traingdx 1000 283 79 54.4% 52.6% Bảng thực nghiệm cho thấy kết vị trí số có tỉ lệ phát xâm nhập cao Cụ thể tỉ lệ phát huấn luyện 95.05%, tỉ lệ phát test độc lập 91.7% Đó khả phát loại trạng thái: Normal, DoS, Probe IDS sử dụng mạng nơ-ron Hai loại trạng thái công lại U2R R2L hệ thống Snort IDS giám sát Để tăng tốc độ xử lý Snort, luận văn sử dụng luật liên quan đến trạng thái U2R R2L 72 Hình 20: Các luật dùng để phát công U2R R2L Trong hình 3.21 thấy dung lượng file luật không lớn, phù hợp với thực tế loại công U2R R2L xảy Cũng liệu loại công tập KDD 99 không nhiều Kết thử nghiệm hệ thống Snort IDS cài đặt môi trường Windows cho hiệu suất cảnh báo tốt với loại công U2R R2L 3.7 Kết luận chương Chương tập trung vào nghiên cứu phương pháp tiền xử lý liệu với 10% KDD 99 Mục đích để giảm thuộc tính dư thừa, ghi trùng lặp, chuẩn hóa miền liệu đầu vào để kết huấn luyện phát xâm nhập tốt Chương trình bày kết huấn luyện mạng nơ-ron bước đầu, chưa thực tốt thiên vị cảnh báo trạng thái Nguyên nhân tỉ lệ liệu huấn luyện trạng thái chênh lệch lớn Vì phần chương trình bày phương pháp cải tiến chất lượng cảnh báo Tác giả sử dụng mạng nơ-ron để xây dựng IDS cảnh báo trạng thái Normal, DoS, Probe Còn loại trạng thái U2R, R2L sử dụng Snort IDS để giám sát Sau cải tiến chất lượng IDS sử dụng mạng nơ-ron phát xâm nhập tập train 95% tập test (độc lập liệu với tập train) 91.7% Đây coi kết tốt, đáp ứng yêu cầu hệ thống IDS 73 KẾT LUẬN Kết đạt Luận văn trình bày mối đe dọa công mạng, biện pháp phát công mạng để từ có giải pháp ngăn chặn Để hiểu nghiên cứu hệ thống IDS, luận văn đưa thành phần hệ thống phân loại hệ thống IDS Một hệ thống muốn phát xâm nhập người phát triển cần quan tâm đến bất thường mạng, nguồn liệu dùng cho việc phát bất thường như: mạng thăm dò, phân tích luồng gói tin, liệu từ giao thức định tuyến Các phương pháp phát bất thường đưa nhiều, phương pháp có ưu điểm nhược điểm riêng Cho đến hệ thống phát xâm nhập phải cài tiến nhiều mặt hình thức công mạng ngày tinh vi, khó lường Luận văn tập trung nghiên cứu lựa chọn phương pháp học máy mạng nơronMulti LayerPerceptronsđể thử nghiệm hệ thống IDS Cùng với việc thử nghiệm đưa giải pháp cải tiến chất lượng cảnh báo Cụ thể tác giả nghiên cứu đặc trưng tiền xử lý liệu 10% KDD cup 99, cho liệu phù hợp với mô hình mạng nơ-ron IDS đưa cảnh báo có công hay công mà phân loại trạng thái mạng: Normal, DoS, Probe, R2L, U2R Tuy nhiên thực tế hai loại công R2L U2R xảy nên liệu thu thập cho huấn luyện loại công khác Vì mà chất lượng cảnh báo bị thiên vị sang trạng thái khác Phương pháp cải tiến luận văn dùng mạng nơ-ron phân loại trường hợp công phổ biến, loại công phổ biến sử dụng Snort để giám sát Sau kết hợp mạng nơ-ron Snort kết phát xâm nhập luận văn tốt, không bị thiên vị cảnh báo kết ban đầu 74 Hướng nghiên cứu tương lai Với kết đạt luận văn nghiên cứu phát triển theo hướng sau: - Tiếp tục thử nghiệm với kiến trúc mạng nơ-ron khác Deep learning, mạng SOM - Xây dựng thêm module bắt gói tin tiền xử lý tự động để đưa chươngtrình thực nghiệm vào hoạt động theo thời gian thực việc phát bấtthường mạng - Kết hợp hướng nghiên cứu khác để cải tiến chất lượng phát xâm nhập tốt 75 DANH MỤC CÁC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Phương Chính (2009), Giải pháp phát ngăn chặn truy cập trái phép vào mạng, Đại học Công nghệ, Hà Nội [2]Nguyễn Đức Hiển (2012), Máy vectơ hỗ trợ đa lớp ứng dụng phát công mạng, Học viện Công nghệ Bưu Viễn thông, Hà Nội [3]Bùi Hoàng Khánh, Lê Duy Hưng, Hoàng Mạnh Khôi (2010), Mạng nơ-ron ứng dụng, Đại học Công nghệ, Hà Nội [4] Phạm Thị Hoàng Nhung (2007), Ứng dụng mạng nơron nhân tạo vào việc dự báo lưu lượng nước đến hồ Hoà Bình, Đại học Công nghệ, Hà Nội Tiếng Anh [5] A NurZincir-Heywood , H GüneşKayacık, Malcolm I Heywood (2005), Selecting Features for Intrusion Detection: A Feature Relevance Analysis on KDD 99 Intrusion Detection Datasets, Dalhousie University, Faculty of Computer Science [6] A Veselý, D Brechlerová (2004), Neural networks in intrusion detection systems, Czech University of Agriculture, Prague, Czech republic [7] D.E Rumelhart, G.E Hinton and R.J Williams (1986), “Learning internalrepresentations by error propagation”, Paralleldistributed processing: Explorations in the microstructure of cognition (Cambridge MA.: MIT Press), pp 318-362 [8] Jean-Philippe PLANQUART (2001), Application of Neural Networks to Intrusion Detection, GSEC Certification - version 1.2d [9] Marina Thottan and ChuanyiJi (2003), “Anomaly Detection in IP Networks”, IEEE Transactions on Signal Processing, 51, Available at: http://users.ece.gatech.edu/~jic/sig03.pdf [10] Mukkamala, Sung (2003), “Feature Selection for Intrusion Detection using Neural Networks and Support Vector Machines”, Transportation Research Board (TRB) [11] S.Sethuramalingam, Dr.E.R Naganathan (2011), “Hybrid featrue selection for network intrusion”, International Journal on Computer Science and Engineering (IJCSE) [12] SteveLawrence and C Lee Giles (2000), “Overfitting and Neural Networks:Conjugate Gradient and Backpropagation”, International Joint onference on Neural Networks (Como – Italy, July 24–272000), pp 114–119 76 Website [12] http://www.giadinhonline.vn/toan-canh-su-co-vccorp-bi-hacker-tan-cong-khien-hang-loatwebsite-te-liet-d29782.html, truy nhập ngày 15/04/2015 [13]http://www.vietnamplus.vn/su-co-vietnamnet-hanh-vi-thuong-hau-qua-lon/71147.vnp, truy nhập ngày 15/04/2015 [14]http://www.ktdt.vn/cong-nghe/tin-tuc/2014/12/810292db/nam-song-gio-voi-an-ninh-mang, truy nhập ngày 15/04/2015 [15]http://thethao.vietnamnet.vn/fms/aff-cup/118279/hacker-tan-cong-trang-web-vff-va-ldbdmalaysia.html, truy nhập ngày 15/04/2015 [...]... thường của người sử dụng, máy chủ, kết nối mạng hay các ứng dụng Các cấu hình được phát triển bằng việc quan sát các đặc trưng của các hoạt động thông thường trong một khoảng thời gian[2] Lợi ích chủ yếu của phương thức phát hiện dựa trên dị thường là nó rất hiệu quả trong việc phát hiện các mối nguy hiểm không được biết trước đó 10 1.3 Hệ thống phát hiện xâm nhập IDS Hệ thống phát hiện xâm nhập (Intrusion... điểm cần kiểm tra trong mạng, thường là trước miền DMZ hoặc ở vùng biên của mạng, các Sensorbắt tất cả các gói tin lưu thông trên mạng và phân tích nội dung bên trong của từng gói tin để phát hiện các dấu hiệu tấn công trong mạng Theo chức năng sử dụng, hệ thống NIDS còn được phân thành hai hệ thống nhỏ đó là Protocol-based Intrusion Detection System (PIDS - Hệ thống phát hiện truy cập dựa trên giao... phức tạp, việc phát hiện xâm nhập không đơn thuần chỉ là phát hiện nhằm cảnh báo có tấn công hay không tấn công mà còn có thể đưa ra loại hình, tính chất chi tiết của cuộc tấn công tương ứng Hệ thống phân tích bất thường sử dụng mạng nơ-ron tập trung vào việc phát hiện các thay đổi trong hành vi, theo đó mạng nơ-ron sẽ học và dự đoán hành vi của người sử dụng, của các chương trình ứng dụng và các luồng... đó Ví dụ trong trường hợp router, nhóm ip của MIB được chọn, ngược lại nếu là bridge nhóm if được sử dụng 2.3 Các phương pháp phát hiện bất thường Trong phần này chúng ta sẽ đi xem xét các phương pháp hay được sử dụng trong phát hiện xâm nhập Các phương pháp này bao gồm hệ chuyên gia (rule-based), mạng nơron, mô hình máy trạng thái hữu hạn, so sánh mẫu, phân tích thống kê Chúng ta sẽ nghiên cứu cơ chế... hiệu năng của mạng là công việc cơ bản cho việc phát hiện bất thuờng Các loại bất thường có thể phát hiện được phụ thuộc vào bản chất của dữ liệu mạng Trong mục này chúng ta sẽ xem xét một số nguồn có thể thu thập dữ liệu và phân tích sự phù hợp của chúng trong việc phát hiện bất thường Bản chất của phương pháp phát hiện bất thường là xây dựng tập các hồ sơ trạng thái bình thường của mạng để so sánh... tin bằng cách truy n theo các kết nối và tính giá trị mới tại các nút Trong nhiều trường hợp, mạng nơ-ron nhân tạo là một hệ thống thích ứng (adaptive system) tự thay đổi cấu trúc của mình dựa trên các thông tin bên ngoài hay bên trong đi qua mạng trong quá trình học[1] 25 Hình 2 2:Mô hình mạng nơ-ron trong phát hiện bất thường Một mạng nơ-ron bao gồm các nút input (đầu vào), các nút trong các lớp... an toàn thông tin một cách vô tình hay cố ý Bài toán được đặt ra là cần có cơ ch phát hiện sớm các cuộc tấn công để từ đó có những biện pháp ngăn chặn hoặc giảm thiểu tối đa những thiệt hại, tác động do các cuộc tấn công gây ra 1.2.1 Phát hiện xâm nhập mạng Phát hiện xâm nhập mạng là quá trình theo dõi các sự kiện xảy ra trong một hệ thống máy tính hoặc mạng máy tính và phân tích chúng để tìm ra các... ra Phát hiện dựa trên dấu hiệu là phương pháp phát hiện đơn giản nhất bởi vì nó chỉ so sánh hoạt động hiện thời, với danh sách các dấu hiệu bằng hoạt động so sánh chuỗi Ưu thế của phương pháp này là rất hiệu quả trong việc phát hiện sự tấn công mà không tạo ra số lượng lớn các cảnh báo sai Nhược điểm của nó là chỉ phát hiện được các cuộc tấn công mà nó đã biết trong quá khứ hay nói khác đi là đã có trong. .. ứng dụng vào lĩnh vực dò lỗi hay phát hiện bất thường trong mạng Trong hệ chuyên gia, một cơ sở dữ liệu chứa tập luật (rules) miêu tả các hành vi bất thường được dùng để so sánh với các luồng dữ liệu đi đến hệ thống mạng Nếu một luồng dữ liệu đi đến hệ thống với mục đích tấn công mà không được định nghĩa trong tập luật thì hệ thống IDS không thể phát hiện được.Trên thực tế phương pháp này được áp dụng. .. cách phân tích các trao đổi của hệ thống, các bản ghi của các ứng dụng, sự sửa đổi các tệp tin trên hệ thống (các file dạng binary, mật khẩu của file, dung lượng và các acl của các cơ sở dữ liệu) các hoạt động và trạng thái khác của hệ thống để từ đó phát hiện ra các dấu hiệu truy nhập trái phép vào hệ thống Khi phát hiện ra các truy nhập trái phép, Agent lập tức sinh ra một sự kiện và gửi báo cáo về Engine, ... vi nghiên cứu Nghiên cứu kỹ thuật học máy mạng nơ-ron, sau ứng dụng để làm công cụ phân loại kết nối mạng liệu KDD cup 99 Trong chương trình đánh giá phát công mạng Cơ quan Quản lý Nghiên cứu. .. ứng dụng mạng nơron toán phát truy cập trái phép Nội dung luận văn gồm chương: Chương 1: Cơ sở lý thuyết Chương đưa khái niệm công mạng toán phát xâm nhập Chương giới thiệu hệ thống phát xâm nhập... máy mạng nơ-ron Thu thập tiền xử lý liệu mẫu có công mạng Áp dụng giải pháp cải tiến liệu xử lý, đánh giá kết sau thực với kết nghiên cứu công bố trước Đó lý chọn đề tài Nghiên cứu ứng dụng mạng