Nghiên cứu phương pháp phát hiện xâm nhập mạng dựa trên mạng nơ ron (tóm tắt luận văn ngành hệ thống thông tin)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - Nguyễn Đình Đức NGHIÊN CỨU PHƢƠNG PHÁP PHÁT HIỆN XÂM NHẬP MẠNG DỰA TRÊN MẠNG NƠ RON Chuyên ngành: Hệ thống thông tin Mã số: 8480104 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2018 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS Phạm Hoàng Duy Phản biện 1: TS Hoàng Xuân Dậu – Học viện Công nghệ BCVT Phản biện 2: TS Nguyễn Trọng Đường – Bộ TT&TT Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: 08 30’ ngày 14 tháng 07 năm 2018 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng I MỞ ĐẦU Lý chọn đề tài Hiện mạng Internet trở thành phần thiếu người Internet ngày phổ biến rộng rãi cho người để trao đổi thông tin mạng Khả kết nối toàn giới mang lại thuận tiện cho tất người, tiềm ẩn nguy khó lường đe dọa tới mặt đời sống xã hội Việc trộm thông tin mạng gây ảnh hưởng đến tính riêng tư cho cá nhân, vụ lừa đảo, công từ chối dịch vụ gây ảnh hưởng lớn đến hoạt động kinh doanh cho công ty gây phiền toái cho người sử dụng Internet… làm cho vấn đề bảo mật mạng vấn đề nóng hổi quan tâm đến thời điểm Cho đến nay, giải pháp bảo mật ln trọng có đóng góp lớn việc hạn chế ngăn chặn vấn đề bảo mật, ví dụ Firewall ngăn chặn kết nối khơng đáng tin cậy, mã hóa làm tăng độ an toàn cho việc truyền liệu, chương trình diệt virus với sở liệu liên tục cập nhật loại virus Tuy nhiên vụ vi phạm bảo mật xảy ngày tinh vi với gia tăng vụ lạm dụng, dùng sai xuất phát từ hệ thống mà phương pháp bảo mật khác khơng chống Những điều dẫn đến u cầu phải có phương pháp bảo mật bổ trợ cho phương pháp bảo mật truyền thống Phương pháp phát xâm nhập trái phép IDS phương pháp bảo mật có khả chống lại kiểu công, vụ lạm dụng, dùng sai xuất phát từ hệ thống hoạt động tốt với phương pháp bảo mật khác Nó nghiên cứu, phát triển ứng dụng từ lâu giới thể vai trò quan trọng sách bảo mật Từ ý nghĩa khoa học thực tiễn nêu trên, học viên chọn đề tài: “Nghiên cứu phương pháp phát xâm nhập mạng dựa mạng nơ ron ” 2 Tổng quan vấn đề nghiên cứu Một số hệ thống phát xâm nhập đời (IDS – Intrusion Detection System) nhằm phát ngăn chặn sớm công mạng Hai hướng tiếp cận phổ biến để xây dựng hệ thống IDS là: xây dựng Hệ chuyên gia (rule-based) hướng ứng dụng Học máy (SVM, mạng nơ-ron ) Mỗi phương pháp mang lại hiệu định, bên cạnh chúng cịn tồn hạn chế riêng: - Hệ chuyên gia (rule-based): Phương pháp sử dụng luật công biết trước, dựa vào luật định nghĩa hệ thống mà có cơng hệ thống so sánh đặc trưng, dấu hiệu gói tin với tập luật có Hệ thống phát dựa hệ chuyên gia kể đến Snort Ưu điểm định nghĩa luật cho cơng khả phát nhầm thấp, hệ thống thêm luật linh động, chế hoạt động không q phức tạp Nhược điểm khơng có luật cho kiểu cơng hệ thống khơng phát Số lượng luật nhiều hệ thống hoạt động chậm IDS dạng phụ thuộc nhiều vào khả cập nhật luật trình độ am hiểu bảo mật người quản trị - Ứng dụng học máy: Phương pháp đời với mục đích khắc phục việc phải cập nhật luật tạo xung đột tập luật có, vốn phù hợp với mơ hình qui mơ vừa nhỏ Thay vào hệ thống IDS học mơ hình phát bất thường dựa số lượng định mẫu liệu thu thập Hiệu phương pháp thường cho hệ thống có khả tốt đồng thời lại linh động thay đổi huấn luyện 3 Với cách tiếp cận này, người ta dễ dàng việc xây dựng hệ thống IDS phức tạp, việc phát xâm nhập không đơn phát nhằm cảnh báo có cơng hay khơng cơng mà cịn đưa loại hình, tính chi tiết công tương ứng Mạng nơ-ron phương pháp học máy chọn luận văn để ứng dụng cho toán phát xâm nhập theo phương pháp học máy Trên thực tế, hướng tiếp cận ứng dụng học máy không đảm bảo cho kết tốt tình Ví dụ, hình thức cơng DoS, DDoS, Probe (thăm dị), U2R (leo thang đặc quyền) thường có tần suất chênh lệch nhiều Các công DoS phổ biến công leo thang đặc quyền lại để lấy mẫu cho huấn luyện Điều dẫn đến tình trạng liệu thu thập áp dụng cho học máy có tỉ lệ chênh lệch lớn kiểu công, dẫn đến việc dự báo bị thiên vị cho trường hợp liệu nhiều hiệu với trường hợp liệu ít, đơi làm giảm chất lượng dự báo chung hệ thống Mục đích nghiên cứu Mục đích đề tài tìm hiểu mạng nơ-ron để áp dụng cho tốn phát xâm nhập Bên cạnh đề tài cịn quan tâm đến việc cải tiến chất lượng hệ thống IDS, nhằm mục đích phát xác không thiên vị kiểu cảnh báo công điều kiện liệu huấn luyện chênh lệch Trong q trình thực luận văn thực số giải pháp cải tiến sau: - Cải tiến liệu huấn luyện cách loại bỏ ghi trùng lặp, việc loại bỏ giúp phần giảm bớt thiên vị cảnh báo Luận văn muốn giảm bớt số thuộc tính dư thừa ghi cách kế thừa nghiên cứu Mukkamala Sung, việc loại bỏ thuộc tính dư thừa giúp q trình huấn luyện trở nên nhanh hơn, xác - Kết hợp hệ thống chuyên gia (rule-based) với mạng nơ-ron Hệ thống rule-based dùng để phát kiểu cơng phổ biến, luật thêm vào hệ thống khơng nhiều, độ xác thời gian phát nhanh Hệ thống IDS sử dụng mạng nơ-ron dùng để phát kiểu cơng có tần suất lớn, nhằm hạn chế việc phải thêm nhiều luật tay Đối tƣợng phạm vi nghiên cứu Nghiên cứu kỹ thuật học máy mạng nơ-ron, sau ứng dụng để làm cơng cụ phân loại kết nối mạng liệu NSL-KDD99 Trong chương trình đánh giá phát cơng mạng Cơ quan Quản lý Nghiên cứu Dự Án Bộ quốc phịng Mỹ (DARPA), mơi trường thiết lập để thu liệu thô TCP/IP dump cho mạng mô giống mạng LAN Không lực Hoa Kỳ Với kết nối TCP/IP, 41 đặc trưng số phi số trích xuất Dữ liệu sử dụng thi KDD cup 1999 phiên liệu Các công thuộc bốn loại chính: DoS, R2L, U2R, Probing Nghiên cứu hệ thống IDS sử dụng mơ hình hệ chun gia (rule-based) Snort để nắm ưu nhược điểm để tiến hệ thống IDS sử dụng học máy Phƣơng pháp nghiên cứu Nghiên cứu cài đặt kỹ thuật học máy mạng nơ-ron Thu thập tiền xử lý liệu mẫu có cơng mạng Áp dụng giải pháp cải tiến liệu xử lý, đánh giá kết sau thực với kết nghiên cứu cơng bố trước Đó lý tơi chọn đề tài: “ Nghiên cứu phương pháp phát xâm nhập mạng dựa mạng nơ ron” 5 II NỘI DUNG Chƣơng 1: Cơ sở lý thuyết Chương đưa khái niệm cơng mạng tốn phát xâm nhập Giới thiệu hệ thống phát xâm nhập (IDS), thành phần hệ thống IDS phân loại hệ thống IDS 1.1 Tổng quan tình hình cơng mạng 1.1.1 Khái niệm Trong thực tế có nhiều cách diễn giải khác cơng mạng, theo Sandeep Gutta cơng mạng (cyber attack hay intrusion) hiểu loạt hoạt động máy tính nguy hiểm đe dọa làm tổn hại tới bảo mật tính tồn vẹn máy tính hay hệ thống mạng Tấn cơng mạng phá vỡ hoạt động bình thường hệ thống máy tính truy nhập trái phép phá hủy thông tin hệ thống máy tính 1.1.2 Các kiểu cơng mạng Trong lịch sử tồn mạng máy tính xảy nhiều công mạng với qui mô lớn, nhỏ khác để lại nhiều thiệt hại nghiêm trọng Có nhiều cách thức cơng phân thành bốn loại hình cơng mạng 1.2 Bài tốn phát xâm nhập mạng Khi máy tính hay hệ thống máy tính hoạt động mơi trường mạng, có nhiều kết nối máy tính, thiết bị khác Có thể kết nối có kết nối tìm cách cơng hệ thống để đạt mục đích Bản thân máy tính có biện pháp để tự bảo vệ có điểm yếu thực không đủ sức chống lại công với mức độ ngày tinh vi 1.2.1 Phát xâm nhập mạng Phát xâm nhập mạng trình theo dõi kiện xảy hệ thống máy tính mạng máy tính phân tích chúng để tìm dấu hiệu cố xảy 1.2.2 Phân loại phƣơng pháp phát xâm nhập mạng Các IDS giám sát kiện cấp độ khác nhau: mạng (network), máy trạm (host), ứng dụng (application) Chúng phân tích kiện việc sử dụng phương pháp: dựa dấu hiệu(signaturebased), dựa dị thường (anomaly-based) phân tích trạng thái giao thức (statefull protocol analysic)[2] Bên cạnh việc theo dõi phân tích kiện để nhận dạng hoạt động không mong muốn 1.3 Hệ thống phát xâm nhập IDS Hệ thống phát xâm nhập (Intrusion Detection System – IDS) hệ thống phần cứng phần mềm có chức giám sát lưu thông mạng, tự động theo dõi kiện xảy hệ thống máy tính, phân tích để phát vấn đề liên quan đến an ninh, bảo mật đưa cảnh báo cho nhà quản trị 1.3.1 Thành phần hệ thống IDS - Trung tâm điều khiển (The Command Console) - Bộ cảm biến (Network Sensor) - Bộ phân tích gói tin(Network Trap) - Thành phần cảnh báo (Alert Notification) 1.3.2 Phân loại hệ thống IDS Hệ thống phát xâm nhập chia làm nhiều loại khác nhau, dựa theo loại vị trí đặt Sensor phương pháp sử dụng cho Engine để sinh cảnh báo Hầu hết IDS đơn giản kết hợp ba thành phần Sensor, Console, Engine vào thiết bị phần cứng ứng dụng Kết luận chương Chương trình bày khái niệm, kiến thức liên quan đến bảo mật hệ thống phát xâm nhập Đây kiến thức cần thiết để vào tìm hiểu sâu hơncác cơng việc phát triển hệ thống IDS Các kiến thức trình bày như: kiểu công mạng, phương pháp phát xâm nhập mạng, phân loại hệ thống xâm nhập mạng Tiếp theo chương giới thiệu thành phần hệ thống IDS, phân loại hệ thống IDS phát triển sử dụng Trong chương tác giả trình bày nội dung liên quan đến nguồn liệu dành cho phát xâm nhập phân tích ưu, nhược điểm phương pháp xây dựng hệ thống IDS 8 Chƣơng 2: Tìm hiểu nghiên cứu phƣơng pháp phát công hệ thống IDS Để nghiên cứu phát triển hệ thống IDS cần nắm khái niệm liên quan như: dấu hiệu bất thường, nguồn liệu dùng cho phát bất thường, phương pháp phát bất thường Từ chọn lọc phương pháp phù hợp cho xây dựng mô hình IDS 2.1 Thế bất thƣờng mạng Sự bất thường mạng thường dùng để tình hoạt động mạng chệch so với trạng thái quy định bình thường Bất thường mạng phát sinh từ nhiều nguyên nhân thiết bị mạng bị hỏng hóc, hệ thống mạng tải, hệ thống gặp phải công từ chối dịch vụ, xâm nhập phá vỡ khả vận chuyển dịch vụ mạng 2.2 Các nguồn liệu dùng cho phát bất thƣờng Thu thập loại liệu liên quan đến hiệu mạng công việc cho việc phát bất thuờng Các loại bất thường phát phụ thuộc vào chất liệu mạng 2.2.1 Network Probes Network Probes công cụ đặc biệt lệnh ping, traceroute sử dụng để thu thập thông số mạng cần thiết thời gian trễ tỉ lệ gói tin 2.2.2 Lọc gói tin cho việc phân tích luồng Trong phương thức lọc gói tin, luồng gói tin thống kê, lấy mẫu cách ghi lại thơng tin IP header gói tin thời điểm khác vị trí khác 9 2.2.3 Dữ liệu từ giao thức định tuyến Thông tin kiện mạng thu thập thơng qua giao thức định tuyến 2.2.4 Dữ liệu từ giao thức quản trị mạng Các giao thức quản trị mạng cung cấp tất thông tin thống kê giao thông mạng Những giao thức hỗ trợ nhiều thơng số giám sát xác hoạt động thiết bị mạng 2.3 Các phƣơng pháp phát bất thƣờng Các phương pháp bao gồm hệ chuyên gia (rule-based), mạng nơron,mơ hình máy trạng thái hữu hạn, so sánh mẫu, phân tích thống kê Chúng ta nghiên cứu chế hoạt động điểm mạnh, điểm yếu phương pháp 2.3.1 Phƣơng pháp hệ chuyên gia (rule-based) Phương pháp đời từ sớm ứng dụng vào lĩnh vực dò lỗi hay phát bất thường mạng Trong hệ chuyên gia, sở liệu chứa tập luật (rules) miêu tả hành vi bất thường dùng để so sánh với luồng liệu đến hệ thống mạng 2.3.2 Phƣơng pháp mạng nơ-ron (Artificial Neural Network) Phương pháp đời với mục đích khắc phục việc phải cập nhật luật tạo xung đột tập luật có, vốn phù hợp với mơ hình quy mơ vừa nhỏ 2.3.3 Phân tích thống kê Hệ thống hoạt động nguyên tắc thu thập liệu thông số mạng áp dụng số kỹ thuật thống kê liệu thu thập để tạo tập hồ sơ cho thông số thời điểm hoạt động bình thường 10 2.3.4 Mạng Bayes (Bayesian network based) Mạng Bayes mơ hình đồ thị thể mối quan hệ nguyên nhân - kết quả, dựa chủ yếu lý thuyết xác suất có điều kiện kết hợp với lý thuyết đồ thị để giải hai vấn đề quan trọng tính khơng chắn tính phức tạp, ứng dụng rộng rãi Kết luận chƣơng Chương nghiên cứu cách tổng quan hệ thống phát xâm nhập dựa phát bất thường, có khác biệt với hệ thống IDS dựa dấu hiệu.IDS dựa phát bất thường xây dựng hệ thống thông tin mơ tả trạng thái bình thường, từ làm sở để xác định bất thường mà có nhiều khả dẫn đến công Chương giới thiệu khái niệm kỹ thuật phát bất thường với ưu nhược điểm cụ thể Có nhiều phương pháp phát bất thường như: mạng nơ-ron, hệ chuyên gia (rulebased), phân tích thống kê, mạng Bayes Chƣơng 3: Phƣơng pháp phát xâm nhập dựa mạng Nơ-ron Có nhiều phương pháp học máy sử dụng cần cải tiến cho toán phát xâm nhập Hiệu phương pháp thường đánh giá qua độ xác cảnh báo xâm nhập Chương tập trung trình bày phương pháp học máy mạng nơ-ron đề xuất phương pháp cải tiến kết phát xâm nhập Phần cuối chương demo thực nghiệm phân tích 3.1 Mơ hình mạng nơ-ron tốn phát xâm nhập Nhiệm vụ tốn thiết kế mạng nơ-ron để huấn luyện tập mẫu thu thập từ thực tế Mỗi mẫu liệu huấn luyện thơng tin đặc điểm có qua phân tích, thống kê từ luồng liệu vào hệ thống thực, công khơng, phân 11 tích sâu cơng thuộc loại cơng 3.1.1 Mạng nhiều lớp truyền thẳng – MLP Mơ hình mạng nơ-ron sử dụng rộng rãi mô hình mạng nhiều lớp (tầng) truyền thẳng (MLP: Multi Layer Perceptron) Một mạng MLP tổng quát mạng có n (n≥2) tầng (thơng thường tầng đầu vào khơng tính đến): gồm tầng đầu (tầng thứ n) (n-1) tầng ẩn 3.1.2 Thuật toán học theo phƣơng pháp lan truyền ngƣợc sai số mạng nơ-ron MLP Thuật toán áp dụng cho mạng truyền thẳng nhiều lớp nơ-ron sử dụng hàm chuyển hàm liên tục có dạng khác để điều chỉnh trọng số 3.1.3 Một số vấn đề cần ý sử dụng mạng MLP Mạng nơ-ron perceptron nhiều lớp loại mạng nơ-ron sử dụng nhiều ứng dụng thực tế Tuy nhiên, để mạng đưa kết tốt, cần quan tâm đến số vấn đề có ảnh hưởng quan trọng đến hiệu làm việc bao gồm:vấn đề chuẩn hố số liệu đầu vào, vấn đề học chưa đủ học mạng, vấn đề lựa chọn cấu trúc mạng phù hợp với toán 3.2 Bộ liệu NSL-KDD99 Bộ liệu NSL- KDD99 có nguồn gốc từ MIT’sLincoln Lab Nó phát triển cho chương trình đánh giá phát công mạng Cơ quan Quản lý Nghiên cứu Dự án phòng thủ tiên tiến Bộ quốc phòng Mỹ (DARPA) năm 1998 coi liệu tiêu chuẩn cho việc đánh giá phát công mạng [5] Với kết nối TCP/IP, có 41 đặc trưng số phi số trích xuất Dữ liệu sử dụng thi KDD cup 1999 12 phiên liệu 3.3 Tiền xử lý liệu Tập liệu đầy đủ NSL- KDD99 tập gốc KDD cup 99 tinh chỉnh cách: Loại bỏ ghi trùng lặp Số lượng ghi đủ lớn với tập huấn luyện kiểm tra 3.4 Mơ hình đề xuất Tập huấn lun đầy đủ định dạng ARFF Tập hợp đầy đủ NSL-KDD bao gồm nhãn loại cơng mức độ khó khăn định dạng CSV Tập đầy đủ kiểm tra nhãn nhị phân định dạng ARFF Tập NSL-KDD kiểm tra bao gồm nhãn cơng mức độ khó định dạng CSV 3.4.1 Giới thiệu công cụ Weka + Weka công cụ phần mềm viết Java phục vụ lĩnh vực học máy khai phá liệu 3.4.2 Chuẩn liệu đầu vào Để tiến hành thực nghiệm Weka điều bắt buộc phải đưa liệu định dạng Weka quy định sẵn csv, arff Trong luân văn này, sử dụng tập tin có định dạng ARFF (AtrributeRegation File Format) 3.4.3 Thực nghiệm Máy tính sử dụng cho q trình chạy mơ hình đánh giá có xử lý Intel core i5, tần số 2.4 GHz, 6.0 GB ram Bộ công cụ weka phiên 3.9.1 Dữ liệu đầu vào cho thực nghiệm tập KDDtrain+.arff chứa 125973 ghi, số thuộc tính 42 (cả nhãn) Các thuật toán áp dụng định, svm, mạng neural nhân tạo 13 3.5 Đánh giá kết Đồ án thử nghiệm cấu trúc mạng nơ ron với số lớp ẩn số nút lớp khác nhau, 1-3 lớp Số nút lớp từ vài chục đến vài trăm (Khi chọn tham số t cỡ vài trăm nút) Kết cho thấy: Lớp nhiều, nút nhiều tăng độ xác thuật toán, thời gian huấn luyện nhanh dần 3.6 Kết luận chƣơng Chương tập trung vào nghiên cứu phương pháp tiền xử lý liệu với NSL- KDD 99 Mục đích để giảm thuộc tính dư thừa, ghi trùng lặp, chuẩn hóa miền liệu đầu vào để kết huấn luyện phát xâm nhập tốt Chương trình bày kết huấn luyện mạng nơron bước đầu, chưa thực tốt thiên vị cảnh báo trạng thái Nguyên nhân tỉ lệ liệu huấn luyện trạng thái chênh lệch lớn 14 KẾT LUẬN Kết đạt đƣợc Luận văn tiến hành nghiên cứu tổng quan toán xâm nhập phát xâm nhập thực nghiệm với tập liệu NSL-KDD sử dụng thuật toán định, máy vector hỗ trợ, mạng neural nhân tạo để đánh giá Những kết mà luận văn đạt được: Nghiên cứu tìm hiểu tốn xâm nhập phát xâm nhập, trình bày số phương pháp xâm nhập phát xâm nhập có trước Luận văn trình bày mối đe dọa công mạng, biện pháp phát cơng mạng để từ có giải pháp ngăn chặn Để hiểu nghiên cứu hệ thống IDS, luận văn đưa thành phần hệ thống phân loại hệ thống IDS Tìm hiểu tập liệu NSL-KDD Xây dựng mơ hình huấn luyện kiểm thử với liệu lấy mơ tả với thuật tốn khác nhau; tìm hiểu, thay đổi tham số mơ hình thuật toán để kết đánh giá tốt Hƣớng nghiên cứu tƣơng lai Với kết đạt luận văn nghiên cứu phát triển theo hướng sau: Tiếp tục thử nghiệm với kiến trúc mạng nơ-ron khác Deep learning, mạng SOM Xây dựng thêm module bắt gói tin tiền xử lý tự động để đưa chương trình thực nghiệm vào hoạt động theo thời gian thực việc phát bất thường mạng Kết hợp hướng nghiên cứu khác để cải tiến chất lượng phát xâm nhập tốt  ... mà luận văn đạt được: Nghiên cứu tìm hiểu tốn xâm nhập phát xâm nhập, trình bày số phương pháp xâm nhập phát xâm nhập có trước Luận văn trình bày mối đe dọa công mạng, biện pháp phát cơng mạng. .. khoa học thực tiễn nêu trên, học viên chọn đề tài: ? ?Nghiên cứu phương pháp phát xâm nhập mạng dựa mạng nơ ron ” 2 Tổng quan vấn đề nghiên cứu Một số hệ thống phát xâm nhập đời (IDS – Intrusion... pháp phát xâm nhập mạng dựa mạng nơ ron? ?? 5 II NỘI DUNG Chƣơng 1: Cơ sở lý thuyết Chương đưa khái niệm cơng mạng tốn phát xâm nhập Giới thiệu hệ thống phát xâm nhập (IDS), thành phần hệ thống