Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (tt)

Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)Nghiên cứu cải thiện khả năng phát hiện tấn công mạng bằng kỹ thuật DEEP LEARNING (Luận văn thạc sĩ)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TÔ TRỌNG TÍN NGHIÊN CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING Chuyên ngành: Mã số: HỆ THỐNG THƠNG TIN 8480104 TĨM TẮT LUẬN VĂN THẠC SĨ Tp HỒ CHÍ MINH - NĂM 2018 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Trần Văn Lăng Phản biện 1: Phản biện 2: Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thông Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Hệ thống phát công mạng (Intrusion Detection System) công cụ mạnh mẽ hiệu công việc phát phòng chống cơng trước hành vi truy cập mạng người sử dụng Năm 1997 khái niệm hệ thống IDS phổ biến toàn giới, hệ thống IDS lúc phân tích dự báo công mạng chủ yếu qua cở liệu cách so sánh bảng ghi có sẵn CSDL lưu lượng mạng, để việc phát công đạt hiệu cao CSDL cần phải thường xuyên cập nhật (được thực phương pháp thủ công tự động khoảng thời gian định) điều tạo nên khó khăn điều kiện bùng nổ lưu lượng mạng Thêm vào phương pháp công virus ngày tinh vi khiến việc tạo nên “bảng dẫn” cho hệ thống IDS gặp nhiều khó khăn việc cập nhật, từ năm 2003, chun gia an tồn máy tính học giả nghiên cứu ứng dụng kỹ thuật học máy vào cơng đoạn phân tích luồng liệu lưu thông thay cho việc so sánh thụ động phiên cũ, việc đem lại tốc độ, xác quan trọng khả dự đốn cơng hệ thống IDS Năm 2006 Geoffrey Hinton đưa thuật ngữ "deep learning" để giải thích thuật tốn cố gắng để mơ hình liệu trừu tượng hóa mức cao cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp cách khác bao gồm nhiều biến đổi phi tuyến Deep learning hay “học sâu” họ phương pháp máy học chúng phân tích sâu vào cấu trúc xử lý liệu kỹ thuật máy học có tạo kiến trúc hoàn toàn kỹ thuật deep learning phổ biến xây dựng mơ hình neural network Ưu điểm kỹ thuật deep learning chúng xử lý thơng tin dạng liệu thơ, cấu trúc gồm nhiều lớp xử lý nên lớp đóng vai trò feature, liệu khơng cần thiết dần bị lọc bớt truyền qua ngồi thân lớp xử lý sử dụng thuật tốn thống kê với quy mơ lớn chạy xun suốt q trình xử lý nên chúng tự động điều chỉnh kết đầu để cải thiện khả dự đoán Với ưu điểm tiện lợi mạng neural sâu, chọn đề tài “NGHIÊN CỨU CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING“ để nghiên cứu thử nghiệm hướng tiếp cận máy học vào công việc phát công mạng 3 CHƯƠNG - TỔNG QUAN HỆ THỐNG PHÁT HIỆN XÂM NHẬP 1.1 Tổng quan công mạng 1.1.1 Khái niệm công mạng Tấn công mạng tác động trình tự liên kết tác động với để phá hủy, dẫn đến việc thực hóa nguy cách lợi dụng đặc tính dễ bị tổn thương hệ thống thơng tin Tấn công phổ biến hacker hướng tới website, sở liệu nhằm lợi dụng loại lỗ hổng bảo mật để cài phần mềm gián điệp, điều khiển từ xa, xâm nhập, nhằm phá hoại, lấy cắp thơng tin với mục đích trị kinh tế, làm ảnh hưởng tới tổ chức doanh nghiệp 1.1.2 Các kiểu công mạng 1.2 Tổng quan hệ thống phát xâm nhập IDS IDS hệ thống phát dấu hiệu cơng xâm nhập, đồng thời khởi tạo hành động thiết bị khác để ngăn chặn công Khác với tường lửa, IDS không thực thao tác ngăn chặn truy xuất mà theo dõi hoạt động mạng để tìm dấu hiệu công cảnh báo cho người quản trị mạng Bên cạnh IDS đánh giá xâm nhập đáng ngờ đã, diễn đồng thời phát cảnh báo, theo dõi công cách rà sốt tìm kiếm dấu hiệu cơng từ nội dung gói tin lưu thơng bên hệ thống Chức ban đầu IDS phát dấu xâm nhập, IDS tạo cảnh báo công cơng diễn chí sau cơng hồn tất Càng sau, nhiều kỹ thuật tích hợp vào IDS, giúp có khả dự đốn cơng (prediction) chí phản ứng lại cơng diễn (Active response) 1.2.1 Các thành phần IDS Hình 1.1: Các thành phần Ids Trung tâm điều khiển (The Command Console) Trung tâm điều khiển nơi mà IDS giám sát quản lí Nó trì kiểm sốt thơng qua thành phần IDS, Trung tâm điều khiển truy cập từ nơi Bộ cảm biến (Network Sensor) Bộ cảm biến chương trình chạy thiết bị mạng máy chuyên dụng đường mạng thiết yếu Bộ cảm biến có vai trò quan trọng có hàng nghìn mục tiêu cần giám sát mạng Khi hệ thống mạng dùng hub, ta đặt cảm biến port hub luồng traffic gửi tất port hub, phát luồng traffic bất thường Nhưng hệ thống cần sử dụng switch, switch gửi gói tin đến xác địa cần gửi port Để giải vấn đề này, kỹ thuật thông dụng sử dụng switch có port mở rộng (expansion port) – nhiều thiết bị mạng ngày có này, ta kết nối IDS vào port Port gọi Switched Port Analyzer (SPAN) port SPAN port cần cấu hình chuyên gia bảo mật để nhân luồng liệu switch Thành phần cảnh báo Thành phần cảnh báo có chức gửi cảnh báo tới người quản trị Trong hệ thống IDS đại, lời cảnh báo nhiều dạng như: cửa sổ pop-up, tiếng chuông, email, SNMP 1.2.2 Chức IDS 1.2.3 Quy trình hoạt động IDS Hình 1.2: Quy trình hoạt động IDS 1.2.4 Phân loại IDS Hệ thống IDS chia làm loại bản: - Network-based IDS (NIDS): Hệ thống IDS dựa mạng kiểm tra giao tiếp mạng với thời gian thực (real-time) Nó kiểm tra giao tiếp, quét header gói tin kiểm tra nội dung gói để phát đoạn mã nguy hiểm - Host-based IDS (HIDS): Bằng cách cài đặt phần mềm máy chủ, IDS dựa máy chủ quan sát tất hoạt động hệ thống file log, lưu lượng mạng thu thập Hệ thống dựa máy chủ theo dõi OS, gọi hệ thống, lịch sử thông điệp báo lỗi hệ thống máy chủ 1.3 Tiểu kết chương Chương nêu lên nội dung công mạng IDS, phân loại công đặc điểm nhận biết công mạng, vai trò, đặc điểm khả phát phòng chống xâm nhập, giám sát lưu lượng, giám sát trạng thái hoạt động thiết bị dịch vụ hệ thống mạng CHƯƠNG - MÔ HÌNH MẠNG NEURAL VÀ PHƯƠNG PHÁP HỌC SÂU 2.1 Tổng quan mạng Neural Mạng neural nhân tạo (Artificial Neural Network) bao gồm neural ( gọi đơn vị xử lý hay node) nối với liên kết neural Mỗi liên kết kèm theo trọng số đặc trưng cho tính kích hoạt/ ức chế neural Nhiệm vụ chung trình huấn luyện mạng cập nhật trọng số có thêm thơng tin mẫu học Thơng thường neural có nhiều đầu vào Một neural có R đầu vào p1,p2 ,pR có trọng số tương ứng w1,w2, ,wR tạo thành ma trận W gọi ma trận trọng số Các neural sinh output khơng ANN Mối quan hệ hàm kích hoạt bên kết (output) thể hàm chuyển đổi (Transfer Function) hay gọi hàm kích hoạt (Activation Function) Khi activation function f(.) áp dụng cho ma trận (hoặc vector), ta hiểu áp dụng cho thành phần ma trận Sau thành phần xếp lại theo thứ tự để ma trận có kích thước với ma trận input Việc lựa chọn Activation Function có tác động lớn đến kết ANN kết xử lý Neural (Output) đơi lớn, activation function sử dụng để xử lý output trước chuyển đến layer 2.1.1 Phân loại mạng Neural 2.1.2 Thuật tốn học mạng Neural Tiến trình học tiến trình quan trọng người, nhờ học mà não ngày tích luỹ kinh nghiệm để thích nghi với mơi trường xử lý tình tốt Mạng neural xây dựng lại từ cấu trúc não cần phải có khả nhận biết liệu thơng qua tiến trình học, với thơng số tự mạng thay đổi liên tục thay đổi môi trường mạng neural ghi nhớ giá trị Trong trình học, giá trị đầu vào đưa vào mạng theo dòng chảy mạng tạo thành giá trị đầu Tiếp đến trình so sánh giá trị tạo mạng neural với giá trị mong muốn Nếu hai giá trị giống khơng thay đổi Tuy nhiên, có sai lệch hai giá trị vượt giá trị sai số mong muốn mạng neural tiến hành chỉnh sửa trọng số cho đầu đạt giá trị mong muốn theo phương pháp đó, phương pháp chỉnh sửa gọi thuật tốn học Đây q trình lặp liên tục khơng dừng khơng tìm giá trị W cho đầu tạo mạng neural đầu mong muốn Do thực tế người ta phải thiết lập tiêu chuẩn dựa giá trị sai số hai giá trị hay dựa số lần lặp xác định Dựa theo cách học mà phân làm loại học có giám sát (supervised) học khơng có giám sát (unsupervised) - Học có giám sát : Trong học giám sát, quy tắc học cung cấp tập mẫu chuẩn (tập huấn luyện) {p1,t1}, {p2,t2}, , {pq,tq} Trong pq đầu vào mạng tq đầu tương ứng Khi đầu vào áp dụng vào mạng, đầu mạng so sánh với đích Quy tắc học sau áp dụng để điều chỉnh trọng số độ lệch mạng cốt làm cho đầu mạng gần đích đầu vào - Học khơng có giám sát : Trong phương pháp học này, mạng neural không hướng dẫn trước cách nhận biết đối tượng, mạng phải tự phân tích đặc trưng, tính chất đối tượng để phân loại chúng Điều đặc biệt có ích tốn lượng tử hóa vectơ 2.1.3 Thuật tốn lan truyền ngược ( Back propagation) Thuật toán học Back Propagation thuật toán học tập tiêu chuẩn cho mạng neural đa lớp Phương pháp tính tốn gradient hàm tổn thất với tất trọng số có liên quan mạng neural Gradient đưa vào phương pháp tối ưu hóa, sử dụng để cập nhật trọng số, để cực tiểu hóa hàm tổn thất Thuật toán lan truyền ngược yêu cầu đầu mong muốn, biết cho giá trị đầu vào để tính tốn gradient hàm tổn thất Do đó, thường xem phương pháp học có giám sát, tổng quát hóa quy tắc delta cho mạng dẫn tiến đa tầng, thực cách sử dụng quy tắc dây chuyền để tính tốn lặp lặp lại gradient cho lớp Truyền ngược yêu cầu hàm kích hoạt sử dụng neural nhân tạo (hay "node") khả vi - Tập mẫu học: Mạng cung cấp tập mẫu chuẩn Q = {p(q), t(q)} 10 + Mẫu đầu vào p(q) = [p1, p2, pR]T, q = 1,2, , Q ( R số đầu vào, Q số mẫu học) + Mẫu đầu t(q) = [t1,t2, tS]T ( S số đầu ) Đầu thực tế mạng a(q) = [a1,a2, ,aS]T: a(q)i = f(wiTp(q)) = f(wijp(q)j), j =1, ,R Việc huấn luyện mạng nhằm mục đích có a(q)i = t(q) Thuật toán áp dụng cho mạng neural truyền thẳng Với cặp mẫu {p(q),t(q)} thuật toán thực hai trình Đầu tiên mẫu vào p(q) đưa vào mạng, lan truyền từ lớp vào lớp ra, tạo đầu thực a(q) Sau tính tốn sai số E t(q) a(q) truyền ngược từ lớp trở lại lớp trước nhằm mục đích cho lớp tự cập nhật trọng số theo thơng tin phản hồi Xét mạng truyền thẳng với M lớp, m =1,2, ,M Đặt netmi ami đầu vào đầu neural thứ i lớp m Mạng có R đầu vào S đầu Ký hiệu wijm trọng số liên kết neural thứ j lớp m-1 với neural thứ i lớp m Input: Tập mẫu học {p(q) , t(q)} ta thêm vào vectơ p(q) phần tử biểu diễn độ lệch pR+1 = -1 Bước 0: Khởi tạo Chọn  > Emax Khởi tạo trọng số giá trị ngẫu nhiên nhỏ Đặt E = 0, q = Bước 1: Bước lặp Đưa mẫu vào thứ q cho lớp vào (m = 1) ami = p(q)i với i Bước 2: Lan truyền thuận Lan truyền tín hiệu qua mạng thông qua công thức: aim = f( netim) = f(wm-1ịj aj) 11 với i, m, nhận tất đầu ami Bước 3: Tính sai số Tính giá trị sai số tín hiệu sai số mi cho lớp E= S  (ti(q) - aiM)2 + E i 1 δiM = ( ti(q) - aiM ) f ( netiM ) Bước 4: Lan truyền ngược sai số Lan truyền ngược sai số để cập nhật trọng số tính tốn tín hiệu sai số mi cho lớp trước ∆mWij = ηm δi m -1 Wmij(new) = f ( neti m-1 ) = f ( ∑jm Wij δim ) m= M, M-1, ,2 Bước 5: Kiểm tra xem tất mẫu học học hay chưa Nếu q < Q q = q+1, chuyển đến bước Ngược lại chuyển đến bước Bước 6: Kiểm tra xem tổng sai số E có chấp nhận hay khơng Nếu E < Emax học xong, kết thúc trình huấn luyện Ngược lại, đặt E = 0, q = 1, bắt đầu vòng huấn luyện chuyển bước + Đánh giá : Mạng neural nhiều lớp truyền thẳng cách biểu diễn đối tượng dựa giá trị thuộc tính chúng tương đối hiệu quả, chưa vét cạn hết khía cạnh khác đối tượng Cách tiếp cận mạng loại tỏ hiệu quan sát có miền giá trị liên tục Do vậy, xem tốt so với cách tiếp cận truyền thống dựa logic mệnh đề định 12 2.3 Học sâu ( Deep Learning ) 2.3.1 Khái niệm Học sâu lớp thuật toán máy học mà (1) nhiều lớp đơn vị xử lý phi tuyến (2) học có giám sát khơng có giám sát để biểu diễn đặc tính lớp, với lớp hình thành hệ thống tính phân cấp từ thấp đến cao cấp Các thành phần lớp đơn vị xử lý phi tuyến sử dụng thuật toán học sâu tùy theo vấn đề cần giải Các lớp sử dụng học sâu bao gồm lớp ẩn mạng neural nhân tạo tập công thức mệnh đề phức tạp Đối với nhiệm vụ học có giám sát, phương pháp học sâu tránh rút trích đặc điểm (feature engineering) cách dịch liệu đầu vào thành đại diện trung gian nhỏ gọn giống thành phần ta lấy cấu trúc lớp mà loại bỏ thừa thải feature 2.3.2 Kiến trúc mạng neural hồi quy (RNN) Mạng neural sâu (DNN) mạng neural nhân tạo với nhiều đơn vị lớp ẩn lớp đầu vào đầu ra, mạng neural sâu mơ hình mối quan hệ phi tuyến phức tạp Ví dụ phát phân tích đối tượng để tạo mơ hình hỗn hợp đối tượng thể thành phần xếp lớp liệu nguyên thủy, lớp phụ cho phép lấy thành phần đặc điểm từ lớp thấp hơn, đem lại tiềm mơ hình hóa liệu phức tạp với đơn vị so với mạng lưới nông 13 Các DNN thường thiết kế kiến trúc mạng truyền thẳng, nghiên cứu gần áp dụng thành công kiến trúc học sâu mạng neural hồi quy (Recurrent neural network) cho ứng dụng chẳng hạn phân loại chuỗi liệu theo thời gian Ý tưởng mạng neural hồi quy (RNN) sử dụng chuỗi thông tin, khác với mạng neural truyền thống tất đầu vào đầu độc lập với Tức chúng không liên kết thành chuỗi với nhau, RNN gọi hồi quy (Recurrent) lẽ chúng thực tác vụ cho tất phần tử chuỗi với đầu phụ thuộc vào đầu phép tính trước Nói cách khác, RNN có khả nhớ thơng tin tính tốn trước Trên lý thuyết, RNN sử dụng thơng tin văn dài, nhiên thực tế nhớ vài bước trước mà thơi Việc tính tốn bên RNN thực sau: - xt đầu vào bước t Ví dụ, vec-tơ one-hot tương ứng với từ thứ câu - st trạng thái ẩn bước t, nhớ mạng st tính tốn dựa trạng thái ẩn phía trước đầu vào bước đó: St = f(Uxt + Wst-1) Hàm f thường hàm phi tuyến tính tang-hyperbolic (tanh) hay ReLu Để làm phép toán cho phần tử ẩn ta cần khởi tạo thêm st−1, thường giá trị khởi tạo gán 14 - ot đầu bước t Ví dụ, ta muốn dự đốn giá trị xuất chuỗi ot vec-tơ xác xuất giá trị danh sách chuỗi giá trị : ot = softmax(Vst) Với công thức RNN ta phát biểu dạng sau : Chuỗi đầu vào cho x = (x1, x2…xt), chuỗi vec-tơ ẩn h = (h1, h2…ht) chuỗi vec-tơ đầu y = (y1, y2…yt) với t = đến t sau : ht = σ (Wxhxt + Whhht−1 + bh) (1) yt = Whyht + by (2) Huấn luyện mạng RNN tương tự mạng neural truyền thống, nhiên giải thuật lan truyền ngược (backpropagation) phải thay đổi chút Đạo hàm đầu phụ thuộc khơng vào tính tốn bước đó, mà phụ thuộc vào bước trước nữa, tham số mạng RNN sử dụng chung cho tất bước mạng Ví dụ, để tính đạo hàm t=4 ta phải lan truyền ngược bước phía trước cộng tổng đạo hàm chúng lại với Việc tính đạo hàm kiểu gọi lan truyền ngược liên hồi (Backpropagation Through Time), nhiên với bước phụ thuộc xa việc học khó khăn xuất vấn đề hao hụt/bùng nổ đạo hàm Có vài phương pháp đề xuất để giải vấn đề thay hàm kích hoạt sigmoid hàm ReLU, đạo hàm ReLU 1, nên có ta kiểm soát vấn đề mát đạo hàm Ngoài phương pháp phổ biến sử dụng kiến trúc nhớ dài ngắn hạn (Long Short-Term Memory) 15 2.3.2 Thuật toán lan truyền ngược liên hồi (BPTT) Mạng RNN có cơng thức sau : St = tanh(Uxt + Wst-1) Y^t = softmax(Vst) Ta định nghĩa hàm mát, hay hàm lỗi dạng crossentropy sau: Et(yt, h^y) = -ytlogy^t E(y, ^(y) = ∑ Et (yt , ĥy ) t = − ∑ yt log hy t Ở đây, yt đầu xác bước t, ŷt đầu mà ta dự đoán Ta coi chuỗi liệu đầy đủ mẫu huấn luyện Vì tổng số lỗi tổng tất lỗi bước Mục tiêu tính đạo hàm hàm lỗi với tham số U, V, W tương ứng sau học tham số cách sử dụng SGD Tương tự việc cộng tổng lỗi, ta cộng tổng đạo hàm bước cho mẫu huấn luyện ∂E ∂w =∑ ∂Et t ∂w Để tính đạo hàm, ta sử dụng quy tắc chuỗi vi phân Quy tắc áp dụng cho việc truyền ngược lỗi giải thuật lan truyền ngược ∂E3 ∂E3 ∂ŷ3 = = ∂v ∂y3 ∂v ∂E3 ∂ŷ3 ∂z3 = (ŷ3 − y3 ) ⊗ s3 ∂∑3 ∂z3 ∂v Trong đó, z3=Vs3 ⊗ phép nhân véc-tơ , ta thấy ∂E3 ∂v phụ thuộc vào giá trị bước thời: ŷ3, y3, s3 mà Nhìn vào cơng thức đó, ta thấy tính đạo hàm cho V đơn 16 giản phép nhân ma trận với W U phép tính ta lại không đơn giản ∂E3 ∂w ̂ ∂s ∂E ∂y = ∂ŷ3 ∂s ∂w3 3 Với s3 = tanh(Uxt+Ws2) phụ thuộc vào s2, s2 lại phụ thuộc vào W s1,… Vì với W, ta coi s2 số để tính tốn với V Ta tiếp tục áp dụng quy tắc chuỗi sau: ∂E3 ∂w ̂ ∂s ∂s ∂E ∂y = ∂ŷ3 ∂s ∂s3 ∂wk 3 k Như vậy, với W ta phải cộng tổng tất đầu bước trước để tính đạo hàm Nói cách khác, ta phải truyền ngược đạo hàm từ t = tới t = Cách làm giống hệt giải thuật truyền ngược chuẩn mạng neural truyền thống Điểm khác ta cộng tổng đạo hàm W bước thời gian, ta (3) định nghĩa véc-tơ delta lan truyền ngược lại δx = ∂E3 ∂s3 ∂s2 ∂s3 ∂s2 ∂z2 ∂E3 ∂z2 = với z2 = ux2 + ws1 2.3.3 Mơ hình mạng LSTM (Long – short term memory) Mạng nhớ dài - ngắn hạn ( LSTM ) dạng đặc biệt RNN, có khả học phụ thuộc xa Việc nhớ thông tin suốt thời gian dài đặc tính mặc định chúng, ta không cần phải huấn luyện để nhớ Tức nội ghi nhớ mà khơng cần can thiệp Mọi mạng hồi quy có dạng chuỗi mơ-đun lặp lặp lại mạng neural Với mạng RNN chuẩn, mơ-dun có cấu trúc đơn giản, thường tầng 17 Hình 2.12: Các mơ-đun lặp nút mạng RNN LSTM có kiến trúc dạng chuỗi vậy, mơđun có cấu trúc khác với mạng RNN chuẩn Thay có tầng mạng neural, chúng có tới tầng tương tác với cách đặc biệt Hình 2.13: Các mô-đun lặp nút mạng LSTM Ở sơ đồ trên, đường mang véc-tơ từ đầu nút tới đầu vào nút khác Các hình màu hồng biểu diễn phép tốn phép cộng véc-tơ chẳng hạn, ô màu vàng sử dụng để học tầng mạng neural Các đường hợp kí hiệu việc kết hợp, đường rẽ nhánh ám nội dung chép chuyển tới nơi khác Chìa khóa LSTM trạng thái tế bào (cell state) - đường chạy thơng ngang phía sơ đồ hình vẽ Trạng thái tế bào dạng giống băng truyền Nó chạy xuyên suốt tất mắt xích (các nút 18 mạng) tương tác tuyến tính đơi chút Vì mà thơng tin dễ dàng truyền thông suốt mà không sợ bị thay đổi LSTM có khả bỏ thêm vào thông tin cần thiết cho trạng thái tế bào, chúng điều chỉnh cẩn thận nhóm gọi cổng (gate) Các cổng nơi sàng lọc thông tin qua nó, chúng kết hợp tầng mạng sigmoid phép nhân Tầng sigmoid cho đầu số khoản [0, 1], mơ tả có thơng tin thơng qua Khi đầu có nghĩa khơng cho thơng tin qua cả, có nghĩa cho tất thơng tin qua Một LSTM gồm có cổng để trì điều hành trạng thái tế bào Một biến thể thú vị khác LSTM Gated Recurrent Unit, hay GRU giới thiệu Cho et al (2014) Nó kết hợp cổng loại trừ đầu vào thành cổng “cổng cập nhập” (update gate), hợp trạng thái tế bào trạng thái ẩn với tạo thay đổi khác Hình 2.21: Mơ hình mạng GRU 19 2.4 Tiểu kết chương Chương nêu lên cách phân loại đặc điểm mạng neural, cách thức liệu truyền thuật toán học trọng tâm thuật toán lan truyền ngược nêu lên khái niệm nội dung mạng neural với hướng tiếp cận học sâu, trọng tâm cách xử lý liệu mơ hình mạng neural hồi quy thuật toán lan truyền ngược liên hồi 20 CHƯƠNG - THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 Yêu cầu hệ thống phát xâm nhập Phát công mạng cách xác, nhanh chóng cung cấp thơng tin tốt cho người quản trị 3.2 Thiết lập thử nghiệm IDS sử dụng mơ hình mạng neural sâu 1) Tìm trọng số tối ưu để huấn luyện mạng neural, lựa chọn tiêu chuẩn đánh giá kết chung, hàm tối ưu hóa thích hợp với mạng neural chuẩn hóa liệu đầu vào 2) Huấn luyện ghi nhận hiệu suất từ mạng neural đa lớp, LSTM-RNN, so sánh đánh giá mơ hình 3.2.1 Thư viện hỗ trợ Các thử nghiệm sử dụng thư viện Keras, thư viện sklearn chạy tảng Tensorflow 3.2.2 Bộ liệu huấn luyện KDD99 Tập liệu KDD99 có tất 4,898,431 traffic mạng traffic có 42 chiều, Có 23 kiểu cơng phân làm danh mục Dos, R2L, U2R Probe Trong dùng 50% liệu để huấn luyện 50% liệu dùng để kiểm tra, sau trình huấn luyện 50% liệu, mạng neural dùng chức fit model để cố gắng gán nhãn 50% liệu lại 3.2.3 Phương pháp đánh giá Sử dụng phương pháp Accuracy (độ xác) để đánh giá khả phát xác cơng từ tập liệu kiểm thử 21 Sử dụng phương pháp Confusion Matrix để đánh giá khả phân loại loại công từ tập liệu kiểm thử Sử dụng phương pháp True/False Positive/Negative để định hướng ứng dụng cho model việc đánh giá kết với độ nghiêm trọng lớp 3.2.4 Model setup Trước sử dụng tập liệu huấn luyện thực chuẩn hóa tất trường hợp từ đến 1, đầu vào có tất 41 feature đầu có loại công loại liệu bình thường - Thử nghiệm ta cài đặt mạng neural đa lớp với số lớp 4, lớp đầu vào có 10 node, lớp ẩn có lớp 50 node, 10 node hàm kích hoạt với lớp ReLU, lớp đầu dùng hàm Softmax - Thử nghiệm thứ áp dụng kiến trúc RNN LSTM vào lớp ẩn, tham số time-step, batch-size epoch 100, 50, 500 - Hàm output activation : hàm Softmax - Trình tối ưu hóa : Stochastic GradientDescent (SGD) - Hàm Loss Accuracy : Mean Square Error (MSE) Learning rate chọn số khoảng 0.0001 0.1 số DR FAR có tỷ lệ tốt learning rate 0.1 số lớp ẩn 80 3.3 Một số kết đánh giá 22 Bảng 3.1: So sánh hiệu suất thuật toán học DR FAR Accuracy Bayesian 77,65% 17,57% 88,46% SVM 87,65% 6,12% 90,4% MLP 96,33% 7,34% 96,89% LSTM- 98,8% 10,05% 97,3% RNN 23 KẾT LUẬN Luận văn đạt kết sau : - Nghiên cứu tổng quan hệ thống IDS công mạng - Tìm hiểu trình lan truyền liệu mạng neural đa lớp mạng neural hồi quy - Hướng tiếp cận đề tài áp dụng mạng neural đa lớp với hàm kích hoạt ReLU ( so với hàm kích hoạt Gradient Descent Sigmoid ) mạng neural hồi quy với mô hình dài-ngắn hạn (LSTM) tập liệu KDD99 Ngồi áp dụng hàm đo độ mát MSE với hiệu đánh giá tổng bình phương toàn độ mát lớp ẩn  Kết thực nghiệm đạt hiệu ngang mạng neural đa lớp mạng hồi quy thuật toán xây dựng để nghiên cứu khơng phải mục đích thương mại, không đáp ứng đủ yêu cầu phần cứng, thời gian huấn luyện kích thước tập huấn luyện nên độ chênh lệch thấp Mơ hình mạng neural hồi quy đạt hiệu cao mạng neural đa lớp đặt ngữ cảnh huấn luyện khác  ... CẢI THIỆN KHẢ NĂNG PHÁT HIỆN TẤN CÔNG MẠNG BẰNG KỸ THUẬT DEEP LEARNING để nghiên cứu thử nghiệm hướng tiếp cận máy học vào công việc phát công mạng 3 CHƯƠNG - TỔNG QUAN HỆ THỐNG PHÁT HIỆN XÂM... thuật tốn thống kê với quy mơ lớn chạy xuyên suốt trình xử lý nên chúng tự động điều chỉnh kết đầu để cải thiện khả dự đoán Với ưu điểm tiện lợi mạng neural sâu, chọn đề tài “NGHIÊN CỨU CẢI THIỆN... Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Hệ thống phát công mạng (Intrusion Detection System) công cụ mạnh mẽ hiệu công việc phát phòng chống cơng trước hành vi truy cập mạng người sử dụng