Do đó, trong khoá luận nghiên cứu này, tôi hướng tới việc phá bỏ rào cản đó bằng việc đề xuất một hệ thống phát hiện xâm nhập mạng sử dụng phương pháp hoc sâu và có thể được triển khai t
Dong góp của khoá luận co S 6
Các đóng góp của khoá luận này có thể tóm tắt thành các ý chính như sau e Tôi trình bài một hệ thống phát hiện xâm nhập mạng hoàn thiện và có thể sử dụng trên các thiết bị IoT Hệ thống được thiết kế không chỉ có thể phát hiện tấn công xâm nhập mạng mà còn có thể tự động phân loại các loại tấn công hiệu quả Ngoài ra, hệ thống được thiết kế nhỏ nhẹ, có thể thực nghiệm trên các thiết bị giới hạn tài nguyên phần cứng trong thời gian thực. e Toi đề xuất tập dữ liệu mới dành cho bài toán phát hiện xâm nhập mang dựa trên tập dữ liệu CIC-IDS2017 [2] Cùng theo đó, tôi trình bày thuật toán gán nhãn để có thể chuyển đổi tập dữ liệu gán nhãn theo luồng thành tập dữ liệu được gán nhãn theo gói tin Thuật toán sử dụng thuật toán tìm kiếm nhị phân với độ phức tạp O(log(N)) do đó có thể sử dụng dé gan cho các tập dit liệu khác. e Tôi trình bày thuật toán toán rút đặc trưng sử dung để rút trích các thông tin từ các gói tin lưu thông trong mạng sử dụng kĩ thuật hàng đợi hai phía
(deque) va tổng tiền tố (prefix sum) Toi sẽ chứng minh thuật toán này hoạt động hiệu quả, có thể hoạt động trong thời gian dài với khối lượng lưu lượng mạng lớn mà không giảm hiệu năng. e Tôi chứng minh mô hình phát hiện xâm nhập mạng có thể hoạt động hiệu quả trên các thiết bị giới hạn phần cứng và có thể phát hiện một lượng lớn các loại tấn công khác nhau trong thời gian thực Các thực nghiệm được thử nghiệm trên tập dữ liệu CIC-IDS2017 [2] đã được gan nhãn.
Khoá luận này được trình bày qua 5 chương cụ thể như sau: e Chương 1: Giới thiệu Chương này trình bày tổng quan bài toán của khoá luận, cùng với đó là mục tiêu và đóng góp của khoá luận. e Chương 2: Các nghiên cứu liên quan Chương này trình bày cụ thể các thông tin nền tảng của bài toán, tập dữ liệu và các nghiên cứu trước đó liên quan tới bài toán đang giải quyết trong khoá luận này. e Chương 3: Phương pháp thực hiện Chương này trình bày chỉ tiết hệ thống phát hiện xâm nhập mạng của khoá luận, cùng theo đó với những kiến thức lý thuyết nền tảng mà tôi sử dụng. e Chương 4: Kết quả thực nghiệm Chương này trình bày chỉ tiết kết quả thực nghiệm của hệ thống đề xuất và cách tôi đánh giá hệ thống đề xuất. e Chương 5: Kết luận Chương trình tóm tắt lại những kết quả của khoá luận cùng với những đóng góp của khoá luận, ngoài ra tôi cũng đề cập tới những hạn chế và hướng tiếp cận trong tương lai.
Các nghiên cứu liên quan
Tổng quan về các tập dữ liệu tấn công xâm nhập mạng
Thong thường các tập dữ liệu mạng được lưu trữ dưới 2 dạng: dựa trên gói tin (packet-based) và dựa trên luồng (flow-based) [14] Dé thu thập các thông tin di liệu mạng, các các mềm chuyên dụng được cài đặt ở các cổng kết nối trong hệ thống mạng để theo dõi các gói tin lưu thông Dữ liệu dựa trên gói tin được lưu theo thông tin của các gói tin, có khả năng lưu trữ toàn bộ thông tin của các gói tin, bao gồm cả payload và các header Trong khi đó, dữ liệu dựa trên luồng lưu theo luồng, mang tính bao quát hơn, cụ thể các gói tin được gom lại thành các luồng dit liệu của mỗi kết nối riêng, thông tin lưu chỉ bao gồm các thông tin metadata Cụ thể:
Dữ liệu dựa trên góitin
Dữ liệu dựa trên luồng
Dữ liệu dựa trên luồng thường chỉ lưu các thông tin chính của các kết nối,không bao gồm các thông tin cụ thể của các gói tin như dữ liệu Dữ liệu dựa trên lường thường được tạo bằng các gom các gói tin trong cùng một kết nối,sau đó ghi nhận và rút các thông tin cơ bản của kết nối đó và thường không lưu các dữ liệu ở phần payload của gói tin Các thông tin cơ bản thường được thấy trong các tập dữ liệu dựa trên luồng bao gồm như: địa chỉ IP của bên nhận và bên gửi, địa chỉ cổng của bên nhận và bên gửi và loại giao thức giao tiếp Các thông tin về luồng có thể lưu ở định dạng có hướng hoặc vô hướng Cụ thể, bên
A gửi thông tin cho bên B, bên B trả lời thông tin cho bên A, do A và B có các thông tin chung nên hai kết nối này có thể theo thành một luồng duy nhất, luồng này được gọi là luồng vô hướng Ngược lại, các thông tin của hai kết nối này được lưu riêng biệt, xác định được bên gửi và bên nhận của gói tin thì hai luồng đó gọi là luồng có hướng.
Source IP Address Source Port
Destination IP Address Destination Port
Transport Protocol (e.g., ICMP, TCP, or UDP)
First seen Start time flow first seen Duration of the flow
Number of transmitted bytes Number of transmitted packets
Bảng 2.1: Các thông tin co bản của dữ liệu dựa trên luồng
Ngoài các thông tin cơ bản khi tạo dữ liệu dựa trên luồng nêu trên, các thông tin khác cũng được ghi nhận tuỳ vào nhu cầu sử dụng Hiện nay, có các định dang của thông được sử dụng như NetFlow [15], IPFIX [16], sFlow [17] và OpenFlow
[18] Bảng 2.1 thong tin về các thông tin cơ bản của các định dạng này.
So sánh dữ liệu dựa trên gói tin và dữ liệu dựa trên luồng 10
luồng Để làm rõ đặc điểm và sự khác nhau của hai loại định dạng dữ liệu: dữ liệu dựa trên gói tin và dữ liệu dựa trên luồng, tôi trình bay các đặc điểm dữ liệu nầy:
Dữ liệu dựa trên luồng
10 e Dữ liệu của các kết nối chứa các thông tin của các kết nối từ tầng vật lý (tầng thứ 1 trong mô hình OST [19]) tới tầng vận chuyển (tang thứ 4 trong mô hình OSI). e Bởi vì dữ liệu chỉ chứa các thông tin của 4 tang, do đó trong một số cuộc tấn công có liên quan tới thông tin của từng gói tin, các hệ thống phát hiện xâm nhập mang Intrusion Detection System (IDS) không thể xác định được, do đó làm giảm độ chính xác và tăng tỉ lệ cảnh báo giả. e Do các thông tin được trích xuất từ các gói tin, do đó cần một thành phần hỗ trợ để xử lý và tập hợp các thông tin từ gói tin Thanh phần này các thực hiện các nhiệm vụ như: giải mã gói tin từ gói tin dạng nhị phân, lưu trữ thông tin gói tin Do đó, độ phức tạp của cả hệ thống lớn. e Thông tin của một kết nối được tập hợp thông tin từ thông tin gói tin đầu tiên cho tới thong tin của géi tin cuối cùng Do đó, thời gian của luồng được tao ra tương ứng chuyển tới NIDS bị trễ một khoảng thời gian tính từ thời gian gói tin đầu tiên được ghi nhận. e Các thuật toán mã hoá của payload không ảnh hưởng tới sự hoạt động của NIDS. e Quá trình thu thập các thông tin của luồng được đảm nhiệm bới các phần mềm NetFlow probe Do đó thành phần NetFlow probe cần đảm bảo có thể xử lý một lượng lớn các kết nối mà không ảnh hưởng tới độ trễ của hệ thống. e Số lượng luồng dữ liệu được thu thập từ thong tin của các gói tin, do đó số lượng luồng dit liệu ít hơn so với số gói tin Do đó các NIDS xử lý dữ liệu dựa trên luồng cần ít tài nguyên hơn. e Do dữ liệu dựa trên luồng chỉ chứa các thông tin cơ bản của kết nối mà không chứa nội dung cụ thể của các gói tin, do đó vấn đề bảo mật được đảm bảo.
Dữ liệu dựa trên gói tin e Dữ liệu của gói tin chứa các thông tin của các kết nối từ tầng vật lý (tang thứ 1 trong mô hình OSI) tới tầng ứng dụng (tầng thứ 7 trong mô hình
OSI) Do đó NIDS có thể linh hoạt để sử dụng các thông tin này.
11 e Bởi vi dữ liệu chứa toàn bộ thông tin của gói tin, NIDS có thể sử dụng bất kì thông tin của gói tin để phát hiện tấn công, do đó độ chính xác của NIDS được cải thiện và tỉ lệ cảnh báo giả có thể giảm thấp. e Các thông tin của gói tin có thể chuyển tới NIDS mà không cần phải trải qua các bước lưu trữ của bất cứ thành phần hỗ trợ nào Do đó hiệu năng của hệ thống được đảm bảo. e Các gói tin lưu thông trong hệ thống được ghi nhận lập tức ở NIDS mà hông cần phải đợi các gói tin liên quan khác khác. e Có thể sử dụng các phương pháp phát hiện tấn công bằng các đặc điểm của các gói tin dựa vào payload của gói tin Nhưng lúc này các thuật toán mã oá của gói tin có thể ảnh hưởng tới hiệu năng của NIDS. e Quá trình rút trích thông tin của gói tin có thể thực hiện ở NIDS mà không cần phải sử dụng phần mềm hỗ trợ. e Hệ thống NIDS cần xử lý tất cả các gói tin lưu thong trong hệ thống Do ó cần sử dụng nhiều tài nguyên hệ thống. e Do dữ liệu dựa trên gói tin chứa các toàn bộ thông tin của các gói tin, có thể chứa các thông tin nhạy cảm Do đó vấn đề riêng tư có thể không được ảm bảo.
Tổng kết lại, để so sánh cái NIDS hoạt động dit liệu dựa trên gói tin và dit liệu dựa trên luồng, bảng 2.2 tóm tắt các đặc điểm của các NIDS dựa trên hai loại dit liệu khác nhau hoạt động. Đặc điểm Dựa trên gói tin Dựa trên luồng
Thông tin sử dụng Header và payload Thông tin của luồng
Kích thước dữ liệu Đa số lớn Nhỏ
Phương pháp Dựa vào dấu hiệu Dựa vào sự bất thường
Kích thước hệ thống mạng Nhỏ Nhỏ và lớn
Thiết bị bổ sung Không C6
Truy cập payload Có Khong
Tinh riéng tu Khong dam bao Dam bao
Bảng 2.2: Bảng so sánh các đặc điểm của các hệ thống phát hiện xâm nhập mạng dựa trên hai kiểu định dạng dit liệu
2.1.4 Các tập dữ liệu phổ biến Để đánh giá được một hệ thống NIDS, sử dụng một tập dữ liệu phù hợp rất quan trọng Trong bài báo của [20], tác giả đã mô tả chỉ tiết 34 tập dữ liệu khác nhau hiện có cho bài toán phát hiện xâm nhập mạng Dựa vào thống kê của [21] và [22], các tập dữ liệu được sử dụng phổ biến hiện này có thể kể đến gồm: KDD Cup’99 [23], NSL-KDD [24], UNSW-NBI5 [25], CIC-IDS2017 va
CSE-CICIDS2018 [2] Trong phạm vi khoá luận này, tôi sẽ mô tả các tập dữ liệu phổ biến này, bao gồm: e KDD Cup’99 [23]: Day là tập dữ liệu được sử dụng nhiều nhất trong nghiên cứu trước đây Tập dữ liệu được lưu trữ và gán nhãn dựa trên luồng với 41 đặc trưng được trích xuất Tập dữ liệu chứa gồm 4 loại tấn công chính bao gồm: Denial-of-Service (DoS), Probe, Remote to Local (R2L), và User to
Root (U2R) được ghi nhận trong khoảng 7 triệu bản ghi Mặc dù được sử dụng phổ biến nhưng tập dữ liệu này gặp một số vấn đề là các cuộc tấn công mạng và các tính chất mạng đã quá cũ và không còn phù hợp với hiện tại Tuy nhiên, tập dt liệu này vẫn được sử dung do lí do chính là tap đã được nhiều nghiên cứu trước sử dụng do đó có thể so sánh các hệ thống với nha. e NSL-KDD [24]: Day là tập dữ liệu nhận được sau khi khắc phục các vấn đề của tập dữ liệu KDD Cup 99 như: xử lý các bản ghi bị lặp lại, loại bỏ đi các bản ghi dễ sử lí Giống với tập dữ liệu KDD Cup’99, NSL-KDD gặp các vấn đề tương tự nhưng vẫn được sử dụng do các ý đã nêu trên. e UNSW-NB15 [25]: Tap dữ liệu này được tạo bởi Trung tâm An ninh Truyền thông Uc, có chứa khoảng 2 triệu bản ghi dưới dang dit liệu dựa vào luồng.
Sử dụng các thư viện hỗ trợ như Bro-NIDS, Argus và một số thuật toán, tap dữ liệu chứa 41 đặc trưng mô tả 9 loại tấn công bao gồm: Worms, Shellcode,
Reconnaissance, Port Scans, Generic, Backdoor, DoS, Exploits, và Fuzzers. e CIC-IDS2017 và CSE-CICIDS2018 [2]: So với các tập dữ liệu trên, 2 tap dữ liệu CIC-IDS2017 và CSE-CICIDS2018 được cập nhật các cuộc tấn công mới nhất được tạo bởi Tổ chức An ninh Truyền thông (CSE) và Viện An ninh mạng Canada (Canadian Institute for Cybersecurity (CIC)) vào năm
2017 và 2018 Tập dữ liệu chứa các bản ghi của các kết nối tấn công và các kết nối bình thường Sử dụng phần mềm hỗ trợ CICFlowMeter, tập dữ liệu lưu trữ 80 đặc trưng khác nhau của các kết nối trong mạng Các
13 cuộc tấn công được thực hiện bao gồm: e Brute Force Attack, HeartBleed Attack, Botnet, Denial of Service (DoS) Attack, Distributed DoS (DDoS) Attack, Web Attack, va Infiltration Attack Sự khác nhau giữa 2 tap dữ liệu CIC-IDS2017 và CSE-CICIDS2018 là tập dữ liệu CIC-IDS2017 được thực hiện trong hệ thống nhỏ, các dữ liệu gần với thực tế, trong khi đó CIC-IDS2018 được tạo ra bởi một hệ thống mạng lớn hơn giống như một cuộc tấn công diện rộng Dây cũng là 2 tập dữ liệu đang được các nhà nghiên cứu quan tâm gần đây.
Các tap dữ liệu nêu trên đều là các tập dit liệu có tính tin cậy cao được các nhà nghiên cứu nghiên cứu và xác thực Tuy nhiên đặc điểm chung của các tập đữ liệu này là dữ liệu được gán nhãn dựa trên luồng, do đó gây khó khăn cho các hệ thống xử lý dữ liệu dựa trên gói tin Các tập dữ liệu dựa trên gói tin hiện tại chưa được phổ biến đồng thời độ tin cậy chưa được xác nhận.
2.2 Các nghiên cứu liên quan
Trong những năm gần đây, các hệ thống NIDS hoạt động trong các mạng truyền thống được nghiên cứu khá phổ biến, tuy nhiên có ít nghiên cứu triển khai các hệ thống NIDS trong môi trường IoT, đặc biệt là ứng dụng ở các thiết bị IoT Về mặt hạn chế, khi triển khai một hệ thống NIDS trên các thiết bi IoT, khó khăn lớn nhất là do sự hạn chế về phần cứng và phần mềm của các thiết bị đó Do đó, các nghiên cứu trước có xu hướng triển khai các hệ thống NIDS ở các thiết bị khác có điều kiện thích hợp hơn [26] Một nghiên cứu khảo sát về sự tiêu thu tài nguyên tính toán trên thiết bi Raspberry Pi 2 triển khai 2 mã nguồn SNORT [27] và BRO [28], mã nguồn được cung cấp tại [29] Tác giả đã giả lập một môi trường mạng, sau đó tiến hành tấn công 3 cuộc tấn công lần lượt là SYN flood, ARP và Port Scanning khi hệ thống mạng đang hoạt động bình thường để so sánh hiệu năng và độ chính xác của 2 mã nguồn mở đó Kết quả cho thấy cả 2 mã nguồn mở đều có thể phát hiện hầu hết các cuộc tấn công, trong đó SNORT cho kết quả tốt hơn về độ chính xác và hiệu năng so với BRO.
Nghiên cứu này cho thấy được tiềm năng của việc triển khai các hệ thống NIDS trên các thiết bị loT Oh, Doohwan va đồng tác giả [30] đã giới thiệu một cách tiếp cận khớp mẫu được tối ưu hóa cho các thiết bị giới hạn phần cứng và đánh giá nó với các bộ mẫu xâm nhập từ SNORT cho các cuộc tấn công mạng thông thường và ClamAV, giống như một chương trình chống vi-rút mã nguồn mở cho
