CHƯƠNG 1 TỔNG QUAN VỀ THIẾT BỊ IOT VÀ MÃ ĐỘC IOT BOTNET
4.2. Mơ hình đề xuất
4.3.4. Đánh giá kết quả thử nghiệm
Từ kết quả đánh giá trên Dataset cho thấy mơ hình học máy cộng tác đề xuất cho kết quả cĩ độ chính xác cao với ACC = 99.37%, AUC = 0.9896. Thời gian để mơ hình đưa ra dự đốn là xấp xỉ 6 giây, nhanh hơn so với các nghiên cứu đã cơng bố về phát hiện sớm mã độc trên các thiết bị IoT. So sánh với các nghiên cứu hiện cĩ được thể hiện trong Bảng 4.7. Kết quả so sánh này cho thấy hiệu quả của việc sử dụng mơ hình học máy cộng tác cho 3 loại dữ liệu đặc trưng (lời gọi hệ thống, luồng mạng, sử dụng tài nguyên thiết bị) trong phát hiện mã độc IoT Botnet. Sử dụng phương pháp Wrapper để trích chọn đặc trưng, lựa chọn các thuật tốn học máy đơn lẻ phù hợp cho từng loại tập đặc trưng và cách kết hợp các thuật tốn học máy đơn lẻ này với nhau trong một mơ hình cộng tác đã gĩp phần làm tăng hiệu quả của mơ hình đề xuất. Mơ hình được đề xuất cĩ độ chính xác (ACC) và giá trị AUC vượt trội hơn so với các mơ hình hiện cĩ. Ngồi ra, mơ hình được đề xuất chỉ sử dụng một phần nhỏ dữ liệu hành vi thực thi của mã độc đã cĩ thể tạo ra phát hiện chính xác mà khơng cần đợi mã độc này thực hiện đầy đủ hành vi. Đây là đĩng gĩp nởi bật của mơ hình này. Mơ hình đã chạy thành cơng và đưa ra dự đốn chính xác với các mẫu mới khơng cĩ trong Dataset. Tuy nhiên, việc khởi động máy ảo và khởi chạy V-Sandbox để thu thập dữ liệu của một mẫu (bao gồm một vịng lặp để thu thập thêm dữ liệu sau mỗi lần chạy) dẫn đến việc tăng tởng thời gian thu thập xử lý một mẫu lên khoảng 3 phút. Đây là một hạn chế của khung phát hiện Botnet IoT của nghiên cứu sinh. Vấn đề này sẽ được nghiên cứu sinh tiếp tục nghiên cứu và hồn thiện để rút ngắn tởng thời gian chạy.
Bảng 4.7 So sánh với các nghiên cứu liên quan
Tác giả Tập dữ liệu thử nghiệm (mã độc/ lành tính) Dữ liệu đặc trưng sử dụng
Thời gian thu thập dữ liệu hành vi động/mẫu ACC (%) /AUC Tobiyama [128] 81/69
Thơng tin tiến trình
hệ thống 5 phút -/0.96
Firdausi
[129] 220/250 Lời gọi hệ thống
Ngầm định chờ thực
thi đầy đủ 96.8/-
Ahmed [130] 416/100 Lời gọi hàm API Ngầm định chờ thực thi đầy đủ 96.6/- Damodaran [126] 745/40 Lời gọi hệ thống, Opcode 5–10 phút -/0.98 Pascanu [134] 25000/ 25000 Lời gọi hệ thống Ít nhất 15 bước – thời gian chính xác khơng được báo cáo
Tác giả Tập dữ liệu thử nghiệm (mã độc/ lành tính) Dữ liệu đặc trưng sử dụng
Thời gian thu thập dữ liệu hành vi
động/mẫu
ACC (%) /AUC
Hansen [135] 5000/837 Lời gọi hệ thống 200 giây 98.13/0.97 Mơ hình đề
xuất 5023/3888
Lời gọi hệ thống, luồng mạng, yêu cầu tài nguyên thiết bị
Khơng yêu cầu thực thi đầy đủ, tối đa 180 giây
99.37/0.99