4.2.7. Hàm hợp nhất (FC)
Để cĩ thể kết hợp các kết quả dự đốn của các bộ phân lớp học máy (MLC) khác nhau, cần phải cĩ hàm hợp nhất kết quả dự đốn. Trong học máy, các hàm hợp nhất (Fusion function) phở biến được sử dụng như voting, stacking, bagging và boosting. Nghiên cứu sinh sử dụng Voting cho vấn đề của mình, vì đây là một trong những cách đơn giản nhất để kết hợp các dự đốn từ nhiều thuật tốn học máy khác nhau. Thuật tốn học máy Voting
khơng phải là bộ phân loại học máy thơng thường, mà là bộ phân loại bao bọc cho một tập hợp các bộ phân loại học máy khác nhau được đào tạo và đánh giá song song để khai thác các đặc điểm khác nhau của thuật tốn học máy đĩ. Do đĩ, cĩ thể đào tạo các bộ dữ liệu khác nhau bằng cách sử dụng các thuật tốn học máy và bộ phân loại khác nhau thay vì chỉ sử dụng một thuật tốn học máy duy nhất để dự đốn kết quả cuối cùng. Kết quả cuối cùng của một dự đốn được thực hiện bởi đa số “phiếu bầu” theo hai chiến lược khác nhau là biểu quyết cứng (strategies voting) và biểu quyết mềm (soft voting). Với đặc điểm của biểu quyết mềm là kết hợp giữa nhãn dự đốn và xác suất của nhãn đĩ sẽ đem lại kết quả chính xác hơn so với chỉ sử dụng nhãn trong biểu quyết cứng. Vì vậy, trong chương này nghiên cứu sinh sử dụng biểu quyết mềm với cơng thức:
� �̂ = ��� max ∑ ����� � (3.5) �=1
Với wj là trọng số của kết quả dự đốn (giá trị p) thuộc bộ phân lớp thứ j.
4.3. Thực nghiệm và đánh giá
4.3.1. Tập mẫu thực nghiệm
Để đánh giá kết quả hoạt động của mơ hình đề xuất, tập dữ liệu chứa 8911 mẫu bao gồm 5023 IoT Botnet và 3888 mẫu lành tính đã được thu thập và sử dụng cho thực nghiệm. Mơ tả về các mẫu trong tập dữ liệu được mơ tả trong Bảng 4.2.
Bảng 4.2 Mơ tả chi tiết về Dataset
Kiến trúc CPU lượngSố BashliteMã độc
Mã độc Mirai Mã độc khác Lành tính ARM 2279 2786 1510 727 3888 MIPS 2811 Intel 80386 2058 PowerPC 918 x86-64 845
4.3.2. Triển khai thử nghiệm
Thử nghiệm được tiến hành trên máy chủ với cấu hình CPU Intel Xeon E5-2689 2.6 GHz, RAM 32 GB. Mơi trường ảo hĩa V-Sandbox được cài đặt theo mã nguồn được nghiên cứu sinh chia sẻ tại Github [100]. Các thuật tốn học máy đơn lẻ được thử nghiệm như SVM, KNN, Decision Tree, Random Forest,… được cài đặt thơng qua ngơn ngữ
học máy được sử dụng trong quá trình thực nghiệm được mơ tả như trong Bảng 4.3.
Bảng 4.3 Các tham số thuật tốn học máy được sử dụng
Thuật tốn Tham số Các giá tri tham số sử dụng
KNN
n_neighbors 10; 100; 1000
weights “uniform”; “distance”
n_jobs -1
Decision Tree
randoom_state 42
criterion “gini”; “entropy”
splitter “best”; “random”
Random Forest n_estimators 10; 100; 1000 random_state 42 n_jobs -1 SVM random_state 42 probability True C np.logspace(-1, 1, 3) gama np.logspace(-1, 1, 3)
4.3.3. Kết quả thử nghiệm
Nghiên cứu sinh đã sử dụng các thuật tốn học máy phở biến như SVM, KNN, Decision Tree, Random Forest và hàm hợp nhất Voting, Logistic Regression để đánh giá hiệu quả của mơ hình học máy cộng tác đề xuất. Kết quả huấn luyện và đánh giá các thuật tốn học máy đơn lẻ với các đặc trưng đầu vào được mơ tả trong Bảng 4.4. Kết quả dự đốn của các mơ hình học máy đơn lẻ này được kết hợp thơng qua hàm hợp nhất “Voting” (và sử dụng thêm hàm “Logistic Regression” để so sánh). Tởng cộng cĩ 64 cách kết hợp 4 thuật tốn học máy phở biến nêu trên. Cĩ 128 kết quả thử nghiệm đánh giá độ chính xác của việc phát hiện mã độc IoT Botnet cho mơ hình đề xuất được mơ tả trong Hình 4.12.
Từ kết quả thử nghiệm này, hàm kết hợp “Voting” cho thấy hiệu quả vượt trội so với hàm “Logistic Regression” và bộ ba thuật tốn học máy đơn lẻ KNN (đối với dữ liệu luồng mạng) + Random Forest (đối với dữ liệu sử dụng tài nguyên thiết bị) + KNN (đối với dữ liệu lời gọi hệ thống) cho kết quả tốt nhất với độ chính xác ACC = 99.37% và
tốn học máy đơn lẻ kể trên với các đặc trưng dữ liệu hành vi riêng rẽ của mã độc đã cho thấy sự phù hợp khi kết hợp các thuật tốn này với nhau trong mơ hình cộng tác. Sự kết hợp này đem lại hiệu quả phát hiện mã độc với độ chính xác cao thể hiện ở các độ đo ACC = 99.37%, ROC AUC =0.9896, FPR = 1,94% vượt trội hơn các mơ hình đơn lẻ mặc dù chỉ sử dụng một phần dữ liệu hành vi cần quan sát, chưa cần mã độc thực hiện đầy đủ các hành vi. Bên cạnh đĩ, việc kết hợp các thuật tốn học máy với các nguồn dữ liệu hành vi khác nhau của tệp đầu vào đã hỗ trợ, bở khuyết cho cho các thuật tốn trong việc đưa ra đánh giá xem tệp đầu vào cĩ thực sự là mã độc hay khơng. Minh chứng cho điều này là tỉ lệ FPR rất thấp với giá trị là 1.94%.
Tập giá trị trọng số của hàm biểu quyết mềm “Voting” là (0.33; 0.32; 0.35) tương ứng với các đầu ra dự đốn của mơ hình phát hiện dựa trên luồng mạng, thơng tin sử dụng tài nguyên thiết bị và lời gọi hệ thống. Với các giá trị trọng số kể trên cho thấy, các dữ liệu đặc trưng đầu vào mà NCS lựa chọn đều đĩng vai trị quan trọng trong quá trình xác định một tập tin cĩ phải là mã độc hay khơng. Nếu một trong các dữ liệu đặc trưng mà NCS đã lựa chọn là khơng quan trọng, gây nhiễu trong việc đánh giá tập tin mã độc thì trọng số của dữ liệu đặc trưng đĩ sẽ thấp hơn hẳn so với các trọng số cịn lại. Giá trị các trọng số trong trường hợp này khơng sai khác nhau quá nhiều cũng chỉ ra rằng cả 3 đặc trưng đầu vào này là cần thiết, khơng thể thiếu đối với mơ hình đề xuất. Với ba mơ hình học máy đơn lẻ đã chọn, nghiên cứu sinh đã điều chỉnh các thơng số của mơ hình và thử nghiệm trên tồn bộ Dataset, đánh giá mơ hình dựa trên các giá trị đo được. Kết quả đánh giá mơ hình đề xuất trên Dataset được trình bày trong Bảng 4.5. Ngồi ra, tác giả cũng đánh giá hiệu quả phát hiện của phương pháp đề xuất thơng qua các mẫu khơng cĩ sẵn trong Dataset. Kết quả phát hiện các mẫu khơng cĩ trong Dataset được mơ tả trong Bảng 4.6.
Bảng 4.4 Độ chính xác các mơ hình học máy đơn lẻ h́n luyện trên Dataset
Thuật tốn
Độ chính xác phân loại dữ liệu của mơ hình (ACC - %)
Dữ liệu
luờng mạng tài nguyên thiết biDữ liệu sử dụng gọi hệ thốngDữ liệu lời
SVM 89.44 97.83 98.26
KNN 89.78 98.70 97.54
Decision Tree 89.97 98.22 95.66 Random Forest 90.07 99.04 98.02
Bảng 4.5 Các mơ hình học máy sau khi tối ưu trên Dataset
Model ACC ROC
AUC FPR
Malware Benign
Precision Recall F1 Precision Recall F1
Network (k-NN) 0.8978 0.8901 0.1270 0.9500 0.9071 0.9280 0.7795 0.8730 0.8236 Performance (Random Forest) 0.9904 0.9846 0.0282 0.9895 0.9973 0.9934 0.9928 0.9718 0.9822 System-Call (k-NN) 0.9822 0.9715 0.0370 0.9860 0.9801 0.9830 0.9479 0.9630 0.9554 Mơ hình cộng tác 0.9937 0.9896 0.0194 0.9927 0.9987 0.9957 0.9964 0.9806 0.9884
Đưa các mơ hình sau khi huấn luyện xong vào chạy thực tế thì để đảm bảo khả năng đồng bộ dữ liệu giữa các nguồn dữ liệu đầu vào là lời gọi hệ thống, luồng mạng và hành vi sử dụng tài nguyên hệ thống; nghiên cứu sinh lựa chọn thời gian thu thập dữ liệu
hành vi yêu cầu tài nguyên thiết bị và 50 gĩi tin luồng mạng) cho quá trình thực thi tệp đầu vào và đưa ra kết quả dự đốn phân loại tệp tin. Kết quả chạy thực tế được minh họa như trong các Hình 3.14-3.16.
Hình 4.13 Kết quả phát hiện mã độc 1 pha phân tích
Bảng 4.6 Kết quả thử nghiệm với các mẫu nằm ngồi Dataset
ID Mã HASH của tệp tin đầu vào
Nhãn dự đốn của mơ hình học máy
(tỉ lệ dự đốn là mã độc) VirustotalNhãn do cung cấp Network Performance Syscall Đề xuất
1 0a982a3fb71dd70c248c107fcf33574f Malware (1) Malware (1) Malware (1) Malware (1) (Bashlite)Malware 2 4a832bd4fbb625cd095e9f56d695b047 Malware(1) Malware (1) Malware(1) Malware(1) Malware(Mirai) 3 8b269f0eab1e09040c62ce78dff05c01 Benign(0.21) Benign (0) Benign(0) Benign(0.07) Benign 4 9505af2cafb5b2bb8d10949543c5c416 Malware(1) Benign (0.23) Malware(1) Malware(0.74) (Bashlite)Malware 5 1c7c1763888e0a0b67732db1e8e176ba Malware(1) Malware (1) Malware(1) Malware(1) (Bashlite)Malware 6 f70640f966d77234405df7d715f6e494 Malware(1) Malware (1) Malware(1) Malware(1) (Bashlite)Malware 7 79b62cfd1975f09e24ce131181c1008a Malware (0.83) Malware (1) Malware (1) Malware (0.94) Malware (Mirai) 8 2bb57df01bd06453775472df2098eff1 Malware(1) Malware (1) Malware(1) Malware(1) Malware(Others) 9 a7192c394957ba17878e3c1f57aca67b Malware(1) Malware(0.63) Malware(1) Malware(0.88) Malware(Mirai) 10 571d93ccba8ee531627311fdb0b54c95 Malware(0.83) Benign (0) Benign(0) Benign(0.28) Benign 11 147af70b815093d9247e22f688f25104 Benign(0.21) Benign (0.33) Benign(0) Benign(0.16) Benign 12 89772d4f8d63117a5af7abd11ef66c5c Malware(1) Malware (1) Malware(1) Malware(1) (Bashlite)Malware 13 cf04a95a254a9aada0440281f82d6e9c Benign(0.21) Benign (0) Benign(0) Benign(0.07) Benign
Từ kết quả đánh giá trên Dataset cho thấy mơ hình học máy cộng tác đề xuất cho kết quả cĩ độ chính xác cao với ACC = 99.37%, AUC = 0.9896. Thời gian để mơ hình đưa ra dự đốn là xấp xỉ 6 giây, nhanh hơn so với các nghiên cứu đã cơng bố về phát hiện sớm mã độc trên các thiết bị IoT. So sánh với các nghiên cứu hiện cĩ được thể hiện trong Bảng
4.7. Kết quả so sánh này cho thấy hiệu quả của việc sử dụng mơ hình học máy cộng tác cho 3 loại dữ liệu đặc trưng (lời gọi hệ thống, luồng mạng, sử dụng tài nguyên thiết bị) trong phát hiện mã độc IoT Botnet. Sử dụng phương pháp Wrapper để trích chọn đặc trưng, lựa chọn các thuật tốn học máy đơn lẻ phù hợp cho từng loại tập đặc trưng và cách kết hợp các thuật tốn học máy đơn lẻ này với nhau trong một mơ hình cộng tác đã gĩp phần làm tăng hiệu quả của mơ hình đề xuất. Mơ hình được đề xuất cĩ độ chính xác (ACC) và giá trị AUC vượt trội hơn so với các mơ hình hiện cĩ. Ngồi ra, mơ hình được đề xuất chỉ sử dụng một phần nhỏ dữ liệu hành vi thực thi của mã độc đã cĩ thể tạo ra phát hiện chính xác mà khơng cần đợi mã độc này thực hiện đầy đủ hành vi. Đây là đĩng gĩp nởi bật của mơ hình này. Mơ hình đã chạy thành cơng và đưa ra dự đốn chính xác với các mẫu mới khơng cĩ trong Dataset. Tuy nhiên, việc khởi động máy ảo và khởi chạy V-Sandbox để thu thập dữ liệu của một mẫu (bao gồm một vịng lặp để thu thập thêm dữ liệu sau mỗi lần chạy) dẫn đến việc tăng tởng thời gian thu thập xử lý một mẫu lên khoảng 3 phút. Đây là một hạn chế của khung phát hiện Botnet IoT của nghiên cứu sinh. Vấn đề này sẽ được nghiên cứu sinh tiếp tục nghiên cứu và hồn thiện để rút ngắn tởng thời gian chạy.
Bảng 4.7 So sánh với các nghiên cứu liên quan
Tác giả Tập dữ liệu thử nghiệm (mã độc/ lành tính) Dữ liệu đặc trưng sử dụng
Thời gian thu thập dữ liệu hành vi
động/mẫu
ACC (%) /AUC
Tobiyama
[128] 81/69 Thơng tin tiến trìnhhệ thống 5 phút -/0.96 Firdausi
[129] 220/250 Lời gọi hệ thống Ngầm định chờ thựcthi đầy đủ 96.8/- Ahmed [130] 416/100 Lời gọi hàm API Ngầm định chờ thựcthi đầy đủ 96.6/-
Damodaran
[126] 745/40 Lời gọi hệ thống,Opcode 5–10 phút -/0.98 Pascanu [134] 25000/ 25000 Lời gọi hệ thống Ít nhất 15 bước – thời gian chính xác khơng
Tác giả (mã độc/ lành tính)
sử dụng dữ liệu hành viđộng/mẫu /AUC
Hansen [135] 5000/837 Lời gọi hệ thống 200 giây 98.13/0.97 Mơ hình đề
xuất 5023/3888
Lời gọi hệ thống, luồng mạng, yêu cầu tài nguyên thiết bị
Khơng yêu cầu thực thi đầy đủ, tối đa 180 giây
99.37/0.99
4.4. Kết luận Chương 4
Trong chương này, nghiên cứu sinh đã đề xuất mơ hình học máy cộng tác mới (CMED) để phát hiện sớm hiệu quả IoT Botnet dựa trên việc thu thập mức tối thiểu các dữ liệu động cần thiết. Khung thử nghiệm phát hiện IoT Botnet của nghiên cứu sinh đã được xây dựng dựa trên mơ hình học máy cộng tác này và mơi trường ảo hĩa V- Sandbox. Hiệu quả của mơ hình đề xuất đã được chứng minh thơng qua các kết quả thử nghiệm trên bộ dữ liệu với 8911 mẫu. Ý tưởng và kết quả thực nghiệm của phương pháp đề xuất trong chương này đã được trình bày, cơng bố trên Tạp chí khoa học quốc tế. Cụ thể là:
- “A collaborative approach to early detection of IoT Botnet” Computers & Electrical Engineering Journal, Oct. 2021 (SCIE index, Q1), ISSN: 0045-7906.
Sự phát triển khơng ngừng của thiết bị IoT cả về số lượng và chủng loại đã làm thay đởi nhiều khía cạnh của xã hội con người. Thiết bị IoT ngày càng xâm nhập sâu vào sinh hoạt hàng ngày của chúng ta, tác động thay đởi cách thức con người giao tiếp với thiết bị, máy mĩc. Các thiết bị này đã đơn giản hĩa, cung cấp sự tiện dụng, phản hồi nhanh chĩng trong giao tiếp giữa người dùng và máy mĩc. Bên cạnh những ưu điểm, thiết bị IoT cũng tồn tại những vấn đề về bảo mật, an ninh thơng tin đáng lo ngại. Đặc biệt là khả năng bị lây lan mã độc IoT Botnet dễ dàng. Do đĩ, trong luận án này, nghiên cứu sinh tập trung tìm hiểu các đặc điểm khác biệt của mã độc IoT Botnet với các loại mã độc truyền thống, từ đĩ làm cơ sở trong nghiên cứu, xây dựng mơ hình học máy nhằm nâng cao độ chính xác và giảm độ phức tạp trong phát hiện mã độc IoT Botnet trên các thiết bị IoT hạn chế tài nguyên theo phương pháp phân tích động.
Theo đĩ, nội dung luận án đã tập trung nghiên cứu các phương pháp phát hiện mã độc IoT Botnet, đánh giá ưu và nhược điểm các phương pháp đã cĩ. Từ đĩ, luận án đưa ra giải pháp xây dựng mơ hình học máy cĩ độ chính xác cao và độ phức tạp thấp trong phát hiện mã độc IoT Botnet. Cụ thể, luận án đã đạt được các kết quả nghiên cứu chính như sau:
Đĩng gĩp 1: Luận án xây dựng được một mơi trường V-Sandbox đảm bảo các
điều kiện để cĩ thể thu thập đầy đủ dữ liệu hành vi của mã độc IoT Botnet. Mơi trường sandbox được xây dựng hoạt động hồn tồn tự động, mã nguồn mở và cài đặt dễ dàng, cĩ tính thực tiễn.
Đĩng gĩp 2: Luận án đề xuất được một phương pháp mới, gọi là đồ thị lời gọi
hệ thống cĩ hướng DSCG (Directed System Call Graph) cĩ thể trích xuất được đặc trưng hiệu quả cho phát hiện mã độc IoT Botnet. Phương pháp đề xuất cĩ độ phức tạp thấp nhưng vẫn đảm bảo độ chính xác cao trong phát hiện IoT Botnet, đặc biệt với những dịng mã độc IoT Botnet mới xuất hiện.
Đĩng gĩp 3: Luận án đề xuất được một mơ hình phát hiện mã độc IoT Botnet
mới, cĩ khả năng kết hợp nhiều nguồn dữ liệu đặc trưng khác nhau để cĩ thể phát hiện sớm mã độc IoT Botnet. Mơ hình đề xuất sử dụng mức tối thiểu các dữ liệu động cần thiết mà vẫn cĩ thể đưa ra dự báo cĩ độ chính xác cao, gĩp phần giảm thiểu thời gian phát hiện mã độc IoT Botnet.
ứng dụng như hình (i), trong đĩ các tác tử được tích hợp vào thiết bị IoT hạn chế tài nguyên để thu thập và gửi thơng tin hành vi hoạt động của thiết bị về phân hệ tiền xử lý trung tâm làm đầu vào cho phân hệ phân tích, phát hiện, cảnh báo mã độc IoT Botnet. Tại đây, phương pháp trích xuất đặc trưng đồ thị DSCG và mơ hình học máy cộng tác phát hiện sớm mã độc IoT Botnet của nghiên cứu sinh đề xuất được áp dụng để phân loại tệp lành tính và mã độc. Đây là một trong những nội dung trong khuơn khở đề tài nghiên cứu ứng dụng và phát triển cơng nghệ cấp quốc gia “Nghiên cứu xây
dựng hệ thống tự động phát hiện, cảnh báo và ngăn chặn tấn cơng mạng nhằm vào các thiết bị IoT cỡ nhỏ sử dụng mạng lưới tác tử thơng minh” (cĩ mã số KC-4.0-05/19-25)
mà nghiên cứu sinh là thành viên chính tham gia.
Hình (i) Mơ hình ứng dụng thực tế của phương pháp phát hiện IoT Botnet sử dụng tác tử thơng minh
Tuy nhiên, theo xu hướng phát triển chung của mã độc nĩi chung, mã độc trên thiết bị IoT sẽ ngày càng phát triển nhanh cả về số lượng và chủng loại. Vì vậy, vấn đề phát hiện mã độc trên các thiết bị này sẽ được các nhà nghiên cứu trong và ngồi nước tiếp tục quan tâm trong thời gian sắp tới. Mặc dù đã đạt được các kết quả nghiên cứu quan trọng về lý luận khoa học và thực tiễn trong phát hiện mã độc IoT Botnet nhưng luận án vẫn cịn một số vấn đề cần nghiên cứu, cải tiến trong tương lai gồm: