Luận văn thạc sĩ An toàn thông tin: Nghiên cứu khả năng diễn giải của trình phát hiện mã độc dựa trên học tổng hợp đối với các mẫu đối kháng (A Study On The Interpretability Of Ensemble-based Malware Detection Against Adversarial Samples)

Những kỹ thuật tiên tiến này đã đạt được thành công trong nhiều lĩnh vực khác nhau cũng như trong việc trích xuất đặc trưng và phân loại phần mềm độc hại HỆ Tuy nhiên, các mô hình học má

ĐẠI HỌC QUỐC GIA TP HÒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THONG TIN KHOA MẠNG MAY TÍNH VÀ TRUYEN THONG

TÔ TRỌNG NGHĨA - 220202019

LUẬN VĂN THẠC SĨ

NGHIÊN CỨU KHẢ NĂNG DIỄN GIẢI CỦA TRÌNH

PHAT HIỆN MA ĐỘC DUA TREN HỌC TONG HỢP

DOI VOI CAC MAU DOI KHANG

A Study On The Interpretability Of Ensemble-based Malware

Detection Against Adversarial Samples

THAC Si AN TOAN THONG TIN

GIANG VIEN HUONG DAN

TS PHAM VAN HAU

TP HO CHÍ MINH, 2024

THÔNG TIN HỘI ĐÒNG CHÁM KHÓA LUẬN TÓT NGHIỆP

Hội đồng chấm luận văn thạc sĩ, thành lập theo Quyết định số

TĐẦY ĂẶ se của Hiệu trưởng Trường Dai học Công nghệ Thông tin.

LỜI CẢM ƠN

Em chân thành cảm ơn thầy Phạm Văn Hậu đã theo sát quá trình thực hiện đề tài, đóng

góp những ý kiên hữu ích đê em có thê hoàn thành dé tài luận văn một cách hoàn chỉnh

nhất.

Em xin gửi lời cảm ơn đến gia đình và bạn bè đã động viên, tạo động lực giúp em vượt

qua các khó khăn trong việc thực hiện nghiên cứu.

Em cũng xin cảm ơn đến tất cả quý thầy cô trường Đại học Công nghệ Thông tin —

ĐHQG TP.HCM, đặc biệt là thầy cô ở Phòng thí nghiệm An toàn thông tin InSecLab và

khoa Mang máy tính và Truyền thông đã giúp đỡ và hỗ trợ em trong suốt thời gian họctập tại trường.

Xin chân thành cảm ơn!

TP.Hồ Chí Minh, ngày 10 tháng 5 năm 2024

Tác giả

Tô Trọng Nghĩa

LỜI CAM ĐOAN

Tôi xin cam kết luận văn này do chính tôi thực hiện dưới sự hướng dẫn khoa học của TS Phạm Văn Hậu, giảng viên Trường Dai học Công nghệ Thông tin — Đại học Quốc gia TP.

Hồ Chí Minh.

Các số liệu và kết quả nghiên cứu trong luận văn là trung thực, do tôi thực hiện phân tích

và đánh giá.

Các thông tin trích dẫn trong luận văn đều được chỉ rõ nguồn gốc.

Nêu sai, tôi xin chịu hoàn toàn trách nhiệm.

TP Hồ Chí Minh, ngày 27 tháng 6 năm 2024

Học viên

Tô Trọng Nghĩa

1.4 Mục tiêu, đối tượng và phạm vi nghiên cứu 8

2.1.1 Huấn luyện môhình| - 13

211.1 Thao tac đấu vào| 13

2.1.1.2 Thao tac thuật toán học| 13 2.1.1.3 Phanvung) 0.0.00 00, 13

2.1.3 Bộ khung| ẶẶ 0.020000 00 000000 15

2.2 Explainable Artificial Intellipgem| - 15

2.2.1 SHapley Additive exPlanatlonsl - 16 2.3 Các công trình liên quan} 2 2 0.00000 18

3 PHƯƠNG PHÁP LUẬN VÀ HỆ THONG DE XUẤT 24

3.1 Mô hình hóa mỗi de dọa| - - co 24

3.2 Chiến luce] ee 26

3.2.1 Mô-đun trích xuất đặc trưng (Feature Extractor)} 27

tector with XAT) 2 Q ee, 29

3.2.3 Phương pháp phan tích| 3l

3.2.4 Mô-đun tao đối kháng (Adversarial Generator) 34

3.2.4.1 Mô hình FeaGAN| 34 3.2.4.2 Mô hình Hoc tang cường 36

3.2.5 Môi trường thử nghiệm chức nang dựa trên Cuckoo 38

¬ 45

¬ 46

4.4.1 Kích ban 1 - Đánh giá hiệu năng của các mô hình mục tiêu

và trình phát hiện| SỐ QC 47

4.4.2 _ Kich bản 2 - Tan công có mục tiêu 4ï

4.4.3 Kịch ban 3- Tan công chuyển giaol 47

4.4.4 Kich ban 4 — đánh giá tính hiệu quả của các mẫu đối kháng

với trình phát hiện mã độc| 47

4.4.5 Kích bản 5 — Đánh giá kha nang bao quản phan mềm độc hại 47

Danh sách bang

2.1 Danh mục một số phương pháp học tổng hợp| - 15

2.2 Tổng hợp các công trình liên quan về đột biến phần mềm độc hail 21

3.1 Mô tả các tính năng được trích xuất| 28 3.2 Tổng quan về cách đánh giá và trả lời câu hỏi nghiên cứu

3.3 Các hành động trong không gian hành động của mô hình RL

4.1 Tổng quan về phân phối dữ liệu

4.2_ Hiệu suất của trình phát hiện phần mềm độc hai trong FeaGAN

4.3 Hiệu suất của mô hình mục tiêu trong DQEAF

4.4 Khả năng phát hiện phan mềm độc hại trên 2.000 mẫu độc hai ban

4.7 Kha năng phát hiện các mẫu phần mềm độc hai đột biến khi thực

hiện tấn công chuyển giao (total: 2.000 mẫu)

4.8 Bảng thống kê cho câu hỏi nghiên cứu 2| 58 4.9 Bảng thống kê cho câu hỏi nghiên cứu 3| 61

4.10 Khả năng đảm bảo thách thức trên 2000 mẫu đột biến 63

Danh mục từ viết tắt

PE Portable Executable XAI Explainable Artificial Intelligent SHAP SHapley Additive exPlanations GAN Generative Adversarial Networks

Danh mục từ tạm dịch

Học máy Machine learning

Học sâu Deep learning

Mạng sinh đối kháng Generative Adversarial Networks

Học tăng cường Reinforcement Learning

Tấn công đối kháng Adversarial Attaek

Không gian vấn đề Problem space

Khong gian đặc trưng Feature space

Dac trung Feature

Ham nhap Import

Phan doan Section

Mang than kinh truyền thẳng nhiều lớp Multi-layer feedforward neural network

xii

TÓM TẮT

Bối cảnh an ninh mạng đang chứng kiến sự gia nhanh chóng của các mối đe dọa

và phần mềm độc hai, đặt ra những thách thức to lớn đối với việc phát triển các

phương pháp, kỹ thuật phát hiện chúng Mặc dù học máy và học sâu đã chứng minh

và khang định được vị trí của mình trong lĩnh vực này, tuy nhiên chúng vẫn gặp

nhiều khó khăn khi đối mặt với các cuộc tấn công đối kháng, các cuộc tấn công gây

nhiễu loạn phán đoán của mô hình, dẫn đến sự phát triển của nhiều nghiên cứu liênquan nhằm cải thiện hiệu quả của mô hình và đánh giá sự ảnh hưởng của các mẫuđối kháng Nghiên cứu này nhằm mục đích cung cấp một khuôn khổ chung sử dụngHọc tăng cường và Trí tuệ nhân tạo có khả năng diễn giải để tạo và đánh giá phần

mềm độc hại Windows đột biến trong không gian vấn đề Chúng tôi tập trung vào

ba thách thức chính phát sinh khi thực hiện các cuộc tấn công đối kháng đối với

phần mềm độc hại PE, bao gồm bảo toàn định dạng, bảo toàn khả năng thực thi

và bảo toàn tính độc hai Ngoài ra, chúng tôi trình bày một phương pháp tổng hợpthông tin với tên gọi SHAPEx để đánh giá và làm rõ tác động của các đặc trưng

đầu vào đối với các dự đoán của trình phát hiện phần mềm độc hại Cách tiếp cận

này nhằm mục đích tối ưu hóa việc áp dụng kết quả cho các nỗ lực nghiên cứu trong

tương lai thông qua ba câu hỏi chính liên quan đến khả năng dự đoán của mô hình học máy, học sâu Kết quả thử nghiệm cho thấy 100% mẫu đột biến được chọn duy trì tính toàn vẹn định dạng của chúng Ngoài ra, hệ thống của chúng tôi đảm bảo

khả năng thực thi trong các biến thể phần mềm độc hại, mang lại kết quả nhất quán

và đầy hứa hẹn Chúng tôi cũng đã gói gọn các kết quả phân tích liên quan đến tác

động của các đặc trưng đầu vào đến các quyết định dự đoán trong một khuôn khổ

chuyên biệt dựa trên ba câu hỏi nghiên cứu đã đặt ra từ trước, nhấn mạnh đến khả

năng dự đoán của các mô hình học máy, học sâu.

The cybersecurity landscape is witnessing an increasing prevalence of threats and

malicious programs, posing formidable challenges to conventional detection

tech-niques Although machine learning (ML) and deep learning (DL) have demonstrated

effectiveness in malware detection, their susceptibility to adversarial attacks has led

to a growing research trend This study aims to provide a general framework that

uses Reinforcement Learning (RL) and Explainable Artificial Intelligence (XAT) to

generate and evaluate mutant Windows malware within the problem space We

concentrate on the three primary problems that arise while performing adversarial

attacks on Windows Portable Executable malware, including format preservation,

executability preservation, and maliciousness preservation Additionally, we present

an innovative approach called SHAPex to evaluate and clarify the impact of features

on malware detection predictions This approach aims to optimize the application

of results to future research efforts through three key questions pertaining to the

predictive capacity of the ML/DL model Experimental findings reveal that 100%

of the selected mutation samples maintain their format integrity Additionally, our

system ensures the preservation of executable functionality in malware variants, yielding consistent and promising results We have also encapsulated the analytical

outcomes regarding the impact of input features on malware detectors’ prediction

decisions within a specialized framework based on three research questions,

empha-sizing the predictive capacity of ML/DL models.

CONG BO KHOA HỌC

Các nội dung liên quan tới dé tài nghiên cứu đã được công bố dưới dang các bài

báo trong các Kỷ yếu Hội nghị khoa học hội nghị quốc tế:

« To,T.N., Do Hoang, H., Duy, P T., & Pham, V H (2023, October) MalDEX:

An Explainable Malware Detection System Based on Ensemble Learning In

2023 International Conference on Multimedia Analysis and Pattern

Recogni-tion (MAPR) (pp 1-6) IEEE.

« Pham, V H., To, T N., & Duy, P T (2023) A method of generating mutated

Windows malware to evade ensemble learning Journal of Science and

Technol-ogy on Information Security, 1(18), 47-60 https://doi.org/10.54654/isj.v1i18.906.

e Luu Nguyen Cong Minh, Le Trong Nhan, Trong-Nghia To, Nghĩ Hoang Khoa,

Phan The Duy, and Van-Hau Pham (2024) Multimodal Deep Learning

Feed-back for Generating Evasive Malware Samples against Malware Detector The

13th Conference on Information Technology and its Applications [accepted]

Chương 1

TỔNG QUAN

Tóm tắt chương

Trong chương này, tác giả trình bày tóm tắt bài toán mà đề tài nghiên cứu hướng

đến Đồng thời đưa ra mục tiêu, đối tượng và phạm vi nghiên cứu cũng như cấu trúc của luận văn tốt nghiệp.

1.1 Tóm tắt bài toán

Đảm bảo an toàn cho hệ thống thông tin là yêu cầu cần thiết và cấp thiết trong xã hội ngày nay Số lượng và độ phức tạp của các mối đe dọa, chương trình độc hại

ngày càng gia tăng, dẫn đến những thách thức trong việc nghiên cứu và phát triển

các giải pháp an toàn hiệu quả Các phương pháp phát hiện truyền thống, ching

hạn như phương pháp dựa trên chữ ký và dựa trên quy tắc, mặc dù vẫn được sử

dụng trong nhiều hệ thống cảnh báo, nhưng không thể phủ nhận những hạn chế của

chúng trong việc xác định các mẫu chưa biết trước đây.

Để đề xuất biện pháp bảo vệ hiệu quả trước các mối đe dọa từ các phần mềm độc

hại, nhiều nhà nghiên cứu đã áp dụng học máy, học sâu để phát hiện và ngăn chặn

chúng Những kỹ thuật tiên tiến này đã đạt được thành công trong nhiều lĩnh vực khác nhau cũng như trong việc trích xuất đặc trưng và phân loại phần mềm độc hại

HỆ Tuy nhiên, các mô hình học máy và học sâu được phát hiện là dễ bị tấn công

bởi các cuộc tấn công đối kháng | được tạo ra bằng cách xáo trộn một chút các

đầu vào hợp pháp, dẫn đến các phán đoán sai lầm cho các mô hình được nhắm đến

Chương 1 TỔNG QUAN

Do đó, việc xem xét khả năng xử lý các mẫu đối kháng khi đánh giá các giải pháp dựa trên học máy “học sâu là một trong những xu hướng nghiên cứu hiện nay.

Nhiều công trình nghiên cứu đã tập trung vào nhiệm vụ tạo ra các mẫu đối kháng

dựa trên việc sửa đổi các mẫu gốc thông qua các phương pháp đầy hứa hẹn khácnhau Một số nghiên cứu thực hiện việc sửa đổi và tạo một mẫu đối kháng hoànchỉnh, trong khi một số khác có thể chỉ tạo ra các dạng biểu diễn của phần mềm

độc hại đối kháng chắng hạn như vec-tơ đặc trưng Một cách tiếp cận khả thi là mô

hình Mạng sinh đối kháng được giới thiệu bởi Goodfellow và cộng sự (3) Mang sinh

đối kháng đã thể hiện tiềm năng của mình trong việc tạo ra hình ảnh, âm thanh,văn bản và thậm chí trong lĩnh vực bảo mật thông tin để tạo ra phần mềm độc hại

đối kháng BỊ Tuy nhiên, việc sử dụng Mạng sinh đối kháng vẫn có những hạn chế

trong việc tạo ra các mẫu đối kháng khi nhiều nghiên cứu chỉ cho phép tạo ra các

đặc trưng đối kháng hơn là các mẫu phần mềm độc hại có thể thực thi được

Trong khi đó, Học tăng cường là một giải pháp tiềm năng khác để tạo ra các biến

thể của phần mềm độc hại đột biến (6 ig} Học tăng cường là một loại máy hoc

bao gồm một tác nhân học cách tương tác với môi trường thông qua quá trình thử

và sai, nhận phần thưởng cho những hành động thành công và hình phạt cho những

hành động không thành công Bằng cách sử dụng Học tăng cường, có thể tạo raphần mềm độc hại có khả năng thích ứng và phát triển, khiến các hệ thống chống

phần mềm độc hại khó phát hiện hơn Mặt khác, Mạng sinh đối kháng chủ yếu được

sử dụng để tạo dữ liệu mới giống với dữ liệu huấn luyện, dữ liệu này có thể không

hiệu quả trong việc tạo phần mềm độc hại đột biến Mặc dù Học tăng cường vẫn

đang trong giai đoạn đầu nghiên cứu của lĩnh vực này nhưng nó cho thấy đây là

một phương pháp tiếp cận tiềm năng đầy hứa hẹn để tạo ra phần mềm độc hại tiên

tiến hơn và có khả năng lẩn tránh cao hơn Hơn nữa, khi sử dụng Mạng sinh đối

kháng phải nắm rõ các đặc trưng để hoạt động, Học tăng cường có thể hành động

dù hoàn toàn không biết thông tin này nhưng vẫn tạo ra các mẫu đã sửa đổi

Để đối phó với các cuộc tấn công đối kháng này, các phương pháp tổng quát vàmạnh mẽ hơn cũng đang không ngừng xuất hiện và phát triển, một trong số đó là

Học tổng hợp Đây là một kỹ thuật kết hợp một số thuật toán để tăng hiệu suất

của dự đoán tổng thể (9) Không chỉ được ứng dụng trong phòng chống phan mềm

độc hại, kỹ thuật này còn được chú ý nhiều hơn trong lĩnh vực tạo mẫu phần mềm

Chương 1 TỔNG QUAN

độc hại đối kháng hiệu quả Theo Deqiang và Qianmu [i0l có hai cách tiếp cận dựa

trên Học tổng hợp để cải thiện hiệu quả của các mẫu đối kháng: hoặc sử dụng nhiều

phương pháp tấn công hoặc tấn công trên nhiều bộ phân loại Trong cách tiếp cận đầu tiên, việc sử dụng nhiều phương pháp tấn công sẽ làm xáo trộn và tăng khả

năng phân loại sai của các bộ phân loại, chang hạn như công trình của nhóm Tramèr

(14) Đối với cách tiếp cận thứ hai, họ sử dung nhiều bộ phân loại để cho phép các

mẫu đối kháng tương tác nhiều nhất có thể nhằm tăng khả năng trốn tránh củacác mẫu đối với chúng Liu và cộng sự đề xuất cải thiện khả năng chuyển mẫu

bằng cách tấn công một nhóm mô hình học sâu kết hợp, thay vì tấn công một mô

hình duy nhất.

Không chỉ vậy, nhiều công trình khác nhau trong việc phát hiện các mối đe dọa tiềm

ẩn cũng chú ý đến tính minh bạch và độ tin cậy của các dự đoán được trả về khi

nghiên cứu khả năng diễn giải của mô hình học máy Dé nâng cao khả năng diễn

giải của các mô hình học sâu, Caforio và cộng sự trong nghiên cứu của họ đã

sử dụng kết hợp các giải thích Grad-CAM và tìm kiếm lân cận gần nhất Cách tiếp

cận này được sử dụng để làm rõ sự khác nhau giữa hành vi bình thường và hành vitấn công trong lưu lượng truy cập mạng nhằm mục đích cải thiện độ chính xác của

các quyết định của Mạng thần kinh tích chập (Convolutional Neural Network) Hơn

nữa, trong một cuộc điều tra nghiên cứu của nhóm tác giả Alenezi [14], hai bộ dữ liệu mạng gồm 5 lớp đã được xem xét kỹ lưỡng Các nhà nghiên cứu đã sử dụng ba

phương pháp SHAP để làm sáng tỏ sự đóng góp của các đặc điểm riêng lẻ trong các

mô hình Các phát hiện khẳng định rằng việc sử dụng các bộ phân loại này để tạo

mô hình đã được chứng minh là một cách tiếp cận khả thi để xác định các mối đe

dọa an ninh mạng Tuy nhiên, các phương pháp này phải đối mặt với nhiều thách thức thực tế khi đánh giá hiệu suất của chúng trên các tập dữ liệu được xử lý trước thay vì các đối tượng trong thế giới thực, tức là trong không gian vấn đề Việc thiết

lập một quy trình giải thích toàn diện hoạt động trong không gian vấn đề là rất

quan trọng để giải quyết các vấn đề trong thực tế một cách hiệu quả Có mối tương

quan nào giữa các kết quả diễn giải của các mô hình học máy và học sâu khác nhau

hay không? Việc kết hợp Học tổng hợp, một kỹ thuật kết hợp nhiều thuật toán để

nâng cao hiệu suất dự đoán tổng thể (9}, sẽ tác động như thé nào đến dự đoán? Day

là những câu hỏi mà chúng tôi quan tâm và hướng tới giải quyết trong đề tài nghiên

cứu này.

Chương 1 TỔNG QUAN

Dựa trên những động lực này, công trình nghiên cứu của chúng tôi nhằm mục đíchxây dựng một hệ thống nhằm nâng cao hiệu qua lan tránh của phần mềm độc haiWindows bằng cách sử dụng kết hợp mô hình Học tăng cường và Mạng sinh đối

kháng FeaGAN do chúng tôi đề xuất, kế thừa từ công trình của Hu và Tan (15),

được thiết kế với phương pháp Hoc tổng hợp để đào tạo nhằm tận dụng nhiều môhình nhằm tạo ra các đặc trưng đối kháng Ngoài ra, chúng tôi sử dụng Học tăngcường để hợp nhất các vec-tơ đột biến từ FeaGAN vào các tệp PE độc hại ban

đầu Điều này cải thiện khả năng trốn tránh cũng như cho phép xác minh khả năng

thực thi và tính độc hại của phần mềm độc hại Trong quá trình tạo các mẫu đối kháng, chúng tôi khám phá nhiều trình phát hiện phần mềm độc hại, được phân

loại thành ba loại thuật toán chính: thuật toán đơn lẻ, thuật toán tổng hợp đồngnhất và thuật toán tổng hợp không đồng nhất Việc đánh giá một số bộ phân loại

đạt được hai mục tiêu: nó xác nhận tính hiệu quả của các mẫu đột biến và cải thiện

phân tích khả năng diễn giải bằng cách áp dụng phương pháp Kernel SHAP ở phạm

vi rộng hơn Chúng tôi cũng đề xuất một phương pháp phân tích có hệ thống gọi

là SHAPEx, phương pháp này tổng hợp thông tin để tái sử dụng tốt hơn Kết quả

của phân tích khả năng diễn giải này được xem xét kỹ lưỡng và đánh giá thông qua

ba câu hỏi chính liên quan đến khả năng dự đoán của mô hình học máy/học sâu.

Để giải quyết một cách có hệ thống các câu hỏi nghiên cứu, chúng tôi đã xây dựng

một bảng thống kê toàn diện bao gồm bốn trường thuộc tính chính kèm theo năm

câu hỏi nghiên cứu phụ để hỗ trợ trả lời ba câu hỏi nghiên cứu chính Chúng tôi tinrằng những kết quả này cung cấp những hiểu biết quan trọng có thể được sử dụngcho nghiên cứu trong tương lai và phát triển trong việc đưa ra các biện pháp đối

phó với phần mềm độc hại và cải tiến các mô hình.

Tóm lại, chúng tôi có những đóng góp sau:

« Chúng tôi thiết lập một quy trình toàn diện để tạo và đánh giá phần mềm

độc hại Windows bị biến đổi trong không gian có vấn đề trên nhiều trình phát

hiện khác nhau Điều này liên quan đến việc tạo ra một mẫu đột biến thực sự thay vì chỉ tạo ra các vec-tơ đặc trưng đối kháng.

« Chúng tôi thiết lập một phương pháp tiếp cận để đánh giá và đưa ra nhận xét

về tác động của các đặc trưng đầu vào đối với quyết định dự đoán của trình

Chương 1 TỔNG QUAN

phát hiện phần mềm độc hại bằng cách sử dụng Trí tuệ nhân tạo có thể giải

thích (XAT) cho nghiên cứu trong tương lai.

« Chúng tôi giải quyết ba thách thức chính trong việc thực hiện các cuộc tấn

công đối kháng, bao gồm bảo toàn định dạng, bảo toàn khả năng thực thi

và bảo toàn độc hại, thông qua việc thiết lập môi trường thử nghiệm chuyên

dụng để đánh giá

1.2 Tinh ứng dụng

Đề tài nghiên cứu và đề xuất xây dựng hệ thống sinh mẫu đối kháng hoàn chỉnh có

khả năng diễn giải:

¢ Hệ thống sinh mẫu đối kháng hoàn chỉnh hướng đến hộp đen (Black-Box) trên

không gian van đề (Problem-Space).

« Phương pháp tổng hợp các kết quả diễn giải nhắm đến việc tái sử dung các

thông tin (SHAPEx).

1.3 Những thách thức

« Phương pháp trích xuất còn gặp nhiều hạn chế và cần được cải thiện thêm.

« Tài nguyên không đủ nhiều để giải quyết vấn đề thời gian xử lý và huấn luyện

cũng là thách thức lớn trong đề tài.

1.4 Mục tiêu, đối tượng và phạm vi nghiên cứu

1.41 Mục tiêu

« Xây dựng mô-đun để trích xuất các thuộc tính từ mẫu chương trình thực thi

định dạng PE trên hệ điều hành Windows.

»« Xây dựng các trình phân loại mã độc dựa trên các đặc trưng đã được trích

xuất trên (phân loại các mẫu lành tính và độc hại) sử dụng 3 thuật toán chính

Chương 1 TỔNG QUAN

bao gồm các thuật toán đơn, các thuật toán tổng hợp đồng nhất và các thuậttoán tổng hợp không đồng nhất

« Ap dụng phương thức diễn giải Kernel SHAP cho tất cả các bộ phân loại

nhằm mục đích tính toán tầm quan trọng của từng đặc trưng đầu vào (được

trích xuất ở trên) đối với kết quả dự đoán (lành tính hay độc hại).

1.4.2 Đối tượng nghiên cứu

Trong đề tài nghiên cứu này, chúng tôi có 5 đối tượng nghiên cứu chính:

« Các mau phần mềm PE độc hai.

« Phương pháp sinh mẫu đối kháng.

« Các mẫu phần mềm PE đối kháng.

« Phuong pháp học tổng hợp

« Phương pháp diễn giải các kết quả dự đoán.

1.4.3 Pham vi nghiên cứu

Chúng tôi xem xét và đánh giá các mẫu mã độc đối kháng được sinh từ các tệp thực

thi PE trên hệ điều hành Window 32 bit Các thuật toán tổng hợp được sử dụng gồm 2 loại, đó là Tổng hợp đồng bộ và Tổng hợp bất đồng bộ.

Bên cạnh đó, đối với phương pháp diễn giải, chúng tôi hiện chỉ đánh giá đối với cách tiếp cận diễn giải Kernel SHAP vì tính hữu dụng và chính xác của nó.

1.5 Câu trúc luận văn tôt nghiệp

Cấu trúc luận văn tốt nghiệp của đề tài gồm 6 Chương chính:

° Chương [1| Giới thiệu tổng quan về khóa luận.

° Chương [2} Trình bày cơ sở lý thuyết và các nghiên cứu liên quan đến đề tài.

° Chương [3} Giới thiệu phương pháp luận và hệ thống đề xuất.

Chương 1 TỔNG QUAN

° Chương |4| Mô tả các kết quả thí nghiệm và đánh giá.

° Chương [5} Kết luận và hướng phát triển của luận văn.

10

Chương 2

CƠ SỞ LÝ THUYET

Tóm tắt chương

Trong chương này, tác giả trình bày một số kiến thức lý thuyết và công trình nghiên

cứu liên quan đên đề tài.

2.1 Học tổng hợp

Học tổng hợp (Ensemble Learning), hay còn được gọi là Hệ thống phân loại đa dang

(Multiple classifier systems) hoặc Học dựa trên ủy ban (Committee-based learning),

nhằm mục đích kết hợp một số mô hình cơ sở để tạo ra một mô hình dự đoán tối ưu

Ý tưởng chính của phương pháp Học tổng hợp là thu được lợi ích từ các mô hình

khác nhau bằng cách học theo cách tổng hợp Đây có thể là giải pháp cho trường

hợp mô hình yêu hoặc kết quả thu được từ nhiều mô hình không nhất quán Do đó,

việc kết hợp chúng lại với nhau theo cách phù hợp có thể mang lại hiệu suất tốt hơn đáng kể so với việc sử dụng một mô hình duy nhất Một hình thức đơn giản của

Học tổng hợp là kết hợp các kết quả với biểu quyết đa số

Có nhiều phương pháp để phân loại các phương pháp tổng hợp Trong phạm vi của

nghiên cứu này, chúng tôi đề cập đến cách phân loại như được mô tả trong Hình

trong đó các phương pháp tổng hợp được phân loại dựa trên cách mà nó được

kết hợp và độ phức tạp Điều này dẫn đến phân loại thành 2 nhóm, đó là mô hình

đơn và mô hình tổng hợp

11

Chương 2 CƠ SỞ LÝ THUYET

Í Vein Averaging Ryser Stacking Blending Bagging Boosting

ì | Bagging <

estimator _

meta-Hino 2.1: Sơ đồ phân chia mô hình máy hoc dựa trên cách nó kết

hợp các thuật toán yếu và độ phức tạp

Gradient

Boosting

Random Forest

K-nearest Neighbors

Logistic

Regresion Light GBM | Decision Tree | | AdaBoost

Linear

Regression Naive Bayes

Nhiều điểm yếu của các thuật toán học don đã thúc đẩy sự phat triển của các

phương pháp tổng hợp Hầu hết các hệ thống Học tổng hợp đều sử dụng các mô hình học tập cùng loại, được gọi là tổng hợp đồng nhất Mặt khác, việc sử dụng

các thuật toán học khác nhau được gọi là tổng hợp không đồng nhất [I6] Có ba lý

do chính cho điều này, đó là thống kê, tính toán và đại diện 17) Các thuật toán

Tổng hợp cố gắng đưa ra giả thuyết tốt nhất trong không gian Do sự hạn chế của

bộ dữ liệu huấn luyện so với kích thước của không gian giả thuyết nên nảy sinh vấn

đề thống kê Điều này dẫn đến thuật toán học nhận được các giả thuyết khác nhau trong không gian, mang lại độ chính xác như nhau Học tổng hợp giúp giải quyết

tình huống này bằng cách tính trung bình số phiếu bầu của các bộ phân loại, sau

đó giảm việc chọn bộ phân loại không chính xác và từ đó có được độ chính xác cao

trên dữ liệu huấn luyện Bên cạnh đó, đôi khi, các thuật toán học bị kẹt ở mức tối

ưu cục bộ ngay cả khi chúng ta có đủ dữ liệu huấn luyện Sử dụng Học tổng hợp vàsau đó chạy, tìm kiếm cục bộ từ nhiều điểm gốc khác nhau có thể dẫn đến sự tương

đồng chính xác hơn với hàm chưa biết chính xác so với trình học cơ sở đơn lẻ Trong

các trường hợp lớn của học máy, thật khó để tìm ra hàm thực sự cho không gian

giả thuyết Bằng cách áp dụng các đại lượng khác nhau của giả thuyết có trọng số,không gian của các hàm biểu diễn có thể được mở rộng Một lý do nữa được đề cập

là các phương pháp tổng hợp cũng rất tốt khi có rất ít dữ liệu cũng như khi có quá

nhiều (18).

12

Chương 2 CƠ SỞ LÝ THUYET

Khi xây dựng mô hình học tổng hợp, có rất nhiều yếu tố mà chúng ta cần quan tâm

và lựa chọn để tạo ra một mô hình thích hợp có hiệu suất tốt Dựa trên điều này,

có ba cách tiếp cận mà chúng ta có thể tham khảo {19}, đó là huấn luyện mô hình,

kết hợp đàu ra và bộ khung.

2.1.1 Huấn luyện mô hình

Một mô hình tổng hợp phải xem xét hai nguyên tắc: tính đa dạng và hiệu suất dự

đoán Mặc dù tính đa dạng mong đợi các yêu tố cảm ứng tham gia phải đủ đa dạng

để đạt được hiệu suất dự đoán mong muốn thông qua việc sử dụng nhiều “độ lệch

quy nạp” khác nhau, nhưng hiệu suất dự đoán của mỗi yếu tố cảm ứng phải càng

cao càng tốt và ít nhất phải tốt như một mô hình ngẫu nhiên.

Một mô hình phải có một số sai lệch quy nạp để hữu ích hơn khi sử dụng với nhiều

dt liệu hơn Mục đích của mô hình là phù hợp với hầu hết dữ liệu chứ không chi

dữ liệu mẫu Kết quả là, sai lệch quy nạp là rất quan trọng Hơn nữa, các mô hình

tổng hợp với nhiều yếu tố cảm ứng khác nhau có thể không phải lúc nào cũng làm

tăng hiệu suất dự đoán e0]:

2.1.1.1 Thao tác đầu vào

Trong trường hợp này, mỗi mô hình cơ sở được huấn luyện với một tập con huấn luyện riêng biệt, dan đến đầu vào khác nhau cho một số mô hình cơ sở Nó rất hữu

ích khi những thay đổi nhỏ trong tập huấn luyện dẫn đến một mô hình khác.

2.1.1.2 Thao tác thuật toán học

Theo cách tiếp cận này, việc sử dụng từng mô hình cơ sở được thay đổi Chúng ta

có thể làm điều này bằng cách sửa đổi cách mô hình cơ sở đi qua không gian giả

Chương 2 CƠ SỞ LÝ THUYET

Ý tưởng là kết hợp ít nhất hai chiến lược khi xây dựng quần thể Thuật toán Random

Forest có lẽ là biểu hiện nổi tiếng nhất của Lai ghép nhóm Nó không chỉ thao tác

thuật toán học bằng cách chọn ngẫu nhiên một tập hợp con các tính năng tại mỗi

nút mà còn thao tác các thể hiện khi xây dựng từng cây

Chúng ta có thể kết hợp các đầu ra của mô hình cơ sở bằng cách gán trọng số cho

từng mô hình cơ sở Phương pháp tính trọng số là hợp lý nhất, ví dụ khi hiệu suất

của các mô hình cơ sở có thể so sánh được Đối với các vấn đề phân loại, biểu quyết

theo đa số (Major voting) là phương pháp tính trọng số đơn giản nhất Một chiến

lược tính trọng số khác là ấn định trọng số tỷ lệ thuận với sức mạnh của tác nhân

cảm ứng.

2.1.2.2 Phương pháp siêu hoc

Các mô hình siêu học khác với các mô hình máy học tiêu chuẩn ở chỗ chúng bao

gồm nhiều giai đoạn học tập Trong mô hình siêu học, các đầu ra cảm ứng riêng lẻ được sử dụng làm đầu vào cho siêu học, tạo ra đầu ra cuối cùng Các phương pháp

siêu học hoạt động tốt trong trường hợp các mô hình co sở nhất định có hiệu suất

14

Chương 2 CƠ SỞ LÝ THUYET

khác nhau trên các không gian con khác nhau Stacking có lẽ là phương pháp siêu

học phổ biến nhất

2.1.3 Bộ khung

Chúng ta có thể chia nó thành hai loại chính, đó là bộ khung phụ thuộc và bộ khung

độc lập.

Đối với bộ khung phụ thuộc, đầu ra của mỗi bộ cảm ứng sẽ ảnh hưởng đến việc

xây dựng bộ cảm ứng tiếp theo Trong khuôn khổ này, thông tin từ lần lặp trước

sẽ hướng dẫn việc học ở lần lặp tiếp theo Mặt khác, mỗi bộ cảm ứng trong khung

độc lập được xây dựng độc lập với các bộ cảm ứng khác Bảng [2.1] hiển thị các

loại Học tổng hợp dựa trên các cách tiếp cận trên

Tên phương thức Phương pháp kết hợp đầu ra | Sự phụ thuộc Cách huấn luyện

Stacking Siêu học Độc lập Thao tác thuật toán học

AdaBoost Dùng trọng số Phụ thuộc Thao tác đầu vào Gradient boosting machines Dùng trọng số Phụ thuộc Thao tác đầu ra

Random Forest Dùng trọng số Độc lập Lai ghép nhóm

Bagging Dùng trọng số Độc lập Thao tác đầu vào

BANG 2.1: Danh mục một số phương pháp học tổng hợp

2.2 Explainable Artificial Intelligent

Một trong những nhược điểm của nhiều thuật toán hoc máy là tính "hộp đen" của

chúng khiến việc đưa ra những lời giải thích gặp nhiều khó khăn, thậm chí không

thể hiểu hoàn toàn, ngay cả bởi các chuyên gia trong lĩnh vực Việc thiếu khả năng

giải thích này làm dấy lên mối lo ngại về độ tin cậy và tính minh mạch của hệ thống Trí tuệ nhân tạo, đặc biệt là trong các lĩnh vực quan trọng như phân loại phần mềm độc hại Các mạng thần kinh sâu có xu hướng càng làm tăng tính "hộp

đen" của mô hình Explainable Artificial Intelligent (XAT) là một lĩnh vực nghiên

cứu mới nhằm giải quyết vấn đề này bằng cách tạo ra các mô hình "hộp kính" có

thể giải thích được cho con người, trong khi vẫn duy trì hiệu suất của mô hình XAI

rất quan trọng trong việc thu hẹp khoảng cách giữa khả năng ra quyết định của AI

và khả năng hiểu của con người Nó cho phép các nhà phân tích xác nhận và tinh

15

Chương 2 CƠ SỞ LÝ THUYET

chỉnh các mô hình AI, đảm bảo sự phù hợp của chúng với kiến thức chuyên môn

của con người Việc này tạo thuận lợi giúp các nhà nghiên cứu và người dùng hiểu

rõ hơn về kết quả của các mô hình học máy Các nỗ lực này đang được áp dụng

trong nhiều lĩnh vực, ví dụ như hệ thống điện, nhằm cung cấp thông tin chỉ tiết vềcác đặc điểm quan trọng, giúp tăng cường sự tin cậy và hiệu suất của các ứng dụng

học máy.

Dựa trên những nghiên cứu gần đây, có 4 lý do chính dẫn đến sự phát triển XAI

mà ta có thể kể đến:

« Nhằm mục đích đưa ra lời giải thích cho các quyết định

« Nhằm xác minh tính minh bạch của các dự đoán

« Nhằm phát triển các mô hình dự đoán

« Nhằm xây dựng niềm tin của con người

2.2.1 SHapley Additive exPlanations

SHapley Additive exPlanations (SHAP) là một khung công cụ với mục tiêu là

giải thích, điễn giải các dự đoán của mô hình bằng cách xác định tầm quan trọng

của của mỗi đặc trưng trong dự đoán Tương tự như LIME, SHAP là một phương

pháp cục bộ, hậu hoạch và không phụ thuộc vào mô hình SHAP sử dụng lý thuyết

trò chơi liên minh để tính toán các giá trị Shapley, với các giá trị đặc trưng của

trường hop dit liệu đóng vai trò như các thành viên trong liên minh Việc tính toán

giá trị Shapley giúp đánh giá mức độ công bằng trong việc phân phối dự đoán quacác đặc điểm Trong SHAP, không cần thiết phải thiết lập một mô hình cục bộ, màmột hàm chung được sử dụng để tính toán giá trị Shapley cho mỗi chiều đặc trưng

Hình [2.2] 1a một ví dụ điển hình khi dùng SHAP để tinh toán tầm quan trọng của

các đặc trưng.

Hoạt động của SHAP có thể được tóm tắt theo ba bước chính sau:

1 Tạo dit liệu tham chiếu: Bước đầu tiên là tạo ra dữ liệu tham chiếu, dùng làm

điểm so sánh để đánh giá tầm quan trọng của các đối tượng trong bối cảnh

16

Chương 2 CƠ SỞ LÝ THUYET

ByteEnTropyBin_244 ByteEnTropyBin_255 SectionVsizeHashed_7

ByteHistogram_90

ByteHistogram_32 SectionSizeHashed_16

ByteHistogram_78

LibrariesHashed_206

ByteEnTropyBin_161 Feature value

LibrariesHashed_43 SectionVsizeHashed_4

No.ZerosizeSections

SizeofHeaders

ByteEnTropyBin_139 ByteHistogram_207

T T † T T Low

—0.4 —0.2 0.0 0.2 0.4

SHAP value (impact on model output)

HìNH 2.2: Một vi dụ về kết quả trả ra của SHAP

dự đoán Dữ liệu tham khảo thể hiện đường cơ sở để từ đó có thể đo lường

tác động của từng tính năng.

Tính toán giá trị Shapley: Sau khi có dữ liệu tham chiếu, SHAP tính toán các

giá trị Shapley, dựa trên các nguyên tắc toán học đã được thiết lập rõ ràng từ

lý thuyết trò chơi hợp tác Các giá trị này định lượng sự đóng góp của từng tính năng đối với sự khác biệt giữa dự đoán được đưa ra cho một trường hợp

cụ thể và dự đoán trung bình cho tất cả các trường hợp

Đánh giá đóng góp của tính năng: Sau khi tính toán các giá trị Shapley, SHAP

đánh giá sự đóng góp của từng tính năng vào dự đoán của mô hình Bằng cách

gan trong số cho các tính năng, SHAP cung cấp sự hiểu biết toàn diện và dễ

2 x Z Ks Z yu 4 x A `

hiểu về cách mỗi tính năng ảnh hưởng đên dau ra của mô hình.

Một trong những điểm mạnh của SHAP là mức độ tin cậy cao do nó phụ thuộc vào

các giá trị Shapley có căn cứ về mặt toán học Nó đảm bảo sự công bang trong việc

đánh giá tầm quan trọng của các tính năng và mang lại sự linh hoạt trong việc xử

lý các loại mô hình khác nhau.

17

Chương 2 CƠ SỞ LÝ THUYET

2.3 Các công trình liên quan

Có ba thách thức trong việc duy trì ngữ nghĩa của phần mềm độc hại PE đối kháng

đối với các cuộc tấn công đối kháng trong thực tế nhằm phát hiện phần mềm độc

hại PE mà kẻ tấn công phải chú ý, bao gồm bảo toàn định dạng, bảo toàn khả năng

thực thi và bảo toàn tính độc hại l: Không giống như hình ảnh, âm thanh hoặc

thậm chí là văn bản, Phần mềm độc hại PE phải tuân theo các quy tắc định dạngnghiêm ngặt của tệp PE Do đó, trong các tệp PE, các phép biến đổi trong không

gian vấn đề của chúng phải được xác định theo định dạng được yêu cầu Tuy nhiên,

ngay cả khi chúng ta đảm bảo định dạng của tệp (bảo toàn định dạng), chúng ta

cũng không dám khang định rằng chúng vẫn giữ khả năng thực thi (bảo toàn khả

năng thực thi) và mức độ độc hại ban đầu (bảo toàn tính độc hại).

Để bắt đầu, ATMPA 2 do Liu và cộng su đề xuất là chiến lược tấn công đối kháng

hộp trắng trong miền nhiệm vụ phân loại phần mềm độc hại dựa trên hình ảnh Cụthể, ATMPA đã chuyển đổi mẫu phần mềm độc hại thành hình ảnh thang độ xám

có kết cấu nhị phân trước khi sửa đổi mẫu đối kháng tương ứng với những nhiễu

loạn nhỏ được cung cấp bởi hai kỹ thuật tấn công đối kháng hiện có - FGSM và

C&W Kết quả thử nghiệm chỉ ra rang độ nhiễu bat lợi có thể đạt tỷ lệ tấn công

thành công 100% đối với các trình phát hiện phần mềm độc hai dựa trên CNN,

SVM và RF Hơn nữa, tỷ lệ chuyển giao của các mẫu đối kháng trong khi tấn côngcác trình phát hiện phần mềm độc hại khác nhau có thể đạt tới 88,7% Tuy nhiên,

hình ảnh thang độ xám đối kháng được tạo của mẫu phần mềm độc hại đã phá vỡ

cấu trúc của phần mềm độc hại ban đầu và do đó không thể thực thi đúng cách,khiến ATMPA không phù hợp để phát hiện phần mềm độc hại PE trong thế giới

thực Trong công việc khác, Lucas cộng sự đã trình bày một loại tấn công đối kháng mới dựa trên kỹ thuật đa dạng hóa nhị phân thay đổi lệnh nhị phân ở cấp độ

chi tiết của hàm bằng cách sử dụng hai loại sửa đổi bảo toàn chức năng, là phương

pháp ngẫu nhiên tại chỗ và dịch chuyển mã Để hướng dẫn các chuyển đổi được

triển khai cho phần mềm độc hại PE theo tùy chọn hộp trắng, họ đã sử dụng tínhnăng tối ưu hóa tăng dần độ dốc để chỉ chọn chuyển đổi nếu nó dịch chuyển các

phần nhúng theo hướng tương tự như độ dốc của hàm mất mát liên quan đến các

phần nhúng của nó Rõ ràng là trên thực tế, hầu hết tất cả các cuộc tấn công hộp

trắng chống lại hoạt động phát hiện phần mềm độc hại PE, chẳng hạn như cuộc

18

Chương 2 CƠ SỞ LÝ THUYET

tấn công được mô tả ở trên, đều sử dụng tối ưu hóa các phương pháp tiếp cận dựa

trên độ dốc làm phương pháp tấn công, bất kể không gian đối thủ để thay đổi các

mẫu gốc là trong không gian đặc trưng hay là không gian van dé Tuy nhiên, do vấn đề nan giải về không gian đặc trưng-vấn đề (problem-feature space dilemma),

việc sử dụng trực tiếp các thuật toán tối ưu hóa dựa trên độ dốc để xây dựng các

mẫu phần mềm độc hại PE đối kháng là không khả thi và không thực tế.

So với các cuộc tấn công hộp trắng, các cuộc tấn công hộp đen thực tế hơn vì chúng

ít phụ thuộc vào kiến thức của kẻ tấn công về trình phát hiện phần mềm độc hại mục tiêu Ví dụ, Rosenberg và cộng sự đã giới thiệu BADGER, một hệ thống

tấn công đối kháng đầu cuối bao gồm một tập hợp các cuộc tấn công hộp đen hiệu

quả cho truy vấn được thiết kế để gây nhiễu dự đoán của các trình phát hiện phần

mềm độc hại dựa trên chuỗi lệnh gọi API trong khi giảm thiểu số lượng truy vấn.

Để duy trì chức năng ban đầu, các cuộc tấn công của họ bị hạn chế chỉ chèn các

lệnh gọi API không có tác động hoặc tác động không đáng kể Các tác giả đã trình

bày các cuộc tấn công khác nhau có và không có kiến thức về điểm khả năng đầu ra

để giải quyết vấn đề liệu có nên thêm các lệnh gọi API hay không và ở đâu Họ tiến

hành hai loại tấn công đối kháng bao gồm tấn công dựa trên điểm số và tấn côngdựa trên quyết định Đối với cuộc tấn công dựa trên điểm số, nó đã sử dụng quá

trình khởi tạo SeqGAN được đào tạo trước để sao chép chuỗi lệnh gọi API của các

mẫu lành tính nhằm tạo lệnh gọi API Bên cạnh đó, nó còn áp dụng phương pháptiến hóa trộn đồng đều tự thích ứng để tối ưu hóa vị trí chèn Mặt khác, cuộc tấn

công dựa trên quyết định dựa vào tính ngẫu nhiên để chèn lệnh gọi API vào cùng

một vị trí Để cải thiện hiệu quả truy vấn của các cuộc tấn công, họ đã chèn cácđối tượng có ngân sách tối đa và sau đó sử dụng cơ chế quay lui logarit để loại bỏ

một phần lệnh gọi API đã thêm trong khi vẫn duy trì khả năng trốn tránh.

Về các cuộc tấn công dựa trên Mạng sinh đối kháng, Hu và Tan đã giới thiệu

mô hình MalGAN để tạo các mẫu phần mềm độc hại PE, có khả năng vượt qua

quá trình phân loại của trình phát hiện phần mềm độc hại, dựa trên danh sách lệnh

gọi API Cụ thể, MalGAN giả định rằng kẻ tấn công biết toàn bộ không gian đặc

trưng của trình phát hiện phần mềm độc hại mục tiêu Các tác giả đã xây dựng

một trình phát hiện thay thế có cùng đặc điểm của mô hình hộp đen mục tiêu.

Sau đó, MalGAN khởi tạo mô-đun sinh mẫu để giảm thiểu xác suất độc hại của

19

Chương 2 CƠ SỞ LÝ THUYET

các mẫu đối kháng được dự đoán từ trình phát hiện thay thế bằng cách thêm một

số lệnh gọi API không cần thiết vào đối tượng được chèn ban đầu Trong nghiên cứu khác, nhóm của Kawai đã tìm ra một số vấn đề từ quan điểm thực tế và

đề xuất một mô hình cải tiến từ MalGAN có tên là Improved-MalGAN Cu thể,

Improved-MalGAN đã sử dụng nhiều danh sách lệnh gọi API khác nhau trong suốt

quá trình huấn luyện của trình phát hiện hộp đen và MalGAN, trong khi MalGAN

ban đầu đã huấn luyện chúng với cùng một tập dữ liệu Họ cũng đề cập rằng không

nên thực hiện việc tạo các mẫu đối kháng trên nhiều loại phần mềm độc hại khác nhau vì nó có thể ảnh hưởng đến hiệu năng lẩn tránh Ngoài ra, Yuan và cộng sự

đã trình bày GAPGAN (5), một hệ thống tấn công đối kháng hộp den cấp byte dựa

trên mạng sinh đối kháng với mong muốn chống lại khả năng phát hiện của các mô

hình trên học sâu Hệ thống của họ được xây dựng để giữ nguyên chức năng ban

đầu và có tỷ lệ thành công cao chỉ với các payload nhỏ được thêm vào.

Đối với các cuộc tấn công dựa trên Học tăng cường, theo Ebrahimi lo] actor-critic

hoặc DQN thường được sử dung trong các phương thức tan công đối kháng dựa trên Học tăng cường để phát hiện phần mềm độc hại PE và có những hạn chế khi xử lý

các tình huống có không gian trang thái tổ hợp lớn Bằng cách sử dụng Variational

Actor-Critic, một phương pháp hiệu trong việc quản lý các tình huống với không

gian trạng thái tổ hợp lớn, họ đã cung cấp một khung tấn công đối kháng cải tiến

sử dụng Hoc tang cường với tên gọi AMC-VAC với ý tưởng dựa trên gym-malware

[6| 27] Ngoài ra, DQEAE, một khuôn khổ khác được trình bày bởi Fang và cộng

sự |7| đã sử dụng DQN để tránh bi phát hiện phần mềm độc hai PE, gần giống vớigym-malware trong chiến lược với một số cách triển khai dé tăng tính hiệu quả của

mô hình Labaca-Castro và cộng sự |§| cũng cung cấp AIMED-RL, một khung tấn công đối kháng dựa trên Học tăng cường Điểm khác biệt chính giữa AIMED-RL

và các cuộc tấn công đối kháng dựa trên Học tăng cường khác là AIMED-RL cung

cấp một hình phạt mới cho chức năng khen thưởng nhằm tăng tính đa dạng của cácchuỗi biến đổi đột biến đồng thời giảm thiểu độ dài tương ứng

Khi xem xét về mặt bảo toàn tính chất bao gồm định dạng, khả năng thực thi và

tính độc hại, hầu hết các cuộc tấn công đối kháng chống lại trình phát hiện phần mềm độc hại PE chỉ có thể giữ lại định dạng chứ không thể giữ lại khả năng thực

thi hoặc tính độc hại |2] Một số phương thức tấn công đối kháng, như ATMPA |22|,

20

Chương 2 CƠ SỞ LÝ THUYET

có thể làm hỏng bố cục và cấu trúc cố định của định dạng PE, thứ cần thiết để tải

và thực thi tệp PE Hơn nữa, có nhiều cách tương tác với không gian đặc trưng

mà không tương tác với không gian vấn đề như BỊ rất có khả

năng xảy ra rắc rối do vấn đề nan giải về không gian đặc trưng-vấn đề Tuy nhiên,

điều đáng chú ý là một số nghiên cứu về các cuộc tấn công đối kháng như

vẫn chưa chứng minh được bằng thực nghiệm liệu phần mềm độc hai

PE đối kháng được tạo ra có duy trì mức độ độc hại tương tự hay không như phần

mềm độc hại PE gốc Những nghiên cứu này được báo cáo và tóm tắt trong Bảng

2.2

Hơn nữa, một số tác giả đề xuất nhiều kỹ thuật khác nhau để cải thiện tính hiệuquả của các biến thể phần mềm độc hại đối kháng Có hai kỹ thuật để nâng cao

hiệu quả của các mẫu đối kháng, bao gồm sử dụng nhiều phương pháp tấn công

khác nhau và tấn công nhiều bộ phân loại [I0] Trong chiến lược đầu tiên, chúng

sử dụng nhiều phương pháp tấn công khác nhau để làm xáo trộn và tăng khả năng

phân loại sai của các bộ phân loại Tramer và cộng sự đề xuất sử dụng một

số phương pháp biến đổi để tấn công bộ phân loại Nó tạo ra các kết quả chứng

BANG 2.2: Tổng hợp các công trình liên quan về đột biến phần mềm

độc hại

Preservation

- l Knowledge Manipulation : a PE Malware oe 2H ¢

Year Authors eres eee Attack Strategy Detection Datasets 22 :

aS oT

ao ẻ

x Og [Si 1

2017 Hu and Tan [15 BB FS GAN APT call ist based Self-collected dataset x

Ề malware detectors

NI Visualization-based BIG 2015

2019 Lin ct al [22 WB FS FGSM, C&W wane detect VirusTotal

Malware G616610T8 Self-collected benign dataset

2019 Kawai et al BB FS GAN API call list based FFRI Dataset 2018 x

malware detectors

1B-base

2019 Fang et al BB PS RL GB-based VirusTotal x x ox

malware detector

7 ¬ : ‘APT call sequence based ;

2020 Rosenberg et al BB FS Evolutionary Algorithm Self-collected dataset x x

2021 Lucas et al [23 WB PS Gradient-based “Avast Net BIC 2015 x x x

Self-collected benign dataset EMBER

2021 Ebrahimi et al BB PS RL SER VirusTotal x x

MalConv

2021 Labaca-Castro et al {8 BB PS RL LightGB-based Self-collected dataset x x

malware detector Single algorithm-based oms BB Ps GAN + RL malware detectors VirusTotal ¬

Ensemble algorithm-based

malware detectors

Seft-collected benign dataset,

21

Chương 2 CƠ SỞ LÝ THUYET

minh được tính hiệu quả của phương pháp trong việc trốn tránh bộ phân loại Trong

chiến lược thứ hai, họ tấn công vào nhiều loại phân loại sao cho các mẫu đối kháng tương tác với chúng nhiều nhất có thể để tối đa hóa khả năng lan tránh của các

mẫu nhắm vào chúng Trong một trường hợp khác, Liu và cộng sự cũng đề xuấtcải thiện khả năng chuyển giao bằng cách tấn công một nhóm mô hình học sâu

hỗn hợp thay vì một mô hình duy nhất Hay trong nghiên cứu của Luca và cộng sự

(28}, ho đã cung cấp một bộ khung có hệ thống và có thé mở rộng quy mô cho các

thuật toán học máy Bộ khung của họ bao gồm hai khối chính Đầu tiên, các thao tác thực tế phải được xác định trong các ràng buộc dành riêng cho ứng dụng được

cung cấp Thứ hai, trình tối ưu hóa được sử dụng để tinh chỉnh chúng Nó giảmthiểu bốn thách thức khi mô hình hóa mối đe dọa nhằm giúp các cuộc tấn công sửdụng học máy trở nên thực tế hơn bao gồm ứng dụng cụ thể (application-specific),

bảo tồn ngữ nghĩa (semantics-preserving), tự động hóa (automatable) và tỉnh chỉnh (fine-tunable).

Khong chỉ vậy, nhiều công trình khác nhau trong việc phát hiện các mối de dọa tiềm

ẩn cũng chú ý đến tinh minh bạch và độ tin cậy của các dự đoán được trả về khinghiên cứu khả năng diễn giải của mô hình học máy Dé nâng cao khả năng diễn

giải của các mô hình học sâu, Caforio và cộng sự trong nghiên cứu của họ đã

sử dụng kết hợp các giải thích Grad-CAM và tìm kiếm lân cận gần nhất Cách tiếp

cận này được sử dụng để làm rõ sự khác nhau giữa hành vi bình thường và hành vitấn công trong lưu lượng truy cập mạng nhằm mục đích cải thiện độ chính xác của

các quyết định của Mạng thần kinh tích chập (Convolutional Neural Network) Hơn

nữa, trong một cuộc điều tra nghiên cứu của nhóm tác giả Alenezi [14], hai bộ dữ

liệu mạng gồm 5 lớp đã được xem xét kỹ lưỡng Các nhà nghiên cứu đã sử dụng ba phương pháp SHAP để làm sáng tỏ sự đóng góp của các đặc điểm riêng lẻ trong các

mô hình Các phát hiện khẳng định rằng việc sử dụng các bộ phân loại này để tạo

mô hình đã được chứng minh là một cách tiếp cận khả thi để xác định các mối đe

doa an ninh mạng Tuy nhiên, các phương pháp này phải đối mặt với nhiều thách thức thực tế khi đánh giá hiệu suất của chúng trên các tập dữ liệu được xử lý trước

thay vì các đối tượng trong thế giới thực, tức là trong không gian vấn đề Việc thiết

lập một quy trình giải thích toàn diện hoạt động trong không gian vấn đề là rất

quan trọng để giải quyết các vấn đề trong thực tế một cách hiệu quả Có mối tương

quan nào giữa các kết quả diễn giải của các mô hình học máy và học sâu khác nhau

22

Chương 2 CƠ SỞ LÝ THUYET

hay không? Việc kết hợp Học tổng hợp, một kỹ thuật kết hợp nhiều thuật toán để

nâng cao hiệu suất dự đoán tổng thể (9}, sẽ tác động như thé nào đến dự đoán? Day

là những câu hỏi mà chúng tôi quan tâm và hướng tới giải quyết trong đề tài nghiên

cứu này.

23

3.1 Mô hình hóa mối đe dọa

Dựa trên kiến thức về mục tiêu của kẻ thực hiện cuộc tấn công, các kịch bản tấn

công có thể được phân loại thành hộp trắng, hộp xám và hộp đen Đối với các tìnhhuống hộp trắng, giả định rằng kẻ tấn công có kiến thức đầy đủ về mục tiêu bao

gồm dữ liệu huấn luyện, thuật toán và mô hình học máy cùng với các siêu tham số

huấn luyện Trong khi đó, trong các tình huống hộp xám, kẻ tấn công chỉ nhận biết một phần thông tin nào đó Ngược lại với hộp trắng, kẻ tấn công trong trường hợp hộp đen hoàn toàn không biết gì về hệ thống mô hình mục tiêu hướng đến Trên

thực tế, có nhiều ý kiến cho rằng không thể thực hiện được một cuộc tấn công hộp

đen thực sự Lý do là kẻ tấn công phải thu thập ít nhất một số thông tin nhất định,

chẳng hạn như vị trí của mô hình học máy mục tiêu hoặc đầu ra của nó, tương ứng

với dữ liệu cụ thể được cung cấp Trong miền phần mềm độc hại, cuộc tấn công hộp

đen thường đề cập đến cuộc tấn công vào mô hình mục tiêu trong đó kẻ tấn công

chỉ có quyên truy cập vào giao diện dau vào và dau ra của mục tiêu.

24

Chương 3 PHƯƠNG PHÁP LUẬN VÀ HỆ THONG ĐỀ XUẤT

Mô hình mối đe dọa của tôi được xác định theo năm khía cạnh sau:

+ Kiến thức uê kẻ tấn công: đề cập những thông tin thu được về mô hình

mục tiêu của kẻ tấn công Phương pháp đề xuất của tôi thực hiện các cuộc

tấn công trong kịch bản hộp đen và hộp xám Trong trường hợp này, kẻ tấn

công không có được các tham số và kiến trúc học tổng hợp của trình phát hiện

phần mềm độc hại Hơn nữa, kẻ tấn công không có quyền truy cập vào bất kỳ

điểm tin cậy nào từ trình phân loại Thông tin duy nhất có thể truy cập được

là liệu các mẫu đột biến có thể trốn tránh sự phát hiện hay không

«Ổ Không gian thao tác: bản chất của việc tạo các mẫu đối kháng, có thể

được tùy chỉnh trong không gian vấn đề hoặc không gian đặc trưng Phương

pháp của tôi nhằm mục đích hoạt động trên cả hai không gian đó Tôi áp dụng

GAN để tạo các vec-tơ đặc trưng đối kháng dựa trên các vec-tơ gốc (không

gian đặc trưng) Sau đó, các vec-tơ được tạo đó có thể được tận dụng trongquá trình sửa đổi để tạo ra các mẫu phần mềm độc hại thực tế theo Học tăng

cường (không gian vấn đề).

¢ Chiến lược tấn công: kiểu tấn công né tránh Trong công việc của mình,

tôi sử dụng tấn công bắt chước (29), một kỹ thuật né tránh nhằm chuyển điểm

tấn công vào một khu vực lành tính hoặc cố gắng bắt chước một điểm lànhtính cụ thể

«_ Mô hinh muc tiêu: mô hình phát hiện /phần loại mà tôi tập trung né tránh

trong phạm vi của đề tài này, đó là các trình phát hiện/phân loại dựa trên

Học tổng hợp

+ Muc tiêu của kẻ tấn công: phá võ tính toàn vẹn của mô hình C-I-A và

tạo ra các vec-tơ đặc trưng mới cũng như các mẫu phần mềm độc hại có thểđánh lừa các trình phát hiện dựa trên Học tổng hợp

Ngoài ra, tôi cũng xem xét khả năng chuyển giao của các cuộc tấn công đối kháng

khi đánh giá khả năng các mẫu đột biến được tạo ra trong quá trình tương tác với

một mô hình nhất định để đánh lừa các mô hình học máy khác Các mô hình trong

nghiên cứu của tôi là mô hình đơn và mô hình Học tổng hợp

25

Chương 3 PHƯƠNG PHÁP LUẬN VÀ HỆ THONG ĐỀ XUẤT

3.2 Chiễn lược

Hình lB.1|mô tả tổng quan về hệ thống sinh phần mềm độc hại đối kháng Mô-đun

tạo đối kháng được cấu thành từ hai phần chính, bao gồm mô hình FeaGAN và mô hình Học tăng cường Trong thành phần này, FeaGAN chịu trách nhiệm tạo ra các

vec-tơ đặc trưng đối kháng FeaGAN của tôi được lấy cảm hứng từ MalGAN với một số cải tiến trong việc phát hiện phần mềm độc hại Thành phan này chỉ thực

hiện nhiệm vụ của nó đối với các vec-tơ đặc trưng (tức thực hiện trên không gian đặc trưng) mà không trực tiếp tạo ra mẫu phần mềm độc hại hoàn chỉnh Trong

trường hợp này, mô hình Học tăng cường có thể được sử dụng để khắc phục hạnchế này khi sử dụng FeaGAN một cách độc lập Bằng cách sử dụng mô hình Họctăng cường, nó giúp tôi quyết định trình tự sửa đổi cần thực hiện Nếu tác nhân

chọn hành động để sửa đổi, chang hạn như thêm phân đoạn, hàm nhập hoặc thay

đổi tên phân đoạn thì các vec-tơ đặc trưng đối kháng được tạo từ FeaGAN sẽ được

sử dụng Các thao tác, hành động của tác nhân Học tăng cường đều là các thao

tác nhằm biến đổi một tệp phần mềm độc hai mà không làm phá vỡ định dạng của

nó.

Để hệ thống hóa việc tạo và đánh giá các mẫu đối kháng, cả tệp PE và tệp PE độtbiến đều sử dung các thành phần giống hệt nhau để trích xuất và phân loại Ñgược

lại với các hệ thống phân loại thông thường chỉ đưa ra dự đoán, phương pháp của

tôi kết hợp phương pháp Explainable Artificial Intelligent (XAT) Phương pháp này

hỗ trợ đánh giá tác động của từng đặc trưng đối với các quyết định dự đoán, cung

& ABVERSARIAL GENERATOR: FEATURE ˆ

SS) “a sensemble iit ws!

MA Detector suap

Chương 3 PHƯƠNG PHÁP LUẬN VÀ HỆ THONG ĐỀ XUẤT

cấp góc nhìn toàn diện và chỉ tiết hơn trong suốt quá trình phát triển hệ thống họcmáy được thiết kế để xác định và ngăn chặn các mẫu độc hại ở định dạng PE trên

hệ điều hành Windows Điều này đặc biệt quan trọng để giải quyết các mẫu đối

kháng và đột biến Đề tài cũng đi sâu vào việc kiểm tra các mô hình đối kháng, tập

trung vào ba thách thức chính trong việc thực hiện các cuộc tấn công đối kháng đối

với phần mềm độc hại Windows PE Những thách thức này được khám phá và giải quyết kỹ lưỡng trong phạm vi nghiên cứu này.

3.2.1 Mô-đun trích xuất đặc trưng (Feature Extractor)

Hình mô tả tổng quan về mô-đun trích xuất đặc trưng mà tôi đề xuất Để cung

cấp đầu vào cho mô hình mục tiêu và trình phát hiện phần mềm độc hại bằng XAI,

tôi đã trích xuất tám trường thông tin chính bao gồm thông tin phân đoạn (section

HìNH 3.2: Mô-đun trích xuất đặc trưng của hệ thống đề xuất

27

Chương 3 PHƯƠNG PHÁP LUẬN VÀ HỆ THONG ĐỀ XUẤT

BẢNG 3.1: Mô tả các tính năng được trích xuất

Tên trường thông tin Số chiều Mô tả

as Thông tin về các phân đoạn

Section Information 255 (sit dung FeatureHasher)

m Thông tin về các phân đoạn

Imported Functions 1280 va thư viện (sử dung FeatureHasher)

Thông tin về các hàm xuất

Exported Functions 128 (sử dung FeatureHasher)

Byte Histogram 257 Biểu đồ byte của tệp PE

Header Information 62 Thông tin về COFF va Optional Header

String Information 103 Thông tin về các chuỗi

General File Information 9 Thông tin chung về tệp PE

Byte-Entropy Histogram 256 Biểu do byte-entropy của tệp PE

đồ byte (Byte histogram), thông tin tiêu đề (header information), thông tin chuỗi (string information), thông tin chung về tệp (general file information) và biểu đồ

entropy byte (byte-entropy histogram) Để đạt được hiệu suất hệ thống tối ưu, tôi

đã cố định kích thước đối tượng ở mức 2350, với bảng phân tích toàn diện về kích thước cho từng trường thông tin được cung cấp trong Bảng Chiều hướng này

nhằm mục đích đạt được sự cân bằng, hạn chế việc mat thông tin quan trọng trongkhi vẫn duy trì hiệu suất xử lý và khả năng tính toán SHAP (giá trị SHAP) để diễn

giải mô hình Tôi đã sử dụng hàm FeatureHasher để xử lý các loại dữ liệu vô hạn

thành các vec-tơ có kích thước cố định, chẳng hạn như các hàm nhập, hàm xuất và

thông tin phân đoạn.

Trong quy trình tạo phần mềm độc hại đối kháng, trình phát hiện phần mềm độc hại của mô hình FeaGAN hơi khác một chút khi chỉ trích xuất hai đặc trưng,

thông tin phân đoạn và hàm nhập để hỗ trợ thực hiện các hành động cụ thể trong

mô hình Học tăng cường chẳng hạn như imports_ append, section add hoặc

sec-tion rename Đương nhiên, dữ liệu được trích xuất trong giai đoạn này không sử

dụng FeatureHasher để cắt giảm chiều

28

Chương 3 PHƯƠNG PHÁP LUẬN VÀ HỆ THONG ĐỀ XUẤT

3.2.2 Mô-đun phát hiện phần mềm độc hại với X AI

(Mal-ware detector with XAT)

Hình mô tả tổng quan mô-đun phát hiện phần mềm độc hại với XAI mà tôi

đề xuất Khi xây dựng các bộ phân loại, tôi nhấn mạnh vào việc sử dụng các thuật

toán học tổng hợp để nâng cao khả năng trốn tránh của các mẫu đối kháng bằng

cách cho phép chúng tương tác với nhiều bộ phân loại [I0] Tôi phát triển một

loạt các trình phát hiện phần mềm độc hại, được phân loại thành ba loại thuật

toán chính: thuật toán đơn, thuật toán tổng hợp đồng nhất và thuật toán tổng hợp

không đồng nhất Các thuật toán sử dụng có thể đến là thuật toán Bernouli, thuật

toán Naive Bayes, thuật toán Decision Tree, thuật toán Linear Regression, thuật

toán Kneighbors, thuật toán MLP (các thuật toán đơn); thuật toán Random Forest, thuật toán Bagging, thuật toán AdaBoost, thuật toán Gradient Boosting (các thuật

toán tổng hợp đồng nhất); thuật toán Voting, thuật toán Stacking (các thuật toán

tổng hợp không đồng nhất) Việc sử dụng các thuật toán đơn nhằm mục đích cung

cấp cái nhìn tổng thể về hiệu quả trong việc xây dựng các mô hình học máy bằngcác thuật toán học tổng hợp Khi nói đến học tổng thể không đồng nhất, lựa chọn

>, MALWARE DETECTOR with XAI |_——]