Khóa luận tốt nghiệp Khoa học máy tính: Nghiên cứu và đề xuất phương pháp phòng thủ trước một số phương pháp tấn công mô hình học máy trong không gian mạng

AV bằng cách sử dụng chiến lược chuyển đổi mã độc sang mã có vẻ lành tính.Hệ thống AV không phát hiện được mã độc đã biến đổi vì giả định cơ bản mà thuật toán học máy: dư liệu độc hại lu

TRƯỜNG ĐẠI HỌC SƯ PHẠM TPHCM KHOA CÔNG NGHỆ THÔNG TIN

TRƯỜNG ĐẠI HỌC SƯ PHẠM TPHCM

KHOA CÔNG NGHỆ THÔNG TIN

HUỲNH ĐỨC CƯỜNG

NGHIÊN CỨU VÀ ĐỀ XUẤT PHƯƠNG PHÁP

PHÒNG THỦ TRƯỚC MỘT SO PHƯƠNG

PHÁP TÂN CÔNG MÔ HÌNH HỌC MÁY

TRONG KHÔNG GIAN MẠNG

CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐẶNG QUANG VINH

TP.HCM - NAM 2022

Mục lục

Lời cảm ơn

Một số kí hiệu viết tắt

Danh sách hình về

Danh sách bảng

1 Tổng quan đẻ tài

vl

1.1 Khái quát về sự tan cơng mơ hình họcmáy

12 Mục tiêu hướng đến: ee 1.3 Hướng tiếp cận và phương pháp nghiên cứu

Cơ sở lý thuyết và các nghiên cứu liên quan 24 g6 WẬ(HUYẾP các ã cac (co ben Ýn bốn con con: 211 Mơ hình học máy Support Vector Machine:

2.1.2 Khái niệm lý thuyết trị chơi

2.13 Khái niệm học đối thủ (Adversarial learning):

22_ Một số kiên thức về các bài tốn tỗiưu: 27

28

2.4 Các phương pháp đánh giá: 30

28 ACU: sứ gan no ng n0 nõ gứng õ ng ng ng 30 ZOD Nhị ca gan 060696090396 3asgø so gs0+ 31 Tin KMSES sang cata g6 060662 5669 513 Đềg 8 664 31 2.5 Các nghiên cứu liên quan: 2

3 Phương pháp đề xuất 34 3.1 Ý tưởng chính của phương pháp: 34

3.2 Áp dụng phương pháp học máy đối thủ: 35

3.2.1 Mô hình AD-SVM chống lại mô hình tan công ngụy trang tự do (Free-range): ee 35 3.2.2 Mô hình AD-SVM chong lại mô hình tan công ngụy trang hạn ché (Restrained:) 38

4 Thực nghiệm 41 4.1 Dữ liệu huẫn luyện: 41

4.1.1 Tập dữ liệu emailspam: 42

4.1.2 Tập dữ liệu gian lận tín dụng: - 42

42 Môi trường thucnghiém: 43

4.3 Quá trình thựcnghiệm: 43

44 Kết quả thực nghiệm: Ặ Ặ 46

44.1 Với tập dư liệu emailspam: - 46

44.2 Với tập dư liệu gian lận tín dụng: 51

5 Kết luận và hướng phát triển 55

BÀ KHẨN cocci cố 6ï 0n a6 62a sáng 55

5.2 Hướngpháttriển: ằ 55

Tài liệu tham khảo 57

Lời cảm ơn

Sau thời gian học tập và rèn luyện tại Trường Đại hoc Sư Pham TP Hỗ Chí

Minh, bằng sự biết ơn và kính trọng, em xin gửi lời cảm ơn chân thành đến Ban

Giám hiệu, các phòng, khoa Công nghệ Thông tin thuộc Trường Đại học Sư

Phạm TP Hỗ Chi Minh và các thay đã nhiệt tình hướng dẫn, giảng day và taomọi điều kiện thuận lợi giúp đỡ em trong suốt quá trình học tập, nghiên cứu và

hoàn thiện de tài nghiên cứu khoa học này

Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc tới Thay Dang Quang Vinh, người

thay đã trực tiếp hướng dẫn, giúp đỡ em trong quá trình thực hiện để tài

Xin chân thành cảm ơn gia đình, bạn bè đã tạo điều kiện, nghiên cứu để hoàn

thành đề tài này Tuy nhiên điều kiện về năng lực bản thân còn hạn chế, chuyên

dé nghiên luận văn chắc chắn không tránh khỏi những thiếu sót Kính mong

nhận được sự đóng góp ý kiến của các thay cô giáo, bạn bè và đồng nghiệp đểbài nghiên cứu của em được hoàn thiện hơn.

Danh mục viết tắt

Av Anti virus.

AD-SVM_ Adversarial Support Vector Machine.

SVM Support Vector Machine.

MSE Mean Squared Error.

RMSE Root Mean Squared Error

Hinge loss (màu xanh) và Zero-One loss (màu den) - 17

Mô tả điểm dư liệu được phân chia tuyến tinh (a) va các điểm dữ liệu xenlannhau(b) 25

ol

Danh sách bảng

4.1 Kết quả mô hình AD-SVM với Free-range Attack của tập dữ liệu

GiiilISD ST ¿c2 n2 2c gas esogsezoegopopseagdgseso

4.2 Kết quả mô hình AD-SVM với Restrained Attack của tập dit liệu

cñmilspamvớiCr=0I :cc: co co co

43 Kết quả mô hình AD-SVM với Restrained Attack của tập dữ liệu

emailspamvớiCe=03 :.:::::: (¿co

4.4 Kết quả mô hình AD-SVM với Restrained Attack của tập dữ liệu

email spam với Cạ=Ú.5

4.5 Kết quả mô hình AD-SVM với Restrained Attack của tập dữ liệu

email spam với C¿ =Ú7 ee ee ee

4.6 Kết quả mô hình AD-SVM với Restrained Attack của tập dữ liệu

4.10 Kết quả mô hình AD-SVM Restrained của tập dữ liệu gian lận tín

dụng VốLCc=H5 wii icc (c2 (02 2 cá cac

4.11 Kết quả mô hình AD-SVM Restrained của tập di liệu gian lận tín

dung VICES? ¿ác ca ng tse 2n b0 na noi hoa

4.12 Kết quả mô hình AD-SVM Restrained của tập dữ liệu gian lận tín

TNEVOIIGEE HŨ se (cac (c6 ic no aceaiaaaoeea

Chương 1

Tổng quan đề tài

Tại chương này tôi sẽ tien hành khảo sát những van dé cơ bản liên quan đến đẻtài mà tôi đang hướng đến

1.1 Khái quát về sự tan công mô hình học máy

Trong thời đại số hiện nay, sự phát triển không ngừng của các thuật toán học máy đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau Cũng chính vì

the việc các quyết định được đưa ra dựa trên dữ liệu ngày càng được ưa chuộngbởi sự vượt trội vé toc độ và sự chính xác so với con người Và một mô hình học

máy được cau thành từ hai yêu tổ chính gồm kiên trúc mô hình va dữ liệu.

Những kẻ tân công có thể thông qua không gian mạng kết hợp vào hai yếu tô

đã nói trên để tien hành khai thác, sửa đổi và lây nhiễm độc hại làm cho việc đưa ra quyết định của một mô hình trở nên thiêu chính xác.

Ví dụ như một phan mềm phát hiện và điệt vi rút (AV) Hệ thống phan mềm

chống vi-rút đựa trên công nghệ máy học vẫn liên tục bị thách thức bởi nhiều

phan mềm độc hai được cô ý phát triển bởi những kẻ tan công để tránh bị phan

mềm AV phát hiện Cả hệ thông phòng thủ và phan mềm độc hại đều được

trang bị các kỹ thuật tiên tiến, hiện đại nhất để phục vụ lợi ích đối lập của mỗi

bên, mỗi bên đều cố gắng có thể đánh bại bên kia Đối thủ tan công hệ thống

8

AV bằng cách sử dụng chiến lược chuyển đổi mã độc sang mã có vẻ lành tính.

Hệ thống AV không phát hiện được mã độc đã biến đổi vì giả định cơ bản mà

thuật toán học máy: dư liệu độc hại luôn theo cùng một phân phối với du liệu

độc hại được sử dụng để đào tạo Các thuật toán hoc máy trở nên dé bi tan cônghơn nếu đối thủ có quyền kiểm soát di liệu đào tạo hay nói cách khác đối thủ

biết được các giá tri có thể có trong dư liệu đào tạo đó, can thiệp vào và làmsai quy trình đào tạo thậm chí ngay từ dau để tạo ra một bộ phân loại sai Một

ví dụ khác trong van để an ninh mạng là van dé thư rác email Những kẻ gửi thư rác phải vượt mặt các bộ lọc thư rác dựa trên máy học để kiếm lợi nhuận dé đàng Khi các bộ lọc thư rác ngày càng phát triển và trở nên tỉnh vi hơn, những

kẻ gửi thư rác cũng sẽ trở nên có kỹ năng cao hơn và áp dụng các chiến lược tancông hiệu quả hơn để vượt qua các bộ lọc thư rác.

Sự tan công các mô hình học máy này sẽ để lại hậu quả hết sức nghiêm trọng.Việc tìm phương pháp để có thể đối phó với sự tắn công đến các mô hình họcmáy sẽ giúp tang thêm sự an toàn, độ chính xác của mô hình khi đối mặt với

các kẻ tân công sử dụng nhiều phương pháp khác nhau.

Sự đổi dau giữa hệ thong học máy và kẻ tan công luôn diễn ra liên tục, ta

có thể xem sự đối đầu này như là một trò chơi Hệ thống học máy sẽ có gắng

phòng thủ trước những sự tân công của doi thủ bằng cach sử dụng các chiến

lược tốt nhất với sự kết hợp lý thuyết trò chơi vào quá trình học tập Mọi khái

niệm lý thuyết trò chơi, các mô hình học máy và sự đối đầu giữa mô hình và kẻ

tân công sẽ được trình bày rõ trong chương tiếp theo

1.2 Mục tiêu hướng đến:

Với sự hạn chế vẻ thời gian và hạn chế của luận văn, tôi sẽ không thực hiện

phương pháp đẻ xuất trên nhiều mô hình học máy mà chỉ thực hiện trên một

mô hình học máy duy nhất cho bài toán hướng đến.

e Pham vi bài toán:

- Bài toán áp dung với dữ liệu dau ở dang bảng với mỗi hàng là 1 điểm

đữ liệu với nhiều đặc trưng

- Bài toán được áp dụng vào mô hình học máy SVM.

~ Nguồn dữ liệu được thu nhập từ các cuộc thi đã từng diễn ra

~ Việc thực nghiệm sé đưa ra một vài kết quả so sánh.

e Yêu cau bài toán:

~ Nghiên cứu, dé xuất phương pháp để đối mặt với sự tắn công của đối

thủ vào mô hình học máy.

~ Phân tích, lam rõ phương pháp sẽ áp dụng.

— Điều chỉnh các tham số để ket quả đạt được là tốt nhất

e Dự kiến kết quả:

~ Phương pháp dé xuất có thể áp dụng được trong các bài toán phân loại.

- Độ chính xác của việc phân loại sau khi áp dụng thử nghiệm phương

pháp ở mức chấp nhận được

1.3 Hướng tiếp cận và phương pháp nghiên cứu

Với tập dữ liệu thì tôi sẽ áp dụng một số kỹ thuật phân tích và tiên hành tiền

xử lý dir liệu nhằm loại bỏ các điểm dit liệu nhiễu hoặc các đặc trưng không

cần thiết tránh việc ảnh hưởng đến kết quả thực nghiệm Đối với phương pháp

đề xuất, tôi tiên hành khảo sát các phương pháp, các bài toán có sự liên quan

đã được sử dụng để áp dụng vào bài toán phân loại đã được đẻ cập đến Thông

qua đó để có một cơ sở đánh giá, so sánh các phương pháp để lựa chọn hướng

tiếp cận thích hợp nhất Và cuỗi cùng là lựa chọn phương pháp có khả năngnhất trong việc tính toán và tiễn hành thực nghiệm

10

Tiên hành thực nghiệm cài đặt thử nghiệm phương pháp đã dé xuất với mô

hình đã chọn Trong quá trình thực nghiệm sẽ tiền hành chạy qua nhiều tham

số, với nhiều lần lay mẫu dữ liệu khác nhau để tiễn hành huấn luyện mô hìnhnhằm nâng cao kết quả phân loại Nhận xét, đánh giá phương pháp dựa vào

các tiêu chí như độ chính các, ham lỗi,

Tóm gọn lại, ở chương này ta đã có một cái nhìn toàn điện về bài toán giữa kẻ

tân công và mô hình học máy Với những thành tựu hiện tại của ngành khoa học

máy tính và an ninh mạng, người ta đã có thể kết hợp giữa hai lĩnh vực này với

nhau để nghiên cứu ra những phương pháp có thế áp dụng trong nhiều trường

hợp khác nhau khi đối mặt với các kẻ tân công khác nhau Phương pháp được

áp dụng phù hợp với khả năng tính toán của các hệ thống máy tính hiện tại.

Trong các phan tiếp theo ta sẽ tiền hành tìm hiểu, nghiên cứu sâu hơn về những

các kỹ thuật và dé xuất phương pháp phù hợp nhất để giải quyết bài toán

11

Chương 2

Cơ sở lý thuyết và các nghiên

cứu liên quan

Trong chương này tôi sẽ tiễn hành nêu các lý thuyết có liên quan đến mô hình

học máy và phương pháp có liên quan Hiểu được các khái niệm ta sẽ có thể áp

dụng các kỹ thuật phù hợp có liên quan vào bài toán, tiêu biểu nhất để học hỏi những lợi thể của từng kỹ thuật mang lại và những mặt han chế của nó và tiênhành thực nghiệm ở chương tiếp theo

2.1 Cơ sở lý thuyết:

2.1.1 Mô hình học may Support Vector Machine:

Support Vector Machine (SVM) là một thuật toán thuộc phương pháp hoc

máy có giám sát, nghĩa là tập dir liệu huấn luyện sẽ có nhãn kèm theo, nó có thể

sử dụng cho cả các bài toán phân lớp lẫn đệ quy Tuy nhiên nó được ứng dụng

nhiều hơn cho bài toán phân lớp, phân loại Thuật toán học máy này dựa trên lý

thuyết học thống kê, chiều VC (viết tắt của chiều Vapnik - Chervonenkis) do hainhà khoa học Vapnik (1999), Chervonenkis (1974) dé xuất, được biết đến như

một độ đo khả năng phân loại của các thuật toán học máy Có thế nói một cách

12

Hình 2.1: Mo tả mô hình SVM

đơn giản, SVM là thuật toán phân loại du liệu thành hai lớp: lớp dương (+) và

ngược lại là lớp âm (-) Việc ý nghĩa của hai lớp này thì tùy thuộc vào bài toán

và dur liệu mà ta quy định.

Thuật toán SVM được mô tả cụ thể như sau: Cho trước một tập dữ liệu Xtrong không gian m chiều (tương ứng với số đặc trưng của dữ liệu) Nhãn của

các đối tượng có thể được đánh đồi lập nhau như +1 với =1 hoặc 0 với 1, dùng

khi ta xét một đối tượng có thuộc vào một lớp nào đó hay không Mục đích của

thuật toán SVM là tìm một siêu phẳng (hyperplane) phân tách lớp một cách tôi

ưu bằng việc tìm một đường phân chia tất cả các đổi tượng thành hai phan sao

cho các đối tượng ở cùng một lớp người dùng đang quan tâm nằm vẻ một phía

của siêu phẳng, các đối tượng khác nằm ở phía còn lại Để có thể hiểu được một

siêu phẳng là gì ta bắt đầu xét từ một tập hợp ở không gian 2 chiều Giả sử ta

có 2 điểm nằm trên một không gian 2 chiều, ta có thể vẽ được một đường thẳng

tuyến tính chia không gian thành 2 vùng tách biệt chứa các điểm này

Nếu xét ở không gian 3 chiều thì thay vì đường thẳng, ta sẽ có một mặt phẳng

để phân chia các vùng không gian Và tương tự như thế ta có một siêu phẳng

phan chia các vùng đối tượng với không gian n chiều

Ngoài ra ta can hiểu thêm một khái niệm biên, hay lễ (margin) Biên là khoảng

cách từ phan tử trong một lớp ở gan siêu phẳng nhất tới siêu phẳng đó Trong

13

Hình 2.2: Mô tả các siêu phẳng SVM

một không gian đa chiều, có thể xuất hiện nhiều siêu phẳng phân chia tap dữ liệu thành 2 vùng riêng biệt Nhưng siêu phẳng được gọi là tôi ưu khi phân tập

dir liệu thành hai lớp riêng biệt với vùng biên lớn dat giá trị lớn nhất

Ở hình bên trên ta có thể thấy 3 siêu phẳng thỏa mãn điều kiện phân tập dữ

liệu thành 2 vùng tách biệt Nhưng siêu phẳng wx" + b = 1 nằm rất gan lớp +1

và siêu phẳng wx! +b = —1 nằm rat gan lớp - 1 Trong khi siêu phẳng wx! +b = 0

lại nằm cách đều cả 2 vùng, nên có có biên lớn nhất, từ đó ta suy ra wx? + b = 0

chính là siêu phẳng tôi ưu nhất.

Thuật toán SVM được thực hiện như sau:

Xét một tap dir liệu dùng để huấn luyện có n phan tử được biểu diễn như

saul(x1, 1), (Xa, 2), (x3, ¥3)} Trong đó, x; là một vector đầu vào được biểu diễn

trong không gian X € R”, y; là nhãn của phan tử x;, vì ta chỉ quan tâm phan tửbat kỳ có thuộc lớp đang xét hay không nên y; € (=1, +1} Nhiệm vụ của ta là

tìm siêu phẳng Hạ (viết tắt cho hyperplane) và hai siêu phẳng H*, H~ nằm ở hai

phía, gần với các phan tử của các lớp nhất, song song với Hạ và có cùng khoảng

cách với Hp như hình trên.

Hạ : w-x +b = 0 Với điều kiện không có phan tử nào của tập mẫu nằm giữa H*

và HT, taco:

14

e H':t0-x+b >0 với y = +]

e H”:io-x+b <0 với y =-l

Ta có thể tính khoảng cách từ một điểm đến siêu phẳng Hp bằng khoảng cách

Euclid là ——— với l|re||s = ER, we (L2 norm)

Khi đó biên được tính là khoảng cách gan nhất từ 1 điểm tới siéu phẳng Ho

(cho mọi điểm trong hai lớp -1 và +1 ) Ta can tìm w và b sao cho biên đạt giá tri

lớn nhất:

1

(to,b) = arg max MIN „(t0 › Xy + Ù)} (2.1)

Ta có thể giả sử: „(tơ - xạ + b) = 1 Như vậy, với mọi n ta có:

Khi đó, bài toán tối ưu được viết lại cùng với ràng buộc sau:

Trong đó a là các hệ số Lagrange, a = 0 Sau đó người ta chuyển thành bai

toán doi ngẫu là cực đại hóa hàm W(a):

max W(a) = max(min Líto, b, œ)) (2.6)

15

Từ đó giải để tìm được các giá trị tối ưu cho w,b và a Về sau, việc phân lớp

một đối tượng mới chỉ là việc kiểm tra hàm dấu sign(w - x — Ù)

Lời giải tìm siêu phẳng tôi ưu trên có thé mở rộng trong trường hợp dữ liệu

không thể tách rời tuyến tính bang cách ánh xa dữ liệu vào một không gian có

số chiều lớn hơn bằng cách sử dụng một hàm nhân K (Kernel) Có thể nhắc đến

một số hàm nhân thường dùng sử dụng như:

e Hàm nhân tuyến tinh (Linear Kernel): K(x, y) = x * y

e Hàm nhân da thức (Polynomial Kernel): K(x, y) = (x * y + 1)"

e Ham Gaussian (Radial Basis Function Kernel): K(x, y) = exp(")

e Hàm tiếp tuyến hyperbol (Hyperpolic tangent Kernel): K(x, y) = tanh(axy =

b)

Kế đến ta sẽ chú ý đến ham mat mat Hinge thường được dùng trong các bài

toán SVM:

L,,(z, b) = max(0, 1 — „(to > x„ + b)) (2.7)

Để có thể dé dang hình dung về hàm mắt mát Hinge, ta sẽ sử dụng một hình

ảnh kết hợp với sự so sánh với ham mat mát Zero-One Tỏi cũng sẽ giải thích vẻham mat mát Zero-One trong sự so sánh giúp người đọc nắm được sơ lược

Ở đây hàm mắt mát Zero-One là hàm đếm các điểm bị phân loại sai Hàm

Hinge trong hình trên được m6 tả như sau f(ys) = max(0, 1 - ys) với s đại điện

cho dau ra tính được ro - x„ + b Những điểm ở phía phải của trục tung ứng với

những điểm được phân loại đúng, tức s tìm được cùng dau với y Những điểm

ở phía trái của trục tung ứng với các điểm bị phân loại sai Ta có các nhận xét:

e Với ham mat mát Zero-One, các điểm có s ngược dẫu với đầu ra mong

muốn y sẽ gây ra mat mát như nhau (bằng 1), bat kể chúng ở gan hay xa

đường phan chia (trục tung).

16

Hình 2.3: Hinge loss (màu xanh) và Zero-One loss (màu đen)

e Với hàm mắt mát Hinge, những điểm nằm trong vùng an toàn, ứng với

ys > 1, sẽ không gây ra mắt mát gì Những điểm nằm giữa margin của classtương ứng và đường phân chia tương ứng với 0 < ys < 1, những điểm này

gây ra một sự mat mát nhỏ Những điểm bị phân loại sai, nghĩa là ys < 0

sẽ gây ra sự mắt mát lớn hơn, vì vậy, khi tối thiểu hàm mắt mát, ta sẽ tránh

được những điểm bị phân loại sai và lẫn sang phân lớp còn lại quá nhiều.Đây chính là một ưu điểm của hàm mất mát Hinge

Trong bài toán phân lớp, phân loại SVM đóng vai trò như một hệ hỗ trợ raquyết định để xác định phân lớp của một đối tượng mới, trong hình trên đó là

giai đoạn “Kiểm tra phân lớp, phân loại” SVM sử dụng kết quả từ tập thôngtin đặc trưng của dữ liệu đã được xử lý bằng các phương pháp rút để tiền hành

phân lớp, phân loại Việc trích chọn đặc trưng là một bước quan trọng có ảnh

hướng lớn đến bài toán phân lớp với SVM Tùy theo loại dữ liệu và tính chất củadit liệu, các nhà nghiên cứu phải có cái nhìn khái quát về dữ liệu đó để chọn ra

các đặc trưng thích hợp cho bài toán phân loại đó Việc này tuy can thiết nhưng

cũng là điểm bắt lợi của một hệ thống phân lớp sử dụng SVM Ta có thể thấy

ở hình trên việc trích chọn đặc trưng ảnh hưởng đến cả quá trình huấn luyện

17

Nếu như chọn đặc trưng không phù hợp thì việc huấn luyện sẽ cho ra mô hìnhsau huấn luyện sử dung để phân lớp không chính xác Từ đó dẫn đến kết quảkhông đạt được như mong muôn.

2.1.2 Khái niệm lý thuyết trò chơi:

Lý thuyết trò chơi là một lĩnh vực nghiên cứu các mô hình toán học vẻ sựđôi dau hoặc hợp tác giữa những đối tượng có các hành động ra các quyết địnhthông minh (Myerson 1991) Với cái tên như vậy có thể khiến nhiều người hiểulam là lý thuyết vé các trò chơi giải trí thông thường Tuy nhiên, thật chat lýthuyết trò chơi cung cap một mô hình thiết yêu cho các hệ thông mang tính

phức tạp tương đối cao với nhiều tác nhân hoặc người chơi Đặc biệt, doi với

lĩnh vực kinh tế học, sự tác động của nó là hết sức sâu sắc, đã có nhiều ngườidựa trên lý thuyết trò chơi đã đạt được các thành tựu to lớn như giải thưởng

Nobel kinh tế học cho các công hiến của họ Bên cạnh đó, lý thuyết trò chơi cũng

có thể áp dụng vào xã hội học, tâm lý học, sinh học,

Có 3 yêu tô cơ bản cau thành một trò chơi: tập các người chơi, tập các hànhđộng mà các người chơi có thể chọn, và phan thưởng mà họ có thể đạt được khi

thực hiện các hành động Dĩ nhiên sẽ có thể có nhiều đạng trò chơi khác nhaudựa trên 3 yêu tô này Một dạng trò chơi điển hình đó chính là trò chơi đồngthời Những người trong trò chơi đồng thời sẽ chọn và thực hiện các chiến lược

của mình một cách đồng thời và họ không biết rằng những người chơi khác sẽ

thực hiện chiến lược gì Trò chơi sẽ kết thúc ngay lập tức Trong trường hợp hai

người chơi thực hiện hành động của mình không cùng lúc, nghĩa là có người

thực hiện trước và người thực hiện sau, nhưng người thực hiện sau lại không

biết gì về hành động của người người thực hiện trước thì vẫn được xem là một

trò chơi đồng thời Ta sẽ đi qua 2 dạng trò chơi cơ bản là trò chơi tống bằngkhông và trò chơi cân bằng

18

chơi này thường được sử dụng trong các van đẻ đến an ninh mạng Như mụctiêu hướng đến của dé tài thì các mô hình hoc sẽ được giả định đỗi mặt với các

đối thủ trong kịch bản xau nhất là đối thủ sẽ cô gắng toi đa hóa hàm mat mát

của mô hình, và sẽ có một người chơi đạt được phần thưởng và một người chơi

sé mat đi một phan nào đó Đối với dạng trò chơi này thì một chiến lược phốbiên thường được dùng đó chính là chiến lược minimax ma ở đây mô hình học

trong vai trò người phòng thủ sẽ cố gắng tối thiếu hóa hàm mat mát trong khi

giả định rằng đối thủ sẽ thực hiện các chiến lược tối ưu nhằm vào việc tắn công

2.1.2.2 Trò chơi cân bằng Nash:

Tong trò chơi đồng thời các người chơi sẽ không biết rằng đối thủ của họ sẽ

sử dung chiến thuật như thé nào Ở đây ta tiền hành giả định một trò chơi gồm

N người chơi Gọi Š; là tập các chiến thuật hành động cũng những người chơi

i = {1, ,N} Với trò chơi cân bằng Nash thì chiến lược của một người chơi được

đưa là phản ứng tốt nhất của họ đối với người chơi khác Và phản ứng tốt nhất

R; cho người chơi thứ i được ký kiệu theo công thức sau:

Ñ;(s_¡) = arg max [[Gs- (2.8)

Trong đó, [], chính là phan thưởng của người choi thứ i khi mà người choi

khác thực hiện chiến lược s.; Từ đây, ta có thé thay trong một trò chơi có N

người chơi thì một giải pháp cân bằng Nash ở đây là s = (sị, ,sx) với s; € Ñ;(s.;).

Có một điều thú vị ở đây là khi mà các người chơi đều chơi theo chiến lược cân

19

bằng Nash thì sẽ không có bất kì người chơi nào đi lệch khỏi chiến thuật này

cả vì việc này cũng không mang lại lợi ích gì cho họ Đôi khi các trò chơi sẽ

có nhiều phương áp cân bằng Nash thay vì chỉ có một cho các người chơi khác

nhau.

2.1.3 Khái niệm học đối thủ (Adversarial learning):

Ta có một tập không gian đầu vào X € RỶ, với d ở đây là số lượng thuộc tinh

của tập đầu vào Một mô hình học máy được huan luyện dựa trên dir liệu đã

được tiền xử lý sẽ nhận đầu vào là một điểm dữ liệu x € X và dau ra sẽ là nhãncủa điểm dữ liệu đó gồm +1,—1 Và ở đây sẽ tôn tại một kẻ tan công hay còn gọi

là doi thủ sẽ tan công vào 1 điểm đữ liệu bằng một lượng 5 khiến cho một điểm

đữ liệu được phân loại là độc hại trở thành một điểm thuộc lớp không độc hại

hay còn gọi là lành tính và ta có f(x) # f(x + 5) Khi đó điểm mau chốt của họcmáy đối thủ là ta can tìm một hàm f sao cho:

P[f(x) # f(x + ð)] < ele > 0) (2.9)

Ở đây, với vẫn dé học đổi thủ này ta có thể hiểu một cách đơn giản là một trò

chơi giữa kẻ tan công và mô hình học máy Nếu chúng ta giả định một cách lạc

quan rằng sẽ có một người chơi đạt được phan thưởng và người còn lại thì sẽ bị

mat một cái gì đó thì một chiến lược quen thuộc đó chính là chiến lược minimax

đã được đề cập ở lý thuyết trò chơi mục trước Mô hình học sẽ được huan luyệnmột cách tốt nhất nhằm chống lại sự tân công cũng được xem là tốt nhất của đốithủ nhằm khiến cho mô hình phân loại sai nhiều hơn:

e w*: Tham số tôi ưu của mô hình.

e ð': Lượng dữ liệu độc hại mà kẻ tan công có thể dùng.

Ta không đưa ra bat kỳ giả định cụ thé nào về kiến thức của đối thủ vẻ mô

hình học tập Thay vào đó, ta chi đơn giản giả định rằng có sự đánh đổi hoặc

bỏ ra chi phí thay đổi dit liệu độc hại Ví dụ, đối thủ thường sử dụng một chiếnlược đơn giản là di chuyển điểm dữ liệu độc hại trong không gian đặc trưngcàng gan nơi dư liệu vô hại thường xuyên được quan sát càng tốt Tuy nhiên,

đổi thủ chỉ có thể thay đồi một điểm dữ liệu độc hại đến mức tính độc hại của

nó không bị mắt hoàn toàn Nếu đối thủ đi chuyển một điểm dữ liệu quá xa so

với lớp của chính nó trong không gian đặc trưng, đối thủ có thể phải chịu hysinh nhiều tính độc hại của điểm dữ liệu gốc Ví du: trong việc phát hiện gian

lận thẻ tín dung, đối thủ có thể chọn số tiền một cách phù hợp cho việc chỉ tiêu

bằng thẻ tín dụng bị đánh cắp nhằm bắt chước một giao dịch mua được xem là

hợp pháp Khi làm như vậy, doi thủ cũng sé mat một phan lợi ích tiêm năng.

2.1.4 Các mô hình tan công của đối thủ:

Vai mô hình tan công đối thủ khá phố biến trong miền an ninh mạng.

2.1.4.1 Ngụy trang dư liệu:

Gồm hai mô hình tân công ngụy trang gồm tự do (Free-range) và hạn chế

(Restrained), mỗi mô hình đưa ra một giả định đơn giản và thực tế về mức độ

mà đồi thủ biết được Các mô hình khác nhau vẻ ý nghĩa của chúng đối với kiếnthức của đối thủ về dit liệu vô hại và mat tính do thay đổi dữ liệu độc hại Mô

hình tan công phạm vi tự do giả định đối thủ có quyền tự do đi chuyển dữ liệu

đến bat kỳ đâu trong không gian đặc trưng Mô hình tan công hạn chế là một

mô hình tan công bảo thủ hơn Mô hình được xây dựng theo trực giác rằng đôi

thủ sẽ không muỗn để một điểm dữ liệu di chuyển ra xa vị trí ban dau của nó

21

trong không gian đặc trưng Lý đo là sự dịch chuyển lớn hơn thường dẫn đếnviệc tính độc hại bị mắt đi.

e Mô hình ngụy trang tự do:

Ở mô hình tan công này đổi thủ chỉ can biết được các khoảng giá trị của

mỗi thuộc tính thuộc tập dữ liệu không gian đầu vào Ta có thể quy ước doi

với thuộc tính /“ của điểm dữ liệu x¿, ta có:

~ me: giá trị giới han trên.

— x?": giá trị giới hạn dưới.

Ví dụ, đối với phân bố Gaussian, chúng có thể được đặt thành các lượng tử

0,01 và 0,99 Pham vi kết qua sẽ bao gồm hau hết các điểm dữ liệu và loại

bỏ một vài giá trị có thể ngoại biên Một cuộc tân công sau đó được giới hạn

ở đạng sau:

C(x” = xy) $y < Cee — xụ),Vj e [1,4] (2.11)

Với Cy € [0, 1] điểu khiển mức độ tan công vào một điểm dtr liệu:

~ Cy =0: Không có sự tân công nào ở đây

- Cy = 1: Lượng 5 thêm vào điểm đữ liệu là lớn nhất

Một ưu điểm của mô hình tan công nay là sự tổng quát để bao quát tat cả

các tình huống tắn công có thể xảy ra khi có liên quan đến việc sửa đổi dữliệu Khi kết hợp với một mö hình học tập, sự kết hợp sé tạo ra hiệu suất tốt trước các cuộc tân công nghiêm trọng nhất Tuy nhiên, khi có các cuộc

tan công nhẹ, mô hình học tập trở nên quá "hoang tưởng" - sự hoang tưởng

này mang ý nghĩa rằng đối với cuộc tan công nhẹ thì vẫn sẽ có sự nghi ngờrằng liệu rằng điểm dir liệu đó có bị thay đổi hay chưa và hiệu suất của nó

bị ảnh hưởng theo Tiếp theo, ta sẽ đi đến một mô hình thực tế hơn cho các

22

cuộc tan công mà việc thay đổi dir liệu đáng kể sẽ phải chịu tổn thất nhất

Mô hình ngụy trang hạn che:

Hãy coi x; là một điểm dữ liệu độc hại ma đối thủ mong muốn sửa đổi

và x! là một mục tiêu tiém năng mà đối thủ muốn biến đối x; Đối thủ chọnx! theo ước tính của anh ta về phân phoi di liệu vô hại Lý tưởng nhất, doithủ sẽ tối ưu hóa x! cho mỗi x; để giảm thiểu chi phí thay đổi và tối đa hóa

mục tiêu mà nó có thé đạt được Việc lựa chọn xƒ một cách tối ưu là mongmuon, nhưng thường đòi hỏi rat nhiều kiên thức về không gian đặc trưng

và đôi khí là hoạt động bên trong của một thuật toán học Thực té hơn, doithủ có thể ước tính chọn x! là trung tâm của dit liệu vô hại, một điểm dữliệu được lay mẫu từ dit liệu vô hại quan sát được hoặc một điểm dư liệu

nhân tạo được tạo ra từ phân phối dữ liệu từ việc ước tính dữ liệu vô hại

Lưu ý rang x! có thể là một phỏng đoán thô néu đối thủ có kiến thức rat

hạn ché vẻ dtr liệu vô hại hoặc rất chính xác nêu đối thủ biết chính xác cau

thành dữ liệu huan luyện.

Trong các tình huống thực tế, đối thủ có thể không thể thay đổi x; trực

tiếp thành x! như mong muốn vì x; có thể mat quá nhiều tính độc hại của

nó Ví dụ như một bức thư spam nếu ta thêm quá nhiều “từ tốt” thì nội

dung mang tính spam của chúng sẽ mắt hẳn hoàn toàn.

Do đó, đối với mỗi thuộc tính j trong không gian d-chiéu, ta giả sử đối

thủ thêm ð,¡ vào x;; trong đó:

loi < bx} — xy Vj Ed (2.12)

Và 6;; được giới han thêm như sau:

0 < (xj, — xu)ôy < (1— Cs) (34, — xu} (2.13)

23

Với Cs € [0, 1] kiểm soát sự mat mát tính độc hai của điểm dữ liệu x;; khithêm lượng 6;; Mô hình tắn công này chỉ định mức độ mà đối thủ có thể ép

xy về phía x‘ ¡ dưa trên khoảng cách giữa họ với nhau Số hạng 1 — C¿

biểu hiện phan trăm của x}, — x¡ mà lượng ð;; cho phép toi da Ở đây với

tham số C; có định, điểm x;; càng gan x}, thì khả năng chuyển dịch lại càng

lớn Nêu như 2 điểm trên quá xa nhau thì lượng 6); càng nhỏ

Mô hình nay cân bằng giữa nhu cau che giau tính độc hại của dir liệu vagiữ lại tính độc hai của nó trong thời gian trung bình C; liên quan đến việc mat tính độc hại sau khi dir liệu đã được sửa đổi C; đặt ra bao nhiêu tínhđộc hai mà đối thủ sẵn sàng hy sinh để vượt qua ranh giới quyết định C;

lớn hơn có nghĩa là mat tính độc hại ít hơn, trong khi mô hình Cs nhỏ hơn

mat tính độc hại nhiều hơn Do đó, Cs lớn hơn dan đến các cuộc tân công ít

nghiêm trong hơn trong khi Cy) nhỏ hơn dẫn đến các cuộc tan công nghiêm

trọng hơn.

Với dư liệu được chia một cách tuyên tính thì mô hình hoạt động hiệu

quả Ngược lại, đối với dữ liệu không được phân chia một cách tuyến tinh

hay nói cách khác có sự dan xen lần nhau thi việc thay đổi dữ liệu dù chỉ ítthì cũng đầy điểm dữ liệu qua lớp bên kia Trong trường hợp này, ngay cả

khi C; được đặt thành 1, cuộc tan công từ mô hình trên vẫn sẽ quá mạnh so

với những gì can thiết Ta có thé cho phép Cs > 1 để giảm sự nghiêm trọng

của các cuộc tân công, tuy nhiên, để đơn giản và để kiểm soát hơn, ta thay

vào đó áp dụng hệ số chiết khẩu C; cho |x}, — x;;| để trực tiếp mô hình hóamức độ nghiêm trọng của các cuộc tan công:

— C¿ nhỏ đặt ra giới hạn hep hơn đổi với di chuyển dữ liệu.

Cuối cùng kết hợp hai trường hợp này, mô hình giới hạn được đưa ra

như sau:

[xf — xi

0 < GÌ, - xu)ðy (i, xij) j Ce( Re ey Xj) ( ) < Ce - C————)(, - x; 2.15

Sự ngụy trang nay là một dang tan công Black-box, mà ở đây đối thủ

không can phải có thông tin day đủ về mô hình học máy phòng thủ

2.1.4.2 M6 hình tan công làm đữ liệu huấn luyện bị nhiễm độc hại

(Poisoning):

Như tên gọi của mô hình tắn công này thì mô hình này hoạt động dựa trên

việc lây nhiễm vào dữ liệu dùng để huan luyện cho mô hình học máy và khiếncho việc phân loại trở nên sai Một ví du điển hình có thể thây đó chính là các hệ

thong sử dụng dữ liệu thu nhập từ quá trình sử dung và tiến hành pre-trained

mô hình, từ đó dit liệu đã bị nhiễm độc Ở đây có 4 mat độ nguy hiểm từ cao

xuống thấp

25

e Logical corruption:

Sự tan công này có mức độ nguy hiểm cao nhất vì đối thủ có thể thay đổi

thuật toán của mô hình, có thé thêm vào một lớp nào đó hoặc thay đổi cách

mà mô hình học dữ liệu khiến cho việc phân loại trở nên sai đi Sự tan cong

này thường diễn ra khi hệ thong bi xâm nhập cửa sau

e Data manipulation:

Đối thủ ở mức độ này có thể truy cập vào đữ liệu huấn luyện và tiền hànhcác hành động phá hoại Ví dụ như ho sẽ cô gắng thay đổi các nhãn của dữ

liệu một cách ngẫu nhiên Điều chỉnh dau vào là một cuộc tan công tinh vi

hơn không chỉ vì nó mạnh hơn - mà còn vì nó có một mô hình đe đọa thực

tế hơn dang sau nó Hãy nghĩ vẻ một tình huống trong đó một sản phẩm

AV (chỗng vi-rút) nằm trên nhiều điểm cuối và liên tục thu thập dữ liệu để

đào tạo lại trong tương lai Đối thủ có thể dé dàng chèn bat kỳ tệp nào họ

thích - nhưng họ không có quyền kiểm soát quá trình gắn nhãn, quá trìnhnày được thực hiện tự động hoặc thủ công bởi một người ở đầu dây bên

kia Vì vậy, nếu họ có thể chèn các tệp độc hại trông lành tính, họ vừa càiđặt một cửa sau.

e Data injection:

Dua vào dw liệu tương tự như điều chỉnh di liệu, ngoại trừ, giỗng nhưtên cho thấy, nó bị giới hạn ở việc bổ sung Nếu đối thủ có thể đưa dữ liệu

mới vào nhóm đào tạo vẫn khiến chúng trở thành đối thủ rat mạnh Ví dụ,

Perdisci đã ngăn chan Polygraph, một công cụ tạo chu ký sâu, học các chữ

ký có ý nghĩa bang cách chèn nhiễu vào luông lưu lượng truy cập sâu

e Trainsfer learning:

Day là mức độ yếu nhất do trải qua nhiều mô hình thi dan tính độc hai bị

giảm đi đáng kế có thể nói là bị loãng đi một cách rõ ràng

26

2.1.4.3 Đánh cắp mô hình (Model stealing):

Việc tân công này nhằm mục đích thăm dò và trích xuất các thông tin của mô

hình nhằm tái tạo lại mô hình hoặc trích xuất các đữ liệu mà mô hình đã huấn

luyện Kiểu tắn công này có mức nghiêm trọng rất cao vì đôi khi dữ liệu đểhuấn luyện là một bí mật có tính nhạy cảm cao Ví dụ như trong một mô hình

giao dich cổ phiểu độc quyền thì đối thủ có thể trích xuất các thông tin từ mô

hình này và tiến hành các lợi ích tài chính của cá nhân đối thu

Trên đây tôi đã trình bày qua một vài mô hình tân công và cũng sé có nhiều

phương pháp để có thể phòng thủ trước các sự tan công này Cũng như tôi đã

dé cập ở phan trước do thời gian khóa luận có hạn nên tôi cũng chỉ tiền hành

phòng thủ trước một mô hình tan công đó là mô hình tan công ngụy trang dữliệu độc hại với mô hình học máy SVM Chỉ tiết phương pháp sẽ được trình bày

rõ trong chương tiếp theo của khóa luận này

2.2 Một số kiến thức về các bài toán tối ưu:

Tôi sẽ trình bay cơ bản một số kiến thức vẻ 2 bài toán tối ưu gồm:

2.2.1 Bài toán song tuyến rời rac:

Trong một bài toán tối ưu hóa song tuyến rời rạc, các biến tối ưu hóa có thể được phân chia thành hai vectơ, chẳng hạn x và y, nằm trong hai tập lỗi rời rac

X và Y, tương ứng Sự tương tác giữa x và y được ghi lại thông qua một ham

mục tiêu song tuyên, nghĩa là, hàm mục tiêu là tuyến tính theo x với mọi € Y

và tuyến tính theo với mọi x € X Một bài toán tối ưu hóa song tuyến rời racchung có thể được xây dựng như sau:

in x! 2.16

27

Xx le lu

Y Cc IR

QeRTM

Nếu một trong các tập kha thi X hoặc Y chi có ít điểm cực trị, ví du: Y là tap

đơn giản, thì giải pháp tôi ưu của bài toán có thể được tìm thấy một cách hiệu qua bằng cách liệt kê tat cả các đỉnh Hơn thế nữa, nếu QTMx € R"y nằm trong

một góc phan tư cụ thể với mọi x € X, và Y là một siêu hộp, thì y toi ưu cóthể được xác định một cách dé dang, có thể được sử dụng để tính x tôi ưu Tuynhiên, các bài toán song tuyến rời rac thường rat phức tạp nên việc tìm một đáp

án không để dàng chút nào.

2.2.2 Bài toán đối ngẫu bat đối xứng:

Trước hét, ta định nghĩa bài toán tuyến tinh dang chuẩn: Tìm một vectơ x € R"

với biểu thức sau: