Khóa luận tốt nghiệp Mạng máy tính và truyền thông: Nghiên cứu sự khác nhau của mô hình VGG-16 với các mô hình máy học khác trong việc xây dựng hệ thống IDS sử dụng Federated Learning

Đề tài này tập trung vào việc nghiên cứu và phân tích sự khác biệt giữa môhình VGG-16 và các mô hình máy học khác trong quá trình xây dựng hệ thống pháthiện xâm nhập băng phương pháp học

Dau Trong Hoang

Lé Chi Dai

NGHIEN CUU SU KHAC NHAU CUA MO HINH VGG-16

VOI CAC MO HINH MAY HOC KHAC TRONG VIEC XAY

DUNG HE THONG IDS SU DUNG FEDERATED

LEARNING

Differences between VGG-16 Model and Other Machine

Learning Models in Building an IDS System Using Federated

Learning: A Research Study

KY SU NGANH MANG MAY TINH VA TRUYEN THONG DU LIEU

Differences between VGG-16 Model and Other Machine

Learning Models in Building an IDS System Using Federated

Learning: A Research Study

KY SU NGANH MANG MAY TINH VA TRUYEN THONG DU LIEU

GIANG VIEN HUONG DAN

PGS.TS Lé Trung Quan

DANH SÁCH HỘI ĐÒNG BẢO VỆ KHÓA LUẬN

Hội đồng cham khóa luận tốt nghiệp, thành lập theo quyết định số 154/QD-DHCNTT ngày01/03/2023 của Hiệu trưởng Trường Đại học Công nghệ Thông tin

11 — Chủ tịch.

LỜI CẢM ƠN

Lời đầu tiên, chúng tôi xin chân thành cảm ơn thầy Lê Trung Quân (Giảng viênhướng dẫn thực hiện Khoá Luận) đã tận tâm hướng dẫn chúng tôi trong suốt quá trìnhthực hiện khoá luận Trong thời gian một học kỳ thực hiện đề tài, chúng tôi đã vậndụng những kiến thức nền tang đã tích lũy đồng thời kết hợp với việc học hỏi vanghiên cứu những kiến thức mới Từ đó, chúng tôi vận dụng tối đa những gì đã thuthập được đề hoàn thành một báo cáo khoá luận tốt nhất Không chỉ giúp chúng tôivượt qua khó khăn gặp phải khi thực hiện khoá luận, khi làm việc với thầy, chúng tôicòn được học những kiến thức, kỹ năng quan trọng giúp ích cho công việc sau này

Cuối cùng, chúng tôi xin gửi lời cảm ơn đến tất cả các giảng viên của trường nóichung và khoa Mạng Máy Tính và Truyền Thông Dữ Liệu nói riêng đã dạy và hướngdẫn tận tâm trong suốt thời gian chúng tôi học tập và rèn luyện tại trường Đại học

Công nghệ Thông tin.

Tuy nhiên, trong quá trình thực hiện, chúng tôi sẽ không tránh khỏi những thiếusót Vì vậy, chúng tôi rất mong nhận được những góp ý từ phía thầy cô và hội đồngnhằm hoàn thiện những kiến thức mà chúng tôi đã học và làm tài liệu dé thực hiện

các đề tài khác trong tương lai

Xin chân thành cảm ơn!

MỤC LỤC

calle

00009000077 1 0.9):07(o:8:ìn):014500107077 4 0.9): (o:807 9c 6 TÓM TAT KHÓA LUẬN << << <s+s+s£s£EteteEeEeEstexsrtrsrkrsrkrerrrrsrrrsrsrsrersrerre 7

Chương 1 GIỚI THIEU DE TÀII -5- 5< 252 +SzEsEsEs+sEsetreeeeezezrzrsrsrsrsrsrersrrrre 9

1.1 Giới thiệu đề tài: 5c Set E2 E2 1211 11 1111 11 2110112112112121 111111 ye 9

1.2 Mục tiêU - 5 c1 1 S1 1111112111111 110111 111010111111 11110 11 rêu 10 1.3) Pham vi nghién CWu n6 10

Chương 2 KIEN THỨC NEN TANG s:ssssssscsesesessssssssssssestscsesesesesssseseseataeanaceeeesess 11

14 Hệ thống phat hién X4mM hap ne lãi

1.5 Máy học và học sÂu - G111 TT TH HH HH 13

1.5.1 May học -s -sc k2 E2 112711 2112111 T15 T121 T1 ng erng 13 B2: on a 4 14

1.6 Học cộng TÁC - Ăn TH HH HH 14

1.7 Mạng nơ-ron tích chập c1 1111191199111 101111 HH HH 18

1.7.1 Kiến trÚc -cc CS 2H E2 TT 212 T211 1 1 1 g1 111 reereg 20

1.7.2 Thuật toán -+- 2+ +<9EEEE2E1271127112211211 271.711 TT T11 T1 T1 Eeerre 23

1.8 Các thuật toán tạo mẫu đối kháng - 2-2: 2 St ©E£+EE£EE££E+£EEEEEzEEerkrrkrrrerree 25

1.81 GAN&WCGAN 1.8.2 FGSM

1.9.1 1.9.2 1.9.3 1.9.4 1.9.5

Chương 3 NỘI DUNG ĐÈ TÀI -+- «c+csEes+es+ktEkerkererrrrrxrrxrrrkrerkrerre 47

1.10 Xây dung hệ thống phát hiện xâm nhập trên nền tảng trí tuệ nhân tạo dựa

1.11 Xây dựng các mô hình khác dé thực hiện - 2-5 ©52+++x++zz+zxezxezrxee 49

1.12 Tao mẫu đối kháng nhằm mục đích làm dataset cho các máy Edge 54

1.13 Ham mất mát và các chỉ số (Accuracy, Precision, Recall, Fl-Score) 54

Chương 4 KET QUA THỰC NGHIỆM 2 -22-©2£V©+z£EE+z£EEEszEEExzerExzrvrsee 56

1.14 Môi trường thực nghiñiỆm - 5 6 15 1v 12 vn HH Hàn nh Hàn nh rệt

1.14.1 Môi trường thực nghiỆm - 5 <6 + 1 2511511911 91193 91191 KH HH ngà

1.15 Dataset & Tiền xử lý dit liệu

1.15.1 Dataset UNSW-NB LŠ HH He 1.15.2 Tiên xử lý dữ liệu cho mạng nơ-ron tích chập - ¿- «+ +++s£++e+eeeeesersxrs 58

1.16 Đánh giá độ chính xác của mẫu đối kháng dùng trong thí nghiệm 59

1.17 Kết quả thực

nghiệm . -1.17.1 Hiệu suất của mô hình học cộng tác ¬

1.17.2 Hiệu suật của mô hình học cộng tác đôi với mâu đôi kháng ¬ 65 1.17.3 Hiệu suât của mô hình học cộng tác sau khi được huân luyện băng mâu đôi

kháng 67

Chương 5 KET LUẬN VÀ HƯỚNG PHAT TRIẺN - -ccs<c<esesezezrzezeee 70

1.18 KẾt luận ¿tt tk EE SE 1111111111111 11 1111111111111 1111111111111 Tre 70 1.19 Hướng phát triỂn -:- 2 + +++++EE£EE+2EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEErkrrkrrrreea 70

TÀI LIEU THAM KHẢO -. - 5< <+5< <£E++EEtEEEeEkereEskkErrkerxkkrkrrrkrrkrkrrkrrsrk 71

DANH SÁCH HÌNH VE

cae

Hình 1 Mô hình hoc cộng tác được xây MUNG eee eeseeseeeeeeeseeeeneceseceseceseceaeeeseeeaeeeaeens 11

Hình 2 Mô hình mô tả học cộng tácC - 5 + 1v 219v vn ng ng ng nệt 15

Hình 3 Mô tả các lớp của mô hình mạng nơ-ron tích chập - s «<< «++sx+s+ 24

Hình 4 Training curve của MLP_512 (trái) và DCGAN (phải) ở các giai đoạn khác

nhau của quá trình huấn luyỆn 2-22 22 +£2+£2EE+2EE£2EEEEEEEEtEEEEEEEEEEEEEEEerkeerkrrrkre 27 Hình 5 Ước lượng JSD của MLP (trái) và DCGAN (phải) khi được huấn luyện với

quy trinh GAN ti@u ChUan NNNẽn 28 Hình 6 Thuật toán WGAN (trái) va GAN tiêu chuẩn (phải) được huấn luyện bởi mô

I0i00i80)ì0i096 6720011 28

Hình 7 Thuật toán WGAN (trái) và GAN tiêu chuẩn (phải) được huấn luyện bởi mô

hình sinh không có chuẩn hoá theo batch và số lượng bộ lọc được cố định ở các lớp

lði80/030)000: 0n 29

Hình 8 Thuật toán WGAN (trái) va GAN tiêu chuẩn (phải) được huấn luyện với bộ

Sinh RELU-MLP Tố 29

Hình 9 Mô hình sinh và mô hình phân biệt của CGAN se series 30

Hình 10 Áp dụng FGSM với epsilon = 007 vào ImageNet với GoogLeNet 31

Hình 11 Mô hình mang nơ-ron tích chập VG”- ÍỐ cee ceceeceeeesetsetseeeeeeaeeaes 34

Hình 12 Cấu trúc của khối Inception - ¿2£ ©+2++++EE++EE++EE++EE++EE+vrxeerxeerxesrxeer 37 Hình 13 Cau trúc của mạng Inception-V3 - + +2++2+++Ex++£x++tx++zx+erxesrxesrxeerx 38

Hình 14 Hiệu suât của việc căn chỉnh một trong ba chỉ sô (độ rộng, độ sâu,

Hình 15 Cac phương pháp căn chỉnh mô hình ¿5 +5 * 32+ ****E+eEEeeeeeeereserses 39

Hình 16 So sánh hiệu suất ResNet với MobileNetV1 & MobileNetV2 -: 40

Hình 17 Mô hình EfficientNetBD - - - - G1111 1S 110111 11 11 HH ng ngư 41

Hình 18 Mô tả so sánh hiệu suất của các mô hình EfficientNet trên bộ dữ liệu

ImageNet với các mô hình tương đương về hiệu suât nhưng lại có cùng sô lượng

¡008 0 42

Hình 19 Cau trúc khối phần dư - 2: 2 +++£+EE£EE£+EE£EEEEEEEEEEEEEEEESEEEEEEEkrrkrrrrrrrres 43 Hình 20 Cau trúc khối thông thường - 2 2 ©+£+2£+EE+EE£+EE£EEtEEESEEtEEEEErrkerrerrkees 43

Hình 21 Mô tả các lớp của mô hình ResÌNet2⁄4 - 6+ HH ng rưy 46

Hình 22 Chỉ số của VGG16 với input 32X32 2-©2++22++2+++EE++EEtvEEeerxesrxesrkeer 47 Hình 23 Chi số của VGG16 với input 64X64{ :¿ 2 t+EE+EESEEEEEE2EEE2122E121 2E 48

Hình 24 Chỉ số của Mobilev2 với input 64x64 (tốt nhất) - 2-2 5z+cz+zx+zxzzcxeei 48 Hình 25 Chi số của VGG16 với input 64x64 bên trên, train ở máy edge - - 48 Hình 26 Các chỉ số của mô hình EficientNetB0 2-2: 22©z+£xz+xzerxeerkeerkesrkcee 49 Hình 27 Các chỉ số của mô hình EficientNetB0O -¿- 2-52 2 22 £+E£+E2EzEerEerkersees 50

Hình 28 Các chỉ số của mô hình Inception V3 ¿+2 ++EE££E++EEEEEEEEEerkerkerrkers 51

Hình 29 Các chỉ số của mô hình MobileNetV3 c.ccsccsccssessesessesesseseesessstssssssessesseseaees 52 Hình 30 Các chỉ số của mô hình Resnet c.ccscccscssessssssessessessssesssessessessesessesestessesseseeseaees 53

Hình 31 Các chi số của mô hình Resnet420 o ccccscesssesssesssesssesssesssesssesssesseesseessesseesseeseee 54

Hình 32 Mô tả giá trị của các điểm ảnh trên mỗi record -2- 2 z+++z++zx++ssze: 58 Hình 33 Mẫu sau khi được tiền xử Uf sseesseeeccssseeecsssseecessseecsssseeesssnseeessnseecesnnseeessneeeessnes 59 Hình 34 Biéu đồ phân tán thé hiện sự khác nhau giữa mau Original và mẫu FGSM 60 Hình 35 Biéu đồ phân tán thê hiện sự khác nhau giữa mau Original và mẫu BIM 61 Hình 36 Biéu đồ phân tán thé hiện sự khác nhau giữa mau Original và mẫu CW 62 Hình 37 Biểu đồ thể hiện tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô

hình phát hiện xâm nhập trên tap dữ liệu UNSW-NB15 (Multiclass) -‹ -‹ 64

Hinh 38 Biéu dé thé hiện tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô

hình phát hiện xâm nhập trên tập dữ liệu UNSW-NBI5 sau học cộng tác 65

Hình 39 Biểu đồ thể hiện tỉ lệ phát hiện (Recall) của các mô hình phát hiện xâm

nhập trên tập dữ liệu đối kháng được tạo ra từ dataset UNSW-NBI5 67

Hình 40 Mô hình cách hoạt động của kịch bản 4.4.3 - - cv He 68

Hình 41 Biểu đồ thể hiện tỉ lệ phát hiện (Recall) của các mô hình phát hiện xâm

nhập sau khi được huấn luyện trên tập dữ liệu đối kháng được tao ra từ dataset

DANH SÁCH BANG

calle

Bảng 1 Mô tả các lớp trong mô hình VGG-16 0c 1111119 1119111911 811v g rey

Bang 2 Mô tả các lớp trong mô hình MobileNetV3 - ác t9 He,

Bang 3 Bảng hiệu suất của mô hình ResNet152 và ResNet200 trên tập dữ liệu

i19 10 Ố ố

Bảng 4 Bang chú thích các thành phan của các chỉ $6 -¿ ¿ 5z+c+++cxz2zxzz Bảng 5 Bảng tóm tắt các thành phần của Dataset 2- 22 5z2cxz+cxeezxeerxesrxesrxeee

Bang 6 Tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô hình phát hiện xâm

nhập trên tập dữ hiệu UNSW-NB15 (Multiclass) .- - G n**HHggnnrệp

Bảng 7 Tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô hình phát hiện xâm

nhập trên tập dữ liệu UNSW-NB15 sau Federated Learning (Multiclass)

Bảng 8 Tỉ lệ phát hiện (Recall) của các mô hình phát hiện xâm nhập trên tập dữ liệu

đối kháng được tạo ra từ dataset UNSW-NB ]S -.L TL HH HH HH HH nay

Bảng 9 Tỉ lệ phát hiện (Recall) của từng mô hình phát hiện xâm nhập sau khi train

trên tập dữ liệu đối kháng được tạo ra từ dataset UNSW-NBI5 -.ccecceeeere

TÓM TÁT KHÓA LUẬN

Trong bối cảnh hiện nay, Hệ thống phát hiện xâm nhập (IDS) dựa trên trí tuệ

nhân tao (AI-based IDS) đã trở thành một công cụ quan trọng trong việc bảo vệ hệthống mang máy tính khỏi các mối đe doa mạng ngày càng tinh vi và phức tap

Một ưu điểm quan trọng của AI-based IDS là khả năng phát hiện các hình thứctấn công mới và không rõ ràng mà các phương pháp truyền thống khó có thể nhậnbiết Nó có thê học từ các mẫu xâm nhập hiện có và triển khai các thuật toán phức tạp

dé phát hiện các biểu hiện của các cuộc tấn công mới, giúp tổ chức phản ứng nhanhchóng và hiệu quả Mặc dù AI-based IDS mang lại nhiều lợi ích và tiềm năng trongviệc phát hiện các mối đe dọa mạng, nhưng cũng có những thách thức khi đối mặt

với các mẫu đối kháng

Mẫu đối kháng là các kỹ thuật và chiến lược được thiết kế đề đánh lừa hệ thốngphát hiện xâm nhập, nhằm làm cho các hành vi xâm nhập trở nên khó phát hiện hoặcgây ra các kết quả sai lệch Đối với AI-based IDS, mẫu đối kháng có thể làm suy giảmhiệu suất và độ chính xác của hệ thống

Một trong những hình thức mẫu đối kháng phô biến là tan công dựa trên sự

biết thông tin về mô hình AI được sử dụng bởi IDS Kẻ tắn công có thê tìm hiểu cách

mô hình hoạt động và tìm ra các lỗ hồng trong quá trình phân loại hoặc đánh giá Sau

đó, họ có thé tạo ra các dữ liệu đối kháng hoặc thay đôi các đặc trưng của dữ liệu đểđánh lừa hệ thống và tránh bị phát hiện

Với một ngữ cảnh trên, việc kháng mẫu đối kháng của các mô hình học sâu,đặc biệt là VGG-16, là một van đề quan trọng và đòi hỏi sự chú ý đặc biệt

VGG-16 là một mô hình học sâu được sử dụng rộng rãi trong lĩnh vực thị giác

máy tính Nó có cấu trúc sâu với 16 lớp và sử dụng các lớp tích chập để trích xuất các

đặc trưng từ hình ảnh.

Đề tài này tập trung vào việc nghiên cứu và phân tích sự khác biệt giữa môhình VGG-16 và các mô hình máy học khác trong quá trình xây dựng hệ thống pháthiện xâm nhập băng phương pháp học cộng tác thông qua bộ dữ liệu dạng ảnh được

tiền xử lí từ bộ đữ liệu bảng gốc Chúng tôi tập trung vào việc đánh giá hiệu suất của

VGG-16 so với các mô hình khác trong môi trường học máy Nghiên cứu sẽ đề cậpđến các khía cạnh quan trọng như độ chính xác, độ tin cậy, và khả năng phát hiện của

mô hình, nhằm hiéu rõ hơn về khả năng ứng dụng của VGG-16 trong việc xây dựng

hệ thống phát hiện xâm nhập thông qua quá trình cải thiện liên tục Kết quả của khóaluận này sẽ cung cấp thông tin quan trọng cho việc lựa chọn mô hình phù hợp nhấtcho hệ thống phát hiện xâm nhập trong môi trường Federated Learning và hỗ trợ quátrình phát triển các ứng dụng an toàn thông tin hiệu quả

Bên cạnh đó chúng tôi tập trung vào việc đánh gia khả năng của VGG- 16 trongviệc nhận diện và chống lại mẫu đối kháng Các mẫu này thường được thiết kế déđánh lừa mô hình phân loại bang cách tạo ra dit liệu đối kháng mà con người khónhận biết, nhằm đối mặt với hệ thống phát hiện xâm nhập

Nghiên cứu sẽ xem xét hiệu suất của VGG-16 khi đối mặt với các mẫu đốikháng, tập trung vào khả năng nhận diện và xử lý chúng Đồng thời, chúng tôi sẽ sosánh hiệu suất này với các mô hình máy học khác đề đánh giá tính đối kháng tổng thêcủa chúng trong môi trường Federated Learning.

Chương 1 GIỚI THIỆU ĐÈ TÀI

1.1 Giới thiệu đề tài:

Hiện nay, Phương pháp học liên kết (Federated learning) đang được ứng dụngrộng rãi như là một phương pháp tiên tiến trong lĩnh vực học máy và trí tuệ nhân tạo,giúp đào tạo mô hình trên dit liệu phân tán mà không cần phải truyền dữ liệu tới mộttrung tâm tập trung [1] Thay vì tập trung dữ liệu từ nhiều nguồn vào cùng một địa

điểm, Federated Learning cho phép các thiết bị hoặc hệ thống phân tán thực hiện việchọc từ dữ liệu của chính mình và chi chia sẻ thông tin cần thiết dé cập nhật mô hình

Hệ thống phát hiện xâm nhập (Intrusion Detection System) đóng vai trò quan

trọng trong việc phát hiện và ngăn chặn các hành vi xâm nhập vào mạng máy tính.Gần đây, phương pháp Federated Learning [2] đã thu hút sự chú ý với khả năng đàotạo mô hình học máy trên các thiết bị phân tán mà không cần phải truyền dữ liệu tớimột trung tâm tập trung, đảm bảo tính riêng tư và bảo mật của người dùng.

Trong lĩnh vực IDS, mô hình mạng nơ-rôn đã chứng tỏ khả năng xuất sắc [3]trong việc phân loại và nhận dạng các mẫu xâm nhập Trong số các mô hình CNNphố biến, mô hình VGG-16 nỗi bật với cấu trúc sâu và khả năng trích xuất đặc trưngphức tạp.

Đề tài này tập trung vào nghiên cứu sự khác nhau giữa mô hình VGG-16 và các

mô hình máy học khác trong việc xây dựng hệ thống phát hiện xâm nhập sử dụng

Federated Learning Mục tiêu là tìm hiểu hiệu suất và khả năng mở rộng của mô hình

VGG-16 so với các mô hình khác trong việc nhận dạng các hành vi xâm nhập, đồngthời đảm bảo tính riêng tư và bảo mật của dữ liệu người dùng thông qua phương pháp

Federated Learning [4].

Qua việc thực hiện dé tài nay, chúng ta sẽ có cái nhìn rõ rang hon vê ưu điêm

va hạn chế của mô hình VGG-16 so với các mô hình máy học khác, đồng thời đánh

giá kha năng ứng dụng của phương pháp Federated Learning trong việc xây dựng hệthống phát hiện xâm nhập Kết quả từ nghiên cứu này có thê cung cấp thông tin quan

trọng và cơ sở cho việc phát triển và tối ưu hóa hệ thống phát hiện xâm nhập sử dụngFederated Learning trong việc bảo vệ mạng máy tính va dữ liệu trong thời đại số hóangày nay.

1.2 Mục tiêu

Mục tiêu thứ nhất của nghiên cứu này là nghiên cứu và so sánh hiệu suất của

mô hình VGG-16 với các mô hình máy học khác trong việc xây dựng hệ thống pháthiện xâm nhập sử dụng Federated Learning Qua đó, chúng ta sẽ đánh giá khả năng

của mô hình VGG-16 trong việc nhận dạng va phân loại các hành vi xâm nhập, so

với các mô hình máy học khác được áp dụng trong cùng môi trường Thứ hai, một

yếu tố quan trọng khác của hệ thống phát hiện xâm nhập là khả năng mở rộng Mụctiêu là xác định và đánh giá khả năng mở rộng của mô hình VGG-16 so với các mô

hình máy học khác khi áp dụng phương pháp Federated Learning Qua đó, chúng ta

sẽ đưa ra các khuyến nghị và giải pháp để cải thiện khả năng mở rộng của hệ thống

phát hiện xâm nhập sử dụng mô hình VGG-16 Cuối cùng, mục tiêu của dé tài là đưa

ra những đóng góp mới và ứng dụng thực tế trong lĩnh vực xây dựng hệ thống pháthiện xâm nhập sử dụng Federated Learning Dựa trên kết quả nghiên cứu và so sánh,chúng ta sẽ đề xuất các phương pháp, kỹ thuật và hướng phát triển tiếp theo dé cảithiện hiệu suất, tính mở rộng, tính riêng tư và bảo mật của hệ thống phát hiện xâmnhập trong môi trường phân phối và phức tạp hiện nay

1.3 Phạm vi nghiên cứu

Nghiên cứu này được thực hiện trong môi trường server của trường Đại học

Công nghệ Thông tin — ĐHQG TP.HCM Hình 1 là mô hình do chúng tôi xây dựng.

VM1- Server

ENVIRONMENT

VM2 VM3 VMn VMn+1

Hình 1 Mô hình học cộng tác được xây dựng

Chúng tôi sẽ dựa vào mô hình đó dé xây dựng một hệ thống Federated Learning

nhằm thực hiện các thử nghiệm trong đề tài Máy chủ sẽ huấn luyện một mô hìnhmẫu và tiến hành phân phối các trọng số tới các máy ria Sau đó, chúng tôi sẽ phântích và nghiên cứu kết quả được trả về từ mô hình đó dé đưa ra những kết luận

Chương 2 KIÊN THỨC NEN TANG

1.4 Hệ thống phát hiện xâm nhập

Hệ thống phát hiện xâm nhập là phần mềm hoặc công cụ giúp giám sát lưu lượngmạng và cảnh báo lỗi khi có các hành vi đáng ngờ xâm nhập vào hệ thống Mục đíchchính của hệ thống phát hiện xâm nhập là ngăn ngừa và phát hiện những hành động

phá hoại tính bao mật của hệ thống hoặc những hành vi như đò tìm, quét các công.

NIDS: Network Intrusion Detection Systems thường được bố trí tại nhữngđiểm dễ bị tan công trong hệ thống NIDS được sử dụng dé giám sát trafficđến và đi từ tất cả các thiết bị trên mạng Điểm cộng lớn nhất của NIDS là cóthể quét tất cả traffic inbound và outbound, nhưng việc này có thể làm giảm

tốc độ chung của mạng

HIDS: Host Intrusion Detection Systems, hệ thống phát hiện xâm nhập này

hoạt động trên tất cả các thiết bị trong hệ thống có thé kết nối Internet HIDS

chỉ giám sát các gói dit liệu inbound và outbound từ thiết bị hoặc những hànhđộng đáng ngờ tại cấp truy cập nội bộ

Mỗi loại sử dụng có các phương pháp giám sát như sau:

Signature-Based: Đây là các hệ thống phát hiện xâm nhập hoạt động dựa trên

chữ ký, giám sát các gói tin trên mạng tương tự như cách phần mềm diệt virushoạt động Tuy nhiên Signature-Based có thê không phát hiện được những mồi

đe dọa mới, khi chữ ký để nhận biết nó chưa được hệ thống phát hiện xâm

nhập cập nhật.

Anomaly-Based: Hệ thống phát hiện xâm nhập này được sử dụng để phát hiệnmỗi đe dọa dựa trên sự bất thường Anomaly-Based sẽ giám sát traffic mạng

và so sánh với baseline đã được thiết lập từ trước Baseline sẽ xác định đâu là

mức bình thường của mạng và cảnh báo cho quản trị viên mạng hoặc ngườidùng khi phát hiện traffic truy cập bất thường hoặc khác biệt so với baseline

Specification-based: Kỹ thuật phát hiện Specification-based thu thập các hoạt

động chính xác của một chương trình hoặc giao thức và theo dõi hoạt động

của nó dựa trên các ràng buộc Sử dụng mô hình giao thức chủ yếu dựa trên

các chuẩn giao thức từ các nha sản xuất phần mềm và tiêu chuan (IEFT, RFC)

1.5 Máy học và học sâu

1.5.1 Máy học

Machine learning hay máy học là một nhánh của trí tuệ nhân tạo, nó là một lĩnh

vực nghiên cứu cho phép máy tính có khả năng cải thiện chính bản thân chúng dựatrên dữ liệu mẫu hoặc dựa vào kinh nghiệm (những gì đã được học) Máy học có thể

tự dự đoán hoặc đưa ra quyết định mà không cần được lập trình cụ thê

Từ đó, các lập trình viên chọn một mô hình học máy đê sử dụng, cung câp dữ liệu

và đê mô hình máy tính tự đào tạo đê tìm các mẫu hoặc đưa ra dự đoán Theo thời

gian, lập trình viên con người cũng có thê điêu chỉnh mô hình, bao gôm cả việc thay

đôi các tham sô của nó, đê giúp đây nó tới kêt quả chính xác hơn.

Học máy gôm 3 mô hình con:

* Cac mô hình máy học có giám sát được dao tạo với các tập dữ liệu được gan

nhãn, cho phép các mô hình học hỏi và phát triển chính xác hơn theo thời gian

Ví dụ: Một thuật toán sẽ được dao tạo với hình ảnh của những chú chó và nhữngthứ khác, tất cả đều do con người dán nhãn và máy sẽ tự học cách xác định hình ảnh

của những chú chó Học máy có giám sát là loại phổ biến nhất được sử dụng ngày

nay.

* Trong hoc máy không giám sát, một chương trình tìm kiếm các mẫu trong dữliệu không được gắn nhãn Máy học không giám sát có thể tìm thấy các mẫu hoặc xuhướng mà mọi người không tìm kiêm một cách rõ ràng.

Ví dụ: Một chương trình máy học không giám sát có thể xem qua đữ liệu bán hàngtrực tuyến và xác định các loại khách hàng khác nhau đang mua hàng

* Máy học tăng cường, huấn luyện máy thông qua thử và sai dé thực hiện hànhđộng tốt nhất bằng cách thiết lập một hệ thống phan thưởng Học tăng cường có théhuấn luyện các mô hình chơi trò chơi hoặc huấn luyện các phương tiện tự lái lái bằng

cách cho máy biết khi nào nó đưa ra quyết định đúng, điều này giúp máy học theothời gian những hành động mà nó nên thực hiện.

1.5.2 Học sâu

Deep Learning, hay là học sâu có thể được xem là một lĩnh vực con của máy

hoc ở đó các máy tính sẽ học và cải thiện chính nó thông qua các thuật toán Học sâuđược xây dựng dựa trên các khái niệm phức tạp hơn rất nhiều, chủ yếu hoạt động vớicác mạng nơ-ron nhân tạo dé bắt chước khả năng tư duy và suy nghĩ của bộ não conngười Trong quá trình huấn luyện mô hình mạng no-ron, các trọng số sẽ được thay

đổi và nhiệm vụ của mô hình là tìm ra bộ giá tri của trọng số sao cho phán đoán là tốt

nhất

1.6 Học cộng tác

Federated learning, hay còn được gọi là hoc cộng tác, là một phương pháp dé

huấn luyện các mô hình trí tuệ nhân tạo mà vẫn đảm bảo dữ liệu của bạn không bịtiết lộ hoặc sử dụng bởi người khác Nó cung cấp một phương thức dé mở khóa thôngtin cho các ứng dụng trí tuệ nhân tạo mới Thuật ngữ này được Google giới thiệu lần

đầu vào năm 2016, vào thời điểm khi việc rò ri dit liệu cá nhân đang thu hút sự chú ý

toàn cầu Đến nay, mô hình này vẫn tiếp tục phát triển và được dự đoán sẽ trở thành

yếu tố quan trọng hàng đầu trong lĩnh vực trí tuệ nhân tạo Nhiều ứng dụng trí tuệ

nhân tạo đã được huấn luyện dựa trên dữ liệu được thu thập và xử lý tập trung tại mộtnơi (thường là trên đám mây) Tuy nhiên, hiện nay, hoạt động này đang dần chuyểnsang mô hình phi tập trung Các mô hình trí tuệ nhân tạo mới được huấn luyện cộng

tác ở các thiết bị địa phương như điện thoại di động, máy tính xách tay hoặc máy chủ

cá nhân, thay vì tập trung tất cả đữ liệu lên một máy chủ duy nhất như trước đây.Hình thức huấn luyện trí tuệ nhân tạo này được gọi là học cộng tác và đang trở thànhtiêu chuẩn để tuân thủ các quy định mới về xử lý và lưu trữ đữ liệu riêng tư Băngcách xử ly đữ liệu ngay tại nguồn, học cộng tác còn cung cấp một cách khác dé khaithác dữ liệu thô từ các cảm biến trên vệ tinh, cầu, máy móc và ngày càng nhiều thiết

bị thông minh khác trong nhà và trên cơ thể chúng ta

Trong mô hình học tập liên kết, nhiều người chia sẻ dữ liệu của mình từ xa vàcùng hợp tác để huấn luyện một mô hình học chung, tương tự như việc cùng chỉnhsửa một bản thuyết trình hoặc báo cáo của một nhóm.

Federated Learning

Mỗi bên tải xuống mô hình từ trung tâm dữ liệu trên đám mây, thường là mô hình

nên tảng đã được huấn luyện trước Họ huấn luyện mô hình trên dữ liệu riêng tư củamình, sau đó tổng hợp và mã hóa cau hình mới Các ban cập nhật của mô hình cuối

cùng được gửi trở lại đám mây, được giải mã, tính trung bình và tích hợp vào mô

hình tập trung Quá trình này được lặp đi lặp lại cho đến khi mô hình được huấn luyện

đầy đủ Quá trình huấn luyện phi tập trung (phân tán) này có ba loại:

e Trong học tập liên kết ngang, mô hình trung tâm được đào tạo trên các bộ dữ

liệu tương tự.

e Trong học tập liên kết doc, dit liệu bố sung cho nhau;

Ví dụ: Các bài đánh giá phim và sách được kết hợp dé dự đoán sở thích âm nhạc của

như vậy, các ngân hàng có thể huấn luyện một mô hình trí tuệ nhân tao dé pháthiện gian lận, sau đó vân có thê tái sử dụng mô hình đó cho các trường hợp khác.

ĐỀ tạo ra những dự đoán có ích, các mô hình học sâu yêu cầu một lượng lớn

dữ liệu huấn luyện Tuy nhiên, các công ty trong các ngành được quản lý chặt chẽ

thường do dự khi đối mặt với việc chấp nhận rủi ro khi sử dụng hoặc chia sẻ dữ liệu

nhạy cảm dé xây dựng mô hình trí tuệ nhân tạo, với một số lời hứa về những phanthưởng không chắc chắn

Trong lĩnh vực chăm sóc sức khỏe, với sự phân mảnh của luật về quyền riêng

tư và thị trường, ngành này chưa thé tận dụng hết tiềm năng của trí tuệ nhân tao Tuynhiên, thông qua học cộng tác, các công ty có thê hợp tác dé huấn luyện một mô hìnhphi tập trung mà không cần chia sẻ hồ sơ y tế bí mật Từ việc chụp CT đến chụp cộnghưởng từ, việc tong hợp và phân tích dit liệu y tế ở quy mô lớn có thé mở ra những

phương pháp mới dé phát hiện và điều trị ung thư trong tương lai

Học cộng tác cũng có thể mang lại lợi ích trong nhiều ngành công nghiệp khácnhau Bằng cách tông hợp hồ so tài chính của khách hàng, các ngân hàng có thé tạo

ra điểm tín dụng chính xác hơn hoặc nâng cao khả năng phát hiện lừa đảo Việc thuthập yêu cầu bảo hiểm xe hơi có thé dẫn đến những ý tưởng mới dé cải thiện an toàncho người lái xe Đồng thời, việc tổng hợp dit liệu âm thanh và hình ảnh từ các dây

chuyên lắp ráp trong nhà máy có thé giúp phát hiện các sự cé máy móc hoặc sản pham

bị lỗi.

Khi con người ngày càng ưa chuộng sử dụng điện thoại di động và các thiết bị

tiên tiễn khác, học tập liên kết cung cấp một phương pháp khai thác dữ liệu liên tục

từ các cảm biến trên đất liền, trên biên và trong không gian Việc tông hợp các hình

ảnh từ vệ tinh giữa các quốc gia có thé mang lại những dự đoán chính xác hơn về khí

hậu và mực nước biển dâng ở quy mô khu vực Dữ liệu từ hàng tỷ thiết bị được kếtnối internet cũng cung cấp thông tin chi tiết mà chúng ta chưa từng nghĩ đến.

Cần thiết phải cân nhắc sự đánh đổi giữa quyền riêng tư và độ chính xác Kẻ

tan công luôn tìm cách đánh cắp dit liệu người dùng hoặc chiếm quyền điều khiển

các mô hình trí tuệ nhân tạo, bất kế chúng được huấn luyện bằng phương pháp nào

Trong học cộng tác, liên kết yêu nhất xảy ra khi máy chủ lưu trữ dữ liệu trao đổi môhình làm việc của họ với máy chủ trung tâm Mỗi lần trao đổi đóng góp vào việc cảithiện mô hình, nhưng cũng dé lại dữ liệu có thé bị tan công

Khi xử lý dữ liệu quản lý và nhạy cảm, không thé coi thường những rủi ro này.Mỗi vòng trao đôi thông tin tăng cường khả năng suy luận, đặc biệt khi thông tin cơbản không thay đổi nhiều Các nhóm pháp lý và công nghệ cần cân nhắc sự đánh đôigiữa quyên riêng tư và độ chính xác Trong quá trình huấn luyện một mô hình phân

tán, việc chia sẻ thông tin là không thé tránh khỏi Tuy nhiên, làm thé nào dé đảm bảorằng việc chia sẻ này không vi phạm các quy tắc về quyền riêng tư? Điều này phụ

thuộc vào ứng dụng cụ thể

Phần lớn các nghiên cứu hiện tại về học tập liên kết tập trung vào việc giảmthiểu và ngăn chặn các rủi ro liên quan đến quyền riêng tư Các phương pháp tính

toán an toàn của nhiều bên ân các bản cập nhật mô hình thông qua các sơ đồ mã hóa

khác nhau nhăm giảm tỷ lệ rò ri dit liệu hoặc nguy cơ tan công suy luận Đồng thời,việc áp dụng quyền riêng tư khác biệt có thé thay đổi giá trị chính xác của một sốđiểm dữ liệu dé tạo ra tiếng ồn, từ đó làm mat phương hướng cho kẻ tan công

Cộng tác đào tạo các mô hình trí tuệ nhân tạo ở nhiều địa điểm đồng thời đòi

hỏi tính toán lớn và băng thông truyền thông cao Điều này đặc biệt đúng khi máy

chủ lưu trữ dữ liệu đang huấn luyện các mô hình cục bộ trên các thiết bị Một số biện

pháp hiệu quả dé vượt qua hạn chế về băng thông và tính toán trong học cộng tác là

cat tỉa và nén mô hình được huân luyện cục bộ trước khi chuyên đên máy chủ trung

tâm.

Việc đảm bảo tính minh bạch là một thách thức trong học tập liên kết Vì dữliệu đào tạo được bảo mật, cần có một hệ thong dé kiểm tra tính chính xác, công bang

và phát hiện các sai lệch tiềm ấn trong kết qua đầu ra của mô hình Một khung mã

hóa được đề xuất bởi IBM, có tên là DeTrust, yêu cầu tất cả các bên đạt được sự đồngthuận về các khóa mật mã trước khi các bản cập nhật mô hình được tông hop.

Một thách thức khác trong học cộng tác là kiểm soát dữ liệu được sử dụngtrong mô hình và quá trình xóa chúng khi máy chủ rời khỏi liên kết Do tính không

rõ ràng của các mô hình học sâu, việc này gặp hai vấn đề: xác định dữ liệu của máychủ lưu trữ và sau đó loại bỏ ảnh hưởng của chúng đối với mô hình trung tâm Hiệntại, nếu dữ liệu bị xóa, các bên phải dao tạo lại mô hình từ dau, dẫn đến tốn thời giantính toán Dé tiết kiệm thời gian, IBM đã đề xuất một phương pháp giải phóng môhình chỉ đên một điêm mà tại đó dữ liệu đã bị xóa.

Thách thức cuối cùng trong học cộng tác là sự tin tưởng Không phải tất cảnhững người đóng góp vào mô hình đều có mục đích tốt Các nhà nghiên cứu đangnghiên cứu các biện pháp khuyến khích dé ngăn chặn việc đóng góp dit liệu giả nhằmphá hoại mô hình hoặc thu lợi ích từ mô hình mà không đặt dir liệu của các bên vào

nguy CƠ rui ro.

1.7 Mang no-ron tích chập

Convolutional neural network (Mạng nơ-ron tích chập) là một trong những mô

hình máy học và học sâu tiên tiến Nó giúp cho chúng ta xây dựng được những hệ

thống thông minh với độ chính xác cao như hiện nay Mạng nơ-ron tích chập là một

mạng được xây dựng từ các lớp tích chập được xếp chồng lên nhau và sử dụng cáchàm kích hoạt phi tuyến tính như Rectified Linear Unit (ReLU) để kích hoạt các trọng

SO tại các đặc trưng.

Mỗi lớp sau khi đi qua các hàm kích hoạt sẽ tạo ra các thông tin mang tính

trừu tượng hơn cho các lớp kế tiếp Mỗi lớp sau khi đi qua các hàm kích hoạt sẽ tạo

ra những thông tin mang tính trừu tượng cao hơn cho các lớp tiếp theo Trong môhình mạng nơ-ron truyền thăng thì mỗi nơ-ron đầu vào cho mỗi nơ-ron đầu ra trong

các lớp tiếp theo Mô hình này gọi là lớp kết nối đầy đủ hay lớp toàn vẹn Còn trong

các mô hình mạng nơ-ron tích chập thì ngược lại Các lớp mạng liên kết với nhauthông qua cơ chế tích chập Lớp tiếp theo được tạo ra băng cách tích chập kết quả từlớp trước, tạo ra kết nối cục bộ Nhờ vậy, mỗi nơ-ron trong lớp kế tiếp được tạo ra từ

kết quả của bộ lọc được áp dụng lên một vùng ảnh cục bộ của nơ-ron trước đó Mỗi

lớp thông thường sử dụng hàng trăm hoặc hàng nghìn bộ lọc khác nhau và kết hợpkết quả của chúng Ngoài ra có một số lớp khác như lớp gộp hay lớp hạ mẫu dùng déloại bỏ các thông tin nhiễu Trong quá trình huấn luyện mạng nơ-ron tích chập tự

động học các giá trị qua các lớp bộ lọc dựa vào cách thức mà bạn thực hiện Ví dụtrong tác vụ phân lớp ảnh, các mạng nơ-ron tích chập sẽ có gắng tìm ra thông số tối

ưu cho các bộ lọc tương ứng theo thứ tự Điểm ảnh thô > Các cạnh > Hình dạng > Đặctrưng khuôn mặt > Đặc trưng ở mức cao hơn Lớp cuối cùng được dùng dé phân lớpảnh.

Mục đích chính của mạng nơ-ron tích chập là tìm hiểu các tính năng liên quan

của dữ liệu đầu vào Trong quá trình xử lí này, các lớp ban đầu là một tập hợp các

trình trích xuất tính năng tích chập phải tuân theo các bộ lọc có thể học được Các bộlọc được áp dụng hoạt động như một cửa số trượt di chuyên qua mọi đoạn dữ liệu đầuvào Trong trường hợp này, khoảng cách chồng chéo được gọi là “sải chân”, với cáckết quả đầu ra được gọi là các Hạt nhân tích chập là thành phần cơ bản của mỗi lớp

mang CNN, được áp dung dé tạo ra các ma trận kết quả từ các phép tinh chập khác

nhau Các vùng nơ-ron lân cận được kết nối với một nơ-ron trong ma trận kết quả của

lớp tiêp theo Dé tao ra ma trận ket quả, hạt nhân cân được chia sẻ trên tat cả các vị

trí không gian của đầu vào Sau khi áp dụng phép tích chập và tổng hợp, một hoặcnhiều lớp kết nối đầy đủ có thé được sử dụng dé hoàn thành quá trình phân loại.

1.7.1 Kiến trúc

Convolutional layer (Lớp tích chập) là khối xây dựng cốt lõi của mạng nơ-rontích chập Các tham số của lớp bao gồm một tập hợp của các bộ lọc (hoặc hạt nhân)

có khả năng học được Những bộ lọc này có phạm vi tiếp nhận nhỏ nhưng mở rộng

trên toàn bộ chiều sâu của đầu vào Trong quá trình truyền tiếp, mỗi bộ lọc tích hợp

trên chiều rộng và chiều cao của đầu vào, tính toán phép nhân vô hướng giữa cácthành phần của bộ lọc và đầu vào, tạo ra một bản đồ kích hoạt 2D Nhờ vậy, mạng cóthé học được các bộ lọc kích hoạt khi phát hiện các đặc trưng cụ thể tại các vị trí

không gian trong đầu vào Các lớp tích chập này đóng một vai trò quan trọng trong

kiến trúc mạng nơ-ron tích chập vì nó là thành phần thực hiện trích xuất đặc trưng

Ngoài ra, các thao tác tích chập áp dụng bộ lọc (hoặc nhân) dé bảo vệ mối quan hệ

không gian giữa các điểm ảnh bằng cách sử dụng các tính năng học tập Các thuật

ngữ “bản đồ kích hoạt”, “tinh năng tích hợp” và ma trận kết quả được sử dụng dé mô

tả dữ liệu được tạo ra trong quá trình hoạt động tích chập Khi mạng nơ-ron tích chậpđang đào tạo đề tìm hiểu các tính năng của đầu vào mới hiệu quả hơn, các giá trị của

hạt nhân sẽ tự động được sửa đôi Các giá trị thứ nguyên của độ sâu (nghĩa là số lượng

bộ lọc được áp dụng), sai chân (tức là số điểm ảnh mà bộ lọc trượt theo đó) và phần

đệm bang 0 (tức là dit liệu đệm có số 0 ở đường viền) xác định kích thước của đối

tượng.

Khi lớp này đảm nhiệm việc thực hiện mọi tính toán Các yếu tố như bước

trượt, đệm, bộ lọc tích chập và bản đồ đặc trưng là những yếu tố quan trọng nhất của

lớp tích chập

e Cơ chế của mạng nơ-ron tích chập là tạo ra các bộ lọc áp dụng vào từng vùng

hình ảnh Các bộ lọc tích chập này được gọi là ma trận 3 chiều, bên trong chứacác thông sô dưới dạng những con sô.

e Bước trượt là sự dịch chuyển bộ lọc tích chập theo điểm ảnh dựa trên giá trị từ

trái sang phải.

e Đệm là các giá trị 0 được thêm cùng lớp đầu vào

e Ban đồ đặc trưng là khi sau mỗi lần quét, một quá trình tính toán sẽ được thực

hiện Bản đồ đặc trưng sẽ thé hiện kết quả sau mỗi lần bộ lộc tích chập quét

qua dau vào.

Giả sử rằng đầu vào của mạng thần kinh là một hình ảnh màu có kích thước 32 x 32

x 3 điểm ảnh theo chiều rộng, chiều cao và chiều sâu; do đó, để đảm bảo rằng lớp đầuvào chỉ được kết nối với một nơ-ron, các kết nối có trọng sỐ phải là 32 x 32 x 3 Tuynhiên, nếu các giá trị chiều cao và chiều rộng giống nhau được sử dung dé kết nối

hình ảnh đầu vào với các nơ-ron trong lớp tiếp theo cần có 3.145.728 kết nối trọng số

vì lớp đầu vào và lớp tiếp theo phải có 32 x 32 x 3 = 3072 và 32 x 32 = 1024 nơ-rontương ứng Hơn nữa, vì lớp thứ hai dày đặc nên số lượng trọng số cần thiết là 3072 x

1024 = 3.145.728 Do đó, một phương pháp hiệu quả hơn là xác định các vùng cục

bộ trong ảnh thay vì toàn bộ ảnh có thé hiệu quả hơn phương pháp được mô tả trước

đó Về lớp tích chập, các nơ-ron ấn trong lớp tiếp theo chi có thể nhận đầu vào từphần (vùng lân cận) tương ứng của lớp trước Vì lớp chỉ có thê được kết nối với các

nơ-ron 5 x 5 Do đó, tham khảo lại các kích thước vi dụ được trình bay ở trên, kích

thước của kết nối giảm đáng ké từ 3.145.728 xuống 76.800 Trong lớp tích chập,

trọng số của bộ lọc được chia sẻ; do đó, số lượng trọng số là 3072 x (5 x5)= 76.800

Một lợi thế khác của phương pháp này là việc sử dụng các trọng số có định cho cáckết nối cục bộ, thể hiện hoạt động của một cửa số trượt có kích thước 5 x 3 trên các

nơ-ron đầu vào và ánh xạ đầu ra tương ứng ở vị trí tương ứng Điều này cho phép các

tính năng được nhận dang và xác định ở bat kỳ đâu trong dit liệu đầu vào.

Mục đích chính của việc sử dụng lớp tích chập để huấn luyện mô hình mạngnơ-ron tích chập là cho phép các hạt nhân phù hợp và hiệu quả nhất cho một nhiệm

vụ nhất định được xác định dựa trên tập dữ liệu huấn luyện được cung cấp Hạt nhân

Mô hình phác thảo kích thước hạt nhân, sé luong, phan đệm va sai chan dưới dangsiêu tham số phải được thiết lập trước khi có thé bắt đầu đảo tạo.

Pooling layer (Lớp gop) Là hoạt động lay mẫu xuống được thực hiện bởi lớptổng hợp thường giảm chiều trong mặt phăng của bản đồ đặc trưng, từ đó giới thiệutính bat biến dịch thuật chuyển động nhỏ và biến dang Nó cũng làm giảm số lượng

có thê học tiếp theo thông số Thật thú vị, không có tham số có thể học được trong

bat kỳ lớp tong hop nao Tuy nhiên, giống như lớp tích chập, kích thước bộ loc, bướctiễn và phần đệm đóng vai trò như siêu tham số Nhiều tính năng vẫn còn sau lớp tíchchập, mà làm cho mạng rất phức tạp Do đó, lớp tong hợp phải có khả năng lay mẫudưới các tính năng để làm cho mạng ít phức tạp hơn và ngăn chặn quá mức Tổnghợp tối đa và Tổng hợp trung bình là các phương pháp tong hợp rất phô biến trongmạng nơ-ron tích chập Trong trường hợp tổng hợp lấy giá trị tối đa, giá trị lớn nhất

của các nơ-ron trong một vùng cụ thể (R) được chọn để đại diện cho đầu ra của toản

thành các vùng khác nhau dựa trên kích thước của nó Trong trường hợp tong hợp lay

giá trị lớn nhất, giá tri cao nhat trong mỗi vùng được chon dé đại diện cho vùng đó,

trong khi trong trường hợp tông hợp lấy giá trị trung bình, giá trị trung bình của vùng

được chọn dé đại diện cho vùng đó

Thuật ngữ “Fully connected” ngụ ý rằng mỗi nơ-ron ở lớp trước được đượcliên kết với một noron ở lớp tiếp theo Thường thì, bản đồ đặc trưng đầu ra từ lớp tích

chập cuối cùng hoặc lớp tổng hợp được làm phang, tức là biểu diễn dưới dạng một

bộ số (hoặc vectơ) một chiều Sau đó, bộ số này được kết nối với một hoặc nhiều lớpkết nối đầy đủ, đôi khi được gọi là các lớp mật độ Trong các lớp này, mỗi đầu vàođược kết nối với một đầu ra dựa trên các trọng số có khả năng học được Sau khi các

tính năng đã được trích xuất trong tích chập các lớp và sau đó, được lấy mẫu xuống

trong lớp tong hợp, chúng có thé được ánh xạ bằng cách sử dụng các lớp được kết

nối đầy đủ Điều này cho phép các đầu ra cuối cùng của mạng (nghĩa là xác suất cho

mỗi lớp) được xác định Thông thường, lớp được kết nối đầy đủ có xu hướng được

theo sau bởi bộ phân loại SoftMax (hoặc một loại bộ phân loại khác), trong đó bộphân loại SoftMax thường có tổng số n nơ-ron, với n là số lớp

1.7.2 Thuật toán

Mạng nơ-ron tích chập là mô hình học sâu được sử dụng rộng rãi nhất để nhậndạng hình ảnh, bao gồm một lớp tích chập trích xuất các đặc điểm của hình ảnh vàmột lớp được kết nối đầy đủ xác định hình ảnh đầu vào thuộc về lớp nào Lớp tíchchập trích xuất các tinh năng độc đáo của hình ảnh trong khi vẫn giữ thông tin I/O vàkhông gian của hình ảnh, đồng thời giảm kích thước của dữ liệu tính năng bằng cáchthêm một lớp tổng hợp vào lớp tích chập Một hình ảnh được xử lý dựa trên phương

giữa số lượng lớp tích chập và hiệu suất của nó phụ thuộc vào đặc điểm của hình ảnh

đầu vào, chúng ta cần tìm ra thiết kế tối ưu thông qua các thiết kế và học tập khác

nhau Chúng tôi thiết kế các mô hình của mình dựa trên các siêu tham số như loạihình ảnh (thang độ xám hoặc RGB), số lớp tích chập và kích thước của nhân, số lượng

trọng số được sử dụng dé thiết kế một lớp ấn trong lớp tích chập

Convolutions Subsampling Convolutions Subsampling Fully connected

Hình 3 Mô tả các lớp của mô hình mạng no-ron tích chập

Hoạt động tích chập trên các bản đồ đặc trưng đầu vào và một lớp tích chậptrong kiến trúc CNN được cung cấp thông qua phương trình sau:

khối lượng đáng kể các bản đồ đặc trưng Dé giúp hạn chế kích thước của các thuộc

tính này, các lớp tích chập được theo sau bởi một lớp bô sung, được gọi là tổng hợp,nhằm hạn chế chi phi tính toán cho việc đào tạo trong mạng và giảm khả năng trang

bị quá mức Một số hoạt động tổng hợp tổn tại, bao gồm tổng hợp tối đa, trung bình

và ngẫu nhiên Đối với lớp tổng hợp tối đa, lớp này hoạt động như một cửa số trượt

có khoảng cách sai chân dé đặt giá trị tối đa bên trong kích thước của cửa sé trượt.Quá trình huấn luyện của mạng nơ-ron tích chập được hoàn thành với một thuật toán

lặp di chuyên giữa các chuyên động dữ liệu truyền tới và truyền ngược Tại mỗi lần

lặp lại lan truyền ngược, các bộ lọc tích chập và các lớp được kết nối đầy đủ được

cập nhật Mục đích chính là hạn chế hàm loss E trung bình trên các nhãn lớp thực và

đâu ra mạng, tức là,

i=lk=1

Trong đó yi*(k) va yi(k) lần lượt là nhãn thực và đầu ra mạng của dau vàothứ i ở lớp k với các dau vào huân luyện m và các nơ-ron c ở lớp dau ra.

1.8 Các thuật toán tạo mẫu đối kháng

1.8.1 GAN & WCGAN

1.8.1.1 GAN

Mang sinh đối kháng [5] (GAN - Generative Adversarial Networks) bao gồm 2

loại mô hình trong bối cảnh học tập có giám sát là mô hình sinh và mô hình phân biệt

Mô hình phân biệt chủ yếu được sử dụng dé giải quyết nhiệm vụ phân loại, dự đoánđiểm đữ liệu thuộc về lớp nào Mặt khác, mô hình sinh chủ yếu được sử dụng dé tao

ra các điểm dữ liệu tổng hợp, tuân theo cùng một phân phối xác suất với phân phốicua dir liệu huấn luyện GAN là một loại của mô hình sinh, vì vậy GAN có khả năngsinh ra dir liệu mới.

Cấu trúc cơ bản của GAN là vanilla GAN, đó là sự kết hợp giữa hai mô hình chính

(hai mạng nơ-ron) là Bộ sinh (chịu trách nhiệm tạo dữ liệu giả giống với đữ liệu thật)

và Bộ phân biệt (chịu trách nhiệm phân biệt dữ liệu giả với dữ liệu thật) Hai mô hìnhnày được huấn luyện và hoạt động theo mục tiêu trái ngược nhau, vì vậy nó còn có

tên khác là mạng sinh đối kháng Chúng cạnh tranh với nhau và có thé sao chép vaphân tích sự đa dạng trong một tập dữ liệu Sự cạnh tranh giữa cả hai thành phần này

Các ưu điểm của GAN bao gồm:

e Việc tạo mẫu don giản.

e Việc huấn luyện không bị tác động bởi việc ước lượng hợp lý cực đại

e_ Mô hình không dễ bị quá khớp với dữ liệu huấn luyện khi Bộ sinh chưa

từng thấy bộ dữ liệu huấn luyện

e Đặc biệt, GAN rất giỏi trong việc di sâu vao dữ liệu và năm bắt được các

phương thức phân phối của bộ dữ liệu

Bên cạnh các ưu điểm nổi bat, GAN cũng ton tại các khuyết điểm như:

e Khó huấn luyện, cần cung cấp liên tục các loại đữ liệu khác nhau dé kiểm

tra xem mô hình có hoạt động chính xác hay không.

e Phân phối xác suất không rõ ràng, và Vanilla GAN chỉ tốt trong việc tạo

WGAN được đề xuất bởi Martin Arjovsky cùng các cộng su năm 2017 nhằm cải

thiện nhược điểm của Variational Auto-Encoders và GAN Tuy GAN linh hoạt hơn

VAE nhưng vẫn tương đối nhạy cảm và không ổn định trong quá trình huấn luyện

[6].

Bằng việc cải thiện công thức ở thuật toán WGAN này, đã có những cải thiện khi

tạo ảnh so với thuật toán GAN Cụ thê có hai ưu điểm chính như sau [16]:

° Sự ồn định của quá trình tối ưu hoá đã có cải thiện

° Thuật toán này đảm bảo sự hội tụ của hai mô hình và đồng thời

nâng cao chất lượng của mô hình sinh

Việc thử nghiệm được thực hiện với tập dữ liệu LSUN-Bedrooms — Tap dir liệu

hình ảnh phòng ngủ Đầu tiên sẽ là sự so sánh về hiệu năng (Ở đây là mất mát và chất

lượng của mẫu) giữa DCGAN (GAN với hệ kiến trúc tích chập được huấn luyện bởi

quy trình của GAN kết hợp với log D) [15] và mô hình mạng nhiều tang truyền thang

MLP_ 512 (4 lớp an và 512 đơn vị cho mỗi lớp) [16]

Generator iterations Generator iterations

Hinh 4 Training curve cia MLP_512 (trai) va DCGAN (phai) 6 cac giai doan khac

nhau của qua trình huan luyện

Kết quả cho thấy mất mát của DCGAN tiến triển nhanh hơn và rõ rệt hơn so

với MLP_ 512 Đồng thời, chất lượng của mẫu đạt được cũng đã được cải thiện đáng

Tiếp theo khoảng cách Jensen-Shannon được chọn làm tiêu chí so sánh

500000 600000

JSD estimate ° S »a œ ° JSD estimate ° a

Hình 5 Ước lượng JSD của MLP (trái) và DCGAN (phải) khi được huấn luyện với

quy trình GAN tiêu chuẩn

Kết quả trên cho thấy cả hai đều có xu hướng tăng tỉ lệ sai sót Tuy khoảng cách

JS của DCGAN tăng nhưng mẫu lại hoàn chỉnh hơn MLP Điều này thê hiện sự bat

tương quan giữa chất lượng và mat mát của mẫu được sinh

Về sự 6n định của WGAN so với GAN, việc huấn luyện bộ phân biệt sẽ cho ra

giá trị mat mát mà ta có thé sử dung dé huấn luyện các mô hình mạng nơ-ron khác

Điều này giảm đi sự phụ thuộc vào việc cân băng cả bộ sinh lẫn bộ phân biệt Bộ

phân biệt cảng tốt thì chất lượng của độ dốc được sử dụng dé huấn luyện cho bộ

sinh sẽ càng tăng Tiếp theo tác giả thể hiện điều trên bằng cách thí nghiệm trên ba

kiến trúc bộ sinh như sau [16]: Đầu tiên là một bộ sinh tích chập DCGAN, thứ hai

giống bộ đầu tiên nhưng được cố định số lượng bộ lọc và lược đi thành phần chuẩn

hoá theo batch và cuối cùng là mô hình ReLU-MLP (4 lớp với 512 đơn vị an) Lý

do tác giả chọn cho kiến trúc thứ 2 và thứ 3 là bởi vì 2 bộ này có hiệu năng khá tệ

với GAN.

a et ee ad

Hình 6 Thuật toán WGAN (trái) va GAN tiêu chuẩn (phải) được huan luyện bởi mô

hình sinh DCGAN

Ở kiến trúc đầu, các thuật toán lần lượt là WGAN và GAN khi được huấn luyệnvới bộ sinh DCGAN đều cho kết quả có chất lượng cao.

Hình 7 Thuật toán WGAN (trái) và GAN tiêu chuẩn (phải) được huấn luyện bởi mô hình sinh không có chuẩn hoá theo batch và số lượng bộ lọc được cố định ở các lớp

Trong kiến trúc cuối cùng, dù phương pháp sử dụng WGAN vẫn cho ra kết quả,

tuy nhiên chất lượng của nó lại thấp hơn so với phương pháp sử dụng DCGAN và

cao hơn so với phương pháp sử dụng GAN.

1.8.1.2.2 CGAN

Với mô hình cho bộ sinh không mang điều kiện không hề mang lại sự control trên

mô hình của đữ liệu đang được sinh Bằng cách mở rộng các bộ bằng việc cung cấp

thêm bat cứ thông tin hỗ trợ như nhãn lớp và dit liệu vào làm lớp đầu vào bổ sung

cho cả bộ sinh lẫn bộ phân biệt [7].

Từ đây ta có được cấu trúc của bộ sinh và bộ phân biệt của CGAN như sau matrong đó D và G lần lượt là mô hình bộ sinh và phân biệt với dir liệu x và dữ liệu bổ

FGSM (Fast Gradient Sign Method) là một thuật toán tạo ra các ví dụ tấn công

trong lĩnh vực học sâu (deep learning).

Mục tiêu của FGSM là tạo ra các ví dụ đánh lừa mô hình học sâu băng cách thêmmột chút nhiễu đơn giản vào dữ liệu gốc Phương pháp này sử dụng thông tin đạohàm của mô hình dé xác định hướng phải đi nhằm tối đa hóa hàm mat mát Bằng cách

thêm một lượng nhiễu nhỏ, được xác định bởi sự triển khai đạo hàm, vào các điểm

dữ liệu sốc, FGSM tạo ra các ví dụ dé bị phân loại sai.

Thuật toán FGSM có thé được mô tả như sau:

1 Đưa vào một mẫu dữ liệu gốc (ví dụ: một hình ảnh) và mô hình học sâu đã

được huấn luyện

2 Tinh đạo hàm của hàm mất mát theo đầu vào (gradient) với mẫu dữ liệu

sốc

3 Xác định hướng của gradient (tích dương hoặc tích âm).

4 Tạo ra một mẫu dữ liệu mới bằng cách thêm một lượng nhiễu nhỏ theo

hướng của gradient Nhiễu này được xác định bằng cách nhân một giá trị

epsilon (được chọn trước) với hướng gradient và cộng vào mẫu dữ liệu gốc

5 Sử dung mẫu dữ liệu mới dé đánh lừa mô hình học sâu và làm cho nó phân

loại sai.

Tác giả đề xuất phương pháp FGSM dựa trên ý tưởng chính như sau Ở quá trìnhcập nhật trọng số được tính toán trong giai đoạn lan truyền ngược, ta sẽ cực đại hoá

hàm mắt mát thay vì cực tiêu hoá Sau đó tác gia đưa ra ví dụ cụ thé trên GoogLeNet

với tập dữ liệu là ImageNet Bằng việc cộng ảnh đầu vào ban đầu với siêu tham sốepsilon Sau đó nhân với đạo hàm của hàm mắt mát Khi thay đổi đầu vào x với lượngepsilon rất nhỏ (ở ví dụ là 007) theo hướng cực dai hoá thi giá tri đầu ra sẽ bị phânloại sai lớp với chỉ số tự tin rất cao như hình đưới đây [8]

+ OT x =

: : e+

= sign(V„J(8, #, 9)) csign(Vz/ (0, x, y))

“panda” “nematode” “gibbon”

57.7% confidence 8.2% confidence 99.3 % confidence

Hình 10 Áp dung FGSM với epsilon = 007 vào ImageNet với GoogLeNet

1.8.3 CW

CW (Carlini-Wagner) là một phương pháp tấn công trong lĩnh vực tan công đối

với mô hình học sâu Nó được đặt theo tên của hai tác giả chính, David Carlini và

Nicholas Wagner, người đã đề xuất phương pháp này vào năm 2017 [9]

Mục tiêu của CW nhâm tao ra các ví dụ tan công có khả năng đánh lừa mô hình

học sâu một cách đáng tin cậy CW sử dụng một hàm mât mát tùy chỉnh và một quá

trình tôi ưu hóa đê tạo ra các mau dữ liệu mới, gan giông mâu gôc nhưng có khả năng

bị phân loại sai [9].

Thuật toán CW có thé được mô tả như sau:

1 Đưa vào một mẫu dữ liệu sốc (ví dụ: một hình ảnh) và mô hình học sâu đã

được huấn luyện

2 Xác định một hàm mat mát tùy chỉnh mà mục tiêu là tối thiêu hóa độ tin cậy

của dự đoán chính xác của mô hình và đồng thời tối đa hóa độ tin cậy của dự

đoán sai.

3 Sử dụng một quá trình tối ưu hoá dé tìm ra mẫu dit liệu mới có khả năng làm

giảm độ tin cậy của dự đoán chính xác và tăng độ tin cậy của dự đoán sai.

4 Lap lại quá trình tối ưu hoá đề tìm ra mẫu dữ liệu tối ưu nhất, trong đó hàm

mat mát đạt được gia tri Cực tiểu hoặc hội tu

1.8.4 BIM

Basic Iterative Method (BIM) là một phương pháp tan công trong lĩnh vực tancông đối với mô hình hoc sâu Nó là một biến thé của thuật toán FGSM (Fast GradientSign Method) mà tôi đã đề cập trước đó

Mục tiêu của BIM cũng là tạo ra các ví dụ tan công có khả năng đánh lừa mô hìnhhọc sâu Tuy nhiên, khác với FGSM, BIM thực hiện nhiều bước tan công nhỏ liêntiép dé tăng độ hiệu quả và kha năng đánh lừa của các mẫu tạo ra.

Thuật toán BIM có thể được mô tả như sau:

1 Đưa vào một mẫu dữ liệu sốc (ví dụ: một hình ảnh) và mô hình học sâu đã

được huấn luyện

2 Xác định một giá tri epsilon (được chọn trước) dé xác định mức độ biến đồi

tại mỗi bước tan công

3 Lap lại các bước sau cho một số lần lặp đủ lớn:

o Tính dao hàm của hàm mat mát theo đầu vào với mẫu dữ liệu hiện tại

o Xác định hướng của gradient (tích dương hoặc tích âm).

o Tạo ra một mẫu dữ liệu mới bang cách thêm một lượng nhiễu nhỏ theo

hướng của gradient Nhiễu này được xác định băng cách nhân giá trị

epsilon với hướng gradient và cộng vào mẫu dữ liệu hiện tại.

o_ Giới hạn mẫu dữ liệu mới trong khoảng giá trị hợp lệ của dữ liệu đầu

vào.

4 Dùng mẫu dữ liệu cuối cùng dé đánh lừa mô hình học sâu và làm cho nó phân

loại saI.

Các nghiên cứu về FGSM đã đưa ra phương pháp mở rộng FGSM bang cách áp

dụng một lần theo gradient với độ lớn của bước bằng siêu tham số epsilon thì bây giờchúng ta sẽ áp dụng nó nhiều lần với độ lớn của bước nhỏ hơn siêu tham số epsilon

Ở ví dụ của tác giả, họ sử dụng giá trị bằng 1 cho tham số này tức là chúng ta chỉ thayđôi giá trị của mỗi điểm ảnh bằng một ở mỗi bước Đồng thời đảm bảo rằng đầu ra sẽnằm trong khoảng cho phép so với ảnh đầu vào bang cách clip lai trong khoảng x - €khi y nhỏ hơn x - e vax + khi y > x + [10].

1.9 Các mô hình học sâu được sử dung

1.9.1 VGG-16

VGG-16 là mạng nơ-ron tích chập được đề xuất bởi K Simonyan and A.Zisserman, University of Oxford Model sau khi được huấn luyện bởi mạng VGG-16tập dữ liệu là ImageNet gồm 14 triệu hình ảnh thuộc 1000 lớp khác nhau cho tỉ lệ lỗi7.3% top-5 và 24.7% top-1 [11].

œ œ oO oO oO N A Nn A A A + st A A ire} LỘ LÔ = = = = = =

oO o - - N N N LO wo uw uw LO wo

E “ “ “ ay “ oO © @

t#l,ELS,E,E|S„zl,UZ|LJELš,šL.šELJšELS,tELjJšLJšLS,SLISLŠ

fe} 6S š3* 6 *® 6 -S* ao ors?ia KH S'*o[Ls?*wx ?*?x M

cS) © s5 CO oO 2X2 | 0 oO © ' 5 LÒ © oOo; fn | 0 © S|® | QL Re) &

oO œ@ œ fap] oO oO lop] œ œ œ œ@ œ œ@

x x x x x x x x x x x x x

œ œ œ œ œ œ oe) =œ =œ œ œ œ œ

Size:224 Size:112 Size:56 Size:28 Size:14 Size:7

Hinh 11 M6 hinh mang no-ron tich chap VGG-16

VGG-16 có cau trúc bao gồm 16 lớp tích chap, 3 lớp đầy đủ và khoảng 53 triệutham số Các lớp tích chập được sắp xếp thành các khối, mỗi khối bao gồm hai lớptích chập với kích thước bộ lọc 3x3 và bước nhảy 2 Các lớp đầy đủ sử dụng hàm kích

Block 3

Conv2D (3x3, 256)

Conv2D (3x3, 256) MaxPooling2D (2x2, strides=2)