Đề tài này tập trung vào việc nghiên cứu và phân tích sự khác biệt giữa môhình VGG-16 và các mô hình máy học khác trong quá trình xây dựng hệ thống pháthiện xâm nhập băng phương pháp học
Trang 1Dau Trong Hoang
Lé Chi Dai
NGHIEN CUU SU KHAC NHAU CUA MO HINH VGG-16
VOI CAC MO HINH MAY HOC KHAC TRONG VIEC XAY
DUNG HE THONG IDS SU DUNG FEDERATED
LEARNING
Differences between VGG-16 Model and Other Machine
Learning Models in Building an IDS System Using Federated
Learning: A Research Study
KY SU NGANH MANG MAY TINH VA TRUYEN THONG DU LIEU
Trang 2Differences between VGG-16 Model and Other Machine
Learning Models in Building an IDS System Using Federated
Learning: A Research Study
KY SU NGANH MANG MAY TINH VA TRUYEN THONG DU LIEU
GIANG VIEN HUONG DAN
PGS.TS Lé Trung Quan
Trang 3DANH SÁCH HỘI ĐÒNG BẢO VỆ KHÓA LUẬN
Hội đồng cham khóa luận tốt nghiệp, thành lập theo quyết định số 154/QD-DHCNTT ngày01/03/2023 của Hiệu trưởng Trường Đại học Công nghệ Thông tin
11 — Chủ tịch.
Trang 4LỜI CẢM ƠN
Lời đầu tiên, chúng tôi xin chân thành cảm ơn thầy Lê Trung Quân (Giảng viênhướng dẫn thực hiện Khoá Luận) đã tận tâm hướng dẫn chúng tôi trong suốt quá trìnhthực hiện khoá luận Trong thời gian một học kỳ thực hiện đề tài, chúng tôi đã vậndụng những kiến thức nền tang đã tích lũy đồng thời kết hợp với việc học hỏi vanghiên cứu những kiến thức mới Từ đó, chúng tôi vận dụng tối đa những gì đã thuthập được đề hoàn thành một báo cáo khoá luận tốt nhất Không chỉ giúp chúng tôivượt qua khó khăn gặp phải khi thực hiện khoá luận, khi làm việc với thầy, chúng tôicòn được học những kiến thức, kỹ năng quan trọng giúp ích cho công việc sau này
Cuối cùng, chúng tôi xin gửi lời cảm ơn đến tất cả các giảng viên của trường nóichung và khoa Mạng Máy Tính và Truyền Thông Dữ Liệu nói riêng đã dạy và hướngdẫn tận tâm trong suốt thời gian chúng tôi học tập và rèn luyện tại trường Đại học
Công nghệ Thông tin.
Tuy nhiên, trong quá trình thực hiện, chúng tôi sẽ không tránh khỏi những thiếusót Vì vậy, chúng tôi rất mong nhận được những góp ý từ phía thầy cô và hội đồngnhằm hoàn thiện những kiến thức mà chúng tôi đã học và làm tài liệu dé thực hiện
các đề tài khác trong tương lai
Xin chân thành cảm ơn!
Trang 5MỤC LỤC
calle
00009000077 1 0.9):07(o:8:ìn):014500107077 4 0.9): (o:807 9c 6 TÓM TAT KHÓA LUẬN << << <s+s+s£s£EteteEeEeEstexsrtrsrkrsrkrerrrrsrrrsrsrsrersrerre 7
Chương 1 GIỚI THIEU DE TÀII -5- 5< 252 +SzEsEsEs+sEsetreeeeezezrzrsrsrsrsrsrersrrrre 9
1.1 Giới thiệu đề tài: 5c Set E2 E2 1211 11 1111 11 2110112112112121 111111 ye 9
1.2 Mục tiêU - 5 c1 1 S1 1111112111111 110111 111010111111 11110 11 rêu 10 1.3) Pham vi nghién CWu n6 10
Chương 2 KIEN THỨC NEN TANG s:ssssssscsesesessssssssssssestscsesesesesssseseseataeanaceeeesess 11
14 Hệ thống phat hién X4mM hap ne lãi
1.5 Máy học và học sÂu - G111 TT TH HH HH 13
1.5.1 May học -s -sc k2 E2 112711 2112111 T15 T121 T1 ng erng 13 B2: on a 4 14
1.6 Học cộng TÁC - Ăn TH HH HH 14
1.7 Mạng nơ-ron tích chập c1 1111191199111 101111 HH HH 18
1.7.1 Kiến trÚc -cc CS 2H E2 TT 212 T211 1 1 1 g1 111 reereg 20
1.7.2 Thuật toán -+- 2+ +<9EEEE2E1271127112211211 271.711 TT T11 T1 T1 Eeerre 23
1.8 Các thuật toán tạo mẫu đối kháng - 2-2: 2 St ©E£+EE£EE££E+£EEEEEzEEerkrrkrrrerree 25
1.81 GAN&WCGAN 1.8.2 FGSM
1.9.1 1.9.2 1.9.3 1.9.4 1.9.5
Chương 3 NỘI DUNG ĐÈ TÀI -+- «c+csEes+es+ktEkerkererrrrrxrrxrrrkrerkrerre 47
1.10 Xây dung hệ thống phát hiện xâm nhập trên nền tảng trí tuệ nhân tạo dựa
1.11 Xây dựng các mô hình khác dé thực hiện - 2-5 ©52+++x++zz+zxezxezrxee 49
1.12 Tao mẫu đối kháng nhằm mục đích làm dataset cho các máy Edge 54
1.13 Ham mất mát và các chỉ số (Accuracy, Precision, Recall, Fl-Score) 54
Trang 6Chương 4 KET QUA THỰC NGHIỆM 2 -22-©2£V©+z£EE+z£EEEszEEExzerExzrvrsee 56
1.14 Môi trường thực nghiñiỆm - 5 6 15 1v 12 vn HH Hàn nh Hàn nh rệt
1.14.1 Môi trường thực nghiỆm - 5 <6 + 1 2511511911 91193 91191 KH HH ngà
1.15 Dataset & Tiền xử lý dit liệu
1.15.1 Dataset UNSW-NB LŠ HH He 1.15.2 Tiên xử lý dữ liệu cho mạng nơ-ron tích chập - ¿- «+ +++s£++e+eeeeesersxrs 58
1.16 Đánh giá độ chính xác của mẫu đối kháng dùng trong thí nghiệm 59
1.17 Kết quả thực
nghiệm . -1.17.1 Hiệu suất của mô hình học cộng tác ¬
1.17.2 Hiệu suật của mô hình học cộng tác đôi với mâu đôi kháng ¬ 65 1.17.3 Hiệu suât của mô hình học cộng tác sau khi được huân luyện băng mâu đôi
kháng 67
Chương 5 KET LUẬN VÀ HƯỚNG PHAT TRIẺN - -ccs<c<esesezezrzezeee 70
1.18 KẾt luận ¿tt tk EE SE 1111111111111 11 1111111111111 1111111111111 Tre 70 1.19 Hướng phát triỂn -:- 2 + +++++EE£EE+2EEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEErkrrkrrrreea 70
TÀI LIEU THAM KHẢO -. - 5< <+5< <£E++EEtEEEeEkereEskkErrkerxkkrkrrrkrrkrkrrkrrsrk 71
Trang 7DANH SÁCH HÌNH VE
cae
Hình 1 Mô hình hoc cộng tác được xây MUNG eee eeseeseeeeeeeseeeeneceseceseceseceaeeeseeeaeeeaeens 11
Hình 2 Mô hình mô tả học cộng tácC - 5 + 1v 219v vn ng ng ng nệt 15
Hình 3 Mô tả các lớp của mô hình mạng nơ-ron tích chập - s «<< «++sx+s+ 24
Hình 4 Training curve của MLP_512 (trái) và DCGAN (phải) ở các giai đoạn khác
nhau của quá trình huấn luyỆn 2-22 22 +£2+£2EE+2EE£2EEEEEEEEtEEEEEEEEEEEEEEEerkeerkrrrkre 27 Hình 5 Ước lượng JSD của MLP (trái) và DCGAN (phải) khi được huấn luyện với
quy trinh GAN ti@u ChUan NNNẽn 28 Hình 6 Thuật toán WGAN (trái) va GAN tiêu chuẩn (phải) được huấn luyện bởi mô
I0i00i80)ì0i096 6720011 28
Hình 7 Thuật toán WGAN (trái) và GAN tiêu chuẩn (phải) được huấn luyện bởi mô
hình sinh không có chuẩn hoá theo batch và số lượng bộ lọc được cố định ở các lớp
lði80/030)000: 0n 29
Hình 8 Thuật toán WGAN (trái) va GAN tiêu chuẩn (phải) được huấn luyện với bộ
Sinh RELU-MLP Tố 29
Hình 9 Mô hình sinh và mô hình phân biệt của CGAN se series 30
Hình 10 Áp dụng FGSM với epsilon = 007 vào ImageNet với GoogLeNet 31
Hình 11 Mô hình mang nơ-ron tích chập VG”- ÍỐ cee ceceeceeeesetsetseeeeeeaeeaes 34
Hình 12 Cấu trúc của khối Inception - ¿2£ ©+2++++EE++EE++EE++EE++EE+vrxeerxeerxesrxeer 37 Hình 13 Cau trúc của mạng Inception-V3 - + +2++2+++Ex++£x++tx++zx+erxesrxesrxeerx 38
Hình 14 Hiệu suât của việc căn chỉnh một trong ba chỉ sô (độ rộng, độ sâu,
Hình 15 Cac phương pháp căn chỉnh mô hình ¿5 +5 * 32+ ****E+eEEeeeeeeereserses 39
Hình 16 So sánh hiệu suất ResNet với MobileNetV1 & MobileNetV2 -: 40
Hình 17 Mô hình EfficientNetBD - - - - G1111 1S 110111 11 11 HH ng ngư 41
Hình 18 Mô tả so sánh hiệu suất của các mô hình EfficientNet trên bộ dữ liệu
ImageNet với các mô hình tương đương về hiệu suât nhưng lại có cùng sô lượng
¡008 0 42
Hình 19 Cau trúc khối phần dư - 2: 2 +++£+EE£EE£+EE£EEEEEEEEEEEEEEEESEEEEEEEkrrkrrrrrrrres 43 Hình 20 Cau trúc khối thông thường - 2 2 ©+£+2£+EE+EE£+EE£EEtEEESEEtEEEEErrkerrerrkees 43
Hình 21 Mô tả các lớp của mô hình ResÌNet2⁄4 - 6+ HH ng rưy 46
Hình 22 Chỉ số của VGG16 với input 32X32 2-©2++22++2+++EE++EEtvEEeerxesrxesrkeer 47 Hình 23 Chi số của VGG16 với input 64X64{ :¿ 2 t+EE+EESEEEEEE2EEE2122E121 2E 48
Trang 8Hình 24 Chỉ số của Mobilev2 với input 64x64 (tốt nhất) - 2-2 5z+cz+zx+zxzzcxeei 48 Hình 25 Chi số của VGG16 với input 64x64 bên trên, train ở máy edge - - 48 Hình 26 Các chỉ số của mô hình EficientNetB0 2-2: 22©z+£xz+xzerxeerkeerkesrkcee 49 Hình 27 Các chỉ số của mô hình EficientNetB0O -¿- 2-52 2 22 £+E£+E2EzEerEerkersees 50
Hình 28 Các chỉ số của mô hình Inception V3 ¿+2 ++EE££E++EEEEEEEEEerkerkerrkers 51
Hình 29 Các chỉ số của mô hình MobileNetV3 c.ccsccsccssessesessesesseseesessstssssssessesseseaees 52 Hình 30 Các chỉ số của mô hình Resnet c.ccscccscssessssssessessessssesssessessessesessesestessesseseeseaees 53
Hình 31 Các chi số của mô hình Resnet420 o ccccscesssesssesssesssesssesssesssesssesseesseessesseesseeseee 54
Hình 32 Mô tả giá trị của các điểm ảnh trên mỗi record -2- 2 z+++z++zx++ssze: 58 Hình 33 Mẫu sau khi được tiền xử Uf sseesseeeccssseeecsssseecessseecsssseeesssnseeessnseecesnnseeessneeeessnes 59 Hình 34 Biéu đồ phân tán thé hiện sự khác nhau giữa mau Original và mẫu FGSM 60 Hình 35 Biéu đồ phân tán thê hiện sự khác nhau giữa mau Original và mẫu BIM 61 Hình 36 Biéu đồ phân tán thé hiện sự khác nhau giữa mau Original và mẫu CW 62 Hình 37 Biểu đồ thể hiện tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô
hình phát hiện xâm nhập trên tap dữ liệu UNSW-NB15 (Multiclass) -‹ -‹ 64
Hinh 38 Biéu dé thé hiện tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô
hình phát hiện xâm nhập trên tập dữ liệu UNSW-NBI5 sau học cộng tác 65
Hình 39 Biểu đồ thể hiện tỉ lệ phát hiện (Recall) của các mô hình phát hiện xâm
nhập trên tập dữ liệu đối kháng được tạo ra từ dataset UNSW-NBI5 67
Hình 40 Mô hình cách hoạt động của kịch bản 4.4.3 - - cv He 68
Hình 41 Biểu đồ thể hiện tỉ lệ phát hiện (Recall) của các mô hình phát hiện xâm
nhập sau khi được huấn luyện trên tập dữ liệu đối kháng được tao ra từ dataset
Trang 9DANH SÁCH BANG
calle
Bảng 1 Mô tả các lớp trong mô hình VGG-16 0c 1111119 1119111911 811v g rey
Bang 2 Mô tả các lớp trong mô hình MobileNetV3 - ác t9 He,
Bang 3 Bảng hiệu suất của mô hình ResNet152 và ResNet200 trên tập dữ liệu
i19 10 Ố ố
Bảng 4 Bang chú thích các thành phan của các chỉ $6 -¿ ¿ 5z+c+++cxz2zxzz Bảng 5 Bảng tóm tắt các thành phần của Dataset 2- 22 5z2cxz+cxeezxeerxesrxesrxeee
Bang 6 Tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô hình phát hiện xâm
nhập trên tập dữ hiệu UNSW-NB15 (Multiclass) .- - G n**HHggnnrệp
Bảng 7 Tỉ lệ Accuracy, Precision, Recall, Fl-Score của các mô hình phát hiện xâm
nhập trên tập dữ liệu UNSW-NB15 sau Federated Learning (Multiclass)
Bảng 8 Tỉ lệ phát hiện (Recall) của các mô hình phát hiện xâm nhập trên tập dữ liệu
đối kháng được tạo ra từ dataset UNSW-NB ]S -.L TL HH HH HH HH nay
Bảng 9 Tỉ lệ phát hiện (Recall) của từng mô hình phát hiện xâm nhập sau khi train
trên tập dữ liệu đối kháng được tạo ra từ dataset UNSW-NBI5 -.ccecceeeere
Trang 10TÓM TÁT KHÓA LUẬN
Trong bối cảnh hiện nay, Hệ thống phát hiện xâm nhập (IDS) dựa trên trí tuệ
nhân tao (AI-based IDS) đã trở thành một công cụ quan trọng trong việc bảo vệ hệthống mang máy tính khỏi các mối đe doa mạng ngày càng tinh vi và phức tap
Một ưu điểm quan trọng của AI-based IDS là khả năng phát hiện các hình thứctấn công mới và không rõ ràng mà các phương pháp truyền thống khó có thể nhậnbiết Nó có thê học từ các mẫu xâm nhập hiện có và triển khai các thuật toán phức tạp
dé phát hiện các biểu hiện của các cuộc tấn công mới, giúp tổ chức phản ứng nhanhchóng và hiệu quả Mặc dù AI-based IDS mang lại nhiều lợi ích và tiềm năng trongviệc phát hiện các mối đe dọa mạng, nhưng cũng có những thách thức khi đối mặt
với các mẫu đối kháng
Mẫu đối kháng là các kỹ thuật và chiến lược được thiết kế đề đánh lừa hệ thốngphát hiện xâm nhập, nhằm làm cho các hành vi xâm nhập trở nên khó phát hiện hoặcgây ra các kết quả sai lệch Đối với AI-based IDS, mẫu đối kháng có thể làm suy giảmhiệu suất và độ chính xác của hệ thống
Một trong những hình thức mẫu đối kháng phô biến là tan công dựa trên sự
biết thông tin về mô hình AI được sử dụng bởi IDS Kẻ tắn công có thê tìm hiểu cách
mô hình hoạt động và tìm ra các lỗ hồng trong quá trình phân loại hoặc đánh giá Sau
đó, họ có thé tạo ra các dữ liệu đối kháng hoặc thay đôi các đặc trưng của dữ liệu đểđánh lừa hệ thống và tránh bị phát hiện
Với một ngữ cảnh trên, việc kháng mẫu đối kháng của các mô hình học sâu,đặc biệt là VGG-16, là một van đề quan trọng và đòi hỏi sự chú ý đặc biệt
VGG-16 là một mô hình học sâu được sử dụng rộng rãi trong lĩnh vực thị giác
máy tính Nó có cấu trúc sâu với 16 lớp và sử dụng các lớp tích chập để trích xuất các
đặc trưng từ hình ảnh.
Đề tài này tập trung vào việc nghiên cứu và phân tích sự khác biệt giữa môhình VGG-16 và các mô hình máy học khác trong quá trình xây dựng hệ thống pháthiện xâm nhập băng phương pháp học cộng tác thông qua bộ dữ liệu dạng ảnh được
tiền xử lí từ bộ đữ liệu bảng gốc Chúng tôi tập trung vào việc đánh giá hiệu suất của
Trang 11VGG-16 so với các mô hình khác trong môi trường học máy Nghiên cứu sẽ đề cậpđến các khía cạnh quan trọng như độ chính xác, độ tin cậy, và khả năng phát hiện của
mô hình, nhằm hiéu rõ hơn về khả năng ứng dụng của VGG-16 trong việc xây dựng
hệ thống phát hiện xâm nhập thông qua quá trình cải thiện liên tục Kết quả của khóaluận này sẽ cung cấp thông tin quan trọng cho việc lựa chọn mô hình phù hợp nhấtcho hệ thống phát hiện xâm nhập trong môi trường Federated Learning và hỗ trợ quátrình phát triển các ứng dụng an toàn thông tin hiệu quả
Bên cạnh đó chúng tôi tập trung vào việc đánh gia khả năng của VGG- 16 trongviệc nhận diện và chống lại mẫu đối kháng Các mẫu này thường được thiết kế déđánh lừa mô hình phân loại bang cách tạo ra dit liệu đối kháng mà con người khónhận biết, nhằm đối mặt với hệ thống phát hiện xâm nhập
Nghiên cứu sẽ xem xét hiệu suất của VGG-16 khi đối mặt với các mẫu đốikháng, tập trung vào khả năng nhận diện và xử lý chúng Đồng thời, chúng tôi sẽ sosánh hiệu suất này với các mô hình máy học khác đề đánh giá tính đối kháng tổng thêcủa chúng trong môi trường Federated Learning.
Trang 12Chương 1 GIỚI THIỆU ĐÈ TÀI
1.1 Giới thiệu đề tài:
Hiện nay, Phương pháp học liên kết (Federated learning) đang được ứng dụngrộng rãi như là một phương pháp tiên tiến trong lĩnh vực học máy và trí tuệ nhân tạo,giúp đào tạo mô hình trên dit liệu phân tán mà không cần phải truyền dữ liệu tới mộttrung tâm tập trung [1] Thay vì tập trung dữ liệu từ nhiều nguồn vào cùng một địa
điểm, Federated Learning cho phép các thiết bị hoặc hệ thống phân tán thực hiện việchọc từ dữ liệu của chính mình và chi chia sẻ thông tin cần thiết dé cập nhật mô hình
Hệ thống phát hiện xâm nhập (Intrusion Detection System) đóng vai trò quan
trọng trong việc phát hiện và ngăn chặn các hành vi xâm nhập vào mạng máy tính.Gần đây, phương pháp Federated Learning [2] đã thu hút sự chú ý với khả năng đàotạo mô hình học máy trên các thiết bị phân tán mà không cần phải truyền dữ liệu tớimột trung tâm tập trung, đảm bảo tính riêng tư và bảo mật của người dùng.
Trong lĩnh vực IDS, mô hình mạng nơ-rôn đã chứng tỏ khả năng xuất sắc [3]trong việc phân loại và nhận dạng các mẫu xâm nhập Trong số các mô hình CNNphố biến, mô hình VGG-16 nỗi bật với cấu trúc sâu và khả năng trích xuất đặc trưngphức tạp.
Đề tài này tập trung vào nghiên cứu sự khác nhau giữa mô hình VGG-16 và các
mô hình máy học khác trong việc xây dựng hệ thống phát hiện xâm nhập sử dụng
Federated Learning Mục tiêu là tìm hiểu hiệu suất và khả năng mở rộng của mô hình
VGG-16 so với các mô hình khác trong việc nhận dạng các hành vi xâm nhập, đồngthời đảm bảo tính riêng tư và bảo mật của dữ liệu người dùng thông qua phương pháp
Federated Learning [4].
Qua việc thực hiện dé tài nay, chúng ta sẽ có cái nhìn rõ rang hon vê ưu điêm
va hạn chế của mô hình VGG-16 so với các mô hình máy học khác, đồng thời đánh
Trang 13giá kha năng ứng dụng của phương pháp Federated Learning trong việc xây dựng hệthống phát hiện xâm nhập Kết quả từ nghiên cứu này có thê cung cấp thông tin quan
trọng và cơ sở cho việc phát triển và tối ưu hóa hệ thống phát hiện xâm nhập sử dụngFederated Learning trong việc bảo vệ mạng máy tính va dữ liệu trong thời đại số hóangày nay.
1.2 Mục tiêu
Mục tiêu thứ nhất của nghiên cứu này là nghiên cứu và so sánh hiệu suất của
mô hình VGG-16 với các mô hình máy học khác trong việc xây dựng hệ thống pháthiện xâm nhập sử dụng Federated Learning Qua đó, chúng ta sẽ đánh giá khả năng
của mô hình VGG-16 trong việc nhận dạng va phân loại các hành vi xâm nhập, so
với các mô hình máy học khác được áp dụng trong cùng môi trường Thứ hai, một
yếu tố quan trọng khác của hệ thống phát hiện xâm nhập là khả năng mở rộng Mụctiêu là xác định và đánh giá khả năng mở rộng của mô hình VGG-16 so với các mô
hình máy học khác khi áp dụng phương pháp Federated Learning Qua đó, chúng ta
sẽ đưa ra các khuyến nghị và giải pháp để cải thiện khả năng mở rộng của hệ thống
phát hiện xâm nhập sử dụng mô hình VGG-16 Cuối cùng, mục tiêu của dé tài là đưa
ra những đóng góp mới và ứng dụng thực tế trong lĩnh vực xây dựng hệ thống pháthiện xâm nhập sử dụng Federated Learning Dựa trên kết quả nghiên cứu và so sánh,chúng ta sẽ đề xuất các phương pháp, kỹ thuật và hướng phát triển tiếp theo dé cảithiện hiệu suất, tính mở rộng, tính riêng tư và bảo mật của hệ thống phát hiện xâmnhập trong môi trường phân phối và phức tạp hiện nay
1.3 Phạm vi nghiên cứu
Nghiên cứu này được thực hiện trong môi trường server của trường Đại học
Công nghệ Thông tin — ĐHQG TP.HCM Hình 1 là mô hình do chúng tôi xây dựng.
Trang 14VM1- Server
ENVIRONMENT
VM2 VM3 VMn VMn+1
Hình 1 Mô hình học cộng tác được xây dựng
Chúng tôi sẽ dựa vào mô hình đó dé xây dựng một hệ thống Federated Learning
nhằm thực hiện các thử nghiệm trong đề tài Máy chủ sẽ huấn luyện một mô hìnhmẫu và tiến hành phân phối các trọng số tới các máy ria Sau đó, chúng tôi sẽ phântích và nghiên cứu kết quả được trả về từ mô hình đó dé đưa ra những kết luận
Chương 2 KIÊN THỨC NEN TANG
1.4 Hệ thống phát hiện xâm nhập
Hệ thống phát hiện xâm nhập là phần mềm hoặc công cụ giúp giám sát lưu lượngmạng và cảnh báo lỗi khi có các hành vi đáng ngờ xâm nhập vào hệ thống Mục đíchchính của hệ thống phát hiện xâm nhập là ngăn ngừa và phát hiện những hành động
phá hoại tính bao mật của hệ thống hoặc những hành vi như đò tìm, quét các công.
Trang 15NIDS: Network Intrusion Detection Systems thường được bố trí tại nhữngđiểm dễ bị tan công trong hệ thống NIDS được sử dụng dé giám sát trafficđến và đi từ tất cả các thiết bị trên mạng Điểm cộng lớn nhất của NIDS là cóthể quét tất cả traffic inbound và outbound, nhưng việc này có thể làm giảm
tốc độ chung của mạng
HIDS: Host Intrusion Detection Systems, hệ thống phát hiện xâm nhập này
hoạt động trên tất cả các thiết bị trong hệ thống có thé kết nối Internet HIDS
chỉ giám sát các gói dit liệu inbound và outbound từ thiết bị hoặc những hànhđộng đáng ngờ tại cấp truy cập nội bộ
Mỗi loại sử dụng có các phương pháp giám sát như sau:
Signature-Based: Đây là các hệ thống phát hiện xâm nhập hoạt động dựa trên
chữ ký, giám sát các gói tin trên mạng tương tự như cách phần mềm diệt virushoạt động Tuy nhiên Signature-Based có thê không phát hiện được những mồi
đe dọa mới, khi chữ ký để nhận biết nó chưa được hệ thống phát hiện xâm
nhập cập nhật.
Anomaly-Based: Hệ thống phát hiện xâm nhập này được sử dụng để phát hiệnmỗi đe dọa dựa trên sự bất thường Anomaly-Based sẽ giám sát traffic mạng
và so sánh với baseline đã được thiết lập từ trước Baseline sẽ xác định đâu là
mức bình thường của mạng và cảnh báo cho quản trị viên mạng hoặc ngườidùng khi phát hiện traffic truy cập bất thường hoặc khác biệt so với baseline
Specification-based: Kỹ thuật phát hiện Specification-based thu thập các hoạt
động chính xác của một chương trình hoặc giao thức và theo dõi hoạt động
của nó dựa trên các ràng buộc Sử dụng mô hình giao thức chủ yếu dựa trên
các chuẩn giao thức từ các nha sản xuất phần mềm và tiêu chuan (IEFT, RFC)
Trang 161.5 Máy học và học sâu
1.5.1 Máy học
Machine learning hay máy học là một nhánh của trí tuệ nhân tạo, nó là một lĩnh
vực nghiên cứu cho phép máy tính có khả năng cải thiện chính bản thân chúng dựatrên dữ liệu mẫu hoặc dựa vào kinh nghiệm (những gì đã được học) Máy học có thể
tự dự đoán hoặc đưa ra quyết định mà không cần được lập trình cụ thê
Từ đó, các lập trình viên chọn một mô hình học máy đê sử dụng, cung câp dữ liệu
và đê mô hình máy tính tự đào tạo đê tìm các mẫu hoặc đưa ra dự đoán Theo thời
gian, lập trình viên con người cũng có thê điêu chỉnh mô hình, bao gôm cả việc thay
đôi các tham sô của nó, đê giúp đây nó tới kêt quả chính xác hơn.
Học máy gôm 3 mô hình con:
* Cac mô hình máy học có giám sát được dao tạo với các tập dữ liệu được gan
nhãn, cho phép các mô hình học hỏi và phát triển chính xác hơn theo thời gian
Ví dụ: Một thuật toán sẽ được dao tạo với hình ảnh của những chú chó và nhữngthứ khác, tất cả đều do con người dán nhãn và máy sẽ tự học cách xác định hình ảnh
của những chú chó Học máy có giám sát là loại phổ biến nhất được sử dụng ngày
nay.
* Trong hoc máy không giám sát, một chương trình tìm kiếm các mẫu trong dữliệu không được gắn nhãn Máy học không giám sát có thể tìm thấy các mẫu hoặc xuhướng mà mọi người không tìm kiêm một cách rõ ràng.
Ví dụ: Một chương trình máy học không giám sát có thể xem qua đữ liệu bán hàngtrực tuyến và xác định các loại khách hàng khác nhau đang mua hàng
* Máy học tăng cường, huấn luyện máy thông qua thử và sai dé thực hiện hànhđộng tốt nhất bằng cách thiết lập một hệ thống phan thưởng Học tăng cường có théhuấn luyện các mô hình chơi trò chơi hoặc huấn luyện các phương tiện tự lái lái bằng
Trang 17cách cho máy biết khi nào nó đưa ra quyết định đúng, điều này giúp máy học theothời gian những hành động mà nó nên thực hiện.
1.5.2 Học sâu
Deep Learning, hay là học sâu có thể được xem là một lĩnh vực con của máy
hoc ở đó các máy tính sẽ học và cải thiện chính nó thông qua các thuật toán Học sâuđược xây dựng dựa trên các khái niệm phức tạp hơn rất nhiều, chủ yếu hoạt động vớicác mạng nơ-ron nhân tạo dé bắt chước khả năng tư duy và suy nghĩ của bộ não conngười Trong quá trình huấn luyện mô hình mạng no-ron, các trọng số sẽ được thay
đổi và nhiệm vụ của mô hình là tìm ra bộ giá tri của trọng số sao cho phán đoán là tốt
nhất
1.6 Học cộng tác
Federated learning, hay còn được gọi là hoc cộng tác, là một phương pháp dé
huấn luyện các mô hình trí tuệ nhân tạo mà vẫn đảm bảo dữ liệu của bạn không bịtiết lộ hoặc sử dụng bởi người khác Nó cung cấp một phương thức dé mở khóa thôngtin cho các ứng dụng trí tuệ nhân tạo mới Thuật ngữ này được Google giới thiệu lần
đầu vào năm 2016, vào thời điểm khi việc rò ri dit liệu cá nhân đang thu hút sự chú ý
toàn cầu Đến nay, mô hình này vẫn tiếp tục phát triển và được dự đoán sẽ trở thành
yếu tố quan trọng hàng đầu trong lĩnh vực trí tuệ nhân tạo Nhiều ứng dụng trí tuệ
nhân tạo đã được huấn luyện dựa trên dữ liệu được thu thập và xử lý tập trung tại mộtnơi (thường là trên đám mây) Tuy nhiên, hiện nay, hoạt động này đang dần chuyểnsang mô hình phi tập trung Các mô hình trí tuệ nhân tạo mới được huấn luyện cộng
tác ở các thiết bị địa phương như điện thoại di động, máy tính xách tay hoặc máy chủ
cá nhân, thay vì tập trung tất cả đữ liệu lên một máy chủ duy nhất như trước đây.Hình thức huấn luyện trí tuệ nhân tạo này được gọi là học cộng tác và đang trở thànhtiêu chuẩn để tuân thủ các quy định mới về xử lý và lưu trữ đữ liệu riêng tư Băngcách xử ly đữ liệu ngay tại nguồn, học cộng tác còn cung cấp một cách khác dé khaithác dữ liệu thô từ các cảm biến trên vệ tinh, cầu, máy móc và ngày càng nhiều thiết
bị thông minh khác trong nhà và trên cơ thể chúng ta
Trang 18Trong mô hình học tập liên kết, nhiều người chia sẻ dữ liệu của mình từ xa vàcùng hợp tác để huấn luyện một mô hình học chung, tương tự như việc cùng chỉnhsửa một bản thuyết trình hoặc báo cáo của một nhóm.
Federated Learning
Mỗi bên tải xuống mô hình từ trung tâm dữ liệu trên đám mây, thường là mô hình
nên tảng đã được huấn luyện trước Họ huấn luyện mô hình trên dữ liệu riêng tư củamình, sau đó tổng hợp và mã hóa cau hình mới Các ban cập nhật của mô hình cuối
cùng được gửi trở lại đám mây, được giải mã, tính trung bình và tích hợp vào mô
hình tập trung Quá trình này được lặp đi lặp lại cho đến khi mô hình được huấn luyện
đầy đủ Quá trình huấn luyện phi tập trung (phân tán) này có ba loại:
e Trong học tập liên kết ngang, mô hình trung tâm được đào tạo trên các bộ dữ
liệu tương tự.
e Trong học tập liên kết doc, dit liệu bố sung cho nhau;
Ví dụ: Các bài đánh giá phim và sách được kết hợp dé dự đoán sở thích âm nhạc của
Trang 19như vậy, các ngân hàng có thể huấn luyện một mô hình trí tuệ nhân tao dé pháthiện gian lận, sau đó vân có thê tái sử dụng mô hình đó cho các trường hợp khác.
ĐỀ tạo ra những dự đoán có ích, các mô hình học sâu yêu cầu một lượng lớn
dữ liệu huấn luyện Tuy nhiên, các công ty trong các ngành được quản lý chặt chẽ
thường do dự khi đối mặt với việc chấp nhận rủi ro khi sử dụng hoặc chia sẻ dữ liệu
nhạy cảm dé xây dựng mô hình trí tuệ nhân tạo, với một số lời hứa về những phanthưởng không chắc chắn
Trong lĩnh vực chăm sóc sức khỏe, với sự phân mảnh của luật về quyền riêng
tư và thị trường, ngành này chưa thé tận dụng hết tiềm năng của trí tuệ nhân tao Tuynhiên, thông qua học cộng tác, các công ty có thê hợp tác dé huấn luyện một mô hìnhphi tập trung mà không cần chia sẻ hồ sơ y tế bí mật Từ việc chụp CT đến chụp cộnghưởng từ, việc tong hợp và phân tích dit liệu y tế ở quy mô lớn có thé mở ra những
phương pháp mới dé phát hiện và điều trị ung thư trong tương lai
Học cộng tác cũng có thể mang lại lợi ích trong nhiều ngành công nghiệp khácnhau Bằng cách tông hợp hồ so tài chính của khách hàng, các ngân hàng có thé tạo
ra điểm tín dụng chính xác hơn hoặc nâng cao khả năng phát hiện lừa đảo Việc thuthập yêu cầu bảo hiểm xe hơi có thé dẫn đến những ý tưởng mới dé cải thiện an toàncho người lái xe Đồng thời, việc tổng hợp dit liệu âm thanh và hình ảnh từ các dây
chuyên lắp ráp trong nhà máy có thé giúp phát hiện các sự cé máy móc hoặc sản pham
bị lỗi.
Khi con người ngày càng ưa chuộng sử dụng điện thoại di động và các thiết bị
tiên tiễn khác, học tập liên kết cung cấp một phương pháp khai thác dữ liệu liên tục
từ các cảm biến trên đất liền, trên biên và trong không gian Việc tông hợp các hình
ảnh từ vệ tinh giữa các quốc gia có thé mang lại những dự đoán chính xác hơn về khí
Trang 20hậu và mực nước biển dâng ở quy mô khu vực Dữ liệu từ hàng tỷ thiết bị được kếtnối internet cũng cung cấp thông tin chi tiết mà chúng ta chưa từng nghĩ đến.
Cần thiết phải cân nhắc sự đánh đổi giữa quyền riêng tư và độ chính xác Kẻ
tan công luôn tìm cách đánh cắp dit liệu người dùng hoặc chiếm quyền điều khiển
các mô hình trí tuệ nhân tạo, bất kế chúng được huấn luyện bằng phương pháp nào
Trong học cộng tác, liên kết yêu nhất xảy ra khi máy chủ lưu trữ dữ liệu trao đổi môhình làm việc của họ với máy chủ trung tâm Mỗi lần trao đổi đóng góp vào việc cảithiện mô hình, nhưng cũng dé lại dữ liệu có thé bị tan công
Khi xử lý dữ liệu quản lý và nhạy cảm, không thé coi thường những rủi ro này.Mỗi vòng trao đôi thông tin tăng cường khả năng suy luận, đặc biệt khi thông tin cơbản không thay đổi nhiều Các nhóm pháp lý và công nghệ cần cân nhắc sự đánh đôigiữa quyên riêng tư và độ chính xác Trong quá trình huấn luyện một mô hình phân
tán, việc chia sẻ thông tin là không thé tránh khỏi Tuy nhiên, làm thé nào dé đảm bảorằng việc chia sẻ này không vi phạm các quy tắc về quyền riêng tư? Điều này phụ
thuộc vào ứng dụng cụ thể
Phần lớn các nghiên cứu hiện tại về học tập liên kết tập trung vào việc giảmthiểu và ngăn chặn các rủi ro liên quan đến quyền riêng tư Các phương pháp tính
toán an toàn của nhiều bên ân các bản cập nhật mô hình thông qua các sơ đồ mã hóa
khác nhau nhăm giảm tỷ lệ rò ri dit liệu hoặc nguy cơ tan công suy luận Đồng thời,việc áp dụng quyền riêng tư khác biệt có thé thay đổi giá trị chính xác của một sốđiểm dữ liệu dé tạo ra tiếng ồn, từ đó làm mat phương hướng cho kẻ tan công
Cộng tác đào tạo các mô hình trí tuệ nhân tạo ở nhiều địa điểm đồng thời đòi
hỏi tính toán lớn và băng thông truyền thông cao Điều này đặc biệt đúng khi máy
chủ lưu trữ dữ liệu đang huấn luyện các mô hình cục bộ trên các thiết bị Một số biện
pháp hiệu quả dé vượt qua hạn chế về băng thông và tính toán trong học cộng tác là
Trang 21cat tỉa và nén mô hình được huân luyện cục bộ trước khi chuyên đên máy chủ trung
tâm.
Việc đảm bảo tính minh bạch là một thách thức trong học tập liên kết Vì dữliệu đào tạo được bảo mật, cần có một hệ thong dé kiểm tra tính chính xác, công bang
và phát hiện các sai lệch tiềm ấn trong kết qua đầu ra của mô hình Một khung mã
hóa được đề xuất bởi IBM, có tên là DeTrust, yêu cầu tất cả các bên đạt được sự đồngthuận về các khóa mật mã trước khi các bản cập nhật mô hình được tông hop.
Một thách thức khác trong học cộng tác là kiểm soát dữ liệu được sử dụngtrong mô hình và quá trình xóa chúng khi máy chủ rời khỏi liên kết Do tính không
rõ ràng của các mô hình học sâu, việc này gặp hai vấn đề: xác định dữ liệu của máychủ lưu trữ và sau đó loại bỏ ảnh hưởng của chúng đối với mô hình trung tâm Hiệntại, nếu dữ liệu bị xóa, các bên phải dao tạo lại mô hình từ dau, dẫn đến tốn thời giantính toán Dé tiết kiệm thời gian, IBM đã đề xuất một phương pháp giải phóng môhình chỉ đên một điêm mà tại đó dữ liệu đã bị xóa.
Thách thức cuối cùng trong học cộng tác là sự tin tưởng Không phải tất cảnhững người đóng góp vào mô hình đều có mục đích tốt Các nhà nghiên cứu đangnghiên cứu các biện pháp khuyến khích dé ngăn chặn việc đóng góp dit liệu giả nhằmphá hoại mô hình hoặc thu lợi ích từ mô hình mà không đặt dir liệu của các bên vào
nguy CƠ rui ro.
1.7 Mang no-ron tích chập
Convolutional neural network (Mạng nơ-ron tích chập) là một trong những mô
hình máy học và học sâu tiên tiến Nó giúp cho chúng ta xây dựng được những hệ
thống thông minh với độ chính xác cao như hiện nay Mạng nơ-ron tích chập là một
mạng được xây dựng từ các lớp tích chập được xếp chồng lên nhau và sử dụng cáchàm kích hoạt phi tuyến tính như Rectified Linear Unit (ReLU) để kích hoạt các trọng
SO tại các đặc trưng.
Trang 22Mỗi lớp sau khi đi qua các hàm kích hoạt sẽ tạo ra các thông tin mang tính
trừu tượng hơn cho các lớp kế tiếp Mỗi lớp sau khi đi qua các hàm kích hoạt sẽ tạo
ra những thông tin mang tính trừu tượng cao hơn cho các lớp tiếp theo Trong môhình mạng nơ-ron truyền thăng thì mỗi nơ-ron đầu vào cho mỗi nơ-ron đầu ra trong
các lớp tiếp theo Mô hình này gọi là lớp kết nối đầy đủ hay lớp toàn vẹn Còn trong
các mô hình mạng nơ-ron tích chập thì ngược lại Các lớp mạng liên kết với nhauthông qua cơ chế tích chập Lớp tiếp theo được tạo ra băng cách tích chập kết quả từlớp trước, tạo ra kết nối cục bộ Nhờ vậy, mỗi nơ-ron trong lớp kế tiếp được tạo ra từ
kết quả của bộ lọc được áp dụng lên một vùng ảnh cục bộ của nơ-ron trước đó Mỗi
lớp thông thường sử dụng hàng trăm hoặc hàng nghìn bộ lọc khác nhau và kết hợpkết quả của chúng Ngoài ra có một số lớp khác như lớp gộp hay lớp hạ mẫu dùng déloại bỏ các thông tin nhiễu Trong quá trình huấn luyện mạng nơ-ron tích chập tự
động học các giá trị qua các lớp bộ lọc dựa vào cách thức mà bạn thực hiện Ví dụtrong tác vụ phân lớp ảnh, các mạng nơ-ron tích chập sẽ có gắng tìm ra thông số tối
ưu cho các bộ lọc tương ứng theo thứ tự Điểm ảnh thô > Các cạnh > Hình dạng > Đặctrưng khuôn mặt > Đặc trưng ở mức cao hơn Lớp cuối cùng được dùng dé phân lớpảnh.
Mục đích chính của mạng nơ-ron tích chập là tìm hiểu các tính năng liên quan
của dữ liệu đầu vào Trong quá trình xử lí này, các lớp ban đầu là một tập hợp các
trình trích xuất tính năng tích chập phải tuân theo các bộ lọc có thể học được Các bộlọc được áp dụng hoạt động như một cửa số trượt di chuyên qua mọi đoạn dữ liệu đầuvào Trong trường hợp này, khoảng cách chồng chéo được gọi là “sải chân”, với cáckết quả đầu ra được gọi là các Hạt nhân tích chập là thành phần cơ bản của mỗi lớp
mang CNN, được áp dung dé tạo ra các ma trận kết quả từ các phép tinh chập khác
nhau Các vùng nơ-ron lân cận được kết nối với một nơ-ron trong ma trận kết quả của
lớp tiêp theo Dé tao ra ma trận ket quả, hạt nhân cân được chia sẻ trên tat cả các vị
Trang 23trí không gian của đầu vào Sau khi áp dụng phép tích chập và tổng hợp, một hoặcnhiều lớp kết nối đầy đủ có thé được sử dụng dé hoàn thành quá trình phân loại.
1.7.1 Kiến trúc
Convolutional layer (Lớp tích chập) là khối xây dựng cốt lõi của mạng nơ-rontích chập Các tham số của lớp bao gồm một tập hợp của các bộ lọc (hoặc hạt nhân)
có khả năng học được Những bộ lọc này có phạm vi tiếp nhận nhỏ nhưng mở rộng
trên toàn bộ chiều sâu của đầu vào Trong quá trình truyền tiếp, mỗi bộ lọc tích hợp
trên chiều rộng và chiều cao của đầu vào, tính toán phép nhân vô hướng giữa cácthành phần của bộ lọc và đầu vào, tạo ra một bản đồ kích hoạt 2D Nhờ vậy, mạng cóthé học được các bộ lọc kích hoạt khi phát hiện các đặc trưng cụ thể tại các vị trí
không gian trong đầu vào Các lớp tích chập này đóng một vai trò quan trọng trong
kiến trúc mạng nơ-ron tích chập vì nó là thành phần thực hiện trích xuất đặc trưng
Ngoài ra, các thao tác tích chập áp dụng bộ lọc (hoặc nhân) dé bảo vệ mối quan hệ
không gian giữa các điểm ảnh bằng cách sử dụng các tính năng học tập Các thuật
ngữ “bản đồ kích hoạt”, “tinh năng tích hợp” và ma trận kết quả được sử dụng dé mô
tả dữ liệu được tạo ra trong quá trình hoạt động tích chập Khi mạng nơ-ron tích chậpđang đào tạo đề tìm hiểu các tính năng của đầu vào mới hiệu quả hơn, các giá trị của
hạt nhân sẽ tự động được sửa đôi Các giá trị thứ nguyên của độ sâu (nghĩa là số lượng
bộ lọc được áp dụng), sai chân (tức là số điểm ảnh mà bộ lọc trượt theo đó) và phần
đệm bang 0 (tức là dit liệu đệm có số 0 ở đường viền) xác định kích thước của đối
tượng.
Khi lớp này đảm nhiệm việc thực hiện mọi tính toán Các yếu tố như bước
trượt, đệm, bộ lọc tích chập và bản đồ đặc trưng là những yếu tố quan trọng nhất của
lớp tích chập
e Cơ chế của mạng nơ-ron tích chập là tạo ra các bộ lọc áp dụng vào từng vùng
hình ảnh Các bộ lọc tích chập này được gọi là ma trận 3 chiều, bên trong chứacác thông sô dưới dạng những con sô.
Trang 24e Bước trượt là sự dịch chuyển bộ lọc tích chập theo điểm ảnh dựa trên giá trị từ
trái sang phải.
e Đệm là các giá trị 0 được thêm cùng lớp đầu vào
e Ban đồ đặc trưng là khi sau mỗi lần quét, một quá trình tính toán sẽ được thực
hiện Bản đồ đặc trưng sẽ thé hiện kết quả sau mỗi lần bộ lộc tích chập quét
qua dau vào.
Giả sử rằng đầu vào của mạng thần kinh là một hình ảnh màu có kích thước 32 x 32
x 3 điểm ảnh theo chiều rộng, chiều cao và chiều sâu; do đó, để đảm bảo rằng lớp đầuvào chỉ được kết nối với một nơ-ron, các kết nối có trọng sỐ phải là 32 x 32 x 3 Tuynhiên, nếu các giá trị chiều cao và chiều rộng giống nhau được sử dung dé kết nối
hình ảnh đầu vào với các nơ-ron trong lớp tiếp theo cần có 3.145.728 kết nối trọng số
vì lớp đầu vào và lớp tiếp theo phải có 32 x 32 x 3 = 3072 và 32 x 32 = 1024 nơ-rontương ứng Hơn nữa, vì lớp thứ hai dày đặc nên số lượng trọng số cần thiết là 3072 x
1024 = 3.145.728 Do đó, một phương pháp hiệu quả hơn là xác định các vùng cục
bộ trong ảnh thay vì toàn bộ ảnh có thé hiệu quả hơn phương pháp được mô tả trước
đó Về lớp tích chập, các nơ-ron ấn trong lớp tiếp theo chi có thể nhận đầu vào từphần (vùng lân cận) tương ứng của lớp trước Vì lớp chỉ có thê được kết nối với các
nơ-ron 5 x 5 Do đó, tham khảo lại các kích thước vi dụ được trình bay ở trên, kích
thước của kết nối giảm đáng ké từ 3.145.728 xuống 76.800 Trong lớp tích chập,
trọng số của bộ lọc được chia sẻ; do đó, số lượng trọng số là 3072 x (5 x5)= 76.800
Một lợi thế khác của phương pháp này là việc sử dụng các trọng số có định cho cáckết nối cục bộ, thể hiện hoạt động của một cửa số trượt có kích thước 5 x 3 trên các
nơ-ron đầu vào và ánh xạ đầu ra tương ứng ở vị trí tương ứng Điều này cho phép các
tính năng được nhận dang và xác định ở bat kỳ đâu trong dit liệu đầu vào.
Mục đích chính của việc sử dụng lớp tích chập để huấn luyện mô hình mạngnơ-ron tích chập là cho phép các hạt nhân phù hợp và hiệu quả nhất cho một nhiệm
vụ nhất định được xác định dựa trên tập dữ liệu huấn luyện được cung cấp Hạt nhân
Trang 25Mô hình phác thảo kích thước hạt nhân, sé luong, phan đệm va sai chan dưới dangsiêu tham số phải được thiết lập trước khi có thé bắt đầu đảo tạo.
Pooling layer (Lớp gop) Là hoạt động lay mẫu xuống được thực hiện bởi lớptổng hợp thường giảm chiều trong mặt phăng của bản đồ đặc trưng, từ đó giới thiệutính bat biến dịch thuật chuyển động nhỏ và biến dang Nó cũng làm giảm số lượng
có thê học tiếp theo thông số Thật thú vị, không có tham số có thể học được trong
bat kỳ lớp tong hop nao Tuy nhiên, giống như lớp tích chập, kích thước bộ loc, bướctiễn và phần đệm đóng vai trò như siêu tham số Nhiều tính năng vẫn còn sau lớp tíchchập, mà làm cho mạng rất phức tạp Do đó, lớp tong hợp phải có khả năng lay mẫudưới các tính năng để làm cho mạng ít phức tạp hơn và ngăn chặn quá mức Tổnghợp tối đa và Tổng hợp trung bình là các phương pháp tong hợp rất phô biến trongmạng nơ-ron tích chập Trong trường hợp tổng hợp lấy giá trị tối đa, giá trị lớn nhất
của các nơ-ron trong một vùng cụ thể (R) được chọn để đại diện cho đầu ra của toản
thành các vùng khác nhau dựa trên kích thước của nó Trong trường hợp tong hợp lay
giá trị lớn nhất, giá tri cao nhat trong mỗi vùng được chon dé đại diện cho vùng đó,
trong khi trong trường hợp tông hợp lấy giá trị trung bình, giá trị trung bình của vùng
được chọn dé đại diện cho vùng đó
Thuật ngữ “Fully connected” ngụ ý rằng mỗi nơ-ron ở lớp trước được đượcliên kết với một noron ở lớp tiếp theo Thường thì, bản đồ đặc trưng đầu ra từ lớp tích
chập cuối cùng hoặc lớp tổng hợp được làm phang, tức là biểu diễn dưới dạng một
Trang 26bộ số (hoặc vectơ) một chiều Sau đó, bộ số này được kết nối với một hoặc nhiều lớpkết nối đầy đủ, đôi khi được gọi là các lớp mật độ Trong các lớp này, mỗi đầu vàođược kết nối với một đầu ra dựa trên các trọng số có khả năng học được Sau khi các
tính năng đã được trích xuất trong tích chập các lớp và sau đó, được lấy mẫu xuống
trong lớp tong hợp, chúng có thé được ánh xạ bằng cách sử dụng các lớp được kết
nối đầy đủ Điều này cho phép các đầu ra cuối cùng của mạng (nghĩa là xác suất cho
mỗi lớp) được xác định Thông thường, lớp được kết nối đầy đủ có xu hướng được
theo sau bởi bộ phân loại SoftMax (hoặc một loại bộ phân loại khác), trong đó bộphân loại SoftMax thường có tổng số n nơ-ron, với n là số lớp
1.7.2 Thuật toán
Mạng nơ-ron tích chập là mô hình học sâu được sử dụng rộng rãi nhất để nhậndạng hình ảnh, bao gồm một lớp tích chập trích xuất các đặc điểm của hình ảnh vàmột lớp được kết nối đầy đủ xác định hình ảnh đầu vào thuộc về lớp nào Lớp tíchchập trích xuất các tinh năng độc đáo của hình ảnh trong khi vẫn giữ thông tin I/O vàkhông gian của hình ảnh, đồng thời giảm kích thước của dữ liệu tính năng bằng cáchthêm một lớp tổng hợp vào lớp tích chập Một hình ảnh được xử lý dựa trên phương
giữa số lượng lớp tích chập và hiệu suất của nó phụ thuộc vào đặc điểm của hình ảnh
đầu vào, chúng ta cần tìm ra thiết kế tối ưu thông qua các thiết kế và học tập khác
Trang 27nhau Chúng tôi thiết kế các mô hình của mình dựa trên các siêu tham số như loạihình ảnh (thang độ xám hoặc RGB), số lớp tích chập và kích thước của nhân, số lượng
trọng số được sử dụng dé thiết kế một lớp ấn trong lớp tích chập
Convolutions Subsampling Convolutions Subsampling Fully connected
Hình 3 Mô tả các lớp của mô hình mạng no-ron tích chập
Hoạt động tích chập trên các bản đồ đặc trưng đầu vào và một lớp tích chậptrong kiến trúc CNN được cung cấp thông qua phương trình sau:
khối lượng đáng kể các bản đồ đặc trưng Dé giúp hạn chế kích thước của các thuộc
tính này, các lớp tích chập được theo sau bởi một lớp bô sung, được gọi là tổng hợp,nhằm hạn chế chi phi tính toán cho việc đào tạo trong mạng và giảm khả năng trang
bị quá mức Một số hoạt động tổng hợp tổn tại, bao gồm tổng hợp tối đa, trung bình
và ngẫu nhiên Đối với lớp tổng hợp tối đa, lớp này hoạt động như một cửa số trượt
có khoảng cách sai chân dé đặt giá trị tối đa bên trong kích thước của cửa sé trượt.Quá trình huấn luyện của mạng nơ-ron tích chập được hoàn thành với một thuật toán
Trang 28lặp di chuyên giữa các chuyên động dữ liệu truyền tới và truyền ngược Tại mỗi lần
lặp lại lan truyền ngược, các bộ lọc tích chập và các lớp được kết nối đầy đủ được
cập nhật Mục đích chính là hạn chế hàm loss E trung bình trên các nhãn lớp thực và
đâu ra mạng, tức là,
i=lk=1
Trong đó yi*(k) va yi(k) lần lượt là nhãn thực và đầu ra mạng của dau vàothứ i ở lớp k với các dau vào huân luyện m và các nơ-ron c ở lớp dau ra.
1.8 Các thuật toán tạo mẫu đối kháng
1.8.1 GAN & WCGAN
1.8.1.1 GAN
Mang sinh đối kháng [5] (GAN - Generative Adversarial Networks) bao gồm 2
loại mô hình trong bối cảnh học tập có giám sát là mô hình sinh và mô hình phân biệt
Mô hình phân biệt chủ yếu được sử dụng dé giải quyết nhiệm vụ phân loại, dự đoánđiểm đữ liệu thuộc về lớp nào Mặt khác, mô hình sinh chủ yếu được sử dụng dé tao
ra các điểm dữ liệu tổng hợp, tuân theo cùng một phân phối xác suất với phân phốicua dir liệu huấn luyện GAN là một loại của mô hình sinh, vì vậy GAN có khả năngsinh ra dir liệu mới.
Cấu trúc cơ bản của GAN là vanilla GAN, đó là sự kết hợp giữa hai mô hình chính
(hai mạng nơ-ron) là Bộ sinh (chịu trách nhiệm tạo dữ liệu giả giống với đữ liệu thật)
và Bộ phân biệt (chịu trách nhiệm phân biệt dữ liệu giả với dữ liệu thật) Hai mô hìnhnày được huấn luyện và hoạt động theo mục tiêu trái ngược nhau, vì vậy nó còn có
tên khác là mạng sinh đối kháng Chúng cạnh tranh với nhau và có thé sao chép vaphân tích sự đa dạng trong một tập dữ liệu Sự cạnh tranh giữa cả hai thành phần này
Trang 29Các ưu điểm của GAN bao gồm:
e Việc tạo mẫu don giản.
e Việc huấn luyện không bị tác động bởi việc ước lượng hợp lý cực đại
e_ Mô hình không dễ bị quá khớp với dữ liệu huấn luyện khi Bộ sinh chưa
từng thấy bộ dữ liệu huấn luyện
e Đặc biệt, GAN rất giỏi trong việc di sâu vao dữ liệu và năm bắt được các
phương thức phân phối của bộ dữ liệu
Bên cạnh các ưu điểm nổi bat, GAN cũng ton tại các khuyết điểm như:
e Khó huấn luyện, cần cung cấp liên tục các loại đữ liệu khác nhau dé kiểm
tra xem mô hình có hoạt động chính xác hay không.
e Phân phối xác suất không rõ ràng, và Vanilla GAN chỉ tốt trong việc tạo
WGAN được đề xuất bởi Martin Arjovsky cùng các cộng su năm 2017 nhằm cải
thiện nhược điểm của Variational Auto-Encoders và GAN Tuy GAN linh hoạt hơn
Trang 30VAE nhưng vẫn tương đối nhạy cảm và không ổn định trong quá trình huấn luyện
[6].
Bằng việc cải thiện công thức ở thuật toán WGAN này, đã có những cải thiện khi
tạo ảnh so với thuật toán GAN Cụ thê có hai ưu điểm chính như sau [16]:
° Sự ồn định của quá trình tối ưu hoá đã có cải thiện
° Thuật toán này đảm bảo sự hội tụ của hai mô hình và đồng thời
nâng cao chất lượng của mô hình sinh
Việc thử nghiệm được thực hiện với tập dữ liệu LSUN-Bedrooms — Tap dir liệu
hình ảnh phòng ngủ Đầu tiên sẽ là sự so sánh về hiệu năng (Ở đây là mất mát và chất
lượng của mẫu) giữa DCGAN (GAN với hệ kiến trúc tích chập được huấn luyện bởi
quy trình của GAN kết hợp với log D) [15] và mô hình mạng nhiều tang truyền thang
MLP_ 512 (4 lớp an và 512 đơn vị cho mỗi lớp) [16]
Generator iterations Generator iterations
Hinh 4 Training curve cia MLP_512 (trai) va DCGAN (phai) 6 cac giai doan khac
nhau của qua trình huan luyện
Kết quả cho thấy mất mát của DCGAN tiến triển nhanh hơn và rõ rệt hơn so
với MLP_ 512 Đồng thời, chất lượng của mẫu đạt được cũng đã được cải thiện đáng
Tiếp theo khoảng cách Jensen-Shannon được chọn làm tiêu chí so sánh
500000 600000
Trang 31JSD estimate ° S »a œ ° JSD estimate ° a
Hình 5 Ước lượng JSD của MLP (trái) và DCGAN (phải) khi được huấn luyện với
quy trình GAN tiêu chuẩn
Kết quả trên cho thấy cả hai đều có xu hướng tăng tỉ lệ sai sót Tuy khoảng cách
JS của DCGAN tăng nhưng mẫu lại hoàn chỉnh hơn MLP Điều này thê hiện sự bat
tương quan giữa chất lượng và mat mát của mẫu được sinh
Về sự 6n định của WGAN so với GAN, việc huấn luyện bộ phân biệt sẽ cho ra
giá trị mat mát mà ta có thé sử dung dé huấn luyện các mô hình mạng nơ-ron khác
Điều này giảm đi sự phụ thuộc vào việc cân băng cả bộ sinh lẫn bộ phân biệt Bộ
phân biệt cảng tốt thì chất lượng của độ dốc được sử dụng dé huấn luyện cho bộ
sinh sẽ càng tăng Tiếp theo tác giả thể hiện điều trên bằng cách thí nghiệm trên ba
kiến trúc bộ sinh như sau [16]: Đầu tiên là một bộ sinh tích chập DCGAN, thứ hai
giống bộ đầu tiên nhưng được cố định số lượng bộ lọc và lược đi thành phần chuẩn
hoá theo batch và cuối cùng là mô hình ReLU-MLP (4 lớp với 512 đơn vị an) Lý
do tác giả chọn cho kiến trúc thứ 2 và thứ 3 là bởi vì 2 bộ này có hiệu năng khá tệ
với GAN.
a et ee ad
Hình 6 Thuật toán WGAN (trái) va GAN tiêu chuẩn (phải) được huan luyện bởi mô
hình sinh DCGAN
Trang 32Ở kiến trúc đầu, các thuật toán lần lượt là WGAN và GAN khi được huấn luyệnvới bộ sinh DCGAN đều cho kết quả có chất lượng cao.
Hình 7 Thuật toán WGAN (trái) và GAN tiêu chuẩn (phải) được huấn luyện bởi mô hình sinh không có chuẩn hoá theo batch và số lượng bộ lọc được cố định ở các lớp
Trong kiến trúc cuối cùng, dù phương pháp sử dụng WGAN vẫn cho ra kết quả,
tuy nhiên chất lượng của nó lại thấp hơn so với phương pháp sử dụng DCGAN và
cao hơn so với phương pháp sử dụng GAN.
1.8.1.2.2 CGAN
Với mô hình cho bộ sinh không mang điều kiện không hề mang lại sự control trên
mô hình của đữ liệu đang được sinh Bằng cách mở rộng các bộ bằng việc cung cấp
thêm bat cứ thông tin hỗ trợ như nhãn lớp và dit liệu vào làm lớp đầu vào bổ sung
cho cả bộ sinh lẫn bộ phân biệt [7].
Trang 33Từ đây ta có được cấu trúc của bộ sinh và bộ phân biệt của CGAN như sau matrong đó D và G lần lượt là mô hình bộ sinh và phân biệt với dir liệu x và dữ liệu bổ
FGSM (Fast Gradient Sign Method) là một thuật toán tạo ra các ví dụ tấn công
trong lĩnh vực học sâu (deep learning).
Mục tiêu của FGSM là tạo ra các ví dụ đánh lừa mô hình học sâu băng cách thêmmột chút nhiễu đơn giản vào dữ liệu gốc Phương pháp này sử dụng thông tin đạohàm của mô hình dé xác định hướng phải đi nhằm tối đa hóa hàm mat mát Bằng cách
Trang 34thêm một lượng nhiễu nhỏ, được xác định bởi sự triển khai đạo hàm, vào các điểm
dữ liệu sốc, FGSM tạo ra các ví dụ dé bị phân loại sai.
Thuật toán FGSM có thé được mô tả như sau:
1 Đưa vào một mẫu dữ liệu gốc (ví dụ: một hình ảnh) và mô hình học sâu đã
được huấn luyện
2 Tinh đạo hàm của hàm mất mát theo đầu vào (gradient) với mẫu dữ liệu
sốc
3 Xác định hướng của gradient (tích dương hoặc tích âm).
4 Tạo ra một mẫu dữ liệu mới bằng cách thêm một lượng nhiễu nhỏ theo
hướng của gradient Nhiễu này được xác định bằng cách nhân một giá trị
epsilon (được chọn trước) với hướng gradient và cộng vào mẫu dữ liệu gốc
5 Sử dung mẫu dữ liệu mới dé đánh lừa mô hình học sâu và làm cho nó phân
loại sai.
Tác giả đề xuất phương pháp FGSM dựa trên ý tưởng chính như sau Ở quá trìnhcập nhật trọng số được tính toán trong giai đoạn lan truyền ngược, ta sẽ cực đại hoá
hàm mắt mát thay vì cực tiêu hoá Sau đó tác gia đưa ra ví dụ cụ thé trên GoogLeNet
với tập dữ liệu là ImageNet Bằng việc cộng ảnh đầu vào ban đầu với siêu tham sốepsilon Sau đó nhân với đạo hàm của hàm mắt mát Khi thay đổi đầu vào x với lượngepsilon rất nhỏ (ở ví dụ là 007) theo hướng cực dai hoá thi giá tri đầu ra sẽ bị phânloại sai lớp với chỉ số tự tin rất cao như hình đưới đây [8]
+ OT x =
: : e+
= sign(V„J(8, #, 9)) csign(Vz/ (0, x, y))
“panda” “nematode” “gibbon”
57.7% confidence 8.2% confidence 99.3 % confidence
Hình 10 Áp dung FGSM với epsilon = 007 vào ImageNet với GoogLeNet
Trang 351.8.3 CW
CW (Carlini-Wagner) là một phương pháp tấn công trong lĩnh vực tan công đối
với mô hình học sâu Nó được đặt theo tên của hai tác giả chính, David Carlini và
Nicholas Wagner, người đã đề xuất phương pháp này vào năm 2017 [9]
Mục tiêu của CW nhâm tao ra các ví dụ tan công có khả năng đánh lừa mô hình
học sâu một cách đáng tin cậy CW sử dụng một hàm mât mát tùy chỉnh và một quá
trình tôi ưu hóa đê tạo ra các mau dữ liệu mới, gan giông mâu gôc nhưng có khả năng
bị phân loại sai [9].
Thuật toán CW có thé được mô tả như sau:
1 Đưa vào một mẫu dữ liệu sốc (ví dụ: một hình ảnh) và mô hình học sâu đã
được huấn luyện
2 Xác định một hàm mat mát tùy chỉnh mà mục tiêu là tối thiêu hóa độ tin cậy
của dự đoán chính xác của mô hình và đồng thời tối đa hóa độ tin cậy của dự
đoán sai.
3 Sử dụng một quá trình tối ưu hoá dé tìm ra mẫu dit liệu mới có khả năng làm
giảm độ tin cậy của dự đoán chính xác và tăng độ tin cậy của dự đoán sai.
4 Lap lại quá trình tối ưu hoá đề tìm ra mẫu dữ liệu tối ưu nhất, trong đó hàm
mat mát đạt được gia tri Cực tiểu hoặc hội tu
1.8.4 BIM
Basic Iterative Method (BIM) là một phương pháp tan công trong lĩnh vực tancông đối với mô hình hoc sâu Nó là một biến thé của thuật toán FGSM (Fast GradientSign Method) mà tôi đã đề cập trước đó
Mục tiêu của BIM cũng là tạo ra các ví dụ tan công có khả năng đánh lừa mô hìnhhọc sâu Tuy nhiên, khác với FGSM, BIM thực hiện nhiều bước tan công nhỏ liêntiép dé tăng độ hiệu quả và kha năng đánh lừa của các mẫu tạo ra.
Trang 36Thuật toán BIM có thể được mô tả như sau:
1 Đưa vào một mẫu dữ liệu sốc (ví dụ: một hình ảnh) và mô hình học sâu đã
được huấn luyện
2 Xác định một giá tri epsilon (được chọn trước) dé xác định mức độ biến đồi
tại mỗi bước tan công
3 Lap lại các bước sau cho một số lần lặp đủ lớn:
o Tính dao hàm của hàm mat mát theo đầu vào với mẫu dữ liệu hiện tại
o Xác định hướng của gradient (tích dương hoặc tích âm).
o Tạo ra một mẫu dữ liệu mới bang cách thêm một lượng nhiễu nhỏ theo
hướng của gradient Nhiễu này được xác định băng cách nhân giá trị
epsilon với hướng gradient và cộng vào mẫu dữ liệu hiện tại.
o_ Giới hạn mẫu dữ liệu mới trong khoảng giá trị hợp lệ của dữ liệu đầu
vào.
4 Dùng mẫu dữ liệu cuối cùng dé đánh lừa mô hình học sâu và làm cho nó phân
loại saI.
Các nghiên cứu về FGSM đã đưa ra phương pháp mở rộng FGSM bang cách áp
dụng một lần theo gradient với độ lớn của bước bằng siêu tham số epsilon thì bây giờchúng ta sẽ áp dụng nó nhiều lần với độ lớn của bước nhỏ hơn siêu tham số epsilon
Ở ví dụ của tác giả, họ sử dụng giá trị bằng 1 cho tham số này tức là chúng ta chỉ thayđôi giá trị của mỗi điểm ảnh bằng một ở mỗi bước Đồng thời đảm bảo rằng đầu ra sẽnằm trong khoảng cho phép so với ảnh đầu vào bang cách clip lai trong khoảng x - €khi y nhỏ hơn x - e vax + khi y > x + [10].
1.9 Các mô hình học sâu được sử dung
1.9.1 VGG-16
VGG-16 là mạng nơ-ron tích chập được đề xuất bởi K Simonyan and A.Zisserman, University of Oxford Model sau khi được huấn luyện bởi mạng VGG-16tập dữ liệu là ImageNet gồm 14 triệu hình ảnh thuộc 1000 lớp khác nhau cho tỉ lệ lỗi7.3% top-5 và 24.7% top-1 [11].
Trang 37œ œ oO oO oO N A Nn A A A + st A A ire} LỘ LÔ = = = = = =
oO o - - N N N LO wo uw uw LO wo
E “ “ “ ay “ oO © @
t#l,ELS,E,E|S„zl,UZ|LJELš,šL.šELJšELS,tELjJšLJšLS,SLISLŠ
fe} 6S š3* 6 *® 6 -S* ao ors?ia KH S'*o[Ls?*wx ?*?x M
cS) © s5 CO oO 2X2 | 0 oO © ' 5 LÒ © oOo; fn | 0 © S|® | QL Re) &
oO œ@ œ fap] oO oO lop] œ œ œ œ@ œ œ@
x x x x x x x x x x x x x
œ œ œ œ œ œ oe) =œ =œ œ œ œ œ
Size:224 Size:112 Size:56 Size:28 Size:14 Size:7
Hinh 11 M6 hinh mang no-ron tich chap VGG-16
VGG-16 có cau trúc bao gồm 16 lớp tích chap, 3 lớp đầy đủ và khoảng 53 triệutham số Các lớp tích chập được sắp xếp thành các khối, mỗi khối bao gồm hai lớptích chập với kích thước bộ lọc 3x3 và bước nhảy 2 Các lớp đầy đủ sử dụng hàm kích
Block 3
Conv2D (3x3, 256)
Conv2D (3x3, 256) MaxPooling2D (2x2, strides=2)