Các kết quả thựcnghiệm

Kịch bản 1

Hiệu suất phát hiện mối đe dọa từ hai mô hình CNN và LeNet trên cả hai bộ dữ

liệu CIC-ToN-IoT và N-BaloT được thể hiện tại Hình 4.1. Có thể thấy, mô hình IDS

toàn cục nhanh chóng hội tụ sau khoảng 3 round, và đạt đến ngưỡng hơn 99% đối với tất cả 4 tiêu chí Accuracy, Precision, Recall và F1-Score. Mặc dù trường hợp LeNet với bộ dữ liệu N-BaloT dao động tương đối tai round 3 đến round 5,

mô hình vẫn hội tụ ở mức 98% ngay sau đó. Kết quả trên chứng tỏ tính hiệu quả

10 10

os oo

08 gos

704 “o4

02 02

số oo1 2 5 4 896 7 8.9 1 12 8 # &§ 6 7 8 8

or Round

“Accuracy —+-Precision Recall —+-F1-Score “Accuracy —>-Preeslon Recall —--F1-Score

(A) CNN (B) LeNet

10 10

sẽ os

v0 v06

“04 “o4

02 02

sẽ oo

12 3 4 8 6 7 8 9 1203 4 5 6 7 8 8 8

Round Round

“Accuracy —+-Precison Recall —--F1-Score “Accuracy —+-Precision Recall —--F1-Score

HINH 4.1: Kết quả huấn luyện các mô hình phát hiện mối de doa

trên hai bộ dữ liệu (A,B) CIC-ToN-IoT và (C,D) N-BaloT.

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

của các mô hình phát hiện mối đe dọa mạng trên FL trong việc phát hiện các lưu lượng mang bắt thường trong mạng lưới IơT.

Kịch bản 2

Dưới đây là sự so sánh về hiệu suất của hệ thống IDS học liên kết trước và sau khi tích hợp mô-đun Fed-LSAE để phòng chống poisoning attacks. Từ đó, chứng,

minh được hiệu quả của Fed-LSAE trong cả hai trường hợp m = 20% vam = 40%.

Trong các biểu đồ đường sau đây, các đường nét đứt với kí hiệu A dé cập đến thang đo về hiệu suất của hệ thống IDS dua trên FL khi bị tắn công, va các đường nét liền với kí hiệu D mô tả hiệu suất của mô hình sau khi được trang bị Fed-LSAE

để chống tan công.

Label Flipping.

Value

—®—Aeeuray (D) =e—Preelslon (0) ~=— Recall(D)

== Accuracy (A) —=- Precision (A) ~°- Recall (A)

: 2 ——s > aT

Round

—=-F1-8core

(0)

== F1-Score (A)

Value ` —.‹ `—

Round

—e—Aeeuracy (D) —*-Precision (0) ~>-Recall(D)

<= Accuracy (A) —=- Precision (A) —=- Recall (A)

—#—F1-Score (0)

—E- F1-Score (A)

Value

—#—Aeeuracy (D) =+—Preclslon (0) ~>-Rocall(D)

== Accuracy (A) —=- Precision (A) ~°- Recall (A)

(a) CNN (B) LeNet

to ee

am“...

/ *s Zon VÉ —

a ý A 2

o2 v `4

00 Ÿ

TT AT

Round Round

—*-F1-Score (0)

<= F1-Score (A)

—®—F1-Score (0)

<= F1-Score (A)

—®—Aeeuracy (0) —*—Precision (0) —*Recall (0)

<= Accuracy (A) —=- Precision (A) ~°- Recall (A)

HINH 4.2: Kết quả phòng thủ của Fed-LSAE trước cuộc tan công la-

bel flipping trên hai bộ dữ liệu (A,B) CIC-ToN-IoT và (C,D) N-BaloT

trong trường hợp m = 20%.

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

Hình 4.2 (đối với m = 20%) và Hình 4.3 (đối với m = 40%) lần lượt thể hiện

sự khác biệt về khả năng của IDS cộng tác trước và sau khi tích hợp mô-đun Fed-LSAE để phòng chống cuộc tắn công label flipping. Trong cả hai bối cảnh

m = 20% vam = 40%, các cuộc tân công lật nhãn này đều làm hiệu suất của

mô hình toàn cục dao động mạnh, lên xuống không ổn định. Thậm chí trong một

số trường hợp, ví dụ như Hình 4.3c, chỉ số Recall của mô hình chạm mức xấp xỉ 0.1% tại một số round. Điều này có nghĩa rằng nếu có 100 lưu lượng mạng tấn công đến thì mô hình chỉ phát hiện ra được 1 lưu lượng mạng là tan công. Lúc này mô hình IDS này hoàn toàn vô hại trước các cuộc tân công mạng hiện nay.

Tuy nhiên, tình trạng này gần như hoàn toàn được khắc phục sau khi hệ thống huấn luyện tích hợp cơ ché Fed-LSAE của chúng tôi. Có thể thấy, hiệu suất phát hiện mối đe dọa mạng của mô hình IDS học liên kết đã trở lại ổn định ở mức trên

1 2 3 4 5 6 L 8 9 10 2 3 4 5 6 T 8 9 10

ound ound

—*Accuracy (D) —*~ Precision (D)—*—Recall (D) =s-F1-§core (D) .—=® Accuracy (D) —*—Precision (D) -s- Recall(D) =s-F1-§core (D)

—# Accuracy (A)—# Precision (A)~#- Recall (A) =% F1-Score (A) =® Accuracy (A)=# Precision (A) ~=- Recall (A) ==- F1-§core (A)

(A)CNN (B) LeNet

dos 3, tàn:

3 r3 h : báo 5

= ` 2 7

NS Z7 \ ý \ rd

02 Yt / 02 Lf Nf NZ

Nw 7¥ ¥ ¥

00 oo

1 2 3 4 8 6 7 8 8 Ww 1 203 4 5 6 7 8 8 w

Round Round

—*—Accuracy (D) —*—Precision (D) —*—Recall (D) =®-F1-§core (D) ~®=Accuracy (D) =®-Precision (D) -*—Recall (D)_ —*~F1-Score (D)

=# Accuracy (A) =" Precision (A)~=- Recall (A) ==- F1-Score (A) —® Accuracy (A)—=- Precision (A)~=- Recall (A) =*- F1-Score (A)

HINH 4.3: Kết qua phòng thủ của Fed-LSAE trước cuộc tấn công la-

bel flipping trên hai bộ di liệu (A,B) CIC-ToN-IoT va (C,D) N-BaloT

trong trường hợp m = 40%.

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

Boa

02 02

o0 00

1 9203 4 5 6 7 8 9 © 1 2 3 4 5 6 7 8 9

Round Round

~#—Aeeuracy (D) Precision (D) ~+—Reeall(D) __ =+—F1:Score(D) —đ~Aeeuraey (D}~+~Preelalon (D) ~s~ Recall(D) __ —ằ-F1-Score (0)

=# Accuracy (A)=®- Precision (A)~s- Recall (A) ~*~ F1-Score (A) —® Accuracy (A)—®- Precision (A)~—=- Recall (A) | —=~ F1-Score (A)

(a) CNN (B) LeNet

10 “.=x.ư an xẽmm—=

Mm ov pry `, VN

08 op ` Ne fanned oy

OND VN x7 ee eh

08 06 2 NAY” Z2 ẰNG 22 fay

$ .# vẦw⁄ N

Soa S04 v

02 02

o0 09

+1 2 3 4 5 6 7 8 9 0 402 3 4 5 6 7 8 9 W

Round Round Accuracy (D) =—Precision (D)—*—Recall (D)__ =s-F1-Score (D) —® Aeeuracy (D) =—Precision (D) —s— Recall (D) —=s—F1-Score (D)

<= Accuracy [A) =8 Precision (A)—=- Recall (A) ==- F1-Score (A) —=- Accuracy (A) ~=- Precision (A)~=- Recall (A) =°- F1-Score (A)

HÌNH 4.4: Kết quả phòng thủ của Fed-LSAE trước cuộc tấn công

GAN trên hai bộ dữ liệu (A,B) CIC-ToN-IoT và (C,D) N-BaloT trong

trường hợp = 20%.

92% đối với cả bốn tiêu chí ở tat cả các trường hợp. Bằng việc học đặc trưng dữ liệu thông qua LSR thu được, Fed-LSAE dễ dàng phát hiện các cập nhật đầu độc bởi label flipping và loại bỏ nó khỏi quá trình tổng hợp.

GAN.

Tinh trạng tương tự cũng bắt gặp tại trường hợp của cuộc tan công đầu độc bằng GAN. Theo đó, bằng việc sinh ra các mẫu đối kháng giống với các lưu lượng mạng tấn công ban đầu và gán nhãn chúng là lành tính, mô hình IDS toàn cục gần như bị nhằm lẫn trong việc phân biệt các lưu lượng mạng, đầu vào sau khi bị đầu độc. Cụ thể, Hình 4.4 và Hình 4.5 lần lượt cho biết hiệu năng của mô hình IDS học liên kết gần như bị tàn phá khi dao động quanh ngưỡng 50% trên cả bốn tiêu chí. Mặc dù không tan công mạnh như label flipping nhưng poisoning attack

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

“ 0

Bound Bona

se terrae }—e-trchlan ee Recah} —e-Ftstcom(o) | —aeAccagyO)me-Precrion -- h6. doors T1 AE VỊ mon ho KHE eveSeam ts} | ev Aceusey Ohms-prstlon io Reese) -CEOESSNj

(A) CNN (B) LeNet

ơ==—

spay

ea 3ZS

Wy a WN Z2 —

02 02

1 23 + 6Z⁄ dn + 0 12 3/4 § 6 7 8 8 ©

2/4 Bune

“=-..../7 7 essay | Nera x...,.ẻẽ (0) TRỢ Ie men aloo Recan(ySecetSeery | -TAKMYU-C Proton aj-o- Recta) ms FrScor

HINH 45: Kết quả phòng thủ của Fed-LSAE trước cuộc tấn công

GAN trên hai bộ dữ liệu (A,B) CIC-ToN-IoT và (C,D) N-BaloT trong

trường hợp m = 40%.

bằng GAN cũng đủ khiến mô hình phân vân trong giai đoạn đưa ra quyết định đâu là mẫu lành tính đâu là mẫu tan công.

Mặt khác, Fed-LSAE cho thay khả năng phát hiện poisoning attack bằng GAN của mình thông qua việc phân tích không gian tiềm ẩn LSR từ các mô hình cập nhật. Kết quả từ Hình 4.4 và Hình 4.5 lần lượt cho thấy Fed-LSAE nhận biết được tat cả các kẻ tấn công trong cả hai trường hợp m = 20% và m = 40%. Hiệu suất

mô hình IDS đã trở lại đạt trên 92% ở tiêu chí Accuracy và thậm chí là 100% ở tiêu chí Recall.

Weight-scaling model poisoning.

Trong cuộc tan công weight-scaling model poisoning, những tổ chức không thiện chí thực hiện khuếch đại trọng số mô hình cục bộ của họ lên y = 10 lần trước

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

—#—Aeeuraey (D) —*Precision (D) ~ằ—Recall (0)

== Accuracy (A) ~= Precision (A) =>- Recall (A)

Bone ah

Nita .-...

nv và và W

1 92 3 4 5 6 7 8 8 10

Round

—-F1-Score (0)

== Ft-Score (A)

LAA LẦN

06 Tight HN

$ TH ha `.

gos ƯA

bd 1 NÀ uy) N

tự 1 la v

02 sự ẹ ỳ \

. \ Ậ \

oo đ ooo

40203 4 5 6 7 8 8 10

Round

=F 1-Score (D)

<= F1-Score (A)

—#—Aeeuraey (D) —e—Precision (D) —>—Recall (0)

== Accuracy (A) ~=- Precision (A) =*~ Recall (A)

—đ—Aeeuraey (D) Precision (D) —ằ—Recall (D)

== Accuracy (A) =#- Precision (A) ~ằ~ Recall (A)

(A) CNN

1 2 3 4 § 6 7 8 9 10

Round

—®-F1-Score (0)

== Ft-Score (A)

(B) LeNet

+02 3 4 5 6 7 8 9 10

Round

—*Aecuracy (DJ —>-Precision (D) ~*~ Recall (D)

== Accuracy (A) =* Precision (A) ~*- Recall (A)

—*-F1-Score (D)

<= Ft-Score (A)

HINH 4.6: Kết quả phòng thủ của Fed-LSAE trước cuộc tấn công

weight-scaling model poisoning trên hai bộ dữ liệu (4,B) CIC-ToN-

IoT và (C,D) N-BaloT trong trường hợp m = 20%.

khi cập nhật lên máy chủ toàn cục. Kết quả thực nghiệm tại Hình 4.6 và Hình 4.7 cho thay cuộc tan công này phá hủy hoàn toàn mô hình toàn cục khi hiệu năng của mô hình giảm xuống xấp xỉ 0% trên cả ba tiêu chí Precision, Recall, F1-Score trong tất cả các trường hợp. Có vẻ như weight-scaling model poisoning vừa dễ đàng thực hiện vừa có hiệu quả cao khi tác động trực tiếp lên từng trọng số mô

hình.

Mặc dù vậy, sau khi sử dụng Fed-LSAE để phòng thủ, hiệu suất mô hình đã tăng trở lại và duy trì ổn định ở mức trên 90%. Ví dụ như trường hợp m = 40% với mô

hình LeNet và bộ dữ liệu CIC-ToN-IoT (Hình 4.7b), Accuracy và F1-Score hội tu

ở 97% trong khi Recall vẫn xấp xỉ 100%. Điều này chứng tỏ tác dụng tối đa của LSR trong ngữ cảnh phát hiện các cuộc tắn công model poisoning như thé này.

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

10 * 1 ƒm—————————=—

ơ..

08 vA 06

Boe al

3 Nip eo ome ee 8 " ee i ee

dos Nà dos

02 N °

00 b—e—-—-e—-=—-=——= 00 mm eae`

Round Round Accuracy (D) —*—Precision (D) >—Recall (D)__ —*—F1-Score (D) —sAccuracy (D) Precision (D)—ằ—Recall (D)_ —ằ—F'1-Score (D)

“Zr Accuracy (A) -e Precision (A) © Recall(A) —s-Ft-Seore (a) | —e- Accuracy A) -e- Precision (A) —=- Recall(A) _—o- Pt-Seore (A)

(a) CNN (B) LeNet

10 — a 10

os os

06 os

B04 s04

02 02

000 eo see Sao ale 06

TPP Pe a a TC 12 3 8 8 8 7 8 8 8

Round Round

—*—Accuracy (D) —*— Precision (D) —ằ—Recall (D) _ —*—F1-Score (D) Accuracy (D) =đ=Precision (D) =— Recall(D) =s-F1-Score (D)

== Accuracy (A)~# Precision (A) =*- Recall (A) =*- F1-Score (A) “<= Accuracy (A) = Precision (A) ~*~ Recall (A) —ằ~ F1-Score (A)

(©) CNN (D) LeNet

HINH 4.7: Kết quả phòng thủ của Fed-LSAE trước cuộc tấn công.

weight-scaling model poisoning trên hai bộ dữ liệu (A,B) CIC-ToN-

ToT và (C,D) N-BaloT trong trường hợp m = 40%.

Kịch bản 3

Trong kịch bản này, chúng tôi sẽ so sánh hiệu năng của Fed-LSAE đối với FedCC trong việc phát hiện cuộc tấn công đầu độc Untargeted-Med trên cả hai môi

trường IID và non-IID với m = 40%.

Trường hợp IID.

Các thống kê biéu diễn trong Bang 4.9 đã cho thấy rằng giải pháp Fed-LSAE của chúng tôi đạt được tỷ lệ phát hiện tốt hơn so với FedCC đối với cuộc tấn công Untargeted-Med trong tất cả các trường hợp. Như chúng ta có thể thấy, bộ khung Fed-LSAE có thể nhận dang tat cả kẻ tắn công trong số 10 tổ chức và ghi nhận một xu hướng ổn định trong hiệu suất bảo vệ trong suốt 10 vòng, với Accuracy trung bình hơn 93% và F1-Score 96% trên bốn trường hợp. Trong khi đó, giải pháp

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

FedCC van gặp khó khăn trong việc phát hiện cuộc tan công Untargeted-Med với kết quả trung bình khoảng 66% và 77% lần lượt ở Accuracy và F1-Score trong trường hợp xấu nhất của mô hình LeNet trên bộ dir liệu N-BaloT.

Lí do Fed-LSAE vượt trội là do sự chênh lệch đáng kể trong điểm CKA giữa LSR

của các cập nhật độc hại và lành tính so với LSR của mô hình toàn cục (GLS) nhờ

sự hỗ trợ của AE. Trong khi đó, ranh giới này khá mơ hồ trong FedCC. Hình 4.8 cho thấy điểm CKA của các mô hình đầu độc (Client 2-5) trong Fed-LSAE khác biệt so với các tổ chức còn lại. Ví dụ, trong trường hợp mô hình LeNet trên bộ dir liệu N-BaloT (Hình 4.84), các vectơ không gian tiềm ẩn độc hại đạt được điểm đưới 0.4 hay tương đương 40% mức độ tương đồng so với GLS, trong khi các mẫu lành tính gần như tương đồng 98% với mô hình toàn cục. Trong khi đó, FedCC chỉ ghi nhận khoảng cách nhỏ trong điểm CKA giữa các tổ chức cộng tác đó. Don

cử là trường hợp CNN với bộ dữ liệu N-BaloT (Hình 4.8e) khi véc-tơ LSR của tat

cả các mô hình cục bộ đều giống mô hình toàn cục đến xấp xỉ 96%, kể cả các cập nhật đầu độc. Điều này dẫn đến khó khăn đáng kể trong giai đoạn clustering sau

đó để phân loại các tổ chức đầu độc khỏi quá trình tổng hợp FL. Những kết quả này đã chứng minh tác dụng tích cực của việc tích hợp AE vào hệ thống phòng

thủ Fed-LSAE.

BẢNG 4.9: So sánh hiệu suất phòng thủ giữa FedCC và Fed-LSAE đối với cuộc tan công đầu độc Untargeted-Med trong trường hợp

IID.

FedCC 0.98923 0.9932 | 0.98676 0.98981 | 0.94178 0.94172 | 0.99995 | 0.96973

Fed-LSAE | 0.99118 0.99923 | 0.98413 | 0.99159 | 0.95613 0.95623 | 0.99978 | 0.97719

FedCC 0.80766 0.80428 | 0.99928 0.87304 | 0.65797 0.99999 | 0.63044 | 0.76556

Fed-LSAE | 0.96116 0.94727 | 0.99602 | 0.96819 0.93106 0.93251 | 0.99841 | 0.96420

Model | Scheme

CNN

LeNet

BANG 4.10: So sánh hiệu suất phòng thủ giữa FedCC và Fed-LSAE đối với cuộc tấn công đầu độc Untargeted-Med trong trường hợp

non-IID.

CIC-ToN-IoT N-BaloT

FedCC | 054266 | 0.34839 | 06 | 043725 | 0.6816 | 0.63453 | 0.9 07443

CNN Fed-LSAE | 0.60364 0.5928 0.9988 | 0.73679 0.72094 0.67387 0.9 0.77069

LeNet FedCC 0.59378 0.57047 | 0.85507 | 0.65917 | 0.63907 0.60248 | 0.88016 0.69647

Fed-LSAE | 0.71483 0.71731 | 0.99333 | 0.81232 0.72651 0.73692 | 0.98014 0.82102

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

a, 0 D0 0 0 0W 0N 0W 0W 0 a oa ne

sẽ os

gor go

Sos Sos

os as

oa oa

sẽ os AM A

Cệen 1 Gien2 Glen's Clarl4 CleniS Clon8 CleL7 Girt Clent 9 lent 10 Cent Gien'2 Clơn3 Clan 4 ClentS Cien’6 Cien'7 Csr 8 Clent 9 Clen 10

aFedcc sFed+SAE aFedCC =FedLSAE

(a) CNN () LeNet

a, 0 0 0 0 0§ ee 0 oo Aen a ao 0w Be 0 0g Bh' 1

sẽ sẽ

gor gor

Boe Bos

os os

oa oa

63 63 mn An AM 2

len 1 Glen 2 Get’ Clest 4 ClentS Clent6 Glen 7 Cien 8 Clent 9 len 10 len 1 Cleat 2 Clen3 Clent4 Clem S

aFedCe ôFed LSAE GFedCC ôFed SAE

HINH 4.8: So sánh mức độ tương đồng giữa không gian tiém ẩn của

mô hình toàn cục (GLS) và từng không gian tiềm ẩn của mô hình cục bộ bằng điểm CKA trong FedCC và Fed-LSAE trên hai bộ dữ

liệu (A,B) CIC-ToN-IoT and (C,D) N-BaloT.

Trường hợp non-IID.

Đối với trường hợp non-IID, phân phối dữ liệu giữa các bên tham gia được biểu diễn tại Hình 4.9. Trong đó, trên cả hai bộ dữ liệu, 6 client đầu tiên bao gồm 4

kẻ tần công (Client 2-5) có phân phối giống nhau vẻ số lượng mẫu cũng như về

tỉ lệ giữa mẫu lành tính và mẫu tan công. 4 tổ chức còn lại có phân phối đối lập nhau khi client 7 và client 9 sử dụng 100% các mẫu lành tính trong khi client 8

va client 10 chỉ thu thập các mẫu tan công. Lí do chúng tôi chọn phân phối nay

là để làm rõ sự khác biệt giữa FedCC và Fed-LSAE trong việc phân biệt các mô hình bị poisoning attack với các mô hình lành tính được huấn luyện bằng dữ liệu

non-IID.

Dua vào Bang 4.10 có thể thay, Fed-LSAE vẫn dat được hiệu suất ổn định hon so với FedCC trong tất cả các trường hợp mặc dù kết quả không cao do vẫn bị ảnh hưởng bởi non-IID. Cụ thể, khi sử dung mô hình LeNet trên tập dữ liệu CIC-ToN- IơT, Accuracy và F1-Score của Fed-LSAE cao hơn đáng kể lần lượt là 12% và 16%

so với FedCC. Lý do cho sự vượt trội của Fed-LSAE là khả năng phân biệt giữa

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

: Z Z :

mm. ate spelpn

(A) CIC-ToN-IoT (B) N-BaloT

HINH 4.9: Phan phối dữ liệu giữa các tổ chức học liên kết trên bộ dữ

liệu (a) CIC-ToN-IoT và (b) N-BaloT trong trường hợp non-IID.

các đối tượng độc hại và không độc có đữ liệu không đồng nhất. Trong Hình 4.10, điểm CKA của các véc-tơ LSR đầu độc (Client 2-5) trong FedCC gần như giống

với LSR của các mô hình cục bộ non-IID lành tính (Client 7-10) khi so sánh với

mô hình toàn cục (GLS). Cụ thể chúng đều lớn hơn 0.9 trong tat cả các trường hợp, dẫn đến việc phân loại sai giữa các mô hình độc hại và các mô hình lành

a oA A

09 8 p ủ| A ứ ứ

gor

Bos

oa 4 A

len 8 Clent& Clent Clent@ Clent7 Clent8 Clent9 Clen 10 Clert1 Chent2 Clent8 Clent 4 Cleni5 Clent6 Clent 7 Clert8 Cien 9 Clen 10 aFedcC =Fedi SAE ĐFedOC =FedA.SAE

(A) CNN, (B) LeNet

1 on oy 1

° nỄ n pm n Đ A

go7

Bos

oa l

oa 0

Clent1 Clent2 Clen3 Clenl4 Clert5 Clenl6 Clen7 Clent8 Clent 9 Clen 10 Cleot 1 Clent2 Clen3 Clent4 Glens Clent6 Clen7 Clent® Cient9 Clen10

BFedcC =Fod.LSAE 0FedOC =Fod-LSAE

HINH 4.10: So sánh mức độ tương đồng giữa không gian tiềm ẩn của

mô hình toàn cục (GLS) và từng không gian tiém ẩn (LSR) của mô hình cục bộ bằng điểm CKA trong FedCC và Fed-LSAE trên hai bộ

dữ liệu (A,B) CIC-ToN-IoT and (C,D) N-BaloT ở trường hợp non-IID.

Chương 4. HIỆN THỤC VÀ ĐÁNH GIÁ, THẢO LUẬN

tính huấn luyện bang dit liệu non-IID. Do đó, mô hình toàn cục vẫn bị ảnh hưởng bởi các cập nhật độc hại, và hiệu suất của nó trong việc phát hiện các mối đe dọa mang bị giảm đáng kể (Bảng 4.10). Như đã được dé cập, đây chính là điểm yếu của FedCC khi trích xuất trực tiếp chuỗi PLR từ các mô hình được cập nhật mà không cùng tập dữ liệu, dẫn đến sự không ổn định của các véc-tơ PLR trong môi trường non-IID. Ngược lại trong Fed-LSAE, với sự hỗ trợ của AE đã được đào tạo trước, cập nhật của các kẻ tấn công (Client 2-5) hoàn toàn khác biệt so với phan còn lại. Một trường hợp điển hình để chứng minh khả năng này là khi sử dụng

mô hình LeNet trên tập dữ liệu N-BaloT (Hình 4.10). Các cập nhật non-IID lành

tính tuân theo cùng một xu hướng như các cập nhật IID lành tính của client 1 và

client 6 với điểm CKA lớn hơn 0.9. Trong khi đó, các véc-tơ không gian tiềm ẩn LSR độc hai chỉ tương đồng khoảng 40% so với LSR của mô hình toàn cục. Điều nay tao ra sự khác biệt rõ rang và từ đó dé dang để nhận biết các cập nhật bị nhiễm độc. Do đó, Fed-LSAE dé dàng ngăn chặn những cập nhật bat thường này ảnh hưởng đến giai đoạn tổng hợp trong khi vẫn duy trì hiệu suất của các tổ chức lành tính với di liệu non-IID. Các kết quả từ những thí nghiệm này cho thấy hiệu quả của Fed-LSAE trong xây dựng một hệ thống phát hiện mối đe dọa dựa trên

FL bén vững, ngay cả trong môi trường non-IID.

4.3 Thao luận

Nhìn chung, các kết quả thực nghiệm đều đúng với kỳ vọng ban đầu. Các kết quả đã chứng minh được các mục tiêu của từng kịch bản, từ đó cho thấy sự hiệu quả của mô hình Fed-LSAE khi có khả năng phát hiện các cuộc tan công đầu độc poisoning attack tiên tiền trong ngữ cảnh IDS học liên kết. Khóa luận này đã khai thác một xu hướng mới bằng cách sử dụng chiến thuật phân tích không gian tiêm

ẩn để tìm ra những bat thường trong các mô hình cập nhật của các tổ chức tham gia cộng tác. So với các nghiên cứu trước, Fed-LSAE cho thay độ hiệu quả hon

mà không yêu cầu một bộ dit liệu bổ trợ hay kiến thức gì trước đó. Giải pháp hứa hẹn sẽ mang lại trào lưu huấn luyện bền vững các mô hình nhận diện mồi đe dọa học máy bằng phương pháp FL, đặc biệt trong bối cảnh an ninh mạng hiện nay.

Tuy nhiên, giải pháp Fed-LSAE vẫn còn tồn tại một số hạn chế cần giải quyết

trong tương lai.

Mô hình học liên kết (Federated Learning)