Trong chương này, trình bày nhưng thử nghiệm dé cải tiến kết qua dựa trên những quan sát thu được từ kết quả thực nghiệm ở chương 4. Nhóm đã tiễn hành huấn luyện và đánh giá kết quả phân lớp cho những thử nghiệm này và so sánh kết
quả đã thực nghiệm ở chương 4.
5.1. Những quan sát và thir nghiệm cải tiến
Trong quá trình chuyên đổi dir liệu từ định dang EDF sang NPZ dé tiến hành huấn luyện mô hình, dữ liệu được biểu diễn dưới dạng mảng chứa 3000 giá tri, với
số lượng dòng tương đương với số lượng epoch có trong một tập tin dữ liệu. Những tập tin dữ liệu này chứa các tín hiệu EEG Fpz-cz đã được chuyền đổi từ dang sóng thành dạng số, những tín hiệu này mang giá trị âm và giá trị dương.
Chọn hàm kích hoạt phù hợp nhất là một yếu tố quan trọng đối với hiệu quả của các mô hình học sâu, vì nó ảnh hưởng đến khả năng học tập, tính én định và hiệu quả tính toán của mô hình. Các phương pháp được tìm hiểu và huấn luyện ở chương 4 sử dung hàm kích hoạt Rectified Linear Unit (ReLU), được tính bằng
công thức:
_ (%, ifx>0
f(x) = lộ ifx <0 6.1)
Va đạo hàm của hàm ReLU được tính bởi công thức đơn giản sau:
rw (1, ifx>0
/@)= Lo, ifx <0 (6.2)
Với hàm kích hoạt ReLU, đầu ra f(x) = 0 đối với các giá trị nhỏ hơn 0. Việc này có thể gây ra một sự cố tiềm ẩn với ReLU được gọi là trạng thái chết (dead
state) khi giá trị đầu vào là số âm. Nếu sự cô xảy ra với nhiều nơ-ron bên trong
mạng, nó có thể khiến hiệu suất mạng thấp. Hơn nữa, vì dấu hiệu của đạo hàm cho
tất cả các nơ-ron đều giống với ReLU, nên tất cả các trọng số của lớp đều tăng hoặc giảm. Tuy nhiên, cập nhật trọng số lý tưởng là một số trọng số huấn luyện có thể tăng lên và những trọng số khác có thé giảm xuống. Có thé thấy rang ReLU giúp
62
giảm chỉ phí tính toán, tăng tốc quá trình huấn luyện, ngăn chặn sự biến mất của gradient, nhưng nó cũng cho thấy những van đề tiềm ân khác [47].
Từ nhận định trên, nhóm tiến hành khảo sát và thực nghiệm một số hàm kích hoạt khác dé thay thé ReLU trong quá trình sử dụng các phương pháp dé huấn luyện
mô hình. Đối với mạng nơ-ron, hàm sigmoid trước đây là hàm kích hoạt phi tuyến được sử dụng nhiều nhất. Tuy nhiên, nó đã không còn được ưa chuộng do sự hội tụ chậm trễ và không chính xác, mặc dù có cách giải thích xác suất. Mặt khác, hàm kích hoạt ReLU thường được sử dụng hơn, vì sự hội tụ nhanh hơn nhưng thiếu sự giải thích xác suất. Cảm hứng từ một ý tưởng rằng một hàm kích hoạt có cả hai ưu điểm này, hàm kích hoạt Gaussian Error Linear Unit (GELU) đã được giới thiệu [48]. Hàm kích hoạt GELU được tao ra như một phép tính gần đúng với hàm ReLU, đảm bảo tính khả vi tại mọi điểm trong khi vẫn giữ được các thuộc tính phi tuyến tính cần thiết cho các ứng dụng học sâu. Hàm GELU lay cảm hứng từ ham phan phối tích lũy Gaussian (Gaussian Cumulative Distribution Function — CDF), được tính tinh băng công thức:
f@) = x ®(x) =x sh + erf (*/5)| (5.3)
Trong đó ®(x) là hàm phân phối chuẩn tích lũy Gaussian, là xác suất mà một biến ngẫu nhiên có phân phối chuẩn nhận giá trị nhỏ hơn hoặc băng x.
Hàm GELU có thê được tính xấp xi theo công thức sau:
f(x) = 0.5x (1+ tanh | /2/x (x + 0.044715x°)]) (5.4)
So sánh với ReLU, GELU có một số điểm khác biệt sau [47], [49]:
- Điểm khác biệt quan trọng khác giữa các hàm ReLU và GELU là cách xử lý khi các giá trị đầu vào gần bằng 0. Hàm ReLU trả về 0 cho bat kỳ giá trị đầu vào nào nhỏ hơn hoặc bằng 0. Hàm GELU có đạo hàm khác 0 nếu đầu vào băng 0. Hình 5.1 cho thấy, ReLU đơn giản hơn để tính toán, nhưng GeLU có thể tránh được overfitting, vì nó hoạt động tốt hơn với các nơ-ron có giá trị âm. GELU có hình dạng mượt mà, liên tục hơn so với ReLU. Điều này có thé làm cho hàm GELU hiệu quả hơn trong việc hoc các mẫu phức tạp trong dit liệu [49].
63
20Ƒ
GeLu ReLu
15Ƒ
1.0 Ƒ
05
0.0 F
1 1 1 4 4
-2 =1 0 1 2
Hình 5.1: So sánh hàm kích hoạt ReLU và GELU [50].
- GELU được xây dựng dựa trên phân phối Gaussian, điều này giúp hàm này
có tính chất liên tục và khả năng xấp xỉ các hàm phi tuyến tính. Điều này có thê cải thiện khả năng học và biéu dién của mô hình.
- GELU tránh được vấn đề dead state xảy ra ở ReLU. Với ReLU, các nơ-ron
có giá trị âm hoặc bằng 0 sẽ có đạo hàm bằng 0 trong quá trình lan truyền ngược, gây ảnh hưởng đến hiệu suất của mạng. GELU không gap phải van dé này vì có đạo hàm khác 0 nếu đầu vào có giá trị âm hoặc bằng 0.
Mặt khác, GELU có thê là lựa chọn tốt hơn so với một số hàm kích hoạt khác cũng truyền giá trị âm, chăng hạn như Leaky-ReLU và PReLU. Vì các hàm kích
hoạt này cho phép các kích hoạt tiêu cực mạnh tạo ra các tác động không mong
muốn đối với tông số kích hoạt cung cấp cho các lớp tiếp theo. GELU ràng buộc và hạn chế tác động của những kích hoạt tiêu cực này [13].
Vì vậy, khóa luận này tiến hành thử nghiệm thay đổi hàm kích hoạt của các phương pháp, bang cách sử dụng GELU dé huấn luyện và xây dựng mô hình. Bằng cách bảo toàn các giá trị âm và có tính chất liên tục, GELU có thé giúp mô hình học được các biểu hiện quan trong và tăng cường khả năng biểu diễn của mang. Qua thực nghiệm, đánh giá khả năng cải thiện kết quả phân lớp các giai đoạn giấc ngủ
dựa trên dir liệu EEG của việc sử dụng hàm kích hoạt GELU so với ReLU.
64
5.2. Thực nghiệm, kết quả và đánh giá các thử nghiệm
Như đã trình bày trong chương 3, AttnSleep sử dụng cả hai hàm kích hoạt
GELU và ReLU. AttnSleep dụng hàm kích hoạt GELU trong mô-đun MRCNN bởi
vì nó cho phép trọng số âm của đầu vào được duy trì và chúng có thể có tác động quan trọng đối với mô-đun AFR. So với ReLU, GELU hoạt động tốt hơn vì ReLU loại bỏ tất cả các trọng số âm thành 0, khiến cho mô-đun AFR không thé sử dụng những trọng số này. Mặt khác, AttnSleep sử dụng ReLU trong mô-đun AFR để tránh các van đề như exploding gradient hoặc vanishing gradient, cũng như tăng tốc tính toán và đảm bảo dễ đạt đến cực trị [13].
DeepSleepNet có kiến trúc phức tạp, có thời gian huấn luyện và kiểm thử dài. Bên cạnh đó, phần cài đặt DeepSleepNet sử dụng thư viện cũ, và gây khó khăn
trong việc chỉnh sửa.
Vì những lý do trên, trong phần thử nghiệm cải tiến này, nhóm tiến hành thực
hiện việc áp dụng hàm kích hoạt GELU và thử nghiệm trên 03 phương pháp
TinySleepNet, TS — TCC và CA — TCC đề tìm hiệu thêm về hiệu quả và tính khả thi của các thay đôi đó. Bên cạnh đó, nhóm cũng thử nghiệm một vài hàm kích hoạt
khác như PReLU, LeakyReLU trên 03 phương pháp TinySleepNet, TS — TCC và
CA — TC. Tuy nhiên, kết quả thực nghiệm cho thấy GELU hiệu quả hơn PReLU va
LeakyReLU khi áp dụng với 03 phương pháp trên, nên trong nội dung chính của
khóa luận này trình bày kết quả việc sử dụng hàm kích hoạt GELU. Các kết quả và
so sánh giữa các hàm kích hoạt được trình bày trong phần phụ lục của khóa luận.
5.2.1. Kết quả chung
Bang 5.1 thé hiện kết quả của các phương pháp khi sử dụng hàm kích hoạt
GELU. So sánh độ chính xác (Accuracy) của các phương pháp và xem xét các tiêu
chí WAvg. Fl-score và WAvg. Gm cũng như thay đổi của các tiêu chí này khi áp
dung hàm kích hoạt GELU và ReLU trong các phương pháp khác nhau.
65
Bảng 5.1: So sánh kết quả của các phương pháp khi sử dụng ReLU và GELU
Phương WAvg. F1 WAvg.Gm
pháp | ReLU | GELU GELU | ReLU | GELU TinySleepNet | 81.88% | 82.04% | 81.97% | 81.81% | 87.56% | 87.33%
TS-TCC = | 70.26% | 71.22% | 68.01% | 71.06% | 75.84% | 79.56%
CA-TCC 68.66% | 71.58% | 69.35% | 70.88% | 78.25% | 79.11%
SO SANH ACCURACY CUA CAC PHUONG PHAP
KHI SU DUNG RELU VA GELU
85.00% 81.88% 82.04%
80.00% rl
75.00% 70.26% 71.22% 71.58%
50.00% | | mm 68.66% pe
65.00% i| ||
60.00% | | | F :
55.00% cv ie — a = 4 = |
TinySleepNet TS-TCC CA-TCC
Accuracy (ReLU) # Accuracy (GELU)
Hình 5.2: Biểu đô so sánh Accuracy của các phương pháp khi sử dung ReLU và GELU
SO SÁNH WAVG. F1 CỦA CÁC PHƯƠNG PHÁP
KHI SỬ DỤNG RELU VÀ GELU
85.00% 81.97% 81.81%
80.00% F=
75.00% pF 4 71.06% 0.35% 70-88%
70.00% L 4 68.01% ° 6 65.00% —
60.00% L 4
55.00% ——mill =. hel be
TinySleepNet TS-TCC CA-TCC
8 WAvg. F1 (ReLU) WAvg. F1 (GELU )
Hình 5.3: Biểu do so sánh WAvg. F1 của các phương pháp khi sử dụng ReLU và GELU
66
SO SÁNH WAVG.GM CUA CÁC PHƯƠNG PHAP
KHI SỬ DỤNG RELU VÀ GELU
90.00% 87.56% 87.33%
85.00% FPIILL 29 s63, san
30.00% | — 78255 79.11%
75.00% | lá " | |
70.00%
65.00%
60.00% ị ị ị
55.00% ˆ ak a § a b a 5 a & “|
TinySleepNet TS-TCC CA-TCC
8 WAvg. Gm (ReLU) m& WAvg. Gm (GELU )
Hình 5.4: Biểu đồ so sánh WAvg. Gm của các phương pháp khi sử dụng ReLU và GELU
Đối với Accuracy, việc sử dụng hàm kích hoạt GELU trong các phương pháp TS-TCC, CA-TCC và TinySleepNet đã cải thiện hiệu suất so với việc sử dụng hàm
ReLU. Khi sử dụng ReLU, các phương pháp TS-TCC, CA-TCC và TinySleepNet
đạt Accuracy lần lượt là 81.88%, 70.26% và 68.66%. Tuy nhiên, khi chuyển sang sử dụng GELU, Accuracy của các phương pháp tương ứng đều tăng, lần lượt với mức tăng 0.16%, 0.96%, 2.92%, với Accuracy lần lượt là 82.04%, 71.22% và 71.58%.
Điều này cho thay rang hàm kích hoạt GELU có thé mang lại cải thiện đáng kể cho hiệu suất phân lớp của các phương pháp này.
Với WAvg. Fl và WAvg. Gm, phương pháp TinySleepNet đã có một sự
giảm nhẹ khi sử dụng hàm kích hoạt GELU. Trong khi đó, phương pháp TS-TCC và
CA-TCC đã ghi nhận sự cải thiện từ 1% đến 3% khi áp dụng hàm kích hoạt GELU.
Cụ thể, WAvg. E1 của TS-TCC và CA-TCC lần lượt tăng 3.05% va 1.53%, WAvg.
Gm tăng 3.72% đối với TS-TCC, tăng 0.86% đối với CA-TCC.
Tổng thể, việc sử dụng hàm kích hoạt GELU mang lại hiệu suất tốt hơn hoặc
tương đương với hàm ReLU trong các phương pháp TS-TCC, CA-TCC và
TinySleepNet. Tuy nhiên, để đánh giá chính xác hơn về tác động của hàm kích hoạt đối với hiệu suất tong thé của các phương pháp, cần tiếp tục nghiên cứu và xem xét
các yêu tô khác có thê ảnh hưởng.
67
5.2.2. Kết quả từng giai đoạn
Bang 5.2: So sánh Fl-score từng giai đoạn khi sử dụng ReLU và GELU
Phương Hàm kích Ww NI N2 N3 REM
pháp hoạt
ReLU 92.08% | 53.20% | 84.88% | 76.82% | 81.09% TinySleepNet
GELU 91.85% | 52.21% | 85.93% | 74.07% | 79.76%
TS-TCC ReLU 86.08% | 28.18% | 76.78% | 71.95% | 40.68%
- GELU 85.29% | 35.88% | 78.03% | 75.02% | 52.27%
ReLU 81.67% | 32.80% | 77.66% | 67.06% | 54.98% CA-TCC
GELU 86.04% | 32.29% | 78.84% | 71.32% | 52.21%
Bảng 5.3: So sánh G-mean từng giai đoạn khi sử dụng ReLU va GELU
Phương Hàm kích W NI N2 N3 REM pháp hoạt
ReLU 94.33% | 71.20% | 87.80% | 87.35% | 87.49% TinySleepNet
GELU 95.06% | 69.20% | 88.78% | 84.67% | 84.77% TS-TCC ReLU 89.77% | 47.26% | 81.09% | 85.81% | 53.76%
GELU 89.49% | 57.80% | 82.27% | 88.80% | 66.79%
ReLU 84.17% | 55.47% | 82.02% | 84.91% | 72.89% CA-TCC
GELU 89.53% | 52.25% | 83.10% | 86.37% | 67.29%
Dựa trên kết quả so sánh Fl-score và G-mean được thé hiện trong Bảng 5.2,
Bảng 5.3 và các Hình 5.3, 5.4, 5.5, ta thấy:
s* TinySleepNet:
Việc sử dụng hàm kích hoạt GELU hoặc ReLU không có sự khác biệt đáng kế trong đa sé các giai đoạn (W, N1, N2, N3). Tuy nhiên, trong giai đoạn REM, ham kích hoạt GELU cho thấy Fl-score giảm nhẹ so với ReLU (81.09% so với 79.76%).
ReLU và GELU cho thấy G-mean tăng nhẹ trong giai đoạn W và N2. Tuy nhiên, trong giai đoạn N1, N3 và REM, hàm kích hoạt GELU (lần lượt là 69.20%,
68
84.67% và 84.77%) cho thấy G-mean thấp hơn so với ReLU (lần lượt là 71.20%,
87.35% và 87.49%)
Đối với TinySleepNet có một SỐ Sự giảm nhẹ về Fl-score trong giai đoạn REM khi sử dụng GELU. Đối với G-mean, GELU cho thấy hiệu suất thấp hơn ReLU trong một 86 giai doan cu thé.
s TS-TCC:
Đối với TS-TCC, sử dụng hàm kích hoạt GELU có Fl-score tốt hơn so với ReLU ở hầu hết các giai đoạn, đặc biệt là giai đoạn NI và REM có sự cải thiện rõ
rệt với NI từ 28.18% lên 35.88% và REM từ 40.68% lên 52.27%.
Đối với TS-TCC, sử dụng hàm kích hoạt GELU có G-mean cao hơn so với ReLU trong hầu hết các giai đoạn, đặc biệt có sự cải thiện rõ rệt ở giai đoạn NI (từ
47.26% lên 57.80%) và giai đoạn REM (từ 53.76% lên 66.79%)
Việc sử dụng hàm kích hoạt GELU trong phương pháp TS-TCC mang lại cải
thiện đáng kế về Fl-score và G-mean, đặc biệt là trong việc nhận dạng các giai đoạn
ẹI và REM.
s*CA-TCC:
Đối với CA-TCC, sử dụng hàm kích hoạt GELU Cho thấy sự cải thiện ở hầu hết các giai đoạn, đặc biệt là giai đoạn W (từ 81.67% lên 86.04%) và giai đoạn N3 (từ 67.06% lên 71.31%), tuy nhiên F1-score của giai đoạn N1 vẫn còn thấp và ở giai
đoạn REM, F1-score khi sử dụng GELU (52.21%) giảm hơn so với ReLU (54.98%)
Hàm kích hoạt GELU có G-mean cao hơn ReLU trong giai đoạn W (từ
84.17% lên 89.53). Tuy nhiên ở giai đoạn N1, N3 va REM thì GELU lại có kết quả thấp hơn so với ReLU, giảm từ 2-5%
Sử dụng hàm kích hoạt GELU trong phương pháp CA-TCC cải thiện khả năng
phân loại ở giai đoạn W và N3, nhưng có anh hưởng đáng ké đến F1-score của giai
đoạn NI và REM, và giảm G-mean trong các giai đoạn NI, N3 và REM so với
ReLU.
69
SO SÁNH F1-SCORE CHO TỪNG GIAI ĐOẠN GIẤC NGỦ CỦA TINYSLEEP KHI SỬ DỤNG DỤNG RELU VÀ GELU
100.00%
92.08% 91.85%
90.00% 84.88% 85.93%
81.09% 79.76%
76.829
80.00% 7 a 07%
70.00%
60.00% 53.20% g2 21%0,
50.00%
40.00%
TinySleepNet (ReLU) TinySleepNet (GELU)
Hình 5.5: Biểu đô so sánh F1-score cho từng giai đoạn giấc ngủ của TinySleep khi sử dụng
ReLU và GELU
SO SÁNH F1-SCORE CHO TUNG GIAI DOAN GIẤC NGỦ
CUA TS-TCC KHI SỬ DỤNG DUNG RELU VÀ GELU
90.00% 86.08% gs 79%
76.78% 78.03% 75.02%9
80.009% 71.95%
70.00%
60.00% 52.27%0,
50.00%
40.68%
40.00% 35.88%
28.189
30.00% 8.18%
20.00%
mTS-TCC(ReLU) #TS-TCC (GELU)
Hình 5.6: Biểu đô so sánh F1-score cho từng giai đoạn giấc ngủ của TS-TCC khi sử dụng
ReLU và GELU
70
SO SÁNH F1-SCORE CHO TỪNG GIAI ĐOẠN GIẤC NGỦ
CỦA CA-TCC KHI SỬ DỤNG DỤNG RELU VÀ GELU
90.00% 86.04%
81.67%
of, 78.84%
80.00% 77.66% °
71.32%
70.00% 67.06%
60.00% 54.98%
52.21%
50.00%
40.00% 0,
32.80% 32.29%
LH
W N1 N2 N3 REM
30.00%
20.00%
E CA-TCC (ReLU)_ #CA-TCC (GELU)
Hình 5.1: Biểu đô so sánh F1-score cho từng giai đoạn giấc ngủ của CA-TCC khi sử dụng
ReLU và GELU
Tổng thể, hiệu suất của hàm kích hoạt ReLU và GELU trong việc tính toán FI- score và G-mean cũng có sự thay đổi tùy thuộc vào phương pháp và giai đoạn cụ thể. Trong một số trường hợp, ReLU có thể cho kết quả cao hơn, trong khi trong các trường hợp khác, GELU có hiệu suất tốt hơn.
71