CHƯƠNG 1 CƠ SỞ LÝ THUYẾT VỀ ĐIỆN NÃO ĐỒ
3.7 Các tham số đánh giá mơ hình
Các trường hợp cĩ thể xảy ra khi mơ hình thực hiện phân lớp được liệt kê trong Bảng 3-2.
Bảng 3-4 Trường hợp các kết quả phân lớp
Dựđốn Thực tế
Positive Negative
Positive True positive (TP) False negative (FN)
Negative False positive (FP) True negative (TN)
- True positive: trường hợp thực tế và kết quả dự đốn trùng nhau, cùng là positive.
- True negative: trường hợp thực tế và kết quả dựđốn trùng nhau, cùng là negative.
- False positive: trường hợp mơ hình dựđốn là positive nhưng thực tế là negative.
- False negative: trường hợp mơ hình dựđốn là negative nhưng thực tế là positive.
Bài tốn phân loại lý tưởng là bài tốn chỉ cĩ TP và TN, khơng cĩ bất kỳ mẫu nào bị phân loại sai (FP và FN). Tuy nhiên, tình huống đĩ khĩ cĩ thể xảy ra, đặc biệt với dữ liệu cĩ cấu trúc phức tạp. Vì vậy, một mơ hình phân loại được đánh giá là tốt nếu cĩ FP và FN nhỏ, hoặc trong các bài tốn về phân loại trong y tếthường yêu cầu FN rất nhỏđể khơng đểxĩt trường hợp positive.
72 Accuracy là độ chính xác trong phân loại của mơ hình. Cơng thức tính Accuracy:
𝐴𝐴𝑡𝑡𝑡𝑡𝑢𝑢𝑟𝑟𝑎𝑎𝑡𝑡𝑦𝑦 = 𝑇𝑇𝑃𝑃+𝑇𝑇𝑇𝑇
𝑇𝑇𝑃𝑃+𝑇𝑇𝑇𝑇+𝐹𝐹𝑃𝑃+𝐹𝐹𝑇𝑇
Trong trường hợp số lượng mẫu khơng cân bằng (ví dụ: tổng số mẫu dương tính chỉ chiếm 0.01%) thì nếu mơ hình dựđốn tất cả kết quả là negative, mơ hình sẽcĩ Accuracy = 99.9% nhưng mơ hình đĩ khơng phải một mơ hình tốt. Vì vậy cần cĩ các tham số Precision, Recall và F1 score làm tiêu chuẩn đánh giá mơ hình.
Precision
Precision là tỷ lệ số mẫu được dự đốn dương tính là đúng trên tổng số mẫu được dựđốn là dương tính.
𝑃𝑃𝑟𝑟𝑡𝑡𝑡𝑡𝑖𝑖𝑠𝑠𝑖𝑖𝑙𝑙𝑛𝑛 = 𝑇𝑇𝑃𝑃𝑇𝑇𝑃𝑃+𝐹𝐹𝑃𝑃
Recall
Recall là tỷ lệ số mẫu được dựđốn dương tính là đúng trên tổng số mẫu thực tếlà dương tính.
𝐺𝐺𝑡𝑡𝑡𝑡𝑎𝑎𝑙𝑙𝑙𝑙 = 𝑇𝑇𝑃𝑃
𝑇𝑇𝑃𝑃+𝐹𝐹𝑇𝑇
F1 score
F1 score là tham số kết hợp giữa Precision và Recall: 𝐹𝐹1 𝑠𝑠𝑡𝑡𝑙𝑙𝑟𝑟𝑡𝑡 = 2𝑃𝑃𝑟𝑟𝑡𝑡𝑡𝑡𝑖𝑖𝑠𝑠𝑖𝑖𝑙𝑙𝑛𝑛𝑃𝑃𝑟𝑟𝑡𝑡𝑡𝑡𝑖𝑖𝑠𝑠𝑖𝑖𝑙𝑙𝑛𝑛 ∗ 𝐺𝐺𝑡𝑡𝑡𝑡𝑎𝑎𝑙𝑙𝑙𝑙+𝐺𝐺𝑡𝑡𝑡𝑡𝑎𝑎𝑙𝑙𝑙𝑙
F1 càng tiệm cận 1 thì mơ hình cĩ Precision và Recall càng cao (gần 1), cho thấy đĩ là một mơ hình dựđốn tốt và ngược lại.
73
CHƯƠNG 4.KẾT QUẢ NGHIÊN CỨU TỪ BỘ DỮ LIỆU “EEG IN
SCHIZOPHRENIA” 4.1 Bộ dữ liệu thực nghiệm
Bộ dữ liệu thực nghiệm là bộEEG in schizophrenia gồm 28 bản ghi trong đĩ cĩ 14 bản ghi của các bệnh nhân tâm thần phân liệt thể paranoid, 14 bản ghi được thu từ các đối chứng khỏe mạnh cĩ độ tuổi và giới tính tương ứng với các bệnh nhân. Các bệnh nhân nhập viện tại Viện Tâm thần và Thần kinh Warsaw, Ba Lan đáp ứng các tiêu chí phân loại bệnh tật Quốc tế ICD – 10 đối với bệnh tâm thần phân liệt hoang tưởng (loại F20.0). Bộ dữ liệu được lấy mẫu ở tần số 250 Hz, sử dụng mũ điện não tiêu chuẩn hệ thống quốc tế 10-20. Các bản ghi điện não kéo dài trong khoảng mười lăm phút ở điều kiện trạng thái nghỉ ngơi nhắm mắt với 19 kênh điện não: Fp1, FP2, F7, F3, Fz, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz, P4, T6, O1, O2. Điện cực tham chiếu được đặt giữa Fz và Cz. Mỗi bản ghi 15 phút được chia thành từng đoạn 30 giây khơng chồng chéo, mỗi đoạn tương ứng với một mẫu thì thu được bộ dữ liệu gồm 951 mẫu, trong đĩ cĩ 522 mẫu của bệnh nhân và 429 mẫu của người khỏe mạnh.
74 Các bản ghi điện não được lưu ở định dạng file .edf, tên của mỗi bản ghi gồm 02 phần: phần xác định loại đối tượng – kí hiệu chữh với người khỏe mạnh, kí hiệu chữs với bệnh nhân tâm thần phân liệt; và phần số thể hiện số thứ tự của đối tượng. Sử dụng hàm edfread của MATLAB để chuyển dữ liệu về file .mat. Ví dụ: bản ghi h01.mat (bản ghi điện não đồ của người khỏe mạnh thứ nhất) là một ma trận 19 hàng và 231250 cột; 19 hàng tương ứng với 19 kênh điện não, dữ liệu tại mỗi hàng là tín hiệu điện não của từng kênh theo thứ tựtương ứng: Fp2, F8, T4, T6, O2, Fp1, F7, T3, T5, O1, F4, C4, P4, F3, C3, P3, Fz, Cz, Pz. Do bản ghi h01 dài 15 phút 20 giây (hay 925 giây) và được lấy mẫu với tần số 250 Hz nên số điểm dữ liệu là 250×925 =231250 điểm dữ liệu, tương ứng với 231250 cột.
Hình 4-2 Bản ghi điện não đồ của người khỏe mạnh thứ nhất
4.2 Tiền xử lý dữ liệu điện não “EEG inschizophrenia”
Trong nghiên cứu này, dữ liệu gồm tín hiệu điện não tại 19 điện cực. Với giả sử sốđiện cực bằng số nguồn độc lập, thực hiện ICA bằng cơng cụ EEGLAB (v2020.0) thu được 19 thành phần độc lập.
Sau khi thực hiện phân tách các thành phần độc lập, từ 19 điện cực thu được 19 thành phần độc lập. Các thành phần này được đối chiếu với các tín hiệu chuẩn để dựđốn và gán nhãn cho từng thành phần như sau:
75
Hình 4-3 Phân tích tín hiệu tại 19 kênh điện não thành 19 thành phần độc lập
Hình 4-4 và hình 4-5 biểu thị phổ tần số của tín hiệu trước lọc và sau khi thực hiện ICA loại bỏ nhiễu. Quan sát phổ tần số tín hiệu trước khi lọc và sau khi lọc ICA, thấy biên độ các thành phần tần số trong khoảng 0.5-10 (Hz), tương ứng với giải tần sốđiện mắt giảm.
- Phổ tần tín hiệu gốc:
76 - Phổ tần tín hiệu sau lọc:
Hình 4-5 Phổ tần tín hiệu sau lọc
Hình 4-6 thể hiện tín hiệu điện não theo thời gian. Quan sát tín hiệu điện não trước lọc ICA và sau lọc, đặc biệt tại hai điện cực Fp1 và Fp2 (hai điện cực chịu ảnh hưởng bởi nhiễu chớp mắt nhiều nhất) thấy các sĩng cĩ biên độ lớn, tần số thấp tương ứng với nhiễu điện mắt đã bị loại bỏ.
Hình 4-6 Loại bỏ nhiễu mắt trên bản ghi điện não đồ bằng phương pháp phân tích thành phần độc lập
77 Quan sát tín hiệu tại hai điện cực chịu ảnh hưởng nhiễu mắt nhiều nhất Fp1 và Fp2 thấy: thành phần tín hiệu nhiễu mắt (biên độ lớn: 10µV-2mV, tần số thấp: 0,1-10Hz) đã được loại bỏ.
4.3 Tính tốn đặc trưng cho bộ dữ liệu “EEG in schizophrenia”
Sau khi loại bỏ nhiễu bằng phương pháp phân tích thành phần độc lập sử dụng cơng cụ EEGLAB, các bản ghi tín hiệu điện não dài 15 phút được cắt thành từng đoạn 30(s). Quá trình phân đoạn tín hiệu thành từng mẫu 30 giây được thực hiện như sau: mỗi mẫu dài 30 giây tương ứng với 30 ×250 = 7500 điểm dữ liệu; bắt đầu lấy từ điểm dữ liệu cuối cùng – điểm thứ 231250 trở về điểm thứ 223750 được mẫu thứ nhất, từ điểm thứ 223749 trở về điểm 216249 mẫu thứ hai, … tương tự cho đến khi khơng cịn đoạn nào đủ 7500 điểm dữ liệu nữa thì dừng lại. Như vậy, mỗi mẫu tín hiệu là một ma trận kích thước 19×7500. Việc phân đoạn dữ liệu từ điểm cuối cùng trở về trước nhằm mục đích hạn chế tín hiệu nhiễu khi ở giai đoạn đầu của quá trình đo điện não, đối tượng cĩ thể chưa ổn định tư thế.
Bảng 4-1 Thống kê số lượng mẫu của các bản ghi điện não
Bản ghi Số mẫu Bản ghi Số mẫu H01 30 S01 28 H02 30 S02 38 H03 30 S03 32 H04 30 S04 40 H05 31 S05 29 H06 31 S06 24 H07 30 S07 44 H08 30 S08 30 H09 30 S09 39 H10 37 S10 28 H11 30 S11 45 H12 30 S12 36 H13 32 S13 37
78
H14 28 S14 72
Tổng 429 Tổng 522
Tổng 429 + 522 = 951
Sau đĩ, các đặc trưng được tính cho từng mẫu tín hiệu.
4.3.1 Đặc trưng entropy hốn vị
Trong nghiên cứu này, mỗi mẫu tín hiệu là ma trận kích thước 19× 7500, entropy hốn vị được tính cho từng kênh điện não. Input của hàm tính entropy hốn vị là 1 vector gồm 7500 phần tử nên số phần tử của chuỗi S là m = 7500. Giả thiết trong chuỗi khơng cĩ các giá trị trùng nhau là khĩ xảy ra, tuy nhiên số các giá trị trùng nhau trong 7500 điểm dữ liệu là rất hiếm. Entropy hốn vịđược tính với các thơng số: độ trễ𝜏𝜏 = 1, số chiều D = 3, D = 4 và D = 5.
4.3.2 Các đặc trưng Hjorth
Đặc trưng Hjorth complexity và Hjorth mobility của bộ dữ liệu “EEG in schizophrenia” được tính tốn và biểu diễn như trên hình 4-7. Giá trị đặc trưng Hjorth của 522 mẫu dữ liệu bệnh nhân tại từng kênh điện não được tính trung bình cộng và biểu diễn bằng cột màu đỏnhư trên hình 4-7. Giá trị Hjorth của 429 mẫu dữ liệu của người khỏe mạnh tại từng kênh điện não được tính trung bình và biểu diễn bằng cột màu xanh dương. Trên hình 4-7, trục hồnh biểu diễn các kênh điện não (19 kênh), trục tung mơ tả giá trị Hjorth mobility vị của người khỏe manh và bệnh nhân.
Hình 4-7 Giá trị Hjorth mobility tại từng điện cực, tính trung bình cho 429 mẫu khỏe mạnh và 522 mẫu bệnh
79
4.4 Kết quả quá trình giảm chiều dữ liệu
Theo cách chọn số principal components được trình bày trong mục 3.2.3, số principal components được chọn sao cho lượng thơng tin hao hụt từ thơng tin gốc so với thơng tin sau PCA là 1%, hay nĩi cách khác là bảo tồn được 99% thơng tin ban đầu. Thực hiện giảm chiều giữ liệu bằng phương pháp PCA cho bộ dữ liệu gồm 57 đặc trưng trích xuất từ tín hiệu EEG của bệnh nhân TTPL và các đối chứng khỏe mạnh (19 kênh, mỗi kênh lấy các đặc trưng: Hjorth mobility, Hjorth complexity, entropy hốn vị) cho thấy số principal components lớn hơn 12 thì thơng tin được bảo tồn trên 99% (Hình 4-8). Vậy số principal components
kđược chọn là lớn hơn 12.
Hình 4-8 Kết quả thực hiện PCA với k từ 1 đến 57, với k lớn hơn 11 thì trên 99% thơng tin ban đầu được bảo tồn
Khi tiến hành thực nghiệm với số k = 12, độ chính xác phân loại ở tập kiểm tra giảm so với khơng thực hiện PCA. Hình 4-9 cho thấy với k trong khoảng từ 15 đến 19 cho kết quả accuracy và f1 score ở cả tập train và tập kiểm tra đều cao, nếu tăng k thì kết quả phân loại của tập train cao nhưng tập kiểm tra giảm xuống, hiện tượng over-fitting xảy ra.
Để chọn tham số k tốt nhất cho bài tốn phát hiện bệnh nhân TTPL cần qua những bước sau:
- Thực hiện PCA trên bộ dữ liệu 57 đặc trưng với k từ 15 đến 19, thu được 7 bộ dữ liệu.
80 - Chọn bộ phân lớp baseline (bộ phân lớp cĩ performance cao, các tham số mặc định) dùng chung cho tất cả dữ liệu thu được từ quá trình PCA với tất các trường hợp của k.
Hình 4-9 Kết quả phân loại của mơ hình SVM với dữ liệu qua thực hiện PCA với k từ 1 đến 57
Huấn luyện 7 bộ phân lớp sử dụng 7 bộ dữ liệu tương ứng với các giá trị của k.
- Đánh giá kết quả của từng mơ hình phân lớp. kđược chọn theo các tiêu chí: mơ hình tương ứng cho kết quả tốt nhất và k nhỏ nhất.
Hình 4-10 Kết quả phân loại của mơ hình SVM với dữ liệu qua thực hiện PCA với k từ 15 đến 19. Các tham số accuracy và f1 là trung bình của 30 lần thực
81 Vì số mẫu trong bộ dữ liệu khơng lớn (nhỏ hơn 1000 mẫu) nên kết quả phân loại trên tập kiểm tra bị ảnh hưởng lớn bởi cách tạo tập train và tập kiểm tra. Vì vậy, để quá trình chọn kđược khách quan, thực hiện quy trình trên 30 lần, kết quả accuracy và f1 score sẽ được tính là kết quả trung bình qua 30 lần thực hiện. Hình 4-10 mơ tả các tham sốđánh giá mơ hình SVM với k từ15 đến 19. Từ Hình 4-10, cĩ thể thấy k = 18 cho kết quả tốt nhất trên cả tập train và tập kiểm tra. Vậy chọn k = 18.
4.5 Kết quả phân loại bệnh nhân tâm thần phân liệt và khơng tâm thần phân liệt phân liệt
4.5.1 Các bộ phân loại cơ bản
Kết quả phân loại bệnh nhân tâm thần phân liệt và các đối chứng khỏe mạnh được trình bày trong Bảng 4-2, với hàng 1 và hàng 2 các cột Accuracy, Precision, Recall, F1 score, AUC lần lượt là các tham sốđo được trên tập dữ liệu huấn luyện và kiểm tra dữ liệu.
Bảng 4-2 Kết quả phân loại bệnh nhân tâm thần phân liệt và các đối chứng khỏe mạnh khi sử dụng các mơ hình khác nhau
Tên mơ hình
Tham số Accuracy Precision Recall F1
score AUC KNN K = 3 100% 1.00 1.00 1.00 1.00 95% 0.95 0.95 0.95 0.994 Bagging 3- NN Weights = distance N_estimators = 49 100% 1.00 1.00 1.00 1.00 98% 0.98 0.98 0.98 0.996 Bernoulli Nạve Bayes 74% 0.74 0.74 0.74 0.808 72% 0.72 0.73 0.72 0.781 Decision Tree Max_depth = 12 100% 1.00 1.00 1.00 1.00 90% 0.89 0.90 0.89 0.895 Bagging decision tree Max_depth = 12 N_estimators = 99 100% 1.00 1.00 1.00 1.00 95% 0.95 0.95 9.95 0.981
82 Random forest Max_depth = 12 N_estimators = 99 100% 1.00 1.00 1.00 1.00 94% 0.93 0.94 0.93 0.992 Gradient Boosting Learning rate 0.01 N_estimators = 100 100% 1.00 1.00 1.00 1.00 94% 0.94 0.93 0.93 0.982 AdaBoost Max_depth = 12 N_estimators = 2000 Learning rate = 0.5 100% 1.00 1.00 1.00 1.00 90% 0.90 0.91 0.90 0.884 SVM Kernel = rbf C = 10 100% 1.00 1.00 1.00 1.00 98.7% 0.99 0.99 0.99 0.999
Các mơ hình cho các kết quả phân loại rất khác nhau trên tập dữ liệu huấn luyện và tập kiểm tra. Cụ thể:
- Mơ hình Nạve Bayes cho kết quả thấp nhất trên cả tập dữ liệu huấn luyện và tập dữ liệu kiểm tra (74% và 72% độ chính xác). Tỷ lệ False Positive (FP) và False Negative (FN) là tương đương nhau. Việc mơ hình cĩ khả năng phân loại khơng tốt cĩ thể được giải thích bởi việc giả sử các đặc trưng của dữ liệu là độc lập tuyến tính. Điều này khơng xảy ra đối với các đặc trưng được trích xuất từ tín hiệu điện não của cùng một đối tượng, vì ở cùng một đối tượng, tín hiệu EEG thu được ở các kênh đo cĩ phụ thuộc với nhau như trình bày trong mục 1.6.
- Mơ hình Decision Tree cho độ chính xác 90% trên tập kiểm tra, kết quảnày khơng được tốt do trong quá trình huấn luyện, mơ hình tạo các điều kiện so sánh ở mỗi lá (leaf), với tập dữ liệu huấn luyện cĩ kích thước nhỏ, các giá trị ngưỡng dùng để so sánh tại mỗi lá cĩ thể khơng mang tính tổng quát, khiến cho dữ liệu mới dễ bị phân loại nhầm nếu nĩ mang các đặc trưng dễ nhầm lẫn giữa hai lớp.
- Mơ hình KNN cĩ độ chính xác phân loại là 95% trên tập dữ liệu kiểm tra, do nhãn của dữ liệu mới đưa vào được gán dựa trên nhãn của ba điểm dữ liệu gần nĩ nhất. Phương pháp này khá phù hợp với bài tốn phát hiện bệnh tâm thần
83 phân liệt, tuy nhiên với những trường hợp dữ liệu bị nhiễu hoặc khĩ phân tách giữa hai lớp thì kết quả dễ bị phân loại nhầm.
- Các mơ hình sử dụng học cộng đồng (ensemble learning) cho độ chính xác được cải thiện khoảng 3% đến 5% so với các base estimator.
- Mơ hình SVM cho độ chính xác phân loại cao nhất, do đây là thuật tốn cĩ nền tảng tốn học chặt chẽ, sử dụng kernel trick để biến dữ liệu từ khơng thể phân tách tuyến tính về dạng cĩ thể phân tách tuyến tính, từđĩ cải thiện độ chính xác phân loại.
- Các bộ phân loại đều cĩ sự chênh lệch khơng lớn giữa tham số precision và recall do dữ liệu cĩ sự đồng đều về số lượng mẫu giữa hai lớp. Do đĩ, việc lựa chọn bộ phân loại cĩ thể chỉ cần dựa trên độ chính xác phân loại.
Từ kết quả phân loại trình bày trong bảng trên và tiêu chí chọn mơ hình