Với giá trị �=5 là tối ưu như đã trình bày ở mục 4.6.1 ở trên, nhĩm thực hiện lại quy trình huấn luyện bằng LOOCV và điền kết quả vào ma trận nhầm lẫn theo quy ước ở mục 4.5.1. Kết quả được thể hiện ở các Hình 4.23 đến 4.25 bên dưới.
Hình 4.23 Ma trận nhầm lẫn của mơ hình Gaussian SVM trước và sau khi tối ưu sử dụng bộ đặc trưng EEG.
Hình 4.24 Ma trận nhầm lẫn của mơ hình Gaussian SVM trước và sau khi tối ưu sử dụng bộ đặc trưng HRV.
Hình 4.25 Ma trận nhầm lẫn của mơ hình Gaussian SVM trước và sau khi tối ưu sử dụng bộ đặc trưng tổng hợp EEG + HRV.
Như vậy, từ các hình 4.23, 4.24, và 4.25 ở trên ta nhận thấy hiệu quả phân loại của mơ hình SVM đã được cải thiện rất đáng kể. Hơn thế, nếu so sánh với kết quả của các mơ hình cịn lại khi sử dụng riêng lẻ EEG hoặc HRV để phân loại thì SVM lúc này đã trở thành mơ hình cho kết quả phân loại tốt nhất, vượt xa 3 mơ hình cịn lại. Dù vậy, đối với bộ đặc trưng tổng hợp thì mơ hình CFNN đã chọn của nhĩm vẫn là mơ hình tối ưu hơn cả. Tuy nhiên, hiệu quả của mơ hình SVM cũng rất sát sao so với hiệu quả của mơ hình CFNN (Accuracy là 93.94% so với 95.96% và F1score là 0.94 so với 0.96).
CHƯƠNG 5
KẾT LUẬN VA HƯỚNG PHÁT TRIỂN 5.1. Kết quả đạt được
Với những mục tiêu đề ra ban đầu cũng như các vấn đề phát sinh khi thực hiện, chúng tơi đã đạt được những điều sau khi thực hiện nghiên cứu này:
- Thiết kế, thử nghiệm và hồn thiện được quy trình thu nhận dữ liệu. Nghiên cứu này được thiết kế và thực hiện cẩn trọng khâu sàng lọc đối tượng (thể chất và tinh thần) để đảm bảo sự chính xác của dữ liệu được thu nhận. Bên cạnh đĩ, khâu thu nhận dữ liệu được thực hiện trên 17 đối tượng, 20 ca đo và xây dựng các mẫu dữ liệu bằng ba loại kích thích: hai kiểu kích thích căng thẳng và một cho thư giãn đã giúp đa dạng hĩa hơn cho bộ dữ liệu huấn luyện. - Xây dựng một quy trình hồn chỉnh, tự động và đáng tin cậy để xử lý dữ liệu thu được từ khâu tiền xử lý, trích xuất và chuẩn hĩa đặc trưng đến chọn lọc đặc trưng và giảm chiều dữ liệu đã chọn. Quy trình này giúp nâng cao hiệu quả của tập dữ liệu khi dùng cho việc phân loại.
- Khảo sát được những đặc trưng EEG và HRV nào là phù hợp cho việc phân loại hai trạng thái cảm xúc là căng thẳng và thư giãn trong phạm vi của nghiên cứu này.
- Xây đựng được mơ hình phân loại CFNN phù hợp cho nghiên cứu và đạt được độ chính xác cao là 95,96% và đồng đều giữa hai lớp với F1 score = 0,96.
- Chứng minh được hiệu quả của việc kết hợp tim và não để phân loại các trạng thái cảm xúc sử dụng hai loại tín hiệu là EEG và HRV. Bên cạnh đĩ cũng cho thấy tiềm năng của tín hiệu HRV khi dùng cho các ứng dụng trên thiết bị theo dõi sức khỏe di động với độ chính xác khá cao 74%.
- Khảo sát các kết quả kể trên trên 4 mơ hình phân loại khác nhau bao gồm Naive Bayes, KNN, SVM và CFNN để đảm bảo tính khách quan của các kết quả đạt được. Đồng thời đưa ra những ứng dụng cụ thể của các loại mơ hình trong khảo sát.
- Khảo sát đặc tính phân loại của mơ hình CFNN đối với ngương phân loại khác nhau dựa trên đồ thị ROC từ đĩ đưa ra nhận xét cho các mục tiêu phân loại khác nhau cho hai trạng thái cảm xúc căng thẳng và thư giãn.
5.2. Kết luận
Với những kết quả đạt được như trên, chúng tơi cĩ thể đưa ra một vài kết luận cho đề tài của mình như sau.
Thứ nhất, để phân loại hai trạng thái căng thẳng và thư giãn thì sử dụng tín hiệu EEG cho hiệu quả tốt hơn sử dụng tín hiệu HRV trên hầu hết các mơ hình phân loại và chỉ tương đương nhau khi sử dụng mơ hình SVM. Tuy nhiên việc kết hợp cả hai loại tín hiệu khi phân tích se giúp nâng cao đáng kể cho việc phân loại hai trạng thái cảm xúc trên cho tất cả các mơ hình đã dùng trong nghiên cứu này.
Thứ hai, khi dùng tín hiệu HRV để phân loại căng thẳng và thư giãn bằng mơ hình Gaussian SVM đã cho độ chính xác lên đến 88.89% và F1 score bằng 0.89. Kết quả này cộng thêm tính thuận tiện khi thu nhận của tín hiệu HRV bằng các thiết bị di động cho thấy tiềm năng lớn của việc phân loại cảm xúc online dựa vào HRV trên các thiết bị di động.
Thứ ba, các đặc trưng liên quan đến sĩng Alpha của EEG cho thấy sự trội hơn khi dùng để phân loại cho trạng thái thư giãn. Tần suất cử động mắt và giá trị TI của HRV thì thích hợp
cho việc nhận dạng trạng thái căng thẳng. Các đặc trưng khác của hai tín hiệu EEG và HRV thì
cho kết quả khơng rõ rệt khi phân loại hay nhận dạng hai trạng thái cảm xúc căng thẳng và thư giãn.
Cuối cùng, việc thực hiện đầy đủ và kỹ lương các bước từ thiết kế thí nghiệm đến thu nhận và xử lý tín hiệu qua nhiều bước như trình bày trong nghiên cứu này đã giúp nâng cao được hiệu quả cho việc phân loại hai trạng thái cảm xúc căng thẳng và thư giãn cả khi sử dụng riêng re từng loại tín hiệu EEG và HRV hoặc là sử dụng đồng thời cả hai. Kết quả của nghiên cứu này là cao so với các nghiên cứu trên thế giới hiện nay mà chúng tơi tổng hợp được. Thơng tin về các nghiên cứu cĩ liên quan được trình bày trong bảng 5.1 ở trang tiếp theo.
GVHD: ThS. LÊ QUỐC KHẢI
ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP
Bảng 5.1 Tổng hợp các nghiên cứu cĩ liên quan trong vịng 10 năm trở lại đây (2009-2019)
Tác giả Năm Kiểu kích thích Số kênh Kênh Lớp cảm xúc Đặc trưng EEG Đặc trưng HRV phân loạiMơ hình Độ chính xác Hình thức
Li và Lu * 2009 Hình ảnh (6s) 62 Tồn hệ thống 10-20 Vui và buồn Gamma ERD - SVM 93.50% Offline
Hosseini et al. * 2010 Hình ảnh (3s) 5 FP1, FP2, T3, T4, Pz negative-excitedCalm-neutral, Hệ số Wavelet, HFD - Elman ANN 82.70% Offline Brown et al. * 2011 Hình ảnh (6s) 8 Fp1, Fp2, F3, F4, F7,F8, C3, C4 Tích cực, trung tính,tiêu cực Phổ cơng suất alpha - KNN 85.00% Online
Petrantonakis * 2011 Hình ảnh (5s) 8 F3, F4, C3, C4, T3,T4, P3, P4 Hai trục Valence vàArousal Độ lệch Alpha vàBeta - SVM 94.40% Offline Stelios and Hadjidimitriou * 2012 Âm nhạc (60s) 14 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 Bị kích thích và trung tính Phân tích Time-Frequency cho Beta và Gamma
- SVM, KNN,QDA, MDA 86.52% Offline
Konstantinidis
et al. * 2012 Hinh ảnh 19 Tồn hệ thống 10-20 Hai trục Valence vàArousal ERP (N100 và N200) - SVM 81.30% Online
H. Guo et al. [64] 2012 Xem video(90s) 1 ECG Tích cực và tiêu cực - Pointcare plot, thống kêPhổ cơng suất HRV, SVM 71.40% Offline P. Karthikeyan
et al. [65] 2013
Stroop Color Word Test
(30s)
1 ECG Căng thẳng và khơngcăng thẳng - Phổ cơng suất HRV KNN 94.66% Offline
R. Rakshit [66] 2016 Video (75s) 1 PPG Vui, buồn, trung tính -
10 đặc trưng miền thời gian và 13 đặc trưng
miền tần số
SVM 83.80% Online
H. Ferdinando
et al. [67] 2016 Movie (5 phút) 1 ECG
3 mức kích thích: thấp, trung bình và
cao
-
Miền thười gian, miền tần số và biến đổi Hilbert
Huang KNN Trung bình59% Offline (5s) C. Ki-Hwan et al. [68] 2010 Hình ảnh và Âm thanh (5 phút) 9 F3, F4, T3, T4, O1, O2 và ECG Trầm tĩnh, tập trung, căng thẳng, mệt mỏi. Phổ cơng suất các dạng sĩng SDNN, RMS, pNN50, HRMean, VLF, LF, HF, LF/HF RBFN Max 82,10% Offline Mohsen Naji et al. [69] 2013 Âm thanh (1 - 2 phút) 4 3 EMG và 1 ECG 4 lớp cao-thấp Arousal và Valence
Phổ cơng suất, High Order Crossing
Các chỉ số thống kê, Katz’s Fractal, Pointcare,
SampEn
Fuzzy rough
model 88.78% Offline
Các bài báo cĩ đánh dấu * là kết quả review của [33]
ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM LUẬN VĂN TỐT NGHIỆP
GVHD: ThS. LÊ QUỐC KHẢI
5.3. Hạn chế của đề tài
- Số mẫu, đối tượng nghiên cứu cịn ít (chỉ gồm 198 mẫu từ 17 đối tượng). - Tỉ lệ nam nữ khơng cân bằng (15 nam và 2 nữ).
- Độ tuổi của đối tượng nghiên cứu cịn hẹp (21-23 tuối).
- Chưa xây dựng riêng được một chương trình tính nhẩm riêng để đồng bộ hơn khi đánh dấu mốc thời gian cho phần kích thích bằng việc làm tính nhẩm.
5.4. Hướng phát triển của đề tài
Nghiên cứu này đã chứng mình được rằng việc kết hợp EEG với HRV giúp tăng cao độ chính xác và tính tin cậy cho kết quả phân loại đến xấp xỉ 96% khi sử dụng mơ hình CFNN. Ngồi ra nghiên cứu cũng chỉ ra quy trình xử lý được mơ tả trong nghiên cứu này giúp tăng tính hiệu quả của tập dữ liệu khi dùng cho mục đích phân loại. Như vậy, những đề tài nghiên cứu sau này nếu liên quan đến phân loại cảm xúc thì cĩ thể cĩ hai hướng sử dụng:
- Một là mở rộng phạm vi nghiên cứu và sử dụng trực tiếp kết quả của nghiên cứu này bao gồm bộ trích xuất đặc trưng tự động, bộ mã hĩa nlPCA và bộ dữ liệu trọng số và bias của các mơ hình phân loại đã huấn luyện để phân loại cho dữ liệu mở rộng của nghiên cứu đĩ;
- Hai là sử dụng quy trình xử lý và phân loại đã mơ tả trong nghiên cứu này để lấy làm tham khảo cho các mục đích nghiên cứu tương tự khác để cĩ thể nâng cao hiệu quả phân loại cũng như rút ngắn thời gian thử nghiệm cho mục đích của nghiên cứu đĩ.
Ngồi ra, khi phân tích và sử dụng chỉ riêng tín hiệu HRV cho thấy nếu chỉ sử dụng một loại tín hiệu HRV là đã cĩ thể đạt được độ chính xác đến 74% với khối lượng tính tốn rất bé là KNN 5 neighbors hay thậm chí là đến 88.89% khi sử dụng mơ hình SVM (chỉ phức tạp hơn KNN một chút). Mà theo như đã trình bày ở mục 3.5.1.2 thì cơng nghệ hiện nay (năm 2020) đã cĩ nhiều thiết bị di động cho phép thu được tín hiệu nhịp mạch của cá nhân mơi người mọi lúc mọi nơi và từ tín hiệu nhịp mạch này ta cĩ thế tính ra được tín hiệu HRV với độ chính xác cao và đáng tin cậy. Như vậy việc kết hợp tính đơn giản của phương pháp phân loại cảm xúc bằng HRV kết hợp với tính thuận tiện của các thiết bị theo dõi sức khỏe cá nhân di động nếu được phát triển thành phần mềm độc lập để cĩ thể nhúng vào các thiết bị di động đĩ thì việc theo dõi cảm xúc tức thời và di động là điều hồn tồn khả thi. Xa hơn nữa, nếu trong tương lai, cơng nghệ phát triển đủ tiên tiến để việc thu nhận tín hiệu EEG trên các thiết bị di động cũng đơn giản và đáng tin cậy như HRV tại thời điểm nghiên cứu này được thực hiện thì việc tối ưu hĩa nghiên cứu này để kết hợp cả EEG và HRV vào phân loại trạng thái cảm xúc theo thời gian thực thì độ chính xác se cịn cao hơn nữa và kết quả của nĩ se cĩ ý nghĩa và đáng tin cậy hơn nữa. Ngồi ra, theo bảng 5.1 thì đây là hướng nghiên cứu mới và nên được thực hiện bới hầu hết các nghiên cứu hiện nay là offline, hoặc online nhưng độ chính xác là khơng cao.
Một hướng phát triển tiềm năng thứ ba cho nghiên cứu này là thay vì nhận biết trạng thái cảm xúc thì mục tiêu se là “Dự đốn trạng thái cảm xúc trước khi đối tượng thực sự cảm thấy nĩ”. Việc dự đốn này cĩ thể được thực hiện bằng cách sử dụng quy trình xử lý tương tự như nghiên cứu này nhưng áp dụng cho đoạn dữ liệu trước khi đối tượng rơi vào các trạng thái cảm xúc nhất định. Sau đĩ nhận biết các dấu hiệu của đối tượng tại thời điểm trước khi rơi vào trạng thái cảm xúc đĩ. Nếu thành cơng thì việc dự đốn trạng thái cảm xúc trước khi nĩ trơi dậy là hồn tồn khả thi. Với khả năng dự đốn cảm xúc này, các ứng dụng điều khiển thiết bị bằng tín hiệu sinh học se cĩ thể áp dụng để điều chỉnh độ nhạy tùy theo trạng thái cảm xúc của người sử dụng, giúp tăng cường hiệu quả và độ chính xác của việc điều khiển.
TAI LIỆU THAM KHÃO
[1] Michael A.T., Jonathan R. B., The relaxation & stress reduction workbook for teens, Oakland: New Harbinger Publications, 2018.
[2] Seo S. H., Lee J.; Busan G. G.,, "Stress and EEG," 2010. [Online]. Available:
http://cdn.intechweb.org/pdfs/10986.pdf. [Accessed 14 7 2020].
[3] Mark H., Libenson M. D., "Introduction," in PRACTICAL APPROACH TO ELECTROENCEPHALOGRAPHY, 2009, pp. 1--4.
[4] Siuly S., Yan L., et.al, "EEG Signal Analysis and Classification: techniques and applications," 2016.
[5] Chambers S. S. et al., EEG signal processing, John Wiley & Sons Ltd, 2007.
[6] Jasper H. H., "The ten-twenty electrode system of the International Federation,"
Electroencephalogram. Clinical. Neurophysiology, vol. 10, pp. 367-380, 1958. [7] Hu L., Zhang Z., EEG Signal Processing and Feature Extraction, Springer, 2019. [8] Ernst G., Heart rate variability, London: Springer, 2004.
[9] Chen Y., Zhang L., Zhang B., Changán A. Z., "Short-term HRV in young adults for momentary assessment of acute mental stress," Biomedical Signal Processing and Control,
vol. 57, p. 101746, 2020.
[10] Thắng T. T., "Bệnh viện tâm thần TP HCM," 14 08 2017. [Online]. Available: http://bvtt-
tphcm.org.vn/stress-va-suc-khoe/. [Accessed 05 2020].
[11] Thanh N. X., Cường C. B., Giáo trình sinh lí học người và động vật, Hồ Chí Minh: Đại học Sư phạm, 2016.
[12] Baevsky R.M. and Berseneva A.P., "Use of Kardivar System for Determination of the Stress Level and Estimation of the Body Adaptability," Baevsky, RM and Berseneva, AP,
2008.
[13] Shaffer F., Ginsberg J. P., "An overview of heart rate variability metrics and norms,"
Frontiers in public health, vol. 5, p. 258, 2017.
[14] Davis M., Eshelman E. R., McKay M., The relaxation and stress reduction workbook, New Harbinger Publications, 2008.
[15] Giang N., "Liệu pháp thư giãn," 13 08 2017. [Online]. Available: http://bvtt-
tphcm.org.vn/lieu-phap-thu-gian/. [Accessed 05 2020].
[16] Zupan J., "Introduction to Artificial Neural Network (ANN) Methods: What They Are and How to Use Them," Acta Chimica Slovenica, vol. 41, 1994.
[17] R. J., "Three dimesions of emotion," J Pers Soc Psychol, vol. 9, no. 39, pp. 1161--1178, 1980. [18] U. Ander, "Affective Image Set Builder," 2018. [Online]. Available: http://rstudio-pubs-
static.s3.amazonaws.com/292892_6ade8ffdbd8344209a6b14de2a045ab0.html#introduction. [Accessed 01 03 2020].
[19] Marchewka A., Żurawsk Ł., Jednorĩg K., Grabowska A., "The Nencki Affective Picture System (NAPS): Introduction to a novel, standardized, wide-range, high-quality, realistic picture database," Behavior research methods, vol. 46, no. 2, pp. 596--610, 2014.
[20] Karthikeyan P., Murugappan M., Yaacob S., "A review on stress inducement stimuli for assessing human stress using physiological signals," in 2011 IEEE 7th International Colloquium on Signal Processing and its Applications, IEEE, 2011, pp. 420--425.
[21] Karthikeyan P., Murugappan M., Yaacob S., "A study on mental arithmetic task based human stress level classification using discrete wavelet transform," in 2012 IEEE Conference on Sustainable Utilization and Development in Engineering and Technology (STUDENT), IEEE, 2012, pp. 77--81.
[22] LangiS, "IQ and Aptitude Test Practice," Google Play, 2020. [Online]. Available: https://play.google.com/store/apps/details?id=org.aztest.iqtest&hl=vi. [Accessed 06 2020]. [23] Busch V., Magerl W., Kern U., Haas J., Hajak G., Eichhammer P., "The effect of deep and
slow breathing on pain perception, autonomic activity, and mood processing—an experimental study," Pain Medicine, vol. 13, no. 2, pp. 215--228, 2012.
[24] Van D. I., Verstappen K., Aubert A. E. , W. D., Vansteenwegen D. , Vlemincx E., "Inhalation/exhalation ratio modulates the effect of slow breathing on heart rate variability and relaxation," Applied psychophysiology and biofeedback, vol. 39, no. 3-4, pp. 171--180, 2014.
[25] Antony M. M., Bieling P. J., Cox B. J., Enns M. W., Swinson R. P., "Psychometric properties of the 42-item and 21-item versions of the Depression Anxiety Stress Scales in clinical groups and a community sample," Psychological assessment, vol. 10, no. 2, p. 176, 1998.
[26] Viện sức khỏe tâm thần quốc gia Việt Nam, "Bản khảo sát Trầm Cảm Lo Âu Căng Thẳng," [Online]. Available: http://nimh.gov.vn/vi/chuyen-de-tam-than/trac-nghiem-tam-ly/88-cac-
trc-nghim/761-thang-anh-gia-lo-au-trm-cm-stress-dass.html. [Accessed 2019]. [27] Lovibond S. H., Lovibond P. F., Manual for the depression anxiety stress scales,
Psychology Foundation of Australia, 1996.
[28] Sazgar M., Young M.G., "Awake EEG," in Absolute epilepsy and EEG rotation review,