5. Bố cục của luận án
2.6.2.3. đo đánh giá và kết quả
a. Độ đo đánh giá
Trong các thử nghiệm của nghiên cứu này, NCS sử dụng ba độ đo đánh giá bao gồm độ chính xác (precision), độ nhạy (recall) và điểm F1 (F1-score) đã được trình bày trong mục 1.4 ở chương 1.
b. Phương pháp kiểm chứng
NCS sử dụng phương pháp kiểm chứng chéo 10 lần (10-fold cross validation). Đối với phương pháp này, tập dữ liệu được chia thành 10 phần bằng nhau; 9 phần được lấy ra để huấn luyện và 1 phần được sử dụng để kiểm chứng. Quá trình này lặp lại cho đến khi cả 10 phần được kiểm chứng và kết quả được tính trung bình.
c. Kết quả trên từng cảm biến
Đối với trường hợp sử dụng từng cảm biến để phát hiện ngã, NCS sử dụng các đặc trưng riêng biệt được trích xuất từ mỗi cảm biến để huấn luyện mơ hình SVM. Đáng chú ý, dữ liệu cho huấn luyện và thử nghiệm đến từ cùng một cảm biến. Trong nghiên cứu này, SVM là một trình phân loại nhị phân cho sự phân biệt ngã và khơng phải ngã. Các kết quả trên từng cảm biến được hiển thị trong bảng 2.3.
Bảng 2.3. Kết quả đánh giá từ cảm biến đơn (%)
Ngã (Fall) Khơng phải ngã (Non-fall) Cảm biến
Độ chính xác Độ nhạy F1- Độ chính xác Độ nhạy F1- (precision) (recall) score (precision) (recall) score
Gia tốc kế 86,23 87,46 86,84 74,16 75,23 74,69
Con quay 56,78 58,12 57,44 55,73 54,53 55,12
hồi chuyển
Từ kế 39,42 49,26 43,79 32,91 43,56 37,49
Như trong bảng 2.3, gia tốc cĩ kết quả tốt nhất với F1-score là 86,84% cho phát hiện ngã và 74,69% cho phát hiện khơng phải ngã. Tiếp theo là con quay hồi chuyển với F1-score là 57,44% cho phát hiện ngã và 55,12% cho phát hiện khơng phải ngã. Độ chính xác thấp nhất được cho bởi từ kế, kết quả F1-score là 43,79% cho phát hiện ngã và 37,49% cho phát hiện khơng phải ngã.
Cĩ thể thấy rằng, ngã được phát hiện cao hơn đáng kể so với khơng phải ngã. Kết quả này là phù hợp vì các vận động chưa biết cĩ chứa nhiễu đáng kể đã được đưa vào các nhĩm khơng phải ngã. Như vậy, trong 3 cảm biến sử dụng, kết quả thử nghiệm của NCS cĩ thể đạt được hiệu suất phát hiện khá tốt với một cảm biến gia tốc, tuy nhiên khi kết hợp gia tốc kế với các cảm biến khác vẫn cĩ khả năng cải thiện độ chính xác cho phát hiện ngã.
d. Kết quả khi kết hợp nhiều cảm biến
Từ kết quả trên từng cảm biến (bảng 2.3) cho thấy gia tốc kế đạt được hiệu suất phát hiện ngã cao nhất, sau đĩ là con quay hồi chuyển và cuối cùng là từ kế, đây là cơ sở quan trọng để NCS ước tính các giá trị α, β trong cơng thức 2.15. Để lựa chọn được α, β tối ưu, NCS tiến hành xác thực chéo 4 lần với bộ phân loại SVM trên tập con tập dữ liệu của NCS, NCS thay đổi giá trị của α, β để tính 1-α-β; kết quả là 1-α-β = 0.1 cho ra độ chính xác cao nhất. Một số giá trị của α, β trong khi thử nghiệm được liệt kê trong bảng 2.4.
Bảng 2.4. Kết quả một vài giá trị của alpha và beta (%)
α β Độ chính xác Độ nhạy Điểm F1
(precision) (recall) (F1-score)
0.9 0 86,12 88,27 87,18 0.8 0.1 90,92 93,12 92,00 0.7 0.2 94,00 94,37 94,18 0.6 0.3 92,89 93,14 93,01 0.5 0.4 90,41 87,73 89,04 0.4 0.5 81,88 80,23 81,04 0.3 0.6 73,69 76,47 75,05 0.2 0.7 68,61 69,20 68,90 0.1 0.8 66,77 61,36 63,95 0 0.9 59,32 61,03 60,16
Trong bảng 2.4, kết quả tốt nhất đạt được với các giá trị α = 0,7 và β = 0,2. Điều này cho thấy cảm biến gia tốc cĩ đĩng gĩp quan trọng nhất vào hiệu suất của hệ thống phát hiện ngã. Với F1-score cao nhất đạt được là 94,18% cho thấy rằng phương pháp kết hợp đặc trưng của NCS cải thiện đáng kể độ chính xác phát hiện
ngã (từ 86,84% bằng việc sử dụng một gia tốc đến 94,18% bằng việc sử dụng cảm biến kết hợp). Kết quả chi tiết cho α = 0,7 và β = 0,2 được thể hiện trong bảng 2.5.
Bảng 2.5. Chi tiết kết quả cho kết hợp đặc trưng (%)
SVM RF
Thời Thời
Vận động Độ chính xác Độ nhạy F1- gian Độ chính xác Độ nhạy F1- gian
tính tính
(precision) (recall) score (precision) (recall) score
tốn tốn
(giây) (giây)
Ngã 94,69 92,93 93,80 0,031 94,00 94,37 94,18 0,055
Khơng phải 82,24 84,18 83,20 0,250 87,76 89,14 88,44 0,310
ngã
Từ bảng 2.5 cĩ thể thấy, phương pháp kết hợp ở mức đặc trưng của NCS để phát hiện ngã cĩ thời gian tính tốn khá nhanh và đạt được F1-score lên đến 93,80% cho mơ hình SVM và 94,18% cho mơ hình RF. Điều đáng lưu ý là tập dữ liệu thu thập của NCS cĩ chứa nhiễu đáng kể bởi các vận động khơng xác định. Những kết quả này chứng tỏ mơ hình tuy đơn giản nhưng cĩ hiệu quả trong phát hiện ngã theo thời gian thực. Trong tương lai, để cải thiện hiệu suất phát hiện ngã với mơ hình kết hợp đề xuất, NCS sẽ tiến hành các thực nghiệm để ước tính các hệ số α và β bằng học máy, tuy nhiên từ những kết quả đạt được của nghiên cứu cũng đã cho thấy nhiều tín hiệu khả quan trong việc hiện thực hĩa bài tốn phát hiện ngã theo thời gian thực ở Việt Nam.