a) Kết quả phân lớp dữ liệu
Kết quả của pha thứ nhất xây dựng mô hình có ý nghĩa rất quan trọng với tỷ lệ chính xác của mô hình cao thì pha thứ 2 đạt được hiệu quả cao. Dựa vào kết quả của nhóm nghiên cứu do thầy hướng dẫn thì với kết quả tỷ lệ chồng dữ liệu đạt 90% và bộ tham số RF sau đây sẽ cho kết quả tốt nhất.
P = 100; I = 100; num-slots = 1; K =10; M = 1.0; V = 0.001; S = 1 [20]. Trong đó:
- P (Bag size percent): Kích thước của mỗi túi, theo tỷ lệ phần trăm của kích thước tập huấn luyện.
41
- I (numIterations): Số lượng cây trong rừng ngẫu nhiên.
- Num-slot (numExecutionSlots): Số lượng luồng được sử dụng để xây dựng nhóm.
- K (numFeatures): Số lượng thuộc tính được chọn ngẫu nhiên
- M (minimum number of instances): Đặt số lượng cá thể tối thiểu cho mỗi lá.
- V (minimum variance for split): Đặt tỷ lệ phương sai loại số tối thiểu - S (seed): Số hạt giống ngẫu nhiên được sử dụng.
Từ tham số của thuật toán RF và tỷ lệ chống dữ liệu như trên thì luận văn đã chạy huấn luyện 11 mô hình tương ứng với 11 hành động cơ bản tại các cửa sổ W khác nhau. Sau đây là một kết quả chạy của 11 hành động tại cửa sổ W có độ dài là 128:
STT Nhãn Precision Recall F-Measure
1 CHU 0.998 0 0.999 R\CHU 1 0.002 1 2 CSI 0.955 0.001 0.99 R\CSI 0.999 0.045 0.997 3 CSO 0.987 0 0.998 R\CSO 1 0.013 0.999 4 JOG 0.993 0.001 0.995 R\JOG 0.999 0.007 0.999 5 JUM 0.997 0 0.998 R\JUM 1 0.003 1 6 SCH 0.981 0.001 0.992 R\SCH 0.999 0.019 0.999 7 STD 0.998 0 0.997 R\STD 1 0.002 1 8 STN 0.939 0.001 0.984 R\STN 0.999 0.061 0.995
42 9 STU 0.944 0.001 0.991 R\STU 0.999 0.056 0.995 10 WAL 0.991 0.001 0.99 R\WAL 0.999 0.009 0.999 11 SIT 1 0 1 R\SIT 1 0 1 Bảng 3.3: Kết quả phân lớp các hành động
Trong đó với hành động CHU và không phải CHU được ký hiệu là R\CHU và tương tự với các hành động khác.
Với các cửa sổ W khác nhau chúng ta có kết quả độ chính xác được thống kê trong bảng dưới đây:
STT Nhãn Accuracy W = 64 W = 128 W = 256 W = 512 1 CHU 99.9872 99.9881 99.9664 99.9766 2 CSI 99.3223 99.607 99.7752 99.8594 3 CSO 99.8959 99.8874 99.8584 99.8828 4 JOG 99.5982 99.8734 99.9469 99.959 5 JUM 99.8055 99.9489 99.9841 99.9766 6 SCH 99.6813 99.8245 99.8637 99.9121 7 SIT 99.9971 99.9986 100 100 8 STD 99.9103 99.951 99.977 99.9824 9 STN 99.1112 99.3999 99.5663 99.5253 10 STU 99.0387 99.4916 99.6938 99.5371 11 WAL 99.6295 99.7993 99.9133 99.9355
Bảng 3.4: Tổng hợp Accuracy các hành động theo độ dài cửa sổ W b) Kết quả mô hình
Kết quả nhận dạng hành động với bộ dữ liệu bất thường và bình thường tại các cửa sổ khác nhau là khác nhau.
43
Trong nghiên cứu, chúng tôi đã thử nghiệm và thống kê tỷ lệ đoán sai hành vi bình thường của mô hình với bộ dữ liệu bình thường, và tỷ lệ đoán đúng hành vi bất thường với bộ dữ liệu ngã (được coi là bất thường) cụ thể dưới đây:
Với bộ dữ liệu bất thường
Bộ dữ liệu bất thường được lấy từ hành động ngã trong bộ dữ liệu mẫu, tập hợp các hành động ngã được coi là hành vi bất thường.
Với bộ dữ liệu bất thường mô hình cho kết quả độ chính xác của mô hình tương ứng với bộ cửa sổ W, W’ khác nhau là khác nhau.
Tỷ lệ (Ɛ) W=512 W' = 256 W=512 W' = 128 W=512 W' = 64 W=256 W' =128 W=256 W' =64 W=128 W' =64 0.1 0.7680 0.7763 0.7815 0.7938 0.7908 0.8779 0.2 0.7695 0.7812 0.7898 0.8047 0.8098 0.8872 0.3 0.7718 0.7872 0.7988 0.8186 0.8243 0.8962 0.4 0.7774 0.7980 0.8101 0.8305 0.8440 0.9050 0.5 0.7920 0.8063 0.8176 0.8577 0.8625 0.9267 0.6 0.7999 0.8138 0.8243 0.8768 0.8834 0.9372 0.7 0.8048 0.8318 0.8378 0.8934 0.9125 0.9484 0.8 0.8149 0.8607 0.8645 0.9104 0.9365 0.9587 0.9 0.8296 0.9020 0.9294 0.9308 0.9618 0.9696 1.0 0.9951 0.9962 0.9932 0.9985 0.9970 0.9982
Bảng 3.5: Kết quả kiểm tra mô hình chạy với bộ dữ liệu bất thường
Nhìn vào bảng kết quả trên chúng ta có thể thấy được độ dài của cửa sổ W và W’ ảnh hưởng rất lớn tới kết quả nhận dạng hành vi bất thường.
Với bộ dữ liệu bình thường
Tỷ lệ (Ɛ) W=512 W' = 256 W=512 W' = 128 W=512 W' = 64 W=256 W' =128 W=256 W' =64 W=128 W' =64 0.1 0.0388 0.0378 0.0406 0.0623 0.0640 0.1095 0.2 0.0394 0.0383 0.0430 0.0643 0.0680 0.1137
44 Tỷ lệ (Ɛ) W=512 W' = 256 W=512 W' = 128 W=512 W' = 64 W=256 W' =128 W=256 W' =64 W=128 W' =64 0.3 0.0401 0.0390 0.0466 0.0668 0.0734 0.1183 0.4 0.0414 0.0412 0.0527 0.0695 0.0827 0.1242 0.5 0.0452 0.0437 0.0605 0.0775 0.0920 0.1391 0.6 0.0478 0.0477 0.0719 0.0826 0.1033 0.1499 0.7 0.0522 0.0569 0.0892 0.0895 0.1265 0.1654 0.8 0.0593 0.0728 0.1174 0.0987 0.1571 0.1891 0.9 0.0707 0.0983 0.1990 0.1165 0.2153 0.2271 1.0 0.9978 0.9922 0.9800 0.9941 0.9842 0.9901
Bảng 3.6: Kết quả kiểm tra mô hình chạy với bộ dữ liệu bình thường
Dữ liệu ở trên là tỷ lệ đoán nhầm sang hành động bình thường thành bất thường.
Từ kết quả trên với hai bộ dữ liệu ta có thể thấy bộ tham số tối ưu là: Cửa sổ lớn W =256
Cửa sổ nhỏ W’ = 128 Ngưỡng Ɛ = 0.7
Chúng ta có thể đánh giá mô hình bằng cách giả sử không sử dụng kỹ thuật so khớp kết quả cửa sổ W và W’ thì ta có kết quả như sau:
STT Đội dài W Số mẫu đoán sai Tổng số mẫu Tỷ lệ % đoán nhầm 1 512 877 2,664 32.92% 2 256 2,218 8,642 25.67% 3 128 3,065 21,324 14.37%
Bảng 3.7: Tỷ lệ đoán nhầm khi sử dụng bộ phân lớp theo cửa sổ W
Với cửa sổ W=256 tỷ lệ đoán sai của mẫu dữ liệu bất thường đạt 25.67%, nếu sử dụng với cửa sổ nhỏ W’ thì tỷ lệ đoán sai 14.37%.
45
Từ kết quả cho thấy sử dụng phương pháp so khớp chia cửa sổ W theo mô hình đạt hiệu quả cao hơn so với phương pháp nhận dạng thông thường và khẳng định mô hình đưa ra của hướng nghiên cứu là hiệu quả.
Tuy nhiên để cải thiện thêm hiệu quả của phương pháp thì hướng nghiên cứu tiếp theo cần tập trung vào cách để tăng độ chính xác của nhận dạng theo cửa sổ lớn W, khi đó áp dụng mô hình so khớp 2 cửa sổ theo đề xuất sẽ đạt hiệu quả tốt hơn.
Kiểm tra mô hình với dữ liệu hành động phức của 01 người. Để mô phỏng hành động bình thường của con người luận văn trong nghiên cứu đã ghép các dữ liệu bình thường theo cấu trúc cho trước ví dụ ngồi nghỉ, đưới dậy, đi bộ, ngồi nghỉ… để tạo kịch bản hành động của một người bình thường
Hình 3.5. Dữ liệu theo trục thời gian của hành động phức
Dữ liệu cắt theo cửa sổ W = 256 ta được 6057 mẫu và tỷ lệ nhận dạng hành vi bất thường là 185 mẫu đạt tỷ lệ 3.1%.
3.3. Kết chương
Trong Chương 3 luận văn đã nghiên cứu và đưa ra mô hình phát hiện hành động bất thường dựa trên các kỹ thuật phân tích, phân nhóm dữ liệu, kết
46
hợp với kỹ thuật so khớp nhận dạng hành động ở nhiều cửa số dữ liệu khác nhau.
Kết quả của thực nghiệp cho thấy sự kết hợp giữa các phương pháp phân loại, phân lớp dữ liệu thông thường với kỹ thuật tính toán khác như so khớp dữ liệu, chia tách dữ liệu khác nhau đã có hiệu qua cao hơn.
Kết quả của chương đã đưa ra được bộ tham số tối ưu F (W=256, W’=128, Ɛ = 0.7) cho mô hình của hướng nghiên cứu.
Tuy nhiên kết quả của hướng nghiên cứu chưa thực sự tốt do nhận dạng hành động của cửa sổ lớn W còn hạn chế.
47
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Phát hiện hành vi bất thường là một lĩnh vực nghiên cứu quan trọng trong lĩnh vực chăm sóc sức khỏe và theo dõi y tế cho đặc biệt là cho đối tượng người già, người có tiền sử về bệnh lý như đột quỵ, cao huyết áp. Nếu có thể phát hiện nhanh và chính xác các hành vi bất thường sẽ giúp giảm thiểu tối đa hậu quả gây ra, nâng cao sức khoẻ của con người. Tuy nhiên hiện nay, các nghiên cứu về phát hiện hành vi ở ngoài nước vẫn còn nhiều điểm hạn chế như giá thành cao, xâm phạm tính riêng tư. Chính vì vậy, hướng nghiên cứu của luận văn này đã tiếp cận theo hướng sử dụng các cảm biến trên điện thoại có giá thành hợp lý kết hợp các phương pháp học máy phân tích hiệu quả các tín hiệu cảm biến để phát hiện được các hành vi bất thường của con người.
Luận văn đã khảo sát được các cách tiếp cận khác nhau cho bài toán phát hiện hành vi bất thường, đề xuất được phương pháp phát hiện hành vi bất thường giống như ngã. Các thực nghiệm đã được thực hiện để chứng minh tính đúng đắn của phương pháp đề xuất với kết quả chính xác trên 89%.
Thực nghiệm đã được tiến hành với tập dữ liệu gồm 11 hoạt động bình thường và 01 tập hành động bất thường. Kết quả đạt được là tương đối tốt với một tập dữ liệu phức tạp cho thấy tính đúng đắn của phương pháp đề xuất.
1. Những kết quả chính của luận văn:
Luận văn đã tiến hành tìm hiểu, thu thập, khảo sát tính chất của dữ liệu cảm biến, các kỹ thuật phân tích dữ liệu.
Xây dụng thành công mô hình phát hiện hành vi bất thường bằng cách phân đoạn cửa sổ dữ liệu của một hành động thành các đoạn với kích thước cửa sổ đủ nhỏ. Nhận dạng hành động dựa trên sự so khớp giữ việc nhận dạng hành động của 2 loại cửa sổ từ đó đưa ra ngưỡng giá trị tối ưu cho mô hình phát hiện hành vi bất thường.
48
Dựa trên cơ sở các phương pháp đề xuất, luận văn có thể phát triển theo hướng xây dựng hoàn chỉnh các ứng dụng thực tế với chi phí phù hợp để hỗ trợ theo dõi người bệnh về vận động và người cao tuổi ở Việt Nam.
Nghiên cứu bổ sung dữ liệu các hành vi bình thường khác ngoài 11 hành động trong luận văn đã nêu để mô hình bao quát được toàn bộ hoạt động bình thường hằng ngày của con người.
49
TÀI LIỆU THAM KHẢO
[1.]K. G. Montero Quispe, W. Sousa Lima, D. Macêdo Batista, and E. Souto, “MBOSS: A symbolic representation of human activity recognition using mobile sensors,” Sensors, vol. 18, no. 12, p. 4354, 2018.
[2.]W. Z. Khan, Y. Xiang, M. Y. Aalsalem, and Q. Arshad, “Mobile Phone Sensing Systems: A Survey,” IEEE Commun. Surv. Tutor., vol. 15, no. 1, pp. 402–427, 2013, doi: 10.1109/SURV.2012.031412.00077.
[3.]M. Khan, S. I. Ahamed, M. Rahman, and R. O. Smith, “A Feature Extraction Method for Realtime Human Activity Recognition on Cell Phones,” p. 6.
[4.]O. D. Lara, A.J.P, M. A. Labrador, and J. D. Posada, , Centinela: A humanactivity recognition system based on acceleration and vital sign data.Journal on Pervasive and Mobile Computing, 2011.
[5.]Janusz Kacprzyk, Systems Research Institute, Polish Academy of Sciences, Warsaw, Poland: An Interpretable Machine Learning Model for Human Fall Detection Systems Using Hybrid Intelligent Models, 2020.
[6.]A. Nadeem, A. Mehmood, and K. Rizwan, “A dataset build using wearable inertial measurement and ECG sensors for activity recognition, fall detection and basic heart anomaly detection system,” Data Brief, vol. 27, p. 104717, 2019.
[7.]Y. Wang, S. Cang, and H. Yu, “A survey on wearable sensor modality centred human activity recognition in health care,” Expert Syst. Appl., vol. 137, pp. 167– 190, 2019.
[8.]Friedman, N., Geiger, D., Goldszmidt, M.: “Bayesian network classifiers”, 1997.
[9.]Kramer O. K-Nearest Neighbors. In: “Dimensionality Reduction with Unsupervised Nearest Neighbors”, p 13-23, 2013.
[10.] Cortes, Corinna; Vladimir Vapnik, "Support-Vector Networks" 1995.
[11.] Richard A. Berk, “Statistical Learning from a Regression Perspective”, pp.193-254, 2008.
[12.] Christian Charras, Therry Lecroq, “Handbook of Exact String Matching Algorithms” King's College Publications, 2004.
[13.] Prof. Alberto Pettorossi “Techniques for Searching, Parsing, and Matching” 2021.
[14.] Boyer, R.S., Moore, J.S. “A Fast String Searching Algorithm”, Communications of the Association for Computing Machinery, 20, 762-772, 1977.
[15.] D.-N. Lu, D.-N. Nguyen, T.-H. Nguyen, and H.-N. Nguyen, “Vehicle mode and driving activity detection based on analyzing sensor data of smartphones,” Sensors, vol. 18, no. 4, p. 1036, 2018.
50
[16.] M. Shoaib, S. Bosch, O. Incel, H. Scholten, and P. Havinga, “A Survey of Online Activity Recognition Using Mobile Phones,” Sensors, vol. 15, no. 1, pp. 2059– 2085, 2015
[17.] D. Figo, P. C. Diniz, D. R. Ferreira, and M. P. Cardoso, “Preprocessing techniques for context recognition from accelerometer data,” pp. 645–662, 2010.
[18.] B. O. Hjorth, “Technical contributions eeg analysis based on time domain properties,” pp. 306–310, 1970.
[19.] G. Vavoulas, C. Chatzaki, T. Malliotakis, M. Pediaditis, and M. Tsiknakis, “The mobiact dataset: Recognition of activities of daily living using smartphones,” in
International Conference on Information and Communication Technologies for Ageing Well and e-Health, 2016, vol. 2, pp. 143–151.
[20.] Phí Bá Chiến - Luận văn thạc sỹ “Nghiên cứu và xây dựng hệ thống phát hiện hành động ngã của người đi bộ dựa trên cảm biến của điện thoại di động”. 2021.