Phát hiện người ngã sử dụng đặc trưng kết hợp từ nhiều nguồn cảm biến

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM ANH TUẤN PHÁT HIỆN NGƯỜI NGÃ SỬ DỤNG ĐẶC TRƯNG KẾT HỢP TỪ NHIỀU NGUỒN CẢM BIẾN LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2019 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM ANH TUẤN PHÁT HIỆN NGƯỜI NGÃ SỬ DỤNG ĐẶC TRƯNG KẾT HỢP TỪ NHIỀU NGUỒN CẢM BIẾN Chuyên ngành: Hệ thống Thông tin Mã số: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS PHẠM VĂN CƯỜNG HÀ NỘI - 2019 i LỜI CAM ĐOAN Tôi xin cam đoan: Những nội dung luận văn thực Mọi tham khảo dùng luận văn trích dẫn rõ ràng trung thực tên tác giả, tên cơng trình, thời gian địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả luận văn Phạm Anh Tuấn ii LỜI CẢM ƠN Em xin chân thành gửi lời cảm ơn sâu sắc đến thầy: PGS.TS Phạm Văn Cường Giảng viên khoa Công nghệ Thông tin - Học viện Cơng nghệ Bưu Viễn thơng Thầy định hướng nghiên cứu, bảo tận tình, đơn đốc đầy trách nhiệm, cho em ý kiến đóng góp giá trị suốt trình làm nghiên cứu khoa học, làm luận văn, đồng thời tạo điều kiện thuận lợi để em hoàn thành luận văn Em xin chân thành cảm ơn tồn thể thầy Khoa Đào tạo Sau Đại học; Khoa Công nghệ Thông tin - Học viện Cơng nghệ Bưu Viễn thơng truyền đạt kiến thức bổ ích lý thú, giúp ích cho em đường học tập nghiên cứu Cuối cùng, tơi xin cảm ơn tất người bạn đóng góp ý kiến, động viên, giúp đỡ tơi hồn thành luận văn Hà Nội, ngày 23 tháng 01 năm 2019 Tác giả luận văn Phạm Anh Tuấn iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC .iii DANH MỤC CÁC BẢNG v DANH MỤC HÌNH VẼ vi DANH MỤC CÁC TỪ VIẾT TẮT vii MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu toán 1.2 Các nghiên cứu trước 1.3 Phạm vi nghiên cứu 14 1.4 Kết luận chương 15 CHƯƠNG 2: PHÁT HIỆN NGÃ SỬ DỤNG NHIỀU CẢM BIẾN 16 2.1 Các cảm biến gia tốc (accelerometer) cảm biến quay hồi chuyển (gyroscope) 16 2.1.1 Cảm biến gia tốc (accelerometer) 16 2.1.2 Cảm biến quay hồi chuyển (gyrosope) 20 2.2 Phân tích xử lý liệu cảm biến 22 2.3 Trích xuất kết hợp đặc trưng 25 2.4 Thuật toán nhận dạng 29 2.5 Kết luận chương 30 CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 32 3.1 Tập liệu 32 iv 3.2 Phân tích đánh giá kết 33 3.2.1 Độ đo đánh giá 33 3.2.2 Kết cảm biến đơn 34 3.2.3 Kết cho kết hợp đặc trưng cảm biến 35 3.3 Kết luận chương 36 KẾT LUẬN 38 DANH MỤC TÀI LIỆU THAM KHẢO 39 v DANH MỤC CÁC BẢNG Bảng 1: Năm liệu ngã [9] 10 Bảng 2: So sánh vài liệu phát ngã khác 13 Bảng 1: Các hoạt động ngã ngã 33 Bảng 2: Kết đánh giá từ cảm biến đơn 34 Bảng 3: Kết thu thay đổi giá trị α β 35 Bảng 4: Chi tiết kết cho kết hợp đặc trưng cảm biến 36 vi DANH MỤC HÌNH VẼ Hình 1: Hình minh họa mơi trường thiết bị cài đặt Hình 2: Hình minh họa liệu thu thập từ nhiều cảm biến Hình 3: Mơ hình đề xuất cho phát ngã [3] Hình 4: Ví dụ ngã bị che khuất ghi hai điểm quan sát 12 Hình 1: Cảm biến gia tốc tuyến tính 16 Hình 2: Gia tốc kế chiều smartphone 17 Hình 3: Nguyên lý đo gia tốc theo trục y 18 Hình 4: Minh họa giá trị x, y, z 18 Hình 5: Một số nghiên cứu liên quan sử dụng cảm biến gia tốc 19 Hình 6: Con quay hồi chuyển 20 Hình 7: Raspberry MPU 6050 [23] (trái) cổng xPico 200 IoT [24] (phải) 23 Hình 8: Tín hiệu cảm biến ngã từ từ; tín hiệu chuẩn hóa gia tốc kế 24 Hình 1: Thiết bị đeo gắn cho đối tượng tham gia thử nghiệm 33 KÝ HIỆU AAE ADL ARATG ARE AVG AVH DCT DF DT EVA IoT KNN LLSF KÝ HIỆU MI NB Nnet PCA RBF RF SMA SVM 31 Trong nội dung chương này, học viên giới thiệu hai loại cảm biến cảm biến gia tốc (accelerometer) cảm biến quay hồi chuyển (gyroscope) Tiến hành trích chọn đặc trưng hai cảm biến, đề xuất phương pháp kết hợp loại đặc trưng; đồng thời học viên đề xuât sử dụng mơ hình học máy SVM cho bước phân loại cho toán phát ngã Chương thực nghiệm để phân tích đánh giá phương pháp trình bầy chương 32 CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Tập liệu Hiện khơng có sẵn liệu thu thập dựa Internet of Things, luận văn mình, học viên thực tự thu thập tập liệu ngã cho 30 đối tượng từ 20 đến 40 tuổi tham gia thực nghiệm Mỗi đối tượng tham gia thử nghiệm yêu cầu đeo thiết bị bên hông Thiết bị đeo có kích thước nhỏ bọc vỏ màu đen để không làm ảnh hưởng nhiều tới hoạt động hàng ngày không gây tập trung đối tượng Một camera kỹ thuật số đặt góc trần phịng để ghi lại toàn hoạt động thực đối tượng tham gia Trước thực ngã hoạt động khác, để tạo tín hiệu đặc biệt cho việc đồng hóa cảm biến camera đối tượng tham gia thử nghiệm yêu cầu xoay nhanh vịng Sau đối tượng thực loại ngã bao gồm: ngã phía trước, ngã phía sau, ngã bên phải, ngã bên trái, ngã lên cầu thang, ngã xuống cầu thang, ngã bộ, ngã từ từ hoạt động giống ngã bao gồm: ngồi, ngồi sau nằm, nằm từ từ, nhảy, đá, lên cầu thang, xuống cầu thang hoạt động không xác định hoạt động khơng xác định hoạt động tùy ý mà hoạt động danh sách Ứng dụng ghi nhật ký cảm biến học viên phát triển để thu thập liệu cảm biến từ thiết bị đeo Trước thực hoạt động, đối tượng tham gia thử nghiệm cung cấp danh sách loại ngã hoạt động định nghĩa, sau chúng học viên thực ví dụ hoạt động cho đối tượng xem Mỗi hoạt động ngã hoạt động khác thực liên tục lần, mẫu cảm biến với thời gian ghi vào tệp nhật ký chứa hoạt động 33 Hình 1: Thiết bị đeo gắn cho đối tượng tham gia thử nghiệm Dữ liệu thu thập sau gán nhãn ba sinh viên Học viện Công nghệ Bưu Viễn thơng cách sử dụng cơng cụ gán nhãn ELAN [31] ELAN cung cấp định nghĩa nhãn đa cấp Các hoạt động phân loại thành hai nhóm là: ngã khơng phải ngã mô tả bảng 3.1 Bảng 1: Các hoạt động ngã ngã Mức độ cao (High - level) Mức độ thấp (Low - level) 3.2 Phân tích đánh giá kết 3.2.1 Độ đo đánh giá 34 Để đánh giá kết thực nghiệm, học viên sử dụng phép đo phổ biến bao gồm: Độ xác: Độ bao phủ: Trong đó, - True Positive (TP) tỉ lệ đo số lần thực tế ngã số lần hệ thống phát ngã ngã - True Negative (TN) tỉ lệ đo số lần thực tế ngã số lần hệ thống phát không ngã - False Positive (FP) tỉ lệ đo số lần thực tế ngã số lần hệ thống phát ngã - False Negative (FN) tỉ lệ đo số lần thực tế ngã số lần hệ thống phát ngã 3.2.2 Kết cảm biến đơn Đối với cảm biến đơn, học viên sử dụng đặc trưng riêng biệt trích xuất từ cảm biến riêng lẻ để đào tạo mơ hình Máy hỗ trợ Vector (SVM) Đáng ý, liệu cho đào tạo thử nghiệm đến từ cảm biến Trong nghiên cứu này, SVM trình phân loại nhị phân cho phân biệt ngã ngã Các kết cảm biến đơn hiển thị bảng 3.2 Bảng 2: Kết đánh giá từ cảm biến đơn Cảm biến Gia tốc kế Con quay hồi chuy 35 Như bảng 3.2, gia tốc có kết tốt với độ xác (precision) độ bao phủ (recall) 86% cho phát ngã khoảng 74% cho phân loại ngã Tiếp theo quay hồi chuyển với khoảng 55% cho ngã ngã Mặt khác, ngã phát cao đáng kể so với ngã Kết phù hợp hoạt động chưa biết (các hoạt động tùy ý) có chứa nhiễu đáng kể đưa vào nhóm khơng phải ngã Mặc dù học viên đạt hiệu suất phát tốt với gia tốc đơn kết hợp gia tốc kế với cảm biến khác cải thiện độ xác cho nhiệm vụ phát ngã 3.2.3 Kết cho kết hợp đặc trưng cảm biến Trước tiên, học viên ước tính α, β công thức (16) xác thực chéo lần với phân loại SVM tập tập liệu tập liệu thu thập Sau học viên thay đổi giá trị α, β cho độ xác cao Một số giá trị α, β thử nghiệm liệt kê bảng 3.3 Bảng 3: Kết thu thay đổi giá trị α β Α 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 36 Kết tốt đạt (trong bảng 3.3) với giá trị α = 0.7 β = 0.3 Điều có nghĩa gia tốc kế quan trọng đóng góp vào hiệu suất hệ thống phát ngã Với F-score cao, trung bình xác 93%, phương pháp kết hợp đặc trưng học viên cải thiện đáng kể độ xác phát ngã từ 86% việc sử dụng gia tốc tăng lên 93% việc sử dụng cảm biến gia tốc kết hợp với cảm biến quay hồi chuyển Kết chi tiết cho α = 0.7 β = 0.3 thể bảng 3.4 Bảng 4: Chi tiết kết cho kết hợp đặc trưng cảm biến Như bảng 3.4, phương pháp kết hợp đơn giản hiệu mức độ đặc trưng đạt tới độ xác (precision) độ bao phủ (recall) cao 93% từ mơ hình máy véc tơ hỗ trợ SVM Điều đáng lưu ý tập liệu học viên thu thập chứa nhiễu đáng kể hoạt động không xác định Các kết khả quan cho việc thực hóa tốn phát ngã thời gian thực 3.3 Kết luận chương Trong chương này, học viên giới thiệu liệu phát ngã thu thập từ 30 đối tượng tham gia thử nghiệm với độ tuổi từ 20 đến 40, đối tượng tham gia thực hoạt động ngã, hoạt động giống ngã loại hoạt động khác cách đeo bên hông thiết bị nhận dạng hành động có gắn cảm biến gia tốc (accelerometer), cảm biến quay hồi chuyển (gyroscope) số thiết bị khác, thiết bị gắn cổng iPico 200 IoT để giao tiếp cảm biến đám mây (clouds) Dữ liệu thu thập từ thiết bị gán nhãn công cụ gán 37 nhãn đa cấp ELAN, sau phân loại thành hai nhóm là: ngã khơng phải ngã Số liệu cụ thể thu từ việc kết hợp đặc trưng từ hai cảm biến là: cảm biến gia tốc cảm biến quay hồi chuyển cho thấy kết cao so với việc sử dụng đặc trưng từ nguồn cảm biến việc phát hiên ngã hoạt động khác khơng phải ngã 38 KẾT LUẬN Ngã dẫn tới chấn thương nghiêm trọng, chí tử vong Từ trước tới có nhiều nghiên cứu để tìm hệ thống tự động phát ngã để giúp cho việc cấp cứu kịp thời để giảm thiểu rủi ro cho người ngã, đặc biệt người cao tuổi Luận văn Thạc sỹ này, học viên tập trung vào nghiên cứu khảo sát toán phát người ngã, ứng dụng thuật toán học máy để phân tích liệu từ nhiều nguồn cảm biến nhằm phân biệt nhiều tư ngã khác Trong luận văn mình, học viên nghiên cứu lựa chọn cảm biến kết hợp bao gồm cảm biến gia tốc cảm biến quay hồi chuyển Tiến hành trích chọn đặc trưng cảm biến kết hợp, đề xuất phương pháp kết hợp loại đặc trưng, nghiên cứu lựa chọn phương pháp học máy phù hợp Sau học viên tiến hành thực nghiệm với hệ thống phát ngã tập hợp loại ngã hoạt động giống ngã bao gồm hoạt động không rõ Ngồi ra, học viên cịn tiến hành khảo sát hiệu suất phát ngã hai trường hợp: cảm biến đơn lẻ kết hợp nhiều cảm biến cấp độ đặc trưng Các thực nghiệm thực để chứng minh tính hiệu phương pháp cảm biến kết hợp đề xuất với độ xác độ bao phủ 92% cho mơ hình mơ hình máy vector hỗ trợ Hơn nữa, nghiên cứu khai thác ưu điểm tàng Internet vạn vật hướng tới việc phát ngã thời gian thực cách hiệu Các nghiên cứu tương lai thực với thời gian thực đánh giá mức tiêu thụ lượng tính phức tạp tính tốn nút mạng cảm biến có qui mơ lớn 39 DANH MỤC TÀI LIỆU THAM KHẢO [1] Pham, C., Tu, M.,P 2013; Real-Time Fall Detection and Activity Recognition Using Low-Cost Wearable Sensors In Proc of the 13th International Conference on Computational Science & Its Applications ICCSA (1) 2013 (Ho Chi Minh city, 24-27 June 2013) 673-682 [2] T H Tran, T L Le, D T Pham, V N Hoang, V M Khong, Q T Tran, T S Nguyen, C Pham, “A Multimodal Multiview Dataset for Human Fall Analysis and Preliminary Investigation on Modality”, in Proc of the 24 th IEEE International Conference on Pattern Recognition(ICPR) 2018, Bejing, China, 2018 [3] M Kepski, B Kwolek, “Event-Driven System for Fall Detection Using Body-worn Accelerometer and Depth Sensor”, IET Computer Vision 12(1), 2018, pp 48-58 [4] Weiguo Feng, Rui Liu, and Ming Zhu Fall detection for elderly person care in a vision-based home surveillance environment using a monocular camera Signal, Image and Video Processing, 8:1129–1138, 2014 [5] Yixiao Yun and Irene Yu-Hua Gu Human fall detection via shape analysis on riemannian manifolds with applications to elderly care In Int Conf on Image Processing (ICIP), pages 3280–3284, 2015 [6] Yixiao Yun and Irene Yu-Hua Gu Human fall detection in videos via boosting and fusing statistical features of appearance, shape and motion dynamics on riemannian manifolds with applications to assisted living Computer Vision and Image Understanding, 148:111–122, 2016 [7] DuTran, andManoharPaluri LubomirBourdev, Learning Rob Fergus, spatiotemporal Lorenzo features Torresani, with 3d convolutionalnetworks InInt Conf on Computer Vision (ICCV), pages 4489– 4497,2015 40 [8] Thanh-Hai Tran and Van-Toi Nguyen How good is kernel descriptoron depth motion map for action recognition In Int Conf on ComputerVision Systems, pages 137–146 Springer, 2015 [9] Zhong Zhang, Christopher Conly, and Vassilis Athitsos A survey on vision-based fall detection In Int Conf on Pervasive TechnologiesRelated to Assistive Environments, page 46 ACM, 2015 [10] I Charfi, J Miteran, J Dubois, M Atri, and Tourki Definition and performance evaluation of a robust svm based fall detection solution In Signal Image Technology and Internet Based Systems (SITIS), 2012 Eighth International Conference on, pages 218–224 IEEE, 2012 [11] E Auvinet, C Rougier, J Meunier, A St-Arnaud, and J Rousseau Multiple cameras fall dataset DIRO-Universit´ de Montr´eal, Tech Rep, 1350, 2010 [12] X Ma, H Wang, B Xue, M Zhou, B Ji, and Y Li Depth-based human fall detection via shape features and improved extreme learning machine IEEE journal of biomedical and health informatics, 18(6):1915– 922, 2014 [13] Z Zhang, C Conly, and V Athitsos Evaluating depth-based computer vision methods for fall detection under occlusions In Advances in Visual Computing, pages 196–207 Springer, 2014 [14] Imen Charfi, Johel Miteran, Julien Dubois, Mohamed Atri, and Rached Tourki Definition and performance evaluation of a robust svm based fall detection solution In Signal Image Technology and Internet Based Systems (SITIS), 2012 Eighth International Conference on, pages 218–IEEE, 2012 [15] Korbinian Frank, Maria Josefa Vera Nadales, Patrick Robertson, and Tom Pfeifer Bayesian recognition of motion related activities with in-ertial sensors In Proceedings of the 12th ACM international conference adjunct papers on Ubiquitous computing-Adjunct, pages 445–446 ACM, 2010 41 [16] Rami Alazrai, Mohammad Momani, and Mohammad I Daoud Fall detection for elderly from partially observed depth-map video sequences based on view-invariant human activity representation Applied Sciences, 7(4):316, 2017 [17] Angela Sucerquia, Jose´ David Lopez,´ and Jesus´ Francisco Vargas- Bonilla Sisfall: a fall and movement dataset Sensors, 17(1):198, 2017 [18] Brezmes, T., Gorricho, J L., and Cotrina, J., 2009.Activity recognition from accelerometer data ona mobile phone Distributed computing, artificialintelligence, bioinformatics, soft computing, andambient assisted living, pp 796-799 [19] Czabke, A., Marsch, S., & Lueth, T C (2011, 23-26 May 2011) Accelerometer based real-time activity analysis on a microcontroller [20] Bao, L., & Intille, S (2004) Activity recognition from user- annotated acceleration data Pervasive Computing, 1-17 [21] M Luštrek, B Kaluža, Fall detection and activity recognition with machine learning, Informatica 33 (2) (2009) 205-212 [22] Li, Q., Stankovic, J A., Hanson, M A., Barth, A T.,Lach, J., and Zhou, G., 2009 Accurate, fast falldetection using gyroscopes and accelerometer-derivedposture information In Wearable and ImplantableBody Sensor Networks, BSN 2009, pp 138-143 [23] Raspberry PI Sense HAT: http://mlab.vn/1918225-raspberry-pi- sense-hat.html (accessed on May 29, 2018) [24] xPico 200: https://www.lantronix.com/products/xpico-200/ (accessed on 29 May 2018) [25] Ravi N, Dandekar N, Mysore P, Littman ML (2005) Activity recognition from accelerometer data In: AAAI pp 1541-1546 [26] N D Nguyen, C Pham, M P Tu, “An Orientation Histogram based Approach for Fall Detection Using Wearable Sensors”, in Proceedings of the 14th Pacific 42 RimInternational Conference on Artificial Intelligence (PRICAI) 2016, pp 354-366 [27] C Pham, N D Nguyen M P Tu, “A Wearable Sensor based Approach to Real-Time Fall Detection and Fine-Grained Activity Recognition”, J Mobile Multimedia 9(1&2), 2013, pp 15-26 [28] C Pham, “MobiRAR: Real-Time Human Activity Recognition Using Mobile Devices”, in proc of IEEE International Conference on Knowledge Systems Engineering (KSE), 2015, pp 144-149 [29] Zhang M, Sawchuk AA (2011) A feature selection-based framework for human activity recognition using wearable multimodal sensors In: Proceedings of the 6th International Conference on Body Area Networks pp 92-98 [30] C Chang, C Lin, “LIBSVM : A Library for Support Vector Machines”, ACM Transaction on Intelligent Systems Technology (2), 2011, pp 1-39 ELAN: http://tla.mpi.nl/tools/tla-tools/elan/, accessed on 19/02/2014 [31] ... là: ngã khơng phải ngã Số liệu cụ thể thu từ việc kết hợp đặc trưng từ hai cảm biến là: cảm biến gia tốc cảm biến quay hồi chuyển cho thấy kết cao so với việc sử dụng đặc trưng từ nguồn cảm biến. .. phát ngã, tìm hiểu cách tiếp cận, cảm biến sử dụng, phương pháp học máy phương pháp thực nghiệm sử dụng tốn Trong tập trung vào toán phát ngã cách kết hợp sử dụng nhiều cảm biến (từ hai cảm biến. .. ngã sử dụng đặc trưng kết hợp từ nhiều nguồn cảm biến? ?? cho luận văn cao học với mục tiêu khảo sát toán phát người ngã, ứng dụng thuật tốn học máy để phân tích liệu từ nhiều nguồn cảm biến nhằm