Các cơng trình nghiên cứu phát triển Cơng nghệ Thơng tin Truyền thông Phát hoạt động bất thường người mạng học sâu tích chập kết hợp mạng nhớ dài ngắn Nguyễn Tuấn Linh, Nguyễn Văn Thủy, Phạm Văn Cường Học viện Cơng nghệ Bưu Viễn thông Tác giả liên hệ: Phạm Văn Cường, cuongpv@ptit.edu.vn Ngày nhận bài: 17/04/2020, ngày sửa chữa: 24/05/2020 Định danh DOI: 10.32913/mic-ict-research-vn.vyyyy.nx.xyz Tóm tắt: Bài báo đề xuất mơ hình học sâu tích chập kết hợp với mạng nhớ dài ngắn (CNN-LSTM) cho toán phát vận động bất thường người sử dụng cảm biến đeo người Nhờ tận dụng đặc tính không-thời gian, kiến trúc đề xuất CNN-LSTM thiết kế để tự động học biểu diễn đặc trưng hiệu liệu cảm biến không Kết thử nghiệm tập liệu cơng bố cho thấy mơ hình đề xuất cho kết cải tiến tốt từ 2% đến 7% F1-score so với mơ hình học máy dựa trích xuất đặc trưng thủ cơng SVM, mơ hình học sâu tích chập (CNN) mơ hình mạng nhớ dài ngắn (LSTM) Từ khóa: cảm biến đeo, cảm biến gia tốc, mạng tích chập, mạng nhớ dài ngắn Title: Abstract: Keywords: Human Abnormal Activity Detection with Deep Convolutional Long-Short Term Memory Networks This work proposes Deep Convolutional Neural Long-Short Term Networks (CNN-LSTM) to address the problem of human abnormal activity detection using wearable sensors Our proposed architecture effectively utilizes spatial-temporal characteristics of sensing data for automatically leanring and representing features from heterogeneous sensing data Experimental results have demonstrated that the proposed method has improved from 2% to 7% F1-score better than several shallow and deep models including SVM, CNN and LSTM on published datasets wearable Sensor, accelerometer, CNN, LSTM I ĐẶT VẤN ĐỀ vậy, có hệ thống phát đưa cảnh báo tự động kết nối đến người trợ giúp hạn chế rủi ro giảm thiểu hậu vận động bất thường đến người Phát vận động bất thường người lĩnh vực nhận nhiều quan tâm cộng đồng nghiên cứu lĩnh vực có nhiều ứng dụng thực tế hỗ trợ cho người trí nhớ [1], theo dõi người bệnh đột quỵ [2], theo dõi chăm sóc người vận động bất thường [3]v.v Vận động bất thường xem hoạt động mà người khơng có chủ ý thường gây hậu xấu chủ thể Một người bị ngã làm việc nhà cú trượt chân đường trơn trượt ví dụ vận động bất thường Những vận động bất thường xảy gây nguy hiểm cho người (đặc biệt người cao tuổi) Trong trường hợp Hai phương pháp tiếp cận phổ biến để giải toán vận động bất thường là: sử dụng cảm biến tích hợp vào mơi trường [6] cảm biến đeo người [4, 5, 22] Trong cách tiếp cận thứ cảm biến hình ảnh camera số thiết đặt để quan sát hoạt động hàng ngày người [7] cảm biến định danh (RFID) gắn vào vật dụng nhà để phát người sử dụng vật dụng nào, từ suy diễn hoạt động hàng ngày vận động bất thường người Tập 2020, Số , Tháng suy diễn (decoder) tận dụng đặc tính thời gian liệu cảm biến trí nhớ tạm thời [1, 23] Hạn chế phương pháp sử dụng camera gây xâm lấn không gian riêng tư việc phát vận động bất thường thường bị giới hạn phạm vi vùng quan sát camera cảm biến tích hợp vào mơi trường Ngược lại, cách tiếp cận thứ hai cảm biến đeo người thường không bị giới hạn môi trường, đồng thời giảm thiểu viêc xâm lấn riêng tư Hơn nữa, với phát triển nhanh chóng thiết bị điện tử kết nối Internet vạn vật (the Internet of Things) thiết bị đeo ngày có sẵn thị trường với giá thành rẻ Chính nghiên cứu chúng tơi tiếp cận toán phát vận động bất thường theo cách tiếp cận dựa cảm biến đeo - Chúng đánh giá phương pháp đề xuất số liệu công bố rộng rãi Kết cho thấy phương pháp đề xuất hiệu so với số phương pháp truyền thống phương pháp học sâu khác chưa tận dụng hai đặc tính khơng gian thời gian liệu cảm biến Nghiên cứu khác biệt với nghiên cứu khác hai điểm Thứ phương pháp đề xuất tận dụng kết hợp đặc tính khơng-thời gian (Spatial-Temporal Features) từ liệu cảm biến để khai thác việc học biểu diễn đặc trưng hiệu Thứ hai mơ hình đề xuất chúng tơi chấp nhận đầu vào liệu cảm biến không đến từ loại cảm biến khác kết hợp lại để phát hoạt động bất thường Thời gian gần đây, lĩnh vực nghiên cứu đạt nhiều thành cơng, nhiên cịn nhiều thách thức cần phải giải để đưa hệ thống vào ứng dụng thực tế như: làm hệ thống phát vận động bất thường ngữ cảnh thực tế khác với độ xác cao để sử dụng cho ứng dụng cảnh báo Trong đó, liệu vận động bất thường thường rấtđa dạng, phức tạp có sẵn vận động bất thường vơ tình xảy thực hoạt động hàng ngày (bình thường) Điều dẫn tới khó khăn huấn luyện mơ hình học máy để đạt độ xác đủ tốt cho việc phát vận động bất thường Hơn nữa, liệu vận động bất thường thường cân (imbalanced) tần suất loại vận động bất thường khác cách tự nhiên II CÁC NGHIÊN CỨU CÓ LIÊN QUAN Phát hoạt động bất thường thu hút quan tâm cộng đồng nghiên cứu [11] Trước đây, phương pháp tiếp cận phát hoạt động bất thường chủ yếu dựa mơ hình học máy học có giám sát [12] sử dụng phổ biến Các liệu (mẫu) gán nhãn để mơ hình học mơ hình huấn luyện đánh giá liệu Do đó, trường hợp có lớp hoạt động bình thường bất thường, mơ hình học đặc tính điểm liệu phân loại chúng hoạt động bình thường hay bất thường Bất kỳ điểm liệu không phù hợp với lớp hoạt động bình thường mơ hình phân loại bất thường [9] Trong nghiên cứu này, chúng tơi đề xuất mơ hình mạng học sâu tích chập kết hợp với mạng nhớ dài ngắn có khả học từ liệu cảm biến khơng Cụ thể hơn, có hai đóng góp nghiên cứu này: Aran đồng [4] đề xuất phương pháp tự động hố quan sát mơ hình hố hoạt động ngày người cao tuổi, qua giúp phát hoạt động bất thường từ liệu thu cảm biến Trong phương pháp họ, bất thường liên quan đến vấn đề tín hiệu sức khoẻ Với mục đích này, họ tạo mơ hình khơng gian xác suất theo thời gian để tóm lược tồn hoạt động ngày Họ định nghĩa bất thường thay đổi đáng kể từ hoạt động học phát hiện, hiệu suất phát đánh giá phương pháp entropy chéo Trong nghiên cứu họ, hoạt động bất thường phát hiện, - Thứ nhất, đề xuất phương pháp học việc kết mơ hình mạng học sâu tích chập (CNN) mạng nhớ dài ngắn để giải toán phát vận động bất thường từ liệu cảm biến không bao gồm cảm biến gia tốc, cảm biến quay hồi chuyển cảm biến từ tính Trong đó, mơ hình CNN đóng vai trò encoder huấn luyện để học biểu diễn đặc trưng từ nhờ khai thác đặc tính khơng gian liệu cảm biến; cịn mạng LSTM dùng đóng vai trị Các cơng trình nghiên cứu phát triển Cơng nghệ Thơng tin Truyền thông tồn số điểm hạn chế như: Độ xác dự đốn hoạt động bất thường phương pháp học nông phụ thuộc nhiều kinh nghiệm trích chọn đặc trưng theo kinh nghiệm chuyên gia Trong đó, số phương pháp học sâu lại chưa tận dụng đầy đủ đặc tính khơng-thời gian liệu cảm biến (đặc biệt liệu cảm biến không nhất) mà nghiên cứu tập trung giải có thơng báo gửi đến người chăm sóc Ordonez đồng [14] thực phương pháp phát bất thường dựa thống kê Bayes, từ giúp phát hoạt động bất thường người Phương pháp họ có khả tự động hỗ trợ người già, người khuyết tật sống cách học dự đốn hoạt động tiêu chuẩn qua cải thiện hiệu suất hệ thống chăm sóc sức khoẻ Thống kê Bayes sử dụng để phân tích liệu thu thập được, dự đoán hoạt động dựa ba đặc trưng xác suất, bao gồm: xác suất kích hoạt cảm biến (Sensor Activation Likelihood), chuỗi cảm biến (Sensor Sequence Likelihood) kiện cảm biến (Sensor Event Duration Likelihood) III MƠ HÌNH MẠNG HỌC SÂU TÍCH CHẬP KẾT HỢP MẠNG BỘ NHỚ DÀI NGẮN (CNNLSTM) CHO PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG Kiến trúc mạng học sâu tích chập kết hợp mạng nhớ dài ngắn (CNN-LSTM) đề xuất trình bầy Hình Dữ liệu cảm biến tiền xử lý trước đưa vào mạng Kiến trúc mạng bao gồm thành phần chính: tích chập, nhớ dài ngắn lớp đầu Chi tiết mô tả Yahaya đồng [11] đề xuất thuật toán phát đặc trưng có tên máy vectơ hỗ trợ lớp (Oneclass SVM) giúp phát hoạt động bất thường từ hoạt động bình thường diễn ngày Sự bất thường kiểu nằm ngủ coi dấu hiệu Sự suy giảm nhận thức nhẹ (MCI) người cao tuổi vấn đề liên quan đến sức khoẻ khác Palaniappan đồng [15] lại đặc biệt quan tâm đến hoạt động bất thường người cách loại trừ tất hoạt động coi bình thường Các tác giả định nghĩa hoạt động bất thường hoạt động bất ngờ xảy theo cách ngẫu nhiên Phương pháp SVM đa lớp họ sử dụng làm trình phân loại để xác định hoạt động dạng bảng chuyển trạng thái Điều giúp trình phân loại tránh trạng thái đưa (không thể truy cập được) từ trạng thái Giả sử 𝑆 = 𝑆 𝑘 , 𝑘 ∈ 1, , tương ứng với loại cảm biến: gia tốc, quay hồi chuyển, từ trường Với cảm biến 𝑆 𝑘 , tạo phép đo theo thời gian, phép đo biểu thị ma trận 𝑉 cho giá trị đo với 𝑛(𝑘) chiều vectơ 𝑢 cho dấu thời gian (time stamps), 𝑑 (𝑘) kích thước cho phép đo (ví dụ: phép đo dọc theo trục 𝑥, 𝑦, 𝑧 cảm biến), 𝑛(𝑘) số phép đo Chúng chia phép đo đầu vào 𝑉 𝑢 theo thời gian (các cột cho 𝑉 ) để tạo chuỗi chu kỳ thời gian không chồng lấn với chiều rộng 𝜏, 𝑊 = (𝑉𝑡(𝑘) , 𝑢 𝑡(𝑘) ) |𝑊 | = 𝑇; 𝜏 khác chu kỳ thời gian khác Để đơn giản giả sử chu kỳ thời gian cố định Sau đó, chúng tơi áp dụng biến đổi Fourier cho phần tử trongW miền tần số chứa tần số mẫu cục tốt hơn, độc lập với cách tổ chức liệu chuỗi thời gian miền thời gian Chúng tiến hành xếp đầu thành 𝑑 (𝑘) × 𝑓 × 𝑇 tensor 𝑋 (𝑘) 𝑓 thứ nguyên miền tần số chứa cặp pha tần số cường độ 𝑓 Tập hợp thang đo kết cho cảm biến 𝑋 = 𝑋 (𝑘) đầu vào mơ hình CNN-LSTM Hùng đồng [16] đề xuất phương pháp kết hợp SVM HMM sử dụng hệ thống cảm biến thiết lập nhà (homecare sensory system) Mạng cảm biến RFID sử dụng để thu thập hoạt động ngày người cao tuổi Mơ hình Markov ẩn (HMM) sử dụng để học từ liệu thu thập, SVM sử dụng để ước tính liệu hoạt động người cao tuổi có hoạt động bất thường hay không Bouchachia đồng [17] lại đề xuất mơ hình RNN để giải vấn đề nhận biết hoạt động phát hoạt động bất thường cho người cao tuổi bị chứng trí nhớ Lọc tiền xử lý tín hiệu Mặc dù có số nghiên cứu phát hoạt động bất thường, nhiên từ nghiên cứu Loại bỏ nhiễu: Tín hiệu cảm biến thường chứa nhiều tín hiệu nhiễu, điều mơi trường xung quanh Tập 2020, Số , Tháng biến, 𝑓 kích thước miền tần số 𝑇 số lượng chu kỳ thời gian Đối với chu kỳ thời gian (𝑘) 𝑡 , ma trận 𝑋 𝑡 đưa vào kiến trúc CNN với ba lớp tích chập Đặc trưng miền tần số kích thước (𝑘) số chiều nhúng 𝑋 𝑡 Miền tần số thường chứa nhiều mẫu cục số tần số lân cận Sự tương tác phép đo cảm biến thường bao gồm tất số chiều Vì vậy, trước tiên, chúng tơi áp (𝑘) dụng lọc 2𝑑 có dạng (𝑑 (𝑘) , 𝑐𝑜𝑣1) cho 𝑋 𝑡 để học tương tác kích thước số chiều cảm biến mẫu cục miền tần số với đầu (𝑘,1) 𝑋 𝑡 Tiếp theo, áp dụng lọc 1𝑑 với dạng (1, 𝑐𝑜𝑣2) (1, 𝑐𝑜𝑣3) theo thứ bậc để tìm hiểu (𝑘,2) (𝑘,3) mối quan hệ cấp cao 𝑋 𝑡 𝑋 𝑡 Sau đó, chúng tơi tiến hành làm phẳng ma trận (𝑘,3) (𝑘,3) (𝑘,3) 𝑋 𝑡 thành vectơ 𝑥 𝑡 ghép tất 𝐾 vectơ 𝑥 𝑡 (3) thành 𝐾 dòng ma trận 𝑋 𝑡 (là đầu vào mạng tích chập hợp nhất) Kiến trúc mạng tích chập hợp tương tự mạng tích chập riêng lẻ Bộ lọc 2𝑑 sử dụng với (𝐾, 𝑐𝑜𝑣4) để học tương tác cảm biến 𝐾 với đầu (4) 𝑋 𝑡 , sau lọc 1𝑑 với (1, 𝑐𝑜𝑣5) (1, 𝑐𝑜𝑣6) (5) (6) áp dụng mức độ nâng cao 𝑋 𝑡 , 𝑋 𝑡 Đối với lớp tích chập, CNN-LSTM học với 64 lọc sử dụng ReLU làm hàm kích hoạt Ngồi ra, việc chuẩn hố theo mẻ (batch) áp dụng để lớp giảm thay đổi đồng biến nội Chúng (6) tiến hành làm phẳng đầu cuối 𝑋 𝑡 thành (6) vectơ 𝑥 𝑡 Ghép nối chiều rộng chu kỳ thời gian [𝜏] thành 𝑥 𝑡(𝑐) làm đầu vào lớp LSTM có nhiều vật thể làm kim loại thân tự cảm biến sinh nhiễu Vì vậy, tín hiệu thu cần phải thực lọc bỏ nhiễu Trong nghiên cứu này, sử dụng lọc thông thấp lọc Kalman (như minh hoạ Hình 1) Hình Bộ lọc thông thấp (Low-pass filter) lọc Kalman Đây lọc đơn giản, khơng địi hỏi q nhiều tài ngun tín tốn lại mang hiệu cao Để tránh việc trễ, chuỗi liệu đưa qua lọc hai lần, lần theo chiều thuận lần ngược lại Tiếp đến chỉnh, phân chia phép đo cảm biến áp dụng biến đổi Fourier cho khối cảm biến Đối với cảm biến, xếp đầu miền tần số thành 𝑑 (𝑘) × 𝑓 × 𝑇 tenxor 𝑋 (𝑘) , 𝑑 (𝑘) kích thước đo chiều cảm biến, 𝑓 kích thước miền tần số 𝑇 số chu kỳ thời gian Thành phần mạng nhớ dài ngắn (LSTM) Mạng thần kinh hồi qui (Recurrent Neural Networks-RNN) kiến trúc mạnh mẽ giúp tính gần học đặc trưng có ý nghĩa chuỗi Một biến thể RNN LSTM lưu trữ phụ thuộc dài hạn trạng thái (Long-term Dependencies) Trong mơ hình đề xuất sử dụng cấu trúc tế bào (cell) xếp chồng lên theo chiều chứa luồng thời gian từ đầu đến cuối (Start to End) chuỗi liệu thời gian (Time Series) Cấu trúc xếp chồng chạy tăng dần có chu kỳ thời gian mới, giúp xử lý luồng liệu nhanh Đồng thời áp dụng dropout cho kết nối lớp để chuẩn hoá áp dụng chuẩn hóa theo bó hồi qui (Recurrent Batch Normalization) để giảm thay đổi đồng biến nội Thành phần mạng tích chập (CNN) Các lớp tích chập chia làm hai phần: mạng tích chập riêng cho tensor cảm biến đầu vào 𝑋 (𝑘) mạng tích chập gộp cho đầu 𝐾 mạng tích chập riêng lẻ Do cấu trúc mạng tích chập riêng cho cảm biến khác nên chúng tơi tập trung vào mạng tích chập riêng lẻ với đầu vào 𝑋 (𝑘) Cần lưu ý 𝑋 (𝑘) 𝑑 (𝑘) × 𝑓 × 𝑇 tensor, 𝑑 (𝑘) cho biết kích thước chiều cảm Các cơng trình nghiên cứu phát triển Công nghệ Thông tin Truyền thông Hình Kiến trúc mạng học sâu tích chập kết hợp mạng nhớ dài ngắn (CNN-LSTM) bước thời gian (time steps) Đầu vào 𝑥 𝑡(𝑐) 𝑡 với 𝑡 = 1, , 𝑇 từ lớp chập trước đưa vào LSTM xếp chồng tạo đầu 𝑥 𝑡(𝑟 ) với 𝑡 = 1, , 𝑇 làm đầu vào lớp đầu cuối để tạo đặc trưng cuối cùng, ví dụ mơ hình ý (attention model) minh hoạ cách có hiệu tác vụ học quan trọng gần Mơ hình ý xem việc tính trung bình đặc trưng theo thời gian trọng số học mạng LSTM thông qua ngữ cảnh Trong nghiên cứu này, chúng tơi sử dụng đặc trưng trung bình theo thời gian để tạo đặc trưng cuối 𝑥 𝑟 = ( 𝑇𝑡=1 𝑥 𝑡(𝑟 ) )/𝑇 Sau đó, chúng tơi đưa x(r) lớp softmax để tạo loại xác xuất dự đoán Lớp đầu Đầu lớp hồi qui chuỗi vectơ 𝑥 𝑡(𝑟 ) với 𝑡 = 1, , 𝑇 Đối với tác vụ định hướng hồi quy (regression-oriented), giá trị phần tử vectơ 𝑥 𝑡(𝑟 ) nằm ±1, 𝑥 𝑡(𝑟 ) mã hoá đại lượng vật lý cuối chu kỳ thời gian 𝑡 Trong lớp đầu ra, muốn học từ điển W𝑜𝑢𝑡 (dictionary) Wout với b𝑜𝑢𝑡 bout (bias) để giải mã 𝑥 𝑡(𝑟 ) thành 𝑦ˆ 𝑡 cho 𝑦ˆ 𝑡 = W𝑜𝑢𝑡 𝑥 𝑡(𝑟 ) + b𝑜𝑢𝑡 Do đó, lớp đầu lớp kết nối đầy đủ đỉnh chu kỳ với chia sẻ tham số W𝑜𝑢𝑡 b𝑜𝑢𝑡 IV THỬ NGHIỆM Tập liệu Chúng sử dụng tập liệu, bao gồm UTD [14], MobiFall [15], PTITAct [9] CMDFALL [8] Chi tiết tập liệu sau: Đối với tác vụ phân loại, 𝑥 𝑡(𝑟 ) vectơ đặc trưng khoảng thời gian 𝑡 Trước tiên, lớp đầu cần kết hợp 𝑥 𝑡(𝑟 ) thành vectơ đặc trưng cố định để xử lý thêm Đặc trưng trung bình theo thời gian lựa chọn Các phương pháp nâng cao áp dụng - UTD [14]: tập liệu thu thập từ 12 người đeo loại cảm biến cảm biến gia tốc quay hồi chuyển với tần số lấy mẫu 200Hz Tập liệu bao gồm hoạt động bình thường Tập 2020, Số , Tháng hoạt động bất thường (ngã) Để huấn huyện mơ hình CNN-LSTM với liệu chúng tơi đóng băng (frozen) thành phần dành cho cảm biến từ tính giảm tần số mẫu (downsampling) xuống 100 Hz; - MobiFall [15]: tập liệu thu thập từ 15 người để điện thoại thông minh túi quần Dữ liệu cảm biến bao gồm cảm biến gia tốc quay hồi chuyển thu thập với tần số lấy mẫu 90Hz Tập liệu bao gồm hoạt động bình thường hoạt động bất thường tư ngã khác Để huấn huyện mơ hình CNN-LSTM với liệu chúng tơi đóng băng (frozen) thành phần dành cho cảm biến từ tính tái tạo tần số lấy mẫu (upsampling) lên 100 Hz phương pháp GAN cho liệu chuổi thời gian [18]; - PTITAct [9]: tập liệu thu thập từ 26 người gắn thiết bị internet vạn vật kết nối (IoT) thắt lưng Thiết bị tích hợp cảm biến gia tốc, quay hồi chuyển, từ kế Dữ liệu cảm biến thu thập với tần số lấy mẫu 50Hz Tập liệu bao gồm loại vận động bất thường (ngã tư khác nhau) hoạt động bình thường Trước huấn huyện mơ hình CNN-LSTM, liệu upsampling mẫu liệu lên 100 Hz phương pháp GAN cho liệu chuổi thời gian [18]; - CMDFALL [8]: tập liệu lớn thu thập từ 50 người đeo cảm biến vị trí cổ tay thắt lưng Tập liệu gồm nhãn hoạt động bình thường (như lại, nằm lên giường, ngồi xuống ghế v.v ) 11 vận động bất thường (như ngã ngửa, ngã bên trái, loạng choạng, trượt chân ) khác Do tần số lấy mẫu tập liệu 50Hz nên thực nghiệm tập này, tập liệu upsampling mẫu liệu lên 100 Hz phương pháp GAN cho liệu chuổi thời gian [18]; Đây tập liệu công bố sử dụng rộng rãi cộng đồng nghiên cứu phát người ngã vận động bất thường Các tập liệu có thử thách khơng cân (imbalanced) có nhiều vận động bất thường giống với hoạt động thường ngày (ngã giường vs ngồi nằm xuống giường) 𝑇𝑃 𝑇 𝑃 + 𝐹𝑃 𝑇𝑃 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 + 𝐹𝑁 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝐹1𝑠𝑐𝑜𝑟 𝑒 = ∗ (𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑅𝑒𝑐𝑎𝑙𝑙) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 (1) (2) (3) Trong đó, True Positive (𝑇 𝑃) tỉ lệ đo số lần mơ hình phát vận động bất thường a số lần thực tế xảy vận động bất thường a; ví dụ ngã nghiêng bên phải phát ngã nghiêng bên phải True Negative (𝑇 𝑁 ) tỉ lệ đo số lần mơ hình phát khơng phải vận động bất thường a số lần thực tế xảy khơng phải vận động bất thường a; ví dụ khơng phải ngã nghiêng bên phải phát không ngã nghiêng bên phải False Positive (𝐹𝑃) tỉ lệ đo số lần mơ hình phát sai vận động bất thường a số lần thực tế xảy khơng phải vận động bất thường a; ví dụ ngã nghiêng bên phải phát sai ngã nghiêng bên phải False Negative (𝐹𝑃) tỉ lệ đo số lần mơ hình phát sai vận động bất thường a số lần thực tế xảy vận động bất thường a; ví dụ ngã nghiêng bên phải phát sai ngã nghiêng bên phải Các mơ hình thử nghiệm (Baselines) Chúng thực nghiệm với số mơ hình sau: - Máy véc tơ hỗ trợ (SVM): với bước tiền xử lý trích xuất đặc trưng từ liệu cảm biến tham khảo từ nghiên cứu [9] Các véc tơ tính từ cửa sổ trượt dùng để huấn luyện mơ hình SVM với tham số C=1, lămda kết tìm kiếm lưới (grid search) hàm tích RBF - Mạng CNN [11]: hiệu chỉnh để thích hợp với liệu cảm biến [5] tập liệu thử nghiệm như: số lớp tích chập 3, có lớp max pooling theo sau lớp kết hợp đầy đủ (Fully Connected) Số đầu lớp softmax điều chỉnh số nhãn vận động bất thường tập liệu Để cải tiến hiệu suất huấn luyện dự đốn, chúng tơi sử dụng kỹ thuật tối ưu Rectified Adam [19] Độ đo đánh giá - Mạng LSTM [16]: hiệu chỉnh để phù hợp cho pha huấn luyện dự đoán tập liệu thử nghiệm Với đặc tính nhớ thơng tin khoảng thời gian dài đặc trưng Trong nghiên cứu này, sử dụng độ đo là: độ xác (precision), độ bao phủ (recall) điểm cân độ xác độ bao phủ (𝐹1𝑠𝑐𝑜𝑟 𝑒 ): Các cơng trình nghiên cứu phát triển Cơng nghệ Thơng tin Truyền thơng mức cao trích chọn từ liệu cảm biến sử dụng hiệu bước dự đoán Bảng II KẾT QUẢ CỦA MƠ HÌNH CNN-LSTM PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG TRONG TẬP DỮ LIỆU CMDFALL Kết đánh giá Tên hoạt động ngã phía sau bị mặt đất ngã phía trước ngã bên trái nằm giường ngã nằm giường ngã ngã bên phải ngồi ghế ngã ngồi ghế ngã nhảy loạng choạng loạng choạng Trung bình Chúng tơi sử dụng phương pháp kiểm chứng chéo 10 lần Với phương pháp này, tập liệu chia thành 10 phần nhau; phần lấy để huấn luyện phần sử dụng để kiểm chứng Quá trình lặp lại 10 phần kiểm chứng kết tính trung bình Kết tổng thể trình bày Bảng I Trong Bảng Bảng I KẾT QUẢ (F1-SCORE) TRÊN TẬP DỮ LIỆU PP/D.liệu SVM CNN LSTM CNN-LSTM UTD 0.85 0.94 0.92 0.96 MobiFall 0.79 0.88 0.85 0.95 PTITAct 0.87 0.91 0.89 0.93 CMDFALL 0.45 0.82 0.80 0.85 bên trái bên phải bên trái bên phải Precision 85.43 86.31 89.56 87.63 70.42 66.43 91.62 83.26 79.12 93.02 84.25 86.46% Recall 79.19 84.21 87.58 89.14 67.30 68.57 92.25 81.98 78.67 92.71 82.59 83.59% CMDFALL thấp tập liệu khác Bảng II trình bày kết chi tiết phát vận động bất thường mơ hình đề xuất CNN-LSTM thử nghiệm tập CMDFALL Kết Bảng II cho thấy, CNN-LSTM đạt tới độ xác 86,46% độ bao phủ 83,59% tập liệu CMDFALL Đây kết tốt so với phương pháp khác Một số vận động bất thường phức tạp nằm giường ngã phát xác lên tới 70% Trong tư ngã phía trước, ngã bên phải, ngã bên trái v.v phát với độ xác xấp xỉ tới 90% I, SVM phân loại cho kết tốt với đặc trưng trích chọn thủ công [9] Tuy nhiên, so với mô hình học sâu SVM thấp đáng kể Mơ hình học sâu CNN với khả học đặc trưng tự động tốt qua phép tích chập lọc, lựa chọn đặc trưng với đặc tính khơng gian (spatial) hiệu quả, cho kết tốt đáng kể so với SVM Mơ hình LSTM cho kết tương đối tốt xấp xỉ với mơ hình CNN Mặc dù học biểu diễn đặc trưng không gian chưa phải điểm mạnh LSTM, với khả nhớ thông tin theo chuỗi thời gian khoảng thời gian dài giúp LSTM có khả dự đốn tốt, cạnh trạnh với CNN Cuối mơ hình đề xuất CNN-LSTM cho kết cao 96% F1-score tập UTD, 95% tập MobiFall, 93% tập PTITAct, 85% tập CMDFALL Đây kết cải tiến đáng kể so với phương pháp cịn lại Điều cho thấy mơ hình CNN-LSTM hiệu hờ kết hợp việc học biểu diễn đặc trưng liệu theo không-thời gian Trong tập liệu kể tập UTD đơn giản với vận động bất thường (ngã), tập MobiFall với vận động bất thường Trong tập PTITAct CMDFALL 11 vận động bất thường Đặc biệt tập CMDFALL có nhiều vận động bất thường phức tạp tập liệu khác nên điều lý giải kết mơ hình tập V KẾT LUẬN Chúng đề xuất mơ hình học sâu tích chập kết hợp với mạng nhớ dài ngắn CNN-LSTM để giải toán phát vận động bất thường người sử dụng cảm biến đeo người Kiến trúc đề xuất CNN-LSTM tận dụng đặc tính khơng-thời gian liệu cảm biến để tự động học biểu diễn đặc trưng hiệu liệu cảm biến không Kết thử nghiệm tập liệu UTD, MobiFall, PTITAct CMDFALL cho thấy mơ hình đề xuất cho kết tốt đáng kể so với mơ hình máy véc tơ hỗ trợ (SVM), mơ hình học sâu tích chập (CNN) mơ hình mạng nhớ dài ngắn (LSTM) Đặc việt với độ xác lên tới 85% liệu CMDFALL cho thấy khả phát tốt vận động bất thường phức tạp Kết có nhiều tiềm cho ứng dụng hỗ trợ theo dõi người bệnh Parkinson, bệnh vận động người cao tuổi Tập 2020, Số , Tháng LỜI CẢM ƠN [10] Ordonez F, Roggen D (2016) "Deep convolutional and lstm recurrent neural networks for multimodal wearable activity recognition." Sensors 16(1):115 [11] Munzner S, Schmidt P, Reiss A, Hanselmann M, Stiefelhagen R, Durichen R (2017) "Cnn-based sensor fusion tech-niques for multimodal human activity recognition." In: Proceedings of the 2017 ACM International Symposium on Wearable Computers, pp 158-165 [12] Guan Y, Plotz T (2017) "Ensembles of deep lstm learners for activity recognition using wearables." Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 1(2):1-28 [13] Ignatov A (2018) "Real-time human activity recognition from accelerometer data using convolutional neural net-works." Applied Soft Computing 62:915922 [14] Dawar N, Kehtarnavaz N (2018) "A Convolutional Neural Network-Based Sensor Fusion System for Monitoring Transition Movements in Healthcare Applications." In: proceeding of ICCA 482-485 10.1109/ICCA.2018.8444326 [15] Vavoulas G, Pediaditis M, Chatzaki C, Spanakis E, Tsiknakis Manolis, (2016) "The MobiFall Dataset: Fall Detection and Classification with a Smartphone." International Journal of Monitoring and Surveillance Technologies Research 44-56 10.4018/ijmstr.2014010103 [16] Liu J, Shahroudy A, Xu D, Wang G (2016) "Spatiotemporal lstm with trust gates for 3d human action recognition." In: European conference on computer vision, Springer, pp 816-833 [17] Chatzaki C, Pediaditis M, Vavoulas G, Tsiknakis M (2017) "Human Daily Activity and Fall Recognition Using a Smartphone’s Acceleration Sensor." 100-118 10.1007/978-3-319-62704-5-7 [18] Jinsung Y, Danial J, Mihaela VDS, (2019) "Timeseries Generative Adversarial Networks." In: proc of 33rd conference on Neural Information Processing Systems (NeurIPS) pp.1-11 [19] Liu L, et al (2020) "On the variance of the adaptive learning rate and beyond." In proc of the international conference on Learning Representation 2020 https://arxiv.org/pdf/1908.03265.pdf [20] Hochreiter S, Schmidhuber J (1997) "Long short-term memory." Neural Computation 9(8):1735-1780, DOI 10.1162/ neco.1997.9.8.1735 [21] Markham A, Trigoni N (2019) "Selective sensor fusion for neural visual-inertial odometry." In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 10542-10551 [22] Pham C, Nguyen TTT (2016) "Real-time traffic activity detection using mobile devices." In: Proceedings of the 10th ACM International Conference on Ubiquitous Information Management and Communication Nghiên cứu hỗ trợ Quỹ Phát triển Khoa học Công nghệ Quốc gia (NAFOSTED) với mã số 102.04-2016.23 TÀI LIỆU THAM KHẢO [1] Hoey J, Plotz T, Jackson D, Monk A, Pham C, Olivier P (2011) "Rapid specification and automated generation of prompting systems to assist people with dementia." Pervasive and Mobile Computing 7(3):299-318, DOI 10.1016/j.pmcj.2010.11.007 [2] Gao Y, Long Y, Guan Y, Basu A, Baggaley J, Ploetz T (2019) "Towards reliable, automated general movement assessment for perinatal stroke screening in infants using wearable accelerometers." Proc ACM Interact Mob Wearable Ubiquitous Technol 3(1):12:112:22, DOI 10.1145/3314399 [3] Khan A, Mellor S, Berlin E, Thompson R, McNaney R, Olivier P, Plotz T (2015) "Beyond activity recognition: Skill assessment from accelerometer data." In: Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing, ACM, UbiComp’15, pp 1155-1166, DOI 10.1145/2750858.2807534 [4] Pham C., Nguyen ST, Tran QH, Tran S, Vu H, Tran TH, Le TL (2020) "SensCapNet: Deep neural network for non-obtrusive sensing based Human activity recognition." IEEE Access 8:86934:86946, DOI 10.1109/ACCESS.2020.2991731 [5] Pham C, Diep NN, Phuong TM (2017) "E-shoes: Smart shoes for unobtrusive human activity recognition." In: 9th International Conference on Knowledge and Systems Engineering, KSE 2017, Hue, Vietnam, October 19-21, 2017, pp 269-274, DOI 10.1109/KSE.2017.8119470 [6] Pavllo D, Feichtenhofer C, Grangier D, Auli M (2019) "3d human pose estimation in video with temporal convolutions and semi-supervised training." In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [7] Sarita C, Mohd AK, Charul (2018) "Multiple anomalous activity detection in videos." In: Procedia Computer Science 125 (2018) pp 336-345 [8] Tran TH, Le T, Pham DT, Hoang VN, Khong VM, Tran QT, Nguyen TS, Pham C (2018) "A multimodal multi-view dataset for human fall analysis and preliminary investigation on modality." pp 1947-1952, DOI 10.1109/ICPR.2018.8546308 [9] Nguyen, L., Le, A., T., Pham, C.; (2018) "The Internet-of-Things based Fall Detection Using Fusion Feature." In proc of the 10th IEEE International Conference on Knowledge Systems Engineering (KSE) 129-134 Các cơng trình nghiên cứu phát triển Cơng nghệ Thơng tin Truyền thông Phạm Văn Cường (IMCOM) 1-7 [23] Pham VC (2012) "Human activity recognition for pervasive interaction." PhD thesis Newcastle University Tốt nghiệp đại học năm 1998 ngành Công nghệ Thông tin, Đại học Quốc gia Hà nội, nhận Thạc sỹ năm 2005 ĐH bang New Mexico, Hoa Kỳ, Tiến sỹ năm 2012 ĐH Newcastle, Vương Quốc Anh Hiện Phó giáo sư, giảng dạy khoa CNTT1, Học viện Cơng nghệ Bưu Viễn Thơng Lĩnh vực nghiên cứu: học máy, điện tốn tỏa khắp, tương tác người máy, nhận dạng hoạt động người, thuật tốn học máy cơng nghệ cảm biến cho ứng dụng chăm sóc sức khỏe, thị giác máy tính, cơng nghệ cảm biến, hệ thống nhúng điều khiển SƠ LƯỢC VỀ CÁC TÁC GIẢ Nguyễn Tuấn Linh Tốt nghiệp đại học ngành Công nghệ Thông tin, Đại học Giao thông Vận tải Hà Nội năm 2004 Nhận Thạc Sỹ Đại học Thái Nguyên năm 2007 Hiện nghiên cứu sinh Học viện Cơng nghệ Bưu Viễn Thơng Lĩnh vực nghiên cứu: kỹ thuật máy tính, điện tốn tỏa khắp, mơ hình học máy cơng nghệ cảm biến cho ứng dụng chăm sóc sức khỏe Nguyễn Văn Thủy Tốt nghiệp đại học năm 1999 ngành Điện tử - Viễn thông, trường Đại học Bách khoa Hà nội, nhận Thạc sỹ năm 2005 ĐH bang New Mexico, Hoa Kỳ, Tiến sỹ năm 2012 ĐH Texas at Dallas, Hoa Kỳ Hiện công tác Học viện Công nghệ Bưu Viễn Thơng Lĩnh vực nghiên cứu: học máy, lý thuyết thông tin, hệ thống thông tin thông minh, ứng dụng học sâu hệ thống thông tin băng rộng ... NHỚ DÀI NGẮN (CNNLSTM) CHO PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG Kiến trúc mạng học sâu tích chập kết hợp mạng nhớ dài ngắn (CNN-LSTM) đề xuất trình bầy Hình Dữ liệu cảm biến tiền xử lý trước đưa vào mạng. .. lý giải kết mơ hình tập V KẾT LUẬN Chúng tơi đề xuất mơ hình học sâu tích chập kết hợp với mạng nhớ dài ngắn CNN-LSTM để giải toán phát vận động bất thường người sử dụng cảm biến đeo người Kiến... lược tồn hoạt động ngày Họ định nghĩa bất thường thay đổi đáng kể từ hoạt động học phát hiện, hiệu suất phát đánh giá phương pháp entropy chéo Trong nghiên cứu họ, hoạt động bất thường phát hiện,