Nhận dạng hoạt động của người bằng điện thoại thông minh

Bài viết đề xuất một phương pháp nhận dạng hoạt động của người trên điện thoại thông minh được kế thừa từ nghiên cứu trước đây. Đây là phương pháp có khả năng nhận dạng các hoạt động của người trong thời gian thực bao gồm cả những hoạt động chưa được gán nhãn khi huấn luyện (unknown activities hay other activities).

Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 Nhận dạng hoạt động người điện thoại thông minh Human Activity Recognition Using Smart Phones Nguyễn Thắng Ngọc, Phạm Văn Cường Abstract: In this paper we propose a method and system for recognizing everyday human activities by utilizing the acceleration sensing data from the accelerometer instrumented in smart phones In our method, human activities are recognized in four steps: data processing, data segmentation, feature extraction, and classification We rigorously experimented on a dataset consisting of everyday activities collected from 17 users using several machine learning algorithms, including support vector machine, Naïve Bayesian networks, k-Nearest Neighbors, Decision Tree C4.5, Rule Induction, and Neutral networks The best accuracies are achieved by Decision Tree C4.5 that demonstrates the human activities can be distinguished with 82% precision and 83% recall under the leave-one-subject out evaluation protocol These results have shown the feasibility of smart phone based real-time activity recognition In addition, the proposed method based on Decision Tree has been deployed on Samsung smart phones and is able to recognize human activities in real-time Keywords: Activity Recognition, Feature Extraction, Mobile Device, Accelerometer, Machine Learning I GIỚI THIỆU Tự động nhận dạng hoạt động người (human activity recognition – HAR) thu hút quan tâm cộng đồng nghiên cứu có nhiều ứng dụng thực tế như: trợ giúp chăm sóc sức khỏe [1], trợ giúp theo dõi chế độ ăn kiêng (dietary monitoring) [2], ước lượng lượng calorie tiêu thụ người (energy expenditure estimation) [3] v.v Mặc dù nghiên cứu nhận dạng hoạt động người đạt kết đáng kể, phần lớn nghiên cứu phát triển triển khai phương pháp nhận dạng máy tính cá nhân Điều làm hạn chế giới hạn không gian thực hoạt động người (khơng q xa để liệu cảm biến kết nối với máy tính) khiến cho việc thực nhận dạng người bị giới hạn phịng [12], ngơi nhà [4,15,17,20] hay bếp [2,11,13,16] Trong khả tính tốn số lượng [5] điện thoại thông minh ngày nâng cao với tích hợp vi xử lý đa nhân (multicore processors), nhớ đệm cảm biến cảm biến gia tốc, cảm biến nhiệt, cảm biến định vị v.v Những tài ngun tính tốn cho phép triển khai thử nghiệm phương pháp học máy nhận dạng thích hợp điện thoại thơng minh Nếu hoạt động hàng ngày người nhận dạng nơi, lúc Các nghiên cứu trước tiếp cận toán nhận dạng hoạt động người theo ba phương pháp: phân tích hình ảnh hoạt động người camera hay gọi thị giác máy (computer vision), phân tích liệu cảm biến từ cảm biến tích hợp vào mơi trường vật dụng (pervasive sensing) phân tích liệu cảm biến từ cảm biến đeo người (wearable sensing) Trong cách tiếp cận thị giác máy [11,12], hình ảnh từ camera tiến hành tiền xử lý, trích chọn đặc trưng phân loại [11] nhận dạng đối tượng (vật dụng, thức ăn) đề - 33 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT xuất mạng Bayes để suy diễn hoạt đông nấu nướng, [12] đề xuất biến thể mơ hình Markov ẩn huấn luyện từ đặc trưng (tư người) để suy diễn hoạt động Việc sử dụng camera để nhận dạng hoạt động thường yêu cầu hoạt động người bị giới hạn không gian hẹp Hơn nữa, hiệu suất nhận dạng thường chịu ảnh hướng yếu tố từ mơi trường như: ánh sáng, hình ảnh bị che khuất v.v Trong cách tiếp cận cảm biến tỏa khắp (pervasive sensing) sử dụng cảm biến tích hợp vào mơi trường [4,15,16,17,18] tích hợp vào vật dụng [2,13,16] khắc phục nhược điểm Tuy nhiên cách tiếp cận cảm biến tỏa khắp thường yêu cầu sử dụng nhiều cảm biến khiến chi phí cao u cầu mơi trường phải thiết lập trước chẳng hạn phải đặt cảm biến vào môi trường trước người thực hoạt động Ngược lại, sử dụng cảm biến đeo người [8,9,10,18] nhận dạng hoạt động người phạm vi rộng (như tịa nhà) mà khơng cần phải sử dụng nhiều cảm biến thiết lập môi trường trước (pre-setting) Chẳng hạn, nghiên cứu trước [18] sử dụng Wii Remotes, loại thiết bị có chi phí thấp (25$) thường sử dụng trò chơi tương tác, đeo thắt lưng tay để nhận dạng 14 hoạt động hàng ngày người với độ xác (precision) độ bao phủ (recall) tới 90% Khác với điện thoại thiết bị mang theo người nơi, lúc, Wii cồng kềnh chưa phù hợp để đeo ngày người Hơn nữa, chương trình phân tích liệu cảm biến thuật tốn nhận dạng (mơ hình Markov ẩn) nghiên cứu [18] triển khai máy tính cá nhân nên cần cải tiến cho phù hợp triển khai thiết bị di động Một số nghiên cứu trước nghiên cứu triển khai phương pháp hệ thống nhận dạng hoạt động người điện thoại thông minh [6,7] Các nghiên cứu thường có hai điểm hạn chế là: tập liệu thử nghiệm thường không lớn phương pháp nhận dạng đề xuất chưa phù hợp cho nhận dạng hoạt động người ngữ cảnh thời gian thực Ví Tập V-2, Số 14 (34), tháng 12/2015 dụ Jennifer cộng [6] đề xuất phương pháp nhận dạng để nhận dạng hoạt động: bộ, chạy chỗ, lên cầu thang, xuống cầu thang, ngồi đứng Các mẫu liệu thu thập từ điện thoại thông minh Nexus One, HTC Hero Motorola back-flip trích chọn đặc trưng Những đặc trưng sử dụng để huấn luyện kiểm thử số phân loại từ Weka [21] Kết cho thấy phân loại perceptron đa lớp (multi-layer perceptron) cho kết cao với độ xác 91.7% Hạn chế nghiên cứu thời gian huấn luyện nhận dạng mạng perceptron đa lớp thường chậm trường hợp số lớp số lượng nút mạng lớp tăng Điều không phù hợp cho việc nhận dạng hoạt động thời gian thực Một nghiên cứu khác [7] đề xuất thuật toán hỗ trợ máy véc tơ đa lớp (multi-class support vector machine) để nhận dạng hoạt động: bộ, lên cầu thang, xuống cầu thang, nằm xuống, ngồi đứng Mặc dù đạt độ xác trung bình 89% [7] chưa phù hợp cho nhận dạng hoạt động người thời gian thực Bởi hoạt động tự nhiên người không bị giới hạn hoạt động hoạt động người hệ thống [6,7] phân loại sáu hoạt động mà họ thử nghiệm Trong nghiên cứu này, đề xuất phương pháp nhận dạng hoạt động người điện thoại thông minh kế thừa từ nghiên cứu trước chúng tơi [18] Đây phương pháp có khả nhận dạng hoạt động người thời gian thực bao gồm hoạt động chưa gán nhãn huấn luyện (unknown activities hay other activities) Nhưng khác với [18], đề xuất tập đặc trưng phù hợp với vị trí cấu hình cảm biến gia tốc điện thoại thông minh tiến hành thử nghiệm đặc trưng thuật toán khác so sánh kết Trong đó, thuật tốn cho kết tốt cài đặt (implementation) điện thoại thông minh để nhận dạng hoạt động người thời gian thực - 34 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Hình Điện thoại Samsung Galaxy Note (trái) vị trí đặt điện thoại (phải) II PHƯƠNG PHÁP NHẬN DẠNG HOẠT ĐỘNG CỦA NGƯỜI Trong phần chúng tơi trình bày bước nhận dạng hoạt động người, bao gồm: tiền xử lý liệu (pre-processing), phân đoạn liệu (segmentation), trích chọn đặc trưng (feature extraction), phân loại (classification) Phần kết thúc trình bày q trình triển khai (implementation) thuật tốn cho nhận dạng hoạt động người thời gian thực II.1 Tiền xử lý liệu Do liệu cảm biến thường chứa nhiễu (noise) Trong trường hợp lý tưởng hoạt động tần số 100 Hz ta thu 100 mẫu từ cảm biến gia tốc giây Trên thực tế, nhiều lý ảnh hưởng mơi trường thiết bị nên số mẫu thu 100 mẫu giây Trong trường hợp sử dụng kỹ thuật nội suy Spline [19] để tái tạo (resampling) mẫu nhiễu Ngoài ra, giá trị cảm biến biến đổi bất thường (abnormal) cao thấp (có thể va đập hay chuyển động bất thường người) áp dụng kỹ thuật lọc dải thông cao (highpass filtering [22]) để loại bỏ giá trị cảm biến cao bất thường kỹ thuật lọc dải thông thấp (low-pass filtering [22]) để loại bỏ giá trị cảm biến thấp bất thường II.2 Phân đoạn liệu Dòng liệu cảm biến biến đổi liên tục theo thời gian với tần số 100 mẫu/giây Để nhận dạng hoạt động người khoảng thời gian xác định Tập V-2, Số 14 (34), tháng 12/2015 dịng liệu phải phân đoạn thành cửa sổ trượt (sliding windows) Các nghiên cứu [8, 13,18] kích thước cửa số trượt ảnh hưởng đáng kể đến độ xác nhận dạng thuật tốn học máy Tùy theo ứng dụng mà ta lựa chọn độ dài cửa sổ trượt cho phù hợp Chẳng hạn [8] chọn cửa sổ trượt có độ dài 4,3 giây để nhận dạng hoạt động lau nhà (cleaning), đạp xe (cycling)… [13] lựa chọn cửa số trượt với độ dài 1,5 giây để nhận dạng hoạt động nấu nướng thái (chopping), trộn thức ăn (stirring) v.v Trong nghiên cứu này, chúng tơi lựa chọn cửa sổ trượt có độ dài giây với thời gian chồng lấn cửa sổ trượt giây (50% overlapping) Việc lựa chọn dựa kết thực nghiệm kiểm tra chéo lần (4-fold cross validation) tập liệu (subset) cửa sổ có kích thước: giây (độ xác 73,4%), 1,5 giây (độ xác: 75,1%), giây (độ xác: 78,3%), giây (độ xác: 77,9%) Như hệ thống chạy thời gian thực kết nhận dạng trả sau giây Việc lựa chọn độ dài cửa sổ hợp lý hoạt động mà chúng tơi nhận dạng có số hoạt động diễn khoảng thời gian tương đối ngắn như: nhảy (jumping) ngồi xuống (sitting) Hơn nữa, với cửa sổ trượt giây hệ thống nhận dạng tránh trì hỗn thực nhận dạng hoạt động thời gian thực II.3 Trích chọn đặc trưng Lựa chọn đặc trưng công việc quan trọng cần tiến hành trước huấn luyện mơ hình học máy Với thuật tốn học máy triển khai thiết bị di động việc trích chọn đặc trưng cịn bị ràng buộc tài ngun tính tốn hạn chế Chính vậy, số đặc trưng trích chọn nghiên cứu này, có số đặc trưng kế thừa từ nghiên cứu [23] Với cửa sổ trượt với độ dài giây chứa 200 mẫu liệu (sau pha tiền xử lý), chúng tơi trích chọn đặc trưng - 35 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Trước hết, hai tín hiệu bất biến với độ nghiêng (tilt invariant) từ tín hiệu gia tốc chiều thời điểm t tính sau: a0 (t) = [a0x(t), a0y(t), a0z(t)] (1) Vec tơ độ nghiêng tính trung bình cộng giá trị 0(t) N mẫu với N số mẫu cửa sổ trượt (N=200) (2) Sau góc nghiêng (tilt angles) θ1 θ2 tính đẳng thức sau: (8) - Năng lượng gia tốc theo chiều ngang (horizontal accelerometer energy: HE): (9) Bốn đặc trưng lại là: Hjorth chuyển động (Hjorth mobility: HM) [23]: mơ tả đường cong hình dạng (curve) chuyển động việc tính trung bình độ dốc tương đối (relative slope) Cơng thức tính HM sau: var(x(t ) HM= (3) (4) Véc tơ gia tốc bù độ nghiêng (tilt compensated acceleration vector) là: (5) Để loại bỏ nhiễu việc xoay (orientation) cảm biến gia tốc (do hướng điện thoại bị thay đổi thực hoạt động) giá trị x y xem thành phần (thực ảo) số phức Đặc trưng trích chọn từ hai tín hiệu gia tốc theo chiều dọc cường độ tín hiệu gia tốc theo chiều ngang: (7) Hai đặc trưng trích chọn là: - Năng lượng gia tốc theo chiều dọc (vertical accelerometer energy: VE): dy dt var(x(t )) ) (10) Trong đó, mẫu số bậc var(x(t)) biến trạng (variance) tín hiệu cảm biến theo chiều x theo thời gian t, tử số đạo hàm bậc var(x(t)) Hjorth phức hợp (Hjorth complexity: HC) [23]: tỉ số đạo hàm bậc tín hiệu chuyển động tín hiệu đứng n Cơng thức tính HC sau: dx ) dt HM ( x(t )) HM ( x(t ) Véc tơ gia tốc trọng trường bù độ nghiêng tức thời: (6) Tập V-2, Số 14 (34), tháng 12/2015 HC = (11) Các đặc trưng HM HC áp dụng cho liệu cảm biến gia tốc theo chiều dọc (Vertical Hjorth mobility: VM) chiều ngang Do đó, ta có tổng số đặc trưng trích chọn cửa sổ trượt II.4 Các thuật toán phân loại Các véc tơ đặc trưng sau trích chọn từ cửa sổ trượt sử dụng để huấn luyện phân loại: máy véc tơ hỗ trợ (support vector machine: SVM), mạng Bayes đơn giản (Naïve Bayes), k láng giềng gần (k-Nearest neighbors), định (Decition Tree C4.5), suy diễn dựa luật (Rule Induction), mạng nơ ron (Neural network) Trong phân loại máy véc tơ hỗ trợ sử dụng nghiên cứu SVMlib phát triển Chang et al - 36 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 [24] với hàm nhân rbf (radial basic function) tham số C=1.Các phân loại lại có sẵn thư viện RapidMiner [25] II.5 Cài đặt thuật toán Sau tiến thử nghiệm (chi tiết trình bày mục III), định (Decision Tree C4.5) với độ đo lựa chọn đặc trưng thông tin đạt (information gain: IG) cho kết nhận dạng tốt lựa chọn để phát triển cho hệ thống nhận dạng hoạt động người thời gian thực IG xác định sau: (12) Hình 3: Mơ hình phân loại định (13) Thiết kế chi tiết hệ thống nhận dạng hoạt động người cho điện thoại thông minh mô tả Hình Các giá trị cảm biến gia tốc ba chiều X, Y, Z lưu vùng đệm (pumping buffer) để tính vec tơ đặc trưng thời gian thực Véc tơ đầu vào mơ hình phân loại huấn luyện từ tập liệu thu thập Đầu mô đun phân loại cho tin nhắn (text message) hoạt động: chạy (run), nhảy (jump), (walk), ngồi (sit), đứng (stand) hoạt động chưa có nhãn khác (other) Tin nhắn đầu vào mô đun thông báo tới người dùng giọng nói (text-tospeech) (14) III THỬ NGHIỆM VÀ ĐÁNH GIÁ Hình 2: Cây định Trong pi xác suất véc tơ đặc trưng tập liệu D có nhãn hoạt động (lớp) ước lượng Đặc trưng với giá trị đạt lớn (largest gain) sử dụng để phân nhánh (split) cho Trong tập liệu chúng tơi giá trị đạt đặc trưng VE 1.233, HE 1.459, VM 0.917 HM 0.197 Do đó, đặc trưng HE lựa chọn để phân nhánh cho định minh họa Hình Phần chúng tơi trình bày bước tiến hành thử nghiệm đánh giá phương pháp nhận dạng hoạt động người: trình thu thập liệu, giới thiệu độ đo đánh giá hệ thống, kết đánh giá III.1 Thu thập liệu Một chương trình ghi liệu cảm biến (logging) điện thoại thông minh nhóm nghiên cứu phát triển để thu thập liệu Chương trình ghi liệu cảm biến có giao điện đơn giản, gồm nhập liệu (textbox) cho phép người tham gia thử nghiệm (subject) nhập vào tên hoạt động (ví dụ: jump), sau người thử nghiệm gõ vào1 nút bấm (button) để bắt đầu thực hoạt động điện thoại tự động ghi lại tất - 37 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 liệu cảm biến gia tốc diễn vòng 2-5 phút tùy theo hoạt động, ví dụ liệu cảm biến hoạt động nhảy ghi lại phút liệu ghi lại khoảng phút Người dùng thông báo dừng hoạt động có tiếng bíp (beep) phát từ điện thoại 17 người với độ tuổi khác từ 18 đến 55 bao gồm 14 nam nữ mời để tham gia thu thập liệu cho nghiên cứu Mỗi người yêu cầu thực hoạt động: chạy (run), nhảy (jump), (walk), ngồi (sit), đứng (stand) hoạt động (other) hoạt động yêu cầu thực lặp lại nhiều lần khoảng 2-5 phút có tiếng bíp phát từ điện thoại Dữ liệu ghi lại định dạng sau: với mẫu bao gồm nhãn thời gian (timestamp) có cấu trúc năm-tháng-ngày giờ: phút: giây.mili giây Tiếp theo giá trị cảm biến theo chiều X, chiều Y, chiều Z Nhãn thời gian sử dụng bước tiền xử lý liệu nghiên cứu dùng để đồng với liệu cảm biến khác (trong nghiên cứu sau chúng tôi) Các giá trị cảm biến X, Y, Z sử dụng để trích chọn đặc trưng mơ tả phần Hình mơ tả trực quan hóa liệu cảm biến gia tốc số hoạt động diễn khoảng 15 giây III.2 Các độ đo đánh giá Trong nghiên cứu này, sử dụng độ đo là: độ xác (precision), độ bao phủ (recall) độ (accuracy) Precision  Recall  Accuracy = TP TP  FP (15) TP TP  FN TP  TN TP  TN  FP  FN Hình 4: Thiết kế lược đồ lớp (class diagram) (16) (17) Trong đó, True Positive (TP) tỉ lệ đo số lần hệ thống nhận dạng hoạt động a số lần thực tế thực hoạt động a; ví dụ hoạt động chạy nhận dạng chạy True Negative (TN) tỉ lệ đo số hệ thống nhận dạng hoạt động a số lần thực tế khơng phải a; ví dụ khơng phải hoạt - 38 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT động chạy nhận dạng chạy False Positive (FP) tỉ lệ đo số lần hệ thống nhận dạng sai hoạt động a số lần thực tế hoạt động a; ví dụ hệ thống nhận dạng hoạt động chạy thực tế chạy False Negative (FP) tỉ lệ đo số lần hệ thống nhận dạng sai hoạt động a số lần thực tế lại hoạt động a; chẳng hạn, thực tế chạy hệ thống nhận dạng sai không chạy a) standing b) running Tập V-2, Số 14 (34), tháng 12/2015 trình bày Bảng Kết bình quân (của hoạt động) thể dạng độ (accuracy) độ lệch chuẩn (standard deviation [26]) Từ bảng ta thấy thuật toán định (Decision Tree C4.5) cho kết (độ đúng) tốt với 80% cho trường hợp lựa chọn đặc trưng phân nhánh Trong đó, đặc trưng phân nhánh information gain cho kết cao với độ 81.06% Tiếp đến thuật toán k láng giềng gần (k-NN) cho độ xấp xỉ 81% Ngược lại, thuật toán Bayes đơn giản (Naïve bayes) cho độ thấp với 7172% Có thể Bayes đơn giản phân loại đặc trưng dựa giả thiết tất đặc trưng phải độc lập với Điều đơi khơng chắn với toán nhận dạng hoạt động người đặc trưng trích chọn từ liệu cảm biến gia tốc biến đổi liên tục theo thời gian khơng hồn tồn độc lập với Thuật tốn định cho kết cao nhóm nghiên cứu chúng tơi lựa chọn để cài đặt (implementation) cho phiên nhận dạng hoạt động người thời gian thực điện thoại c) walking d) sitting Hình 5: Trực quan hóa liệu vài hoạt động III.3 Kết đánh giá Sau trích chọn đặc trưng từ tập liệu véc tơ đặc trưng (feature vectors) sử dụng để huấn luyện (training) kiểm thử (testing) Trong nghiên cứu sử dụng phương pháp đánh giá (evaluation) leave-one-subject out Với phương pháp sử dụng liệu 16 người để huấn luyện dùng liệu người lại để kiểm thử Quá trình lặp lại liệu tất 17 người kiểm thử Kết cuối trung bình cộng tất 17 lần kiểm thử Chú ý liệu huấn luyện không bao gồm liệu người kiểm thử Điều quan trọng ứng dụng nhận dạng hoạt động người mô hình học máy tiền huấn luyện (pre-trained) Kết nhận dạng chạy với thuật toán phân loại khác Kết nhận dạng hoạt động thuật tốn định trình bày chi tiết Bảng Từ Bảng ta thấy hoạt động đứng yên ngồi cho kết cao với độ xác lớn 93% độ bao phủ lớn 86% Khi quan sát liệu thu từ hoạt động sau trực quan hóa (ví dụ Hình 5) ta thấy mẫu phân biệt đáng kể so với mẫu hoạt động khác Ngược lại, hoạt động chưa gán nhãn (other) cho kết thấp với khoảng 53% độ xác 72% độ bao phủ Do hoạt động chưa gán nhãn xem tất hoạt động khác hoạt động nhảy, bộ, ngồi, đứng chạy nên mẫu liệu hoạt động chưa gán nhãn khác dễ bị phân loại nhầm sang hoạt động gán nhãn Độ xác độ bao phủ trung bình 82% 83% cho loại hoạt động Nếu đem kết so sánh với kết hai nghiên cứu trước nhận dạng hoạt động người điện thoại - 39 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-2, Số 14 (34), tháng 12/2015 thông minh [6,7] không hợp lý [6,7] chưa hướng đến nhận dạng hoạt động thời gian thực tập liệu thử nghiệm họ không bao gồm hoạt động chưa gán nhãn (other) Điều dẫn tới hệ thống [6,7] khó áp dụng cho thực tế hoạt động người phải bị phân loại thành hoạt động bộ, chạy chỗ, lên cầu thang, xuống cầu thang, ngồi đứng Hơn nữa, theo phương pháp đánh giá nghiên cứu [6,7] liệu dùng để huấn luyện bao gồm liệu kiểm thử Điều thiếu khách quan thực tế khơng phải hệ thống cài đặt điện thoại thơng minh có liệu huấn luyện từ người dùng Sau đánh giá số thuật toán nhận dạng thuật tốn định (Decision Tree C4.5) cho kết tốt với 82% độ xác 83% độ bao phủ phương pháp đánh giá leave-one-subject out Kết cho thấy tính khả thi nhận dạng hoạt động người thời gian thực thiết bị di động Nghiên cứu cải tiến phương pháp để nhận dạng thêm số hoạt động hàng ngày đạp xe, cầu thang, nằm v.v nhằm mục đích đưa hệ thống sử dụng tảng cho số ứng dụng thực tế tự động ước lượng lượng tiêu thụ hàng ngày (energy expenditure estimation) hay trợ giúp theo dõi sức khỏe người (health monitoring) nghiên cứu nhóm tác giả Bảng 1: Kết nhận dạng (tính độ độ lệch chuẩn) với thuật toán phân loại khác Bảng 2: Kết nhận dạng thuật toán định Thuật toán phân loại SVM (rbf kernel) Decision tree (gain ratio) Decision tree (information gain) Decision tree (gini index) K-Nearest Neighbors (KNN) Naïve Bayes Naïve Bayes (Kernel) Rule Induction Neural net Độ ± độ lệch chuẩn 80.44% ± 2.02% 76.37% ± 2.05% 81.06% ± 1.59% 80.35% ± 2.53% 80.93% ± 2.91% 71.60% ± 1.71% 72.47% ± 1.75% 78.09% ± 2.25% 79.12% ± 2.67% Hoạt động Hoạt động chưa gán nhãn Nhảy (jump) Đi (walk) Ngồi (sit) Đứng (stand) Chạy (run) Trung bình Độ xác (Precision) 53.79% 67.23% 82.35% 93.42% 95.23% 79.98% 82.65% Độ bao phủ (recall) 72.61% 82.35% 89.94% 86.15% 89.46% 82.69% 83.36% V LỜI CẢM ƠN Như phân tích thuật toán lựa chọn để phát triển hệ thống Do đó, thiết kế chi tiết hệ thống nhận dạng hoạt động người thời gian thực triển khai thiết bị di động mơ tả chi tiết hình Chúng tơi xin trân thành cảm ơn nhóm sinh viên Học viện Cơng nghệ Bưu Viễn thơng số người bạn nhiệt tình, trách nhiệm kiên nhẫn tham gia thực hoạt động cho thử nghiệm IV KẾT LUẬN TÀI LIỆU THAM KHẢO Bài báo trình bày phương pháp nhận dạng hoạt động người từ liệu cảm biến gia tốc tích hợp điện thoại thơng minh thời gian thực Phương pháp đề xuất đánh giá tập liệu gồm 17 người, người thực hoạt động từ 2-5 phút, bao gồm hoạt động chưa gán nhãn [1] V OSMANI, S BALASUBRAMANIAM, D BOTVICH, ―Human Activity Recognition in Pervasive Health-care: Supporting Efficient Remote Collaboration‖, Journal of Network and Computer Applications (Elsevier), vol 31, no 4, pp 628-655, 2008 - 40 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT [2] C.PHAM, D JACKSON, J SCHONING, T BAR., T.PLOETZ, P.OLIVIER ―FoodBoard: Surface Contact Imaging for Food Recognition‖, In Proc of the 15th ACM International Conference on Pervasive and Ubiquitous Computing (UbiComp), pp 749-752, 2013 [3] F ALBINALI, S S INTILLE, W HASKELL, M ROSENBERGER ―Using Wearable Activity Type Detection to Improve Physical Activity Energy Expenditure Estimation‖, In Proc of the 12th ACM International Conference on Ubiquitous Computing (UbiComp), pp 311-320, 2010 [4] S S INTILLE, J NAWYN, B LOGAN, G D ABOWD ―Developing Shared Home Behavior Datasets to Advance HCI and Ubiquitous Computing Research‖, In Proc of the ACM International Conference on Computer and Human Factors (CHI) Extended Abstracts, pp 4763-4766, 2009 [5] Digital Trends: http://www.digitaltrends.com/mobile/ mobile-phone-world-population-2014/#!Cs565 [6] K R JENIFER, G M WEISS, S MOORE ―Activity Recognition Using Cell Phone Accelerometers‖, SIGKDD Explorations, vol 12, no 2, pp 74-82, 2010 [7] D ANGUITA, A GHIO, L ONETO, X PARRA, J R ORTIZ, ―Human Activity Recognition on Smartphones Using a Multiclass Hardware-Friendly Support Vector Machine‖, In Proc of the 4th International Workshop on Ambient Assisted Living, pp 216-223, 2012 Tập V-2, Số 14 (34), tháng 12/2015 Activity Recognition based on Object Use‖, In Proc of the 11th International Conference on Computer vision (ICCV), pp 1-8, 2007 [12] T V DUONG, H H BUI, P Q.DINH, S VENKATESH, ―Activity Recognition and Abnormality Detection with the Switching Hidden Semi-Markov Model‖, In Proc of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 838-845, 2005 [13] C PHAM, P OLIVIER, ―Slice&Dice: Recognizing Food Preparation Activities using Embedded Accelerometers‖, In Proc of European Conference on Ambient Intelligence (AmI), pp 34—43, 2009 [14] M BUETTNER, R PRASAD, Ma PHILIPOSE, D WETHERER, ―Recognizing Daily Activities with RFID-based Sensors‖, In Proc of the 11th International Conference on Ubiquitous Computing (UbiComp), pp 51-60, 2009 [15] E M TAPIA, S S INTILLE, K LARSON, ―Activity Recognition in the Home Using Simple and Ubiquitous Sensors‖, In Proc of the 2nd International Conference on Pervasive Computing (Pervasive), pp 158-175, 2004 [8] L Bao, S S INTILLE, ―Activity Recognition from User-Annotated Acceleration Data‖, In Proc of the 2nd International Conference on Pervasive Computing (Pervasive’2004), pp 1-17, 2004 [16] C.J HOOPER, A PRESTON, M BALAAM, P SEEDHOUSE, D JACKSON, C PHAM, C LADHA, K LADHA, T PLOETZ, P OLIVIER, ―The French Kitchen: Task-Based Learning in an Instrumented Kitchen‖, In Proc of the 14th ACM International Conference on Ubiquitous Computing (UbiComp) pp 193-202, 2012 [9] N RAVI, N DANDEKAR, P MYSORE, M L LITTMAN, ―Activity Recognition from Accelerometer Data‖, In Proc of the 17th Conference on Innovative Applications of Artificial Intelligence (IAAI), pp 15411546, 2005 [17] T V KASTEREN, A K NOULAS, G ENGLEBIENNE, B J A KROSE, ―Accurate Activity Recognition in a Home Setting‖, In Proc of the 10th international conference on Ubiquitous Computing (UbiComp), pp 1-9, 2008 [10] T HUYNH, U BLANKE, B SCHIELE, ―Scalable Recognition of Daily Activities with Wearable Sensors‖, In Proc of the 3rd International Conference on Location-and Context-Awareness (LoCA), pp 50-67, 2005 [18] C PHAM, D N NGUYEN, P M TU, ―A Wearable Sensor based Approach to Real-Time Fall Detection and Fine-Grained Activity Recognition‖, Journal of Mobile Multimedia, vol 9, no 1&2, pp 15-26, 2013 [11] J WU, A OSUNTOGUN, T CHOUDHURY, M PHILIPOSE, J M REHG, ―A Scalable Approach to [19] T LYCHE, L.L SCHUMAKER, "On the Convergence of Cubic Interpolating Splines" A Meir - 41 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT (ed.) A Sharma (ed.) Spline Functions and Approximation Theory, Birkhäuser (1973) pp 169–189 Tập V-2, Số 14 (34), tháng 12/2015 International Symposium Technologies, 2011 on Quality of Life [20] T V KASTEREN, G ENGLEBIENNE, B J A KROSE, ―Hierarchical Activity Recognition Using Automatically Clustered Actions”, In Proc of European Conference on Ambient Intelligence (AmI), pp 82-91, 2011 [24] SVMlib: http://www.csie.ntu.edu.tw/~cjlin/libsvm/ [21] I WITTEN, E FRANK, M A HALL, ―Data Mining: Practical Machine Learning Tools and Techniques‖ Morgan Kaufmann (2011) [27] C PHAM, C HOOPER, S LINDSAY, D JACKSON, J SHEARER, J WAGNER, C LADHA, K LADHA, T PLOETZ, P OLIVIER, ―The Ambient Kitchen: A Pervasive Sensing Environment for Situated Services,‖ in Proc of ACM Conference on Designing Interactive Systems (DIS), 2012 [22] B A SSHENOI, ―Introduction to Digital Signal Processing and Filter Design‖, John Wiley and Sons, 2006 [23] S I AHAMED, M RAHMAN, R O SMITH, M KHAN, "A Feature Extraction Method for Realtime Human Activity Recognition on Cell Phones," in Proc of [25] RapidMiner: http://rapidminer.com/ [26] G SAEED, ―Fundamentals of Probability‖, Prentice Hall: New Jersey, 2000 Ngày nhận bài: 08/01/2015 SƠ LƯỢC VỀ TÁC GIẢ PHẠM VĂN CƯỜNG NGUYỄN THẮNG NGỌC Sinh năm 1991 Hải Dương Sinh ngày 2/9/1976 Hưng Yên Tốt nghiệp ĐH Quốc gia Hà nội năm 1998 ngành CNTT; Thạc sỹ ngành Khoa học Máy tính ĐH bang New Mexico, Hoa Kỳ năm 2005; Tiến sỹ ngành Khoa học Máy tính ĐH Newcastle, vương quốc Anh năm 2012 Tốt nghiệp ĐH ngành CNTT (chương trình Chất lượng cao), Học viện Công nghệ BCVT Hiện kỹ sư nghiên cứu phát triển Samsung R&D; Hướng nghiên cứu: nhận dạng hoạt động người, tính toán di động Hiện giảng viên khoa CNTT 1, Học viện Cơng nghệ Bưu Viễn thơng Hướng nghiên cứu: nhận dạng hoạt động người, phương pháp học máy cho ứng dụng chăm sóc sức khỏe, tính tốn di động, tương tác người máy điện toán tỏa khắp Mobile: 0944643166; Email: pcuongcntt@gmail.com - 42 - ... nhiên người không bị giới hạn hoạt động hoạt động người hệ thống [6,7] phân loại sáu hoạt động mà họ thử nghiệm Trong nghiên cứu này, đề xuất phương pháp nhận dạng hoạt động người điện thoại thông. .. dụng CNTT-TT Hình Điện thoại Samsung Galaxy Note (trái) vị trí đặt điện thoại (phải) II PHƯƠNG PHÁP NHẬN DẠNG HOẠT ĐỘNG CỦA NGƯỜI Trong phần trình bày bước nhận dạng hoạt động người, bao gồm: tiền... lệ đo số lần hệ thống nhận dạng hoạt động a số lần thực tế thực hoạt động a; ví dụ hoạt động chạy nhận dạng chạy True Negative (TN) tỉ lệ đo số hệ thống nhận dạng hoạt động a số lần thực tế khơng