Nhận diện hành động người sử dụng qua thiết bị di động

Bài báo trình bày một thuật toán cho phép nhận diện hành động hàng ngày của con người như di chuyển, dừng thông qua dữ liệu của các cảm biến gia tốc, từ trường và trọng lực trên điện thoại thông minh. Thuật toán thực hiện qua ba bước: ghi dữ liệu các cảm biến theo khung thời gian thực, sau đó xử lý dữ liệu cảm biến đưa ra những đặc trưng phù hợp để nhận diện hành động. Bước tiếp theo dữ liệu được qua bộ máy học để dự đoán hành động dựa trên bộ dữ liệu huấn luyện đã được lấy mẫu trước đó. Kết quả nhận diện các hoạt động của thuật toán cho độ chính xác từ 88 đến 92%.

THE INTERNATIONAL CONFERENCE ON MARINE SCIENCE AND TECHNOLOGY 2016 Nhận diện hành động người sử dụng qua thiết bị di động Recognizing human activities via mobile devices Lê Trí Thành1, Trần Đình Thái Thanh Phú2 Trường Đại học Hàng hải Việt Nam, thanhlt@vimaru.edu.vn, Trường CĐ Công nghiệp Xây dựng Vương1, Tóm tắt Bài báo trình bày thuật toán cho phép nhận diện hành động hàng ngày người di chuyển, dừng thông qua liệu cảm biến gia tốc, từ trường trọng lực điện thoại thơng minh Thuật tốn thực qua ba bước: ghi liệu cảm biến theo khung thời gian thực, sau xử lý liệu cảm biến đưa đặc trưng phù hợp để nhận diện hành động Bước liệu qua máy học để dự đoán hành động dựa liệu huấn luyện lấy mẫu trước Kết nhận diện hoạt động thuật tốn cho độ xác từ 88 đến 92% Từ khóa: Nhận diện hành động, gia tốc kế, từ trường kế, cảm biến trọng lực Abstract The paper describes an algorithm to recognize human activities in real-time such as moving, stopping activities by using data collected from smartphone sensors including accelerometers, magnetic and gravity The algorithm performed through three steps Firstly, we collect the sensors’ data in real-time After that, the data will be processed to find out features which are used to detect the activities In the third step, the processed data will be sent to the machine for prediction of activities based on the trained data that is sampled previously The recognition rates of the algorithm ranges from 88 to 92% Keywords: Activity recognition, accelerometers, magnetic, gravity Tổng quan Hệ thống nhận diện hành động qua cảm biến đeo người nghiên cứu phát triển giới cho kết xác cao đến 90% [1, 7] Các cảm biến đặt vị trí khác thể xác định hoạt động thông qua việc thu thập liệu cảm biến để hành động bình thường bất thường, sau trích chọn đặc trưng liệu, cuối nhận diện hành động thông qua việc phân lớp dựa vào việc kết hợp thuật toán SVM lớp (oneclass support vector machine) KNLR (kernel nonlinear regression) Tuy nhiên, với hệ thống có nhiều khó khăn áp dụng thực tế cần nhiều cảm biến đeo người gây cồng kềnh, chi phí cao nghiên cứu xây dựng hệ thống kết hợp phần cứng phần mềm Do đó, cần có hệ thống thích hợp ứng dụng vào thực tế, báo đưa hướng tiếp cận sử dụng cảm biển điện thoại thông minh để nhận diện hành động tiện lợi nhiều điện thoại thông minh sử dụng rộng rãi tồn giới Bài báo sử dụng tín thu từ cảm biến gia tốc, từ trường trọng lực, bước đầu nhận diện hai hoạt động di chuyển - dừng, bước nhận diện thêm trạng thái lái xe, di chuyển HỘI NGHỊ QUỐC TẾ KHOA HỌC CÔNG NGHỆ HÀNG HẢI 2016 415 THE INTERNATIONAL CONFERENCE ON MARINE SCIENCE AND TECHNOLOGY 2016 Hình Mơ hình nhận diện hành động với cảm biến đeo người Nhận diện hành động Cũng hệ thống nhận diện qua cảm biến, nhận diện điện thoại thông minh qua hai giai đoạn huấn luyện nhận diện thực tế Dữ liệu cảm biến mơi trường thí nghiệm Tiền xử lý tín hiệu Lọc, trích chọn đặc trưng tần số, lượng Huấn luyện Mơ hình HUẤN LUYỆN DỮ LIỆU Dữ liệu cảm biến môi trường thực NHẬN DIỆN HÀNH ĐỘNG Tiền xử lý tín hiệu Lọc, trích chọn đặc trưng tần số, lượng Phân lớp kết Chuyển động người dùng Hình Mơ hình nhận diện với cảm biến điện thoại thông minh 2.1 Huấn luyện liệu Giai đoạn huấn luyện ban đầu yêu cầu liệu gồm thuộc tính đo lường từ hoạt động, lượng gia tốc tần số hoạt động Chuỗi thời gian chia thành cửa sổ thời gian để áp dụng trích chọn đặc trưng qua lọc thơng tin liên quan tín hiệu gia tốc đầu vào, qua thực nghiệm báo sử dụng cửa sổ thời gian giây để đảm bảo số lượng mẫu cho phân lớp độ trễ chuyển trạng thái Sau cùng, mơ hình học máy thống kê sử dụng để huấn luyện mơ hình nhận dạng hoạt động từ liệu đặc trưng trích chọn Trên điện thoại thơng minh có tích hợp cảm biến, cảm biến có chức riêng Trên hệ điều hành Android hỗ trợ ba loại cảm biến: - Cảm biến hành động: chúng bao gồm cảm biến gia tốc, cảm biến trọng lực, cảm biến quay, cảm biến vectơ quay; HỘI NGHỊ QUỐC TẾ KHOA HỌC CÔNG NGHỆ HÀNG HẢI 2016 416 THE INTERNATIONAL CONFERENCE ON MARINE SCIENCE AND TECHNOLOGY 2016 - Cảm biến đo vị trí thiết bị vật lý: cảm biến từ trường, cảm biến phương hướng, cảm biến tiệm cận; - Cảm biến môi trường (áp kế, quang kế nhiệt kế) đo thông số khác môi trường áp lực xung quanh nhiệt độ khơng khí, độ ẩm ánh sáng Trong báo quan tâm đến liệu từ cảm biến gia tốc, từ trường trọng lực Tín hiệu sau thu lọc thông qua lọc thơng thấp trước trích chọn đặc trưng Cảm biến gia tốc kế Hình Cảm biến gia tốc kế Một cảm biến gia tốc đo gia tốc áp dụng cho thiết bị theo trục tọa loại bỏ thành phần trọng lực Cảm biến gia tốc xác định gia tốc áp dụng cho thiết bị (Ad) cách tự đo lường lực áp dụng cho cảm biến (Fs) sử dụng công thức sau: Ad = - ∑ Fs /mass (1) Tuy nhiên, lực hấp dẫn luôn ảnh hưởng tới việc đo lường gia tốc tính theo cơng thức sau đây: Ad = -g - ∑ Fs /mass (2) Vì vậy, thiết bị đứng yên (và không tăng tốc), gia tốc nhận giá trị g = 9,81 m/s2 Tương tự vậy, thiết bị rơi tự tăng tốc hướng tới mặt đất với gia tốc 9,81 m/s2, cảm biến gia tốc đọc giá trị g = m/s2 Vì vậy, để đo lường gia tốc thực thiết bị, cần loại bỏ ảnh hưởng trọng lực khỏi liệu gia tốc cách áp dụng lọc thơng thấp Nhìn chung, cảm biến gia tốc cảm biến hữu ích việc theo dõi hành động thiết bị Hầu hết thiết bị cầm tay máy tính bảng hỗ trợ Android có cảm biến gia tốc tiết kiệm lượng 10 lần so với cảm biến hành động khác Một hạn chế cần triển khai lọc thông thấp để loại bỏ lực hấp dẫn giảm nhiễu Giá trị Timestamp Values[0] : X Values[1] : Y Values[2] : Z Bảng Các thông số từ trường kế Kiểu liệu Đơn vị long milliseconds float m/s2 float m/s2 float m/s2 Cảm biến từ trường kế Cảm biến từ trường la bàn điện tử trục, dùng để xác định phương hướng Cảm biến từ trường đo cường độ hướng từ trường vị trí thiết bị HỘI NGHỊ QUỐC TẾ KHOA HỌC CÔNG NGHỆ HÀNG HẢI 2016 417 THE INTERNATIONAL CONFERENCE ON MARINE SCIENCE AND TECHNOLOGY 2016 Giá trị Timestamp Values[0] : X Values[1] : Y Values[2] : Z Bảng Các thông số từ trường kế Kiểu liệu Đơn vị long Milliseconds float µT(micro Tesla) float µT(micro Tesla) float µT(micro Tesla) Hình Cảm biến từ trường Cảm biến trọng lực Cảm biến trọng lực có nguồn gốc từ cảm biến gia tốc kế trục, đo thành phần vectơ trọng lực điện thoại đứng yên di chuyển chậm Cảm biến trọng lực sử dụng phổ biến điều khiển trò chơi cách sử dụng hành động nghiêng Cảm biến trọng lực gồm thành phần X,Y,Z hình Giá trị Timestamp Values[0]: X Values[1]: Y Values[2]: Z Bảng Các thông số gia tốc trọng lực Kiểu liệu Khoảng giá trị long Min.value= -19.6 float Max.value = 19.6 Min value = -19.6 float Max value = 19.6 Min value = -19.6 float Max value = 19.6 Đơn vị milliseconds m/s2 m/s2 m/s2 Hình Cảm biến trọng lực HỘI NGHỊ QUỐC TẾ KHOA HỌC CÔNG NGHỆ HÀNG HẢI 2016 418 THE INTERNATIONAL CONFERENCE ON MARINE SCIENCE AND TECHNOLOGY 2016 Trích chọn đặc trưng Đưa vào nghiên cứu có, báo đưa đặc trưng tín hiệu hành động theo ba trục, gia tốc chiều dọc [8], chiều ngang [8], độ di động [10], độ phức hợp [10] Hình Q trình trích chọn đặc trưng Huấn luyện liệu Theo nghiên cứu, với liệu hành động người dùng điện thoại để cố định số vị trí người cho kết tương đối giống áp dụng mơ hình phân loại khác Tuy nhiên với vị trí kết khác biệt nhiều so với đối tượng hành động Qua cài đặt thử nghiệm, nhóm tác giả lựa chọn mơ hình huấn luyện theo Random Forest [11] đưa mơ hình cho việc nhận diện thực tế Số lượng liệu mẫu cho hành động bộ, chạy, xe 300 mẫu, riêng với hành động dừng thu 200 mẫu cho trạng thái ngồi, đứng yên, ngồi xe Tổng số lượng liệu mẫu 1500 mẫu 2.3 Nhận diện hành động Để đưa hành động người sử dụng, báo thực qua bước (hình 7): thu tín hiệu từ mơi trường thực, tiền xử lý, trích chọn đặc trưng, sau đưa vào mơ hình huấn luyện có để phát hành động Hành động chưa phải kết cuối q trình trích chọn đưa dự đốn sai, hệ thống lưu lại hành động dự đoán theo cửa sổ trượt độ lớn áp dụng phân lớp k - NN để đưa kết cuối Tín hiệu Vectơ đặc trưng: - Năng lượng gia tốc ngang - Năng lượng gia tốc dọc - Độ đo di động ngang - Độ độ di động dọc - Độ đo phức hợp ngang Dự đoán theo mơ hình RandomF orest Lưu cửa sổ trượt Phân lớp KNN Hình Quá trình nhận diện HỘI NGHỊ QUỐC TẾ KHOA HỌC CÔNG NGHỆ HÀNG HẢI 2016 419 THE INTERNATIONAL CONFERENCE ON MARINE SCIENCE AND TECHNOLOGY 2016 Kết đạt Hệ thống nhận diện thiết kế bao gồm hai pha hoạt động riêng rẽ huấn luyện nhận diện hoạt động Việc thu huấn luyện liệu diễn sau: - Dữ liệu ghi lại thiết bị Android có tích hợp cảm biến gia tốc, cảm biến từ trường kế, cảm biến trọng lực Tần số lẫy mẫu lấy mặc định theo tần số lấy mẫu nhanh thiết bị Android; - Thành phần gia tốc kế bao gồm thời gian ghi liệu giá trị gia tốc kế theo trục; - Dữ liệu từ trường kế trọng lực bao gồm liệu theo trục Mỗi lượt chương trình thực phút: bộ, chạy, xe, đừng (ngồi, đứng yên, ngồi xe nổ máy không di chuyển) Trên giao diện chương trình, người dùng chọn hoạt động cần lấy mẫu ấn nút start để bắt đầu chương trình thu liệu Với hoạt động thu nhiều lần tên liệu thu có kèm theo thứ tự lần ghi Trong trình thu liệu chương trình thu đồng thời liệu cảm biến gia tốc kế, từ trường kế, cảm biến trọng lực, xử lý trực tiếp qua cặp liệu cảm biến liệu cảm biến gia tốc qua đổi trục ghi liên tục vào file lấy mẫu lưu nhớ điện thoại Các trạng thái trình ghi liệu là: đặt điện thoại túi quần, cầm điện thoại tay cố định, cầm điện thoại để điện thoại hành động tự nhiên theo tay Bộ liệu huấn luyện ghi lại nhiều người với độ tuổi khác nhau, với tư để điện thoại theo người Việc phân lớp sử dụng thư viện weka di động Mẫu liệu dừng Mẫu liệu di chuyển Hình Mẫu liệu thu thập Hệ thống cho kết nhận diện với trạng thái thực ngẫu nhiên hành động liên tiếp 10 người khác bao gồm bộ, chạy, xe dừng Với trạng thái bao gồm đứng, ngồi ghế, ngồi xe nổ máy Mỗi hành động thời gian 100 - 300 giây, máy thực nghiệm cài hệ điều hành Android 4.2 trở lên Kết nhận diện sau: Bảng Kết thực nghiệm TT Thời gian (giây) 500 500 500 300 300 500 500 Hình thức Độ trễ chuyển trạng thái (Di chuyển Dừng) Độ xác 7-8s 6-8s 6-8s 5-6s 5-6s 6-8s 6-8s 92,8% 94,2% 90,5% 94,3% 94,6% 88.5% 89.3% Đi xe 40 km/h- dừng xe (5 lượt) Đi xe 40 km/h- dừng xe (5 lượt) Đi xe tự - dừng xe (5 lượt) Đi - dừng - chạy (3 lượt) Chạy - dừng - (3 lượt) Đi - dừng - xe tự (5 lượt) Đi xe tự - dừng- bộ(5 lượt) HỘI NGHỊ QUỐC TẾ KHOA HỌC CÔNG NGHỆ HÀNG HẢI 2016 420 THE INTERNATIONAL CONFERENCE ON MARINE SCIENCE AND TECHNOLOGY 2016 Kết thực nghiệm khả quan, hệ thống nhận diện tốt hành động diễn khoảng thời gian dài Tuy nhiên thời gian chuyển trạng thái tương đối lớn nên khơng đáp ứng người dùng thay đổi hành động nhanh, thay đổi hành động xảy việc nhận diện sai Trong thời gian tới, nhóm tác giả tiếp tục phát triển để phân biệt rõ hành động giảm thời gian trễ chuyển hành động Tài liệu tham khảo [1] Nan Lu, Jihong Wang, Q.H Wu and Li Yang An Improved Motion Detection Method for Real-Time Surveillance IAENG International Journal of Computer Science (2008) [2] P Turaga, R Chellappa V Subrahmanian, and O Udrea, Machine recognition of human activities: A survey IEEE Transactions on Circuits and Systems for Video Technology (2008) vol 18, no 11 pp 1473-1488 [3] Ivan Laptev, Serge J Belongie, Patrick Perez and Josh Wills Periodic Motion Detection and Segmentation via Approximate Sequence Alignment IRISA/INRIA Rennes Campus universitaire de Beaulieu 35042 Rennes Cedex France (2005) [4] J Yin, Q Yang, and J Pan Sensor-based abnormal human-activity detection IEEE Transactions on Knowledge and Data Engineering (2008) vol 20, no pp 1082-1090 [5] O D Lara, A J Perez, M A Labrador, and J D Posada A human activity recognition system based on acceleration and vital sign data Journal on Pervasive and Mobile Computing (2011) [6] U Maurer, A Smailagic, D P Siewiorek, and M Deisher Activity recognition and monitoring using multiple sensors on different body positions International Workshop on Wearable and Implantable Body Sensor Networks (2006) [7] F Foerster, M Smeja, and J Fahrenberg Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring Computers in Human Behavior (1999) vol 15, no 5, pp 571-583 [8] S Reddy, M Mun, J Burke, D Estrin, M Hansen, and M Srivastava Using mobile phones to determine transportation modes ACM Transactions on Sensor Networks, (2010) vol 6, no pp 1-27 [9] C V C Bouten, K T M Koekkoek, M Verduin, R Kodde and J.D Janssen A Triaxial Accelerometer and Portable Data Processing Unit for the Assessment of Daily Physical Activity IEEE Transactions on Biomedical Engineering (1997) Vol 44, No [10] F S Bao, J M Gao, J Hu, D Y C Lie, Y Zhang and K J Oommen Automated Epilepsy Diagnosis Using Interictal Scalp EEG In Proceedings of IEEE Engineering in Medicine and Biology Society (2009) [11] Yu L Pavlov Random Forests Walter de Gruyter (2000) [12] Daniel T Larose and Chantal D Larose Discovering Knowledge in Data: An Introduction to Data Mining- Second Edition (2014) John Wiley & Sons HỘI NGHỊ QUỐC TẾ KHOA HỌC CÔNG NGHỆ HÀNG HẢI 2016 421 ... Hình Mơ hình nhận di n hành động với cảm biến đeo người Nhận di n hành động Cũng hệ thống nhận di n qua cảm biến, nhận di n điện thoại thông minh qua hai giai đoạn huấn luyện nhận di n thực tế... TECHNOLOGY 2016 Kết đạt Hệ thống nhận di n thiết kế bao gồm hai pha hoạt động riêng rẽ huấn luyện nhận di n hoạt động Việc thu huấn luyện liệu di n sau: - Dữ liệu ghi lại thiết bị Android có tích hợp cảm... khả quan, hệ thống nhận di n tốt hành động di n khoảng thời gian dài Tuy nhiên thời gian chuyển trạng thái tương đối lớn nên không đáp ứng người dùng thay đổi hành động nhanh, thay đổi hành động