Nhận dạng hành động hàng ngày của con người dựa vào cảm biến gia tốc trên điện thoại thông minh

Bài viết này sẽ khảo sát đánh giá một mô hình nhận dạng các hoạt động hàng ngày bao gồm cả các hành vi bất thường dựa trên dữ liệu cảm biến gia tốc của điện thoại thông minh. Ảnh hưởng kích thước cửa sổ trượt và các tập thuộc tính khác nhau lên độ chính xác phân lớp từng hành động cũng sẽ được khảo sát đánh giá trong bài báo này.

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00194 NHẬN DẠNG HÀNH ĐỘNG HÀNG NGÀY CỦA CON NGƯỜI DỰA VÀO CẢM BIẾN GIA TỐC TRÊN ĐIỆN THOẠI THÔNG MINH Lê Hồng Lam1, Cao Ngọc Ánh2, Nguyễn Hoài Nam3, Nguyễn Đức Nhân4, Trần Thủy Bình4, Nguyễn Hà Nam5 Khoa Điện tử, Trường Đại học Sư phạm Kỹ thuật Vinh Trường Đại học Kinh tế - Kỹ thuật công nghiệp Cục Công nghệ thông tin, Bộ Giáo dục Đào tạo Khoa Viễn thông 1, Học viện Công nghệ Bưu viễn thơng Viện Cơng nghệ thơng tin, Đại học Quốc gia Hà Nội lehonglam.skv@gmail.com, cnanh@uneti.edu.vn, nam.moet@gmail.com, nhannd@ptit.edu.vn, tran.binh95@gmail.com, namnh@vnu.edu.vn TĨM TẮT: Nhận dạng xác hoạt động hàng ngày người chủ đề thu hút ý nghiên cứu nhiệm vụ khó khăn, đặc biệt số lượng hoạt động lớn có hoạt động bất thường ngã Nhờ phổ biến rộng rãi việc sử dụng điện thoại thơng minh, tốn nhận dạng hoạt động dựa vào liệu thu từ cảm biến điện thoại thông minh người dùng quan tâm nhiều Bài báo khảo sát đánh giá mơ hình nhận dạng hoạt động hàng ngày bao gồm hành vi bất thường dựa liệu cảm biến gia tốc điện thoại thơng minh Ảnh hưởng kích thước cửa sổ trượt tập thuộc tính khác lên độ xác phân lớp hành động khảo sát đánh giá báo Tập thuộc tính khác xem xét dựa miền khác bao gồm tập thuộc tính miền thời gian, tập thuộc tính miền tần số tập thuộc tính Hjorth tổ hợp miền để lựa chọn tập thuộc tính phù hợp nâng cao kết phân lớp Thực nghiệm tiến hành phân loại khác bao gồm Random Forest (RF), SVM, kNN kết thu cho thấy giải thuật Random Forest đạt kết nhận dạng tốt Từ khóa: Nhận dạng hành động, cảm biến gia tốc smartphone, mơ hình phân lớp Random Forest, tập thuộc tính I GIỚI THIỆU Điện thoại thơng minh trở nên phổ biến nhiều nước giới Việt Nam, trở thành cơng cụ hữu ích cho nhận dạng hành động hàng ngày người dùng nhờ thu thập liệu từ cảm biến tích hợp Với gia tăng dân số cao tuổi nhiều nước giới nay, hệ thống nhận dạng hành động đặc biệt hành động bất thường người xảy ngã, đột quỵ, bị va đập mạnh kiểm soát quan tâm nghiên cứu năm gần để hỗ trợ thân người cao tuổi người chăm sóc sống hàng ngày Nhận dạng hành động hàng ngày người dựa mơ hình học máy quan tâm nghiên cứu từ lâu ứng dụng nhiều lĩnh vực khác giao thông, giám sát môi trường chăm sóc y tế [1], [2] Trong sống hàng ngày với nhiều hoạt động, hành vi bất thường đa dạng, nhiên hành vi bất thường ngã quan tâm ý nhận dạng nhiều hậu ngã đem lại thường nghiêm trọng đặc biệt người già Ravi cộng [3] phân loại hoạt động khác người cách sử dụng gia tốc kế Shoaib cộng [4] sử dụng điện thoại thông minh đồng hồ thông minh để xác định hoạt động hàng ngày khác người Họ sử dụng mô hình phân lớp định C4.5, kNN SVM Sag bas Ballı [5] so sánh thành công phương pháp Naive Bayes kNN việc phân loại hoạt động người cách sử dụng gia tốc kế cảm biến đếm bước chân đồng hồ thông minh Trong nghiên cứu thực Parkka cộng [6] hoạt động hàng ngày xác định với cảm biến gia tốc kế quay hồi chuyển gắn hông, cổ tay cổ chân, kết đạt ba vị trí so sánh Riboni Bettini [7] sử dụng mạng Bayes, C4.5, hồi quy logistic, Naive Bayes SVM để phân loại liệu thu từ điện thoại thông minh Android thiết bị đeo Sun microsystems Trong báo này, nhóm tác giả lựa chọn điện thoại thơng minh để tiến hành nghiên cứu tính phổ biến Nhận diện mẫu hành vi bất thường liên quan đến ngã sử dụng liệu cảm biến điện thoại thông minh thách thức lớn Có nhiều yếu tố tác động dẫn đến khả ngã phân thành yếu tố bên liên quan đến hành vi, trạng thái sức khỏe người yếu tố bên ngồi liên quan đến mơi trường [8], [9] Việc nhận diện nhiều mối liên kết yếu tố giúp xác định rõ mức độ rủi ro dẫn đến ngã Với liệu thu từ cảm biến chuyển động điện thoại thơng minh yếu tố môi trường không xác định tạo thách thức lớn để đánh giá mức độ rủi ro ngã Do vậy, việc cần thiết phải xác định rõ pha đặc trưng dáng người, đặc biệt người già, qua xác định tham số đặc trưng cho pha biến đổi tham số theo thời gian ảnh hưởng đến khả ngã Việc xây dựng mơ hình nhận diện hành vi bất thường cần xem xét phương pháp trích xuất đặc trưng khác nhau: trích rút đặc trưng miền thời gian, trích rút đặc trưng miền tần số, miền biến đổi tham số Hjorth Xác định tập đặc trưng tiểu biểu có vai trị vơ quan trọng cho phép thuật tốn phân loại nhận diện mẫu hành vi bất thường người với độ xác cao bối cảnh hoạt động sống hàng ngày Việt Nam Tính nghiên cứu nằm đề xuất tập thuộc tính đặc trưng dựa miền thời gian miền tần số nhằm biến đổi liệu cảm biến thành liệu đặc trưng phục vụ cho nhận dạng hành động hành vi bất thường Kết độ Lê Hồng Lam, Cao Ngọc Ánh, Nguyễn Hồi Nam, Nguyễn Đức Nhân, Trần Thủy Bình, Nguyễn Hà Nam 413 đo sau phân lớp liệu sử dụng để đánh giá, lựa chọn tập thuộc tính Trong đó, sử dụng tham số Hjorth cho đại lượng khác nhằm thu thuộc tính phù hợp để biến đổi liệu cảm biến thành liệu đặc trưng Tập thuộc tính đặc trưng phù hợp sử dụng làm sở cho việc xây dựng hệ thống nhận dạng phương pháp phân lớp RF, kNN SVM Kết thu cho thấy giải thuật RF có kết nhận dạng tốt Cấu trúc báo phần II giới thiệu sơ đồ hệ thống nhận dạng, bước tiền xử lý liệu, thiết lập cửa sổ liệu tập thuộc tính đặc trưng Phần III trình bày q trình thực nghiệm đánh giá mơ hình Phần IV đưa kết luận đề xuất hướng nghiên cứu tương lai II MƠ HÌNH NHẬN DẠNG A Sơ đồ hệ thống nhận dạng Hệ thống nhận dạng hành động thực việc thu thập, tiền xử lý liệu, biến đổi để có tập liệu đặc trưng dựa tập thuộc tính đề xuất Từ số nghiên cứu có cho thấy, kích thước cửa sổ liệu sử dụng nhận dạng cố định tất đối tượng Điều gặp phải nhiều khó khăn hành động, hành vi cần nhận dạng có đặc điểm, tính chất khác Do đó, hệ thống nhận dạng dựa vào liệu đặc trưng biến đổi tập thuộc tính đề xuất với cửa sổ liệu khác theo loại hành động Các kích thước cửa sổ lựa chọn dựa đánh giá độ đo AUC phân lớp liệu Dữ liệu cảm biến gia tốc thu từ điện thoại gồm điểm liệu véctơ gồm ba số thực tương ứng ba trục X, Y, Z hệ trục tọa độ thiết bị Chuỗi tín hiệu cảm biến gia tốc với điểm thêm vào theo thời gian có tính chất liệu chuỗi thời gian Vì chuỗi thời gian dạng luồng bao gồm số lớn giá trị Do nhân tố chủ quan, khách quan khác chủng loại thiết bị, tần số lấy mẫu thu liệu cho chuỗi liệu khác Vì vậy, cần sử dụng kỹ thuật tiền xử lý phân đoạn cửa sổ tín hiệu có kích thước phù hợp cho thơng tin đối tượng nhận dạng nhiều cửa sổ liệu Kỹ thuật cắt chồng liệu sử dụng để phân đoạn chuỗi liệu cảm biến liên tục thành cửa sổ có kích thước W Cắt chồng liệu cách lấy lại số điểm liệu cửa sổ trước làm thành phần cho cửa sổ Kỹ thuật sử dụng nhiều nghiên cứu công bố nhận dạng hành động, hành vi thông qua liệu cảm biến [10], [11], [12], [13] Dựa vào cửa sổ liệu, phương pháp trích xuất, biến đổi liệu áp dụng để đưa giá trị đặc trưng đối tượng cần nhận dạng Tiếp đến áp dụng thuật toán nhận dạng phù hợp để thu kết mong muốn Hệ thống nhận dạng hoạt động hàng ngày bao gồm hành vi bất thường dựa liệu cảm biến gia tốc điện thoại thông minh xây dựng biểu diễn Hình 1: Hình Hệ thống nhận dạng hoạt động hàng ngày Hệ thống nhận dạng bao gồm pha: Pha thứ nhất, sử dụng liệu gia tốc có gán nhãn loại hành động thu thập xác định trước Các kỹ thuật tiền xử lý liệu sử dụng kết hợp với tập thuộc tính đặc trưng đề xuất để xây dựng tập liệu đặc trưng qua xây dựng mơ hình phát cho hệ thống phương pháp nhận dạng Pha thứ hai, nhận dạng hoạt động hàng ngày dựa liệu cảm biến thu từ điện thoại tình nguyện viên Các kỹ thuật biến đổi liệu, trích xuất đặc trưng áp dụng để tạo mẫu liệu phát hiện, phát nhãn mẫu liệu phân lớp Mỗi loại hành động, hành vi có tính chất, đặc trưng khác nên kích thước cửa sổ liệu tương ứng khác Việc tìm cửa sổ có kích thước phù hợp chứa đủ thông tin tất đối tượng cần phân loại, 414 NHẬN DẠNG HÀNH ĐỘNG HÀNG NGÀY CỦA CON NGƯỜI DỰA VÀO CẢM BIẾN GIA TỐC TRÊN… nhận dạng gặp nhiều khó khăn dẫn đến cần phải khảo sát lựa chọn kích thước phù hợp với nhãn lớp Trong kỹ thuật cửa sổ liệu, kết khảo sát, tối ưu nhận giá trị kích thước cửa sổ chồng liệu phù hợp theo nhãn lớp hành động B Các kỹ thuật phân lớp sử dụng mơ hình Ngày nay, với tăng nhanh dung lượng chủng loại liệu Các kỹ thuật, mơ hình nghiên cứu cải tiến để đáp ứng u cầu bối cảnh đặt Mơ hình phân lớp mơ hình phổ biến, áp dụng nhiều toán khác Nhiều mơ hình phân lớp sử dụng nhận dạng hoạt động bao gồm định, phương pháp Nạve Bayes, kNN, mạng nơron, mơ hình Markov kết hợp phân lớp [14] Trong nghiên cứu này, nhóm tác giả sử dụng mơ hình phân lớp: Rừng ngẫu nhiên RF, thuật toán phân lớp máy véctơ hỗ trợ SVM thuật toán phân lớp kNN đê tiến hành thực nghiệm Phương pháp phân lớp phi tham số kNN phổ biến hoạt động nhận dạng; máy véctơ hỗ trợ SVM chứng minh có độ xác dự báo tốt ứng dụng, bao gồm nhận dạng hoạt động [15] Thuật toán kNN phương pháp học có giám sát "Supervised Learning" tức dựa biến mục tiêu xác định trước đó, thuật toán xem xét liệu chứa biến mục tiêu (đã phân loại) để “học tìm biến d tác động đến biến mục tiêu Khi đưa phần tử liệu mới, giải thuật tìm k phần tử liệu láng giềng gần (k nearest neighbors), sau dựa nhãn (lớp) láng giềng mà định nhãn (lớp) phần tử liệu thuộc lớp Trường hợp đơn giản nhất, giả sử tìm phần tử gần phần tử nhất, nhãn phần tử gán nhãn phần tử tìm Để tìm phần tử láng giềng gần cần định nghĩa độ đo đó, độ đo điển hình độ đo khoảng cách Euclide [16-tr255] Giải thuật kNN gọi "Lazy learning method" tính đơn giản nó, q trình training khơng q phức tạp để hồn thành mơ hình (tất liệu đào tạo sử dụng để kiểm tra mơ hình kNN) Điều làm cho việc xây dựng mơ hình nhanh giai đoạn thử nghiệm chậm tốn mặt thời gian nhớ lưu trữ, đặc biệt liệu lớn phức tạp với nhiều biến khác Trong trường hợp xấu nhất, kNN cần thêm thời gian để quét tất điểm liệu việc cần nhiều không gian nhớ để lưu trữ liệu Ngồi ra, kNN khơng cần dựa tham số khác để tiến hành phần loại liệu, không đưa kết luận cụ thể biến đầu vào biến mục tiêu, mà dựa khoảng cách data point cần phân loại với data point phân loại trước Đây đặc điểm hữu ích hầu hết liệu giới thực không thực tuân theo giả định lý thuyết ví dụ phân phối chuẩn thống kê Thuật toán máy véctơ hỗ trợ (Support Véctơ Machine - SVM) thuộc lớp giải thuật phân lớp thống kê Đây mơ hình học máy có giám sát thường dùng toán phân loại nhị phân SVM có khả xử lý liệu tuyến tính liệu khơng tuyến tính Bản chất giải thuật xây dựng siêu phẳng để phân chia liệu thành nửa Giải thuật coi liệu huấn luyện ứng với điểm khơng gian N chiều, mơ hình tìm siêu phẳng N − chiều tốt chia đôi tập điểm cho liệu lớp thuộc phần không gian Tốt theo nghĩa siêu phẳng có lề lớn nhất, với lề khoảng cách từ điểm gần (ở lớp) tới siêu phẳng Trong trường hợp liệu không tuyến tính, sử dụng hàm nhân (kernel function) để chuyển đổi tập liệu ban đầu sang khơng gian có số chiều lớn để xử lý [16-tr245] Thuật toán Rừng ngẫu nhiên (Random Forest) dựa kỹ thuật học kết hợp, phương pháp tạo nhiều phân lớp kết hợp kết chúng Rừng ngẫu nhiên tạo nhiều định mà cụ thể thuật toán phân lớp phân loại hồi quy (CART) [17], sử dụng kỹ thuật bagging Mỗi huấn luyện sử dụng mẫu liệu mồi (bootstrap), lấy từ tập liệu gốc ban đầu tìm kiếm nhóm nhỏ ngẫu nhiên thuộc tính tập thuộc tính đầu vào để phân chia cho mức CART định nhị phân, tạo nên cách liên tiếp phân chia liệu nút thành nút nhỏ hơn, nút gốc chứa toàn liệu đầu vào Nhờ chia nhỏ khơng gian tìm kiếm theo cách này, việc phân loại thực nhanh chóng kể trường hợp khơng gian thuộc tính lớn Tham số đầu vào hàm phân chia bao gồm thuộc tính chọn lần phân chia Rừng ngẫu nhiên không hạn chế số lượng tạo mở rộng Tuy nhiên, cần chọn số sinh để đảm bảo thuộc tính kiểm tra vài lần Để xây dựng tập huấn luyện phương pháp kiểm tra, kỹ thuật “out-of-bag” sử dụng rừng ngẫu nhiên Giống CART, rừng ngẫu nhiên sử dụng độ đo Gini cho độ pha tạp thông tin (impurity) để tìm tập phân chia tốt nhất, tập có độ pha tạp thơng tin tối thiểu nút [18] Độ pha tạp thông tin Gini cách đo phân bố nhãn lớp nút, lấy giá trị khoảng [0, 1], giá trị có phần tử nút thuộc lớp C Tập thuộc tính đặc trưng Trong miền thời gian, số đại lượng thống kê sử dụng lựa chọn làm thuộc tính đặc trưng giá trị trung bình, phương sai độ lệch chuẩn Bên cạnh đó, số tính khác miền thời gian độ lệch mẫu (độ lệch giá trị mẫu cực đại cực tiểu), tương quan tín hiệu hệ số tương quan, tỉ lệ đỉnh trung bình (PAR), diện tích độ lớn tín hiệu (SMA), độ lớn véctơ tín hiệu (SVM) tín hiệu vi sai độ lớn véctơ (DSVM) [19] Quá trình hoạt động người có thay đổi gia tốc nên thuộc tính miền thời gian có ý nghĩa hàm chứa thơng tin hữu ích phân tích hành động, hành vi Ngồi ra, cần phân tích thuộc tính Lê Hồng Lam, Cao Ngọc Ánh, Nguyễn Hồi Nam, Nguyễn Đức Nhân, Trần Thủy Bình, Nguyễn Hà Nam 415 hỗ trợ từ miền thông tin khác Để lựa chọn tập thuộc tính đặc trưng phù hợp, cần kết hợp thuộc tính miền thời gian, miền tần số tham số Hjorth Tuy nhiên, để đánh giá hỗ trợ tập thuộc tính Chúng tơi đánh giá kết hợp với nhằm làm rõ ảnh hưởng tham số Tập thuộc tính (T): Tập thuộc tính bao gồm thuộc tính miền thời gian giá trị trung bình, thuộc tính phương sai, thuộc tính hiệp phương sai, thuộc tính độ lệch chuẩn, thuộc tính độ tương quan, giá trị điểm cắt khơng, thuộc tính độ đo hiệu dụng cửa sổ liệu Cùng với thuộc tính tỉ lệ đỉnh trung bình (Pick Average Ratio) trục X, Y, Z cảm biến gia tốc nhằm tăng thêm hiệu nhận dạng hành động giao thông Kết hợp với thuộc tính diện tích độ lớn tín hiệu (SMA) [19] với thuộc tính độ lớn véctơ tín hiệu vi sai DSVM [19], thuộc tính giá trị trung bình, phương sai giá trị ước tính cho tốc độ biến thiên góc quay Tổng số thuộc tính miền thời gian tập T 34 thuộc tính Tập thuộc tính (F): Tập thuộc tính bao gồm thuộc tính miền tần số tín hiệu cảm biến gia tốc thu hoạt động Bên cạnh đó, thay đổi tín hiệu đẫn đến thay đổi giá trị lượng, nên đại lượng liên quan đến lượng tín hiệu độ đo Entropy lựa chọn nhằm trợ giúp nhận dạng hành động, hành vi khác Số lượng thuộc tính tập F thuộc tính Tham số Hjorth (H): Được đề xuất sử dụng chủ yếu lĩnh vực phân tích tín hiệu tin sinh học [20][21] Đặc trưng tham số có tính chất thống kê tín hiệu miền thời gian gồm tính hoạt động, tính di động tính phức hợp tín hiệu Để nhận dạng hành động hành vi, nhóm tác giả đề xuất sử dụng tham số đại lượng góc xoay đại lượng trục khác liệu cảm biến gia tốc Tập thuộc tính từ tham số Hjorth ký hiệu H bao gồm 18 thuộc tính sử dụng cho thực nghiệm III THỰC NGHIỆM ĐÁNH GIÁ MƠ HÌNH A Tổng quan liệu Trong nghiên cứu này, nhóm tác giả sử dụng liệu cảm biến điện thoại MobiAct để tiến hành xây dựng hệ thống nhận dạng MobiAct liệu cơng bố rộng rãi tải miễn phí từ địa www.bmi Teicrete.gr Bộ liệu bao gồm loại ngã khác 12 trạng thái hoạt động hàng ngày (ADL Activities of Daily Living) khác 66 tình nguyện viên thực với 9879 thử nghiệm thu thập từ loại cảm biến bao gồm gia tốc kế (acc - accelerometer), quay chuyển (gyro - gyroscope) cảm biến góc nghiêng (ori - orientation) điện thoại thông minh Samsung Galaxy S3 [22] Bộ liệu MobiAct phù hợp để điều tra nhiệm vụ phát hiện/nhận dạng té ngã nhận dạng hoạt động người Bảng tóm tắt tất hoạt động hàng ngày hành động ngã ghi lại (và mã hoạt động), số lượng, thời gian thử nghiệm mơ tả tóm tắt hoạt động Bảng Các hoạt động hàng ngày (ADL) TT Nhãn 10 11 12 STD WAL JOG JUM STU STN SCH SIT CHU CSI CSO LYI Hoạt động Đứng Đi Chạy Nhảy Lên cầu thang Xuống cầu thang Đứng chuyển sang ngồi Ngồi ghế Ngồi chuyển sang đứng Bước vào xe Bước khỏi xe Nằm Thử nghiệm 1 3 6 6 6 12 Thời gian phút phút 30 giây 30 giây 10 giây 10 giây giây phút giây giây giây - Mô tả Đứng với với cử động nhẹ nhàng Đi bình thường Chạy Nhảy liên tục Đi lên cầu thang (10 bậc) Đi xuống cầu thang (10 bậc) Chuyển tiếp từ đứng sang ngồi (ngồi ghế) Ngồi ghế với cử động nhẹ nhàng Chuyển tiếp từ ngồi sang đứng (đứng lên từ ghế) Bước vào xe Bước khỏi xe Hoạt động thực khoảng thời gian nằm sau ngã Bảng Các trạng thái ngã (Falls) TT Nhãn Hoạt động 10 11 12 13 FOL FKL BSC SDL Ngã phía trước Ngã gập đầu gối Ngã từ ghế Ngã nghiêng Thử nghiệm 3 3 Thời gian 10 giây 10 giây 10 giây 10 giây Mơ tả Ngã phía trước đứng, sử dụng tay để chống ngã Ngã phía trước đứng, đầu gối tiếp xúc Ngã ngửa ngồi ghế Ngã sang bên đứng, gập chân Thành công phương pháp đề xuất đánh giá với tiêu chí đánh giá khác Ở giai đoạn này, khu vực đường cong (AUC), độ xác phân loại (Acc) F-measure sử dụng Các tiêu chí NHẬN DẠNG HÀNH ĐỘNG HÀNG NGÀY CỦA CON NGƯỜI DỰA VÀO CẢM BIẾN GIA TỐC TRÊN… 416 thường ưa thích nghiên cứu nhận dạng hành động người vấn đề phân loại [7][23][24] Mục đích việc sử dụng phương pháp khác thực nghiệm để nhận kết qua phân lớp tốt B Kết thực nghiệm Ảnh hưởng tập thuộc tính đặc trưng Để đánh giá, lựa chọn tập thuộc tính có kết phân loại tốt nhất, nhóm nghiên cứu tiến hành đánh giá tập thuộc tính H, T, F, sau tiến hành kết hợp tập thuộc tính với TF, TH, TFH Thơng qua thực nghiệm, nhằm đánh giá tính chất thuộc tính phù hợp, cửa sổ liệu lựa chọn giây tất hành động, với tỉ lệ chồng liệu 50 % Một số thuật tốn phân lớp thơng dụng RF, kNN, SVM với tham số mặc định phần mềm weka lựa chọn Bảng để tiến hành thực nghiệm Số lượng thuộc tính tập biểu diễn Bảng Phương pháp đánh giá sử dụng kiểm tra chéo - 10 fold Bảng Tham số thuật toán phân lớp sử dụng cho thực nghiệm TT Thuật toán RF k- NN SVM Tham số Số lượng RF, I = 100; Xác nhận chéo 10 lần (cross-validation folds = 10), Kích thước giỏ (%) so với tập huấn luyện P = 100; không giới hạn độ sâu tối đa Số lượng láng giềng gần k = 1; Khơng có giới hạn số lượng phiên huấn luyện W = 0; Thuật tốn tìm kiếm láng giềng gần để sử dụng (Mặc định: weka.core.neighboursearch.LinearNNSearch) Tham số độ phức tạp C = 1,0; Số lần xác thực chéo: sử dụng liệu huấn luyện; Phương pháp hiệu chuẩn sử dụng mơ hình hồi quy logistic đa thức Bảng Các tập thuộc tính dùng để khảo sát cho hệ thống nhận dạng hành động Miền, tham số Hjorth Thời gian Tần số Hjorth Thời gian + Tần số Thời gian + Hjorth Thời gian + Tần số + Hojrth Tên tập thuộc tính T F H TF TH TFH Số lượng thuộc tính 34 07 18 41 52 59 Thực nghiệm với tập thuộc tính thu kết độ xác Accuracy (Acc), AUC Fmeasure Bảng Trong nghiên cứu này, F-measure tính tốn cho hành vi ngã Kết đưa Bảng giá trị trung bình hành động ngã giới thiệu Bảng Bảng Kết phân lớp hoạt động hành vi ngã (Falls) tập thuộc tính khác 5s 50 % T F H TF TH TFH Acc 93,00 % 86,76 % 86,38 % 93,91 % 93,91 % 94,80 % Random Forest F-measure AUC 68,78 % 98,28 % 55,44 % 96,58 % 48,78 % 95,55 % 72,40 % 98,36 % 73,52 % 97,48 % 83,98 % 98,34 % Acc 81,83 % 79,92 % 78,93 % 82,17 % 82,17 % 84,35 % SVM F-measure 28,45 % 25,80 % 13,65 % 31,28 % 31,88 % 34,35 % AUC 89,24 % 84,27 % 81,07 % 89,69 % 83,48 % 90,19 % Acc 91,22 % 83,37 % 76,82 % 91,37 % 91,37 % 87,39 % kNN F-measure 65,40 % 46,48 % 27,95 % 68,05 % 65,60 % 47,00 % AUC 79,53 % 70,81 % 65,94 % 80,21 % 76,33 % 74,16 % Bảng cho thấy, kết phân lớp tập T có độ xác tốt tập H F nên thuộc tính tập T lấy làm thành phần khảo sát kết hợp thành ba tập thuộc tính để đánh giá là: TH, TF TFH nhằm thu tập thuộc tính kết hợp tốt cho nhận dạng hành động Kết lựa chọn dựa AUC mơ hình RF thu tập thuộc tính TFH với kết cao Ảnh hưởng cửa sổ liệu Các hành động bộ, chạy bộ, lên cầu thang, chạy, nhảy … có đặc điểm, chu kỳ khác Ban đầu, q trình nghiên cứu, sử dụng kích thước cửa sổ cố định để nhận dạng loại hành động cửa sổ Việc dẫn đến khó khăn phải lựa chọn kích thước cửa sổ phù hợp cho tất loại hành động Để giải vấn đề này, nhóm ngyên cứu lựa chọn hướng tiếp cận khác khảo sát đánh giá, lựa chọn kích thước cửa sổ hành động dựa vào độ đo AUC nhằm chọn kích thước cửa sổ phù hợp, nâng cao độ xác phân lớp Các hành động xảy hành vi bất thường diễn nhanh nên kích thước cửa sổ liệu lựa chọn khảo sát giây, giây giây Kết phân lớp RF tương ứng với tập liệu cắt kích thước cửa sổ khác nhau, đánh giá phương pháp kiểm chứng chéo 10 - fold thu kết Hình Lê Hồng Lam, Cao Ngọc Ánh, Nguyễn Hồi Nam, Nguyễn Đức Nhân, Trần Thủy Bình, Nguyễn Hà Nam 417 Hình Kết độ đo AUC tất hành động hành động ngã Từ kết thu Hình 2, nhận thấy khả phát hành vi bất thường kích thước cửa sổ W = giây chồng liệu 50 % tốt Phương pháp nhận dạng hành động hàng ngày thuật toán phân lớp phương pháp phổ biến nhiều nghiên cứu sử dụng Tùy theo liệu, yêu cầu tốn có hệ thống nhận dạng thiết kế khác Với tập thuộc tính đề xuất, nhóm nghiên cứu thực nghiệm liệu MobiAct; kết thực nghiệm phát hành động ngã nghiên cứu cao so với phương pháp số nghiên cứu liệu thống kê Bảng Qua kết đánh giá cho thấy, hệ thống nhận dạng phù hợp có kết khả quan việc nhận dạng hành động hàng ngày, đặc biệt hành động ngã Bảng Kết phương pháp nhận dạng tập thuộc tính đề xuất với phương pháp khác [22] liệu MobiAct Nghiên cứu Charikleia Chatzaki cộng [22] Phương pháp đề xuất Kết phân hành động ngã BSC 83,16 % 89,40 % FKL 75,57 % 84,58 % FOL 69,10 % 80,20 % SDL 72,14 % 81,75 % Kết phân trung bình hành động ngã 75,94 % 83,98 % IV KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO Trong nghiên cứu này, nhóm tác giả tiến hành tìm hiểu, khảo sát tính chất liệu cảm biến, kỹ thuật phân tích liệu áp dụng cho loại liệu đặc thù Sau đó, nhóm tiến hành nghiên cứu xây dựng tập thuộc tính đặc trưng nhằm nâng cao hiệu mơ hình nhận dạng hành động người bao gồm hành vi bất thường Dựa vào kết nhận dạng hành động hàng ngày, nhóm tác giả đề xuất kỹ thuật phát hành vi bất thường cách phân đoạn cửa sổ liệu hành động thường ngày thành đoạn với kích thước cửa sổ đủ nhỏ áp dụng phương pháp nhận dạng hành động với cửa sổ liệu Phương pháp đề xuất thử nghiệm đánh giá kết dựa liệu MobiAct công bố Với liệu này, 11 hoạt động hàng ngày khác người hành động ngã phân loại Thực nghiệm với kỹ thuật rừng ngẫu nhiên cho kết tốt 03 kỹ thuật sử dụng Ngoài so sánh với kết nhóm tác giả Charikleia Chatzaki, kết tổng thể thấp nhiên tỷ lệ phát hoạt động ngã mơ hình báo cao nhiều (Bảng 6) Kết nghiên cứu hữu ích việc phát ngăn chặn hành động nguy hiểm ngã người già, hành động không tốt cho sức khỏe người Trong thời gian tới, nhóm tác giả tiếp tục hồn thiện phát triển nghiên cứu theo hướng sử dụng thêm liệu khác thu thập từ cảm biến gia tốc, quay hồi chuyển, cảm biến nhịp tim cảm biến đếm bước chân đồng hồ thông minh điện thoại thơng để nhận dạng hành động người phong phú Khi đó, hoạt động theo dõi chế độ dinh dưỡng cá nhân, phát thói quen xấu theo dõi Ngồi ra, đưa cảnh báo với người bỏ tay túi, loạng choạng,… 418 NHẬN DẠNG HÀNH ĐỘNG HÀNG NGÀY CỦA CON NGƯỜI DỰA VÀO CẢM BIẾN GIA TỐC TRÊN… V TÀI LIỆU THAM KHẢO [1] Khan, W.Z., et al., “Mobile Phone Sensing Systems: A Survey” IEEE Communications Surveys & Tutorials 15(1): p 402-427 [2] Mridul Khan, Sheikh I Ahamed, Miftahur Rahman, Roger O Smith, “A Feature Extraction Method for Real time Human Activity Recognition on Cell Phones”, RESNA_ICTA Conference, Toronto, ON, Canada, June 5-8, 2011 [3] Ravi N, Dandekar N, Mysore P, et al “Activity recognition from accelerometer data” Am Assoc Artif Intel 2005; 5: 1541-1546 [4] Shoaib M, Bosch S, Scholten H, et al “Towards detection of bad habits by fusing smartphone and smartwatch sensors” In: Proceedings of the IEEE international conference on pervasive computing and communication workshops, St Louis, MO, 23-27 March 2015, pp 591-596 New York: IEEE [5] Sag˘ basx EA and Ballı S “Estimation of human activities by using wrist movement” In: Proceedings of the 3rd international management information systems conference, Izmir,_ 6-8 October 2016, pp 52-58 Guă lermat Matbaaclk [6] Parkka J, Ermes M, Antila K, et al “Estimating intensityof physical activity: a comparison of wearable accelerometer and gyro sensors and sensor locations” In: Proceedings of the 29th annual international conference of the IEEE engineering in medicine and biology society, Lyon, 23-26 August 2007, pp 1511-1514 New York: IEEE [7] Riboni D and Bettini C “COSAR: hybrid reasoning forcontext-aware activity recognition” Pers Ubiquit Comput 2011; 15(3): 271-289 [8] B Boashash, “Time-Frequency Signal Analysis and Processing: A Comprehensive Review” 2015 [9] A J Campbell, M J Borrie, and G F Spears, “Risk factors for falls in a community-based prospective study of people 70 years and older,” Journal of gerontology, Vol 44, No 5, pp M112-M117, 1989 [10] E Carvalho, B V Ferreira, C De Souza, Y Suhara, A Pentland, and G Pessin, “Driver behavior profiling : An investigation with different smartphone sensors and machine learning,” pp 1-16, 2017 [11] C Torres-huitzil and A Alvarez-landero, “Recognition in Smartphones for Healthcare Services.” [12] A S B, B J Woodford, and H Lin, “Trends and Applications in Knowledge Discovery and Data Mining,” vol 10526, pp 26-38, 2017 [13] W Astuti, W Sediono, A M Aibinu, R Akmeliawati, and M J E Salami, “Adaptive Short Time Fourier Transform (STFT) Analysis of seismic electric signal (SES): A comparison of Hamming and rectangular window,” ISIEA 2012 - 2012 IEEE Symp Ind Electron Appl., pp 372-377, 2012 [14] Lara, O.D., Labrador, M a., “A Survey on Human Activity Recognition using Wearable Sensors”, IEEE Communications Surveys & Tutorials, 15(3), p 1192-209, (2013) [15] Wu, X., Kumar, V., Quinlan, J.R., Ghosh, J., Yang, Q., Motoda, H et al “Top 10 algorithms in data mining”, Knowledge and Information Systems, Springer 14(1), p 1-37, (2008) [16] Nguyễn Hà Nam, Nguyễn Trí Thành, Hà Quang Thụy, “Giáo trình khai phá liệu”, Nhà xuất Đại học Quốc gia Hà Nội, 2016 [17] Breiman, L., Friedman, J., Stone, C.J., Olshen, R.A (1984), Classification and regression trees, CRC press [18] Breiman, L (2001), Random forests, Machine Learning, Springer 45(1), p 5-32 [19] Dang Nhac Lu, Duc Nhan Nguyen, Thi Hau Nguyen and Ha Nam Nguyen, “Vehicle Mode and Driving Activity Detection Based on Analyzing Sensor Data of Smartphones”, Sensors 2018, 18, 1036 [20] B O Hjorth, “Technical contributions eeg analysis based on time domain properties,” pp 306-310, 1970 [21] S Oh, Y Lee, and H Kim, “A Novel EEG Feature Extraction Method Using Hjorth Parameter,” Vol 2, No 2, pp 106-110, 2014 [22] Charikleia Chatzaki, Matthew Pediaditis, George Vavoulas and Manolis Tsiknakis, “Human Daily Activity and Fall Recognition Using a Smartphone’s Acceleration Sensor” Röcker et al (Eds.): ICT4AWE 2016, CCIS 736, pp 100-118, 2017 [23] Dong Y, Scisco J, Wilson M, et al “Detecting periods ofeating during free-living by tracking wrist motion” Biomed Health Inform 2014; 18(4): 1253-1260 [24] Pedometer and step counter mobile apps: how does itwork?http://mohdaslam.com/pedometer-and-step-coun termobile-apps-how-does-it-work/ (accessed 14 December 2017) Lê Hồng Lam, Cao Ngọc Ánh, Nguyễn Hoài Nam, Nguyễn Đức Nhân, Trần Thủy Bình, Nguyễn Hà Nam 419 HUMAN DAILY ACTIVITIES RECOGNITION USING A SMARTPHONE’S ACCELERATION SENSOR Le Hong Lam, Cao Ngoc Anh, Nguyen Hoai Nam, Nguyen Duc Nhan, Tran Thuy Binh, Nguyen Ha Nam ABSTRACT: Accurately human daily activities recognition is always a topic that attracts a lot of attention in research and it is however a difficult task, especially in case of large number of activities including abnormal activities such as fall Thanks to the widespread use of smartphones, the problem of activities recognition based on data obtained from sensors on smartphones is receiving much attention This article will examine and evaluate a pattern that identifies everyday activities including anomalous behaviors based on accelerometer sensor data of smartphones The influence of the sliding window size and the different sets of features on the classification accuracy of each activity will also be examined and evaluated in this paper Different sets of features are based on different domains, including time domain, frequency domain and Hjorth parameters, and combinations between them The appropriate set of features with the best classification result will be determined Experiments are also conducted on different classifiers including Random Forest (RF), SVM, kNN and the results obtained showed that Random Forest algorithm achieved the best recognition result  ... cần nhận dạng Tiếp đến áp dụng thuật toán nhận dạng phù hợp để thu kết mong muốn Hệ thống nhận dạng hoạt động hàng ngày bao gồm hành vi bất thường dựa liệu cảm biến gia tốc điện thoại thông minh. .. đánh giá khác Ở giai đoạn này, khu vực đường cong (AUC), độ xác phân loại (Acc) F-measure sử dụng Các tiêu chí NHẬN DẠNG HÀNH ĐỘNG HÀNG NGÀY CỦA CON NGƯỜI DỰA VÀO CẢM BIẾN GIA TỐC TRÊN… 416 thường... hình nhận dạng hành động người bao gồm hành vi bất thường Dựa vào kết nhận dạng hành động hàng ngày, nhóm tác giả đề xuất kỹ thuật phát hành vi bất thường cách phân đoạn cửa sổ liệu hành động