Nghiên cứu phương pháp học máy cho nhận dạng hoạt động sử dụng cảm biến mang trên người (TT)

MỞ ĐẦU 1. Tính cấp thiết của luận án Nhờ vào sự tiến bộ của công nghệ và các nhu cầu ứng dụng trong những năm gần đây, nghiên cứu về nhận dạng hoạt động người đã có được sự phát triển mạnh mẽ. Có nhiều bài toán thực tế cần các giải pháp dựa vào nhận dạng hoạt động để tạo ra các cách thức tương tác đa dạng, chủ động cung cấp các dịch vụ trợ giúp người dùng hoàn thành công việc. Hiện nay, có ba cách tiếp cận phổ biến để giải quyết bài toán nhận dạng hoạt động, bao gồm: nhận dạng hoạt động dựa trên thị giác máy tính, nhận dạng hoạt động dựa trên các cảm biến gắn trong môi trường xung quanh và nhận dạng hoạt động dựa trên cảm biến mang trên người. Hai cách tiếp cận đầu đều có hạn chế do các hoạt động của người dùng bị giới hạn trong một môi trường cố định và hệ thống cũng cần được triển khai, lắp đặt sẵn trong môi trường. Các hạn chế này là rào cản cho việc triển khai rộng rãi các ứng dụng nhận dạng hoạt động người trong thực tế. Cách tiếp cận thứ ba sử dụng cảm biến mang theo trên cơ thể người đã mở ra nhiều ứng dụng tiềm năng trong nhận dạng hoạt động do hoạt động của người dùng không bị giới hạn trong những không gian lắp sẵn các thiết bị. Cách tiếp cận này mang lại khả năng cung cấp những sự trợ giúp thông minh, giao tiếp ảo tại bất kỳ nơi đâu và bất kỳ khi nào, thông qua việc quan sát các hoạt động từ góc nhìn người dùng. Bài toán nhận dạng hoạt động người nói chung và nhận dạng hoạt động dựa trên cảm biến mang theo người nói riêng cũng có thể tiếp cận theo hai hướng, đó là nhận dạng dựa trên tri thức và nhận dạng dựa trên dữ liệu. Cách tiếp cận dựa trên tri thức có nhược điểm là cần nhiều chi phí về thời gian và kinh nghiệm của chuyên gia để xây dựng được tập luật suy diễn tốt, việc cập nhật tự động các luật là không khả thi do nguồn dữ liệu đầu vào thường không có cấu trúc và luôn biến động, đồng thời không có khả năng xử lý thông tin tạm thời và chưa rõ ràng. Cách tiếp cận dựa trên dữ liệu sử dụng các quy tắc nhận dạng được xây dựng dựa trên các tập dữ liệu hành vi người dùng lớn có sẵn và các kỹ thuật học máy, thống kê. Do dựa trên dữ liệu nên cách tiếp cận này đảm bảo được rằng hệ thống có thể cập nhật các quy tắc nhận dạng hoạt động một cách tự động mà không phụ thuộc vào tri thức chuyên gia cũng như có khả năng xử lý các thông tin tạm thời và chưa rõ ràng. Đồng thời, hệ thống cũng có khả năng thích nghi cao và tận dụng được nguồn dữ liệu có sẵn. Chính vì vậy, cách tiếp cận này được quan tâm nghiên cứu nhiều hơn so với phương pháp nhận dạng hoạt động dựa trên tri thức. Đề tài “Nghiên cứu phương pháp học máy cho nhận dạng hoạt động sử dụng cảm biến mang trên người” được thực hiện trong khuôn khổ luận án tiến sĩ chuyên ngành hệ thống thông tin nhằm góp phần giải quyết một số vấn đề còn tồn tại trong phương pháp nhận dạng hoạt động sử dụng cảm biến mang trên người.

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Nguyễn Ngọc Điệp NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CHO NHẬN DẠNG HOẠT ĐỘNG SỬ DỤNG CẢM BIẾN MANG TRÊN NGƯỜI Chuyên ngành: Hệ thống thông tin Mã số: 62.48.01.04 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội - 2016 MỞ ĐẦU Tính cấp thiết luận án Nhờ vào tiến công nghệ nhu cầu ứng dụng năm gần đây, nghiên cứu nhận dạng hoạt động người có phát triển mạnh mẽ Có nhiều toán thực tế cần giải pháp dựa vào nhận dạng hoạt động để tạo cách thức tương tác đa dạng, chủ động cung cấp dịch vụ trợ giúp người dùng hoàn thành công việc Hiện nay, có ba cách tiếp cận phổ biến để giải toán nhận dạng hoạt động, bao gồm: nhận dạng hoạt động dựa thị giác máy tính, nhận dạng hoạt động dựa cảm biến gắn môi trường xung quanh nhận dạng hoạt động dựa cảm biến mang người Hai cách tiếp cận đầu có hạn chế hoạt động người dùng bị giới hạn môi trường cố định hệ thống cần triển khai, lắp đặt sẵn môi trường Các hạn chế rào cản cho việc triển khai rộng rãi ứng dụng nhận dạng hoạt động người thực tế Cách tiếp cận thứ ba sử dụng cảm biến mang theo thể người mở nhiều ứng dụng tiềm nhận dạng hoạt động hoạt động người dùng không bị giới hạn không gian lắp sẵn thiết bị Cách tiếp cận mang lại khả cung cấp trợ giúp thông minh, giao tiếp ảo nơi đâu nào, thông qua việc quan sát hoạt động từ góc nhìn người dùng Bài toán nhận dạng hoạt động người nói chung nhận dạng hoạt động dựa cảm biến mang theo người nói riêng tiếp cận theo hai hướng, nhận dạng dựa tri thức nhận dạng dựa liệu Cách tiếp cận dựa tri thức có nhược điểm cần nhiều chi phí thời gian kinh nghiệm chuyên gia để xây dựng tập luật suy diễn tốt, việc cập nhật tự động luật không khả thi nguồn liệu đầu vào thường cấu trúc biến động, đồng thời khả xử lý thông tin tạm thời chưa rõ ràng Cách tiếp cận dựa liệu sử dụng quy tắc nhận dạng xây dựng dựa tập liệu hành vi người dùng lớn có sẵn kỹ thuật học máy, thống kê Do dựa liệu nên cách tiếp cận đảm bảo hệ thống cập nhật quy tắc nhận dạng hoạt động cách tự động mà không phụ thuộc vào tri thức chuyên gia có khả xử lý thông tin tạm thời chưa rõ ràng Đồng thời, hệ thống có khả thích nghi cao tận dụng nguồn liệu có sẵn Chính vậy, cách tiếp cận quan tâm nghiên cứu nhiều so với phương pháp nhận dạng hoạt động dựa tri thức Đề tài “Nghiên cứu phương pháp học máy cho nhận dạng hoạt động sử dụng cảm biến mang người” thực khuôn khổ luận án tiến sĩ chuyên ngành hệ thống thông tin nhằm góp phần giải số vấn đề tồn phương pháp nhận dạng hoạt động sử dụng cảm biến mang người Mục tiêu, đối tượng phạm vi nghiên cứu Mục tiêu luận án nghiên cứu đề xuất số phương pháp học máy nhằm tăng cường hiệu cho hệ thống nhận dạng hoạt động sử dụng cảm biến mang người, cụ thể đề xuất phương pháp trích xuất đặc trưng hiệu cho nhận dạng hoạt động, với hai mục tiêu: • Nghiên cứu đề xuất phương pháp trích xuất đặc trưng có tốc độ nhanh cho ứng dụng nhận dạng số hoạt động riêng lẻ, với yêu cầu thời gian thực chạy thiết bị thông minh mang theo người • Nghiên cứu đề xuất phương pháp trích xuất đặc trưng giúp nâng cao độ xác cho hệ thống cần nhận dạng nhiều loại hoạt động Như vậy, phương pháp học máy sử dụng để nghiên cứu đề xuất phương pháp trích xuất đặc trưng hệ thống nhận dạng hoạt động sử dụng cảm biến mang người Các phương pháp trích xuất đặc trưng phù hợp với hệ thống trợ giúp cá nhân thông minh nhỏ gọn mang theo người, lực xử lý thấp yêu cầu hoạt động theo thời gian thực, phù hợp với hệ thống cần nhận dạng nhiều hoạt động người phức tạp Các hoạt động người bao gồm hoạt động sống hàng ngày, hoạt động sản xuất, giải trí, thể thao, chuyển động thể ghi nhận phân biệt cảm biến mang người Các đóng góp luận án Đóng góp thứ luận án đề xuất phương pháp trích xuất đặc trưng đơn giản, hiệu dựa tín hiệu cảm biến mang người cho toán nhận dạng hoạt động riêng lẻ gọi HALF Các đặc trưng có khả tính toán nhanh, phù hợp cho hệ thống di động thông minh nhỏ gọn với lực tính toán thấp, đặc biệt hệ thống đòi hỏi thời gian thực Các đặc trưng cho kết cao ứng dụng việc phân biệt hoạt động ngã hoạt động khác, sử dụng cảm biến gia tốc Đóng góp thứ hai luận án đề xuất phương pháp trích xuất đặc trưng tự động có độ xác cao cho nhiều loại hoạt động người dựa học đặc trưng, gọi MPF Các đặc trưng đề xuất cải thiện độ xác nhận dạng hoạt động người so với đặc trưng đa mức kiểu cũ mà giúp loại trừ hạn chế mặt tốc độ xử lý, đồng thời phù hợp để nhận dạng nhiều loại hoạt động người Đóng góp thứ ba luận án áp dụng phương pháp trích xuất đặc trưng đề xuất để xây dựng ứng dụng nhận dạng hoạt động người có tính khả thi thực tế, bao gồm: phát ngã thời gian thực xác thực người dùng sử dụng chữ ký 3D Hệ thống phát ngã sử dụng cảm biến đeo người rẻ tiền, dễ triển khai, phát ngã thời gian thực Hệ thống xác thực điện thoại thông minh xác thực người dùng thông qua hành động “ký tên” không gian (gọi chữ ký 3D) thời gian thực Bố cục luận án Nội dung luận án xây dựng thành bốn chương Chương Giới thiệu tổng quan nhận dạng hoạt động sử dụng cảm biến mang người, bao gồm giới thiệu chung nhận dạng hoạt động người, loại cảm biến, hoạt động người kiến trúc hệ thống nhận dạng hoạt động 5 Cuối phân loại phương pháp trích xuất đặc trưng ưu nhược điểm phương pháp Từ sở nghiên cứu xác định rõ hướng nghiên cứu luận án Chương Trình bày phương pháp trích xuất đặc trưng HALF Nội dung trình bày chương tổng hợp dựa kết công trình nghiên cứu số 1, số 2, số số Chương Trình bày phương pháp trích xuất tự động MPF nhờ học đặc trưng Nội dung trình bày chương tổng hợp từ kết công trình nghiên cứu số tác giả Chương Trình bày hai ứng dụng nhận dạng hoạt động người Nội dung trình bày tổng hợp dựa kết công trình nghiên cứu số 4, số số tác giả Cuối số kết luận luận án CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG HOẠT ĐỘNG SỬ DỤNG CẢM BIẾN MANG TRÊN NGƯỜI 1.1 Kiến trúc hệ thống nhận dạng hoạt động người Nhận dạng hoạt động người trình giám sát phân tích hành vi người dùng trạng thái môi trường xung quanh nhằm suy diễn/nhận dạng hoạt động xảy Một mục tiêu nhận dạng hoạt động cung cấp thông tin hành vi người dùng, từ cho phép hệ thống tính toán chủ động hỗ trợ người dùng công việc Một hệ thống nhận dạng hoạt động người nói chung nhận liệu đầu vào liệu thô lấy từ cảm biến thông thường gồm bước sau: tiền xử lý, phân đoạn, trích chọn đặc trưng (gồm trích xuất đặc trưng lựa chọn đặc trưng), huấn luyện phân lớp hoạt động (xem hình 1.1) Dữ liệu cảm biến Tiền xử lý Phân đoạn Trích/ chọn đặc trưng Huấn luyện /Phân lớp Hoạt động Hình 1.1 Kiến trúc hệ thống nhận dạng hoạt động người 1.2 Các phương pháp trích xuất đặc trưng 1.2.1 Trích xuất đặc trưng theo tri thức chuyên gia Tín hiệu gia tốc tín hiệu có mức độ dao động lớn, khó nhận dạng mẫu sử dụng giá trị thô tín hiệu chưa xử lý Hầu hết hệ thống HAR thời sử dụng đặc trưng theo miền thời gian tần số Phương pháp trích chọn đặc trưng thường sử dụng tính toán đại lượng thống kê trực tiếp liệu thô đầu vào cảm biến, độc lập khung liệu phân đoạn cửa sổ trượt Các đại lượng thống kê phổ biến bao gồm: trung bình, độ lệch chuẩn, phương sai, lượng, trung bình đạo hàm, khoảng tứ phân vị, entropy, tương quan trục, skewness, độ nhọn (kurtosis) Trong miền tần số, phương pháp biến đổi Cô-sin rời rạc (Discrete Cosine Transform) biến đổi Fourier (Fourier Transform) áp dụng mang lại kết khả quan Các đặc trưng thống kê sử dụng nhiều nghiên cứu tính toán đơn giản hiệu cao nhiều toán nhận dạng hoạt động người 7 Trong trường hợp toán phân biệt ngã hoạt động khác đặc trưng thống kê nêu lại không hiệu Lý ngã số hoạt động tương tự ngã khác đứng ngồi, ngồi nằm, nhảy,… có tín hiệu với tính chất tương tự dễ gây nhầm lẫn Cách tiếp cận truyền thống dựa ngưỡng có khả phát ngã nhanh, đơn giản tương đối xác, lại thường bị tỉ lệ cảnh báo giả cao nhiều tình lại không hiệu quả, dẫn tới khả khái quát hóa thấp Để tăng tính khái quát hóa hiệu phân biệt ngã cách tiếp cận dựa học máy gần đề xuất sử dụng tập gồm nhiều đặc trưng thống kê phức tạp Tuy vậy, độ phức tạp tập đặc trưng lớn dẫn tới tính khả thi phương pháp bị hạn chế khó tính toán nhanh hệ thống có lực xử lý thấp thời lượng pin ngắn đa số thiết bị trợ giúp cá nhân di động thông minh mang theo người, đặc biệt hệ thống đòi hỏi thời gian thực Do đó, chúng khó ứng dụng thực tế nay, người dùng cần thuận tiện cao với thiết bị di động trợ giúp cá nhân thông minh, nhỏ gọn Đây vấn đề tồn nghiên cứu nhận dạng hoạt động sử dụng cảm biến mang người, cần phải có phương pháp biểu diễn đặc trưng mới, hiệu phân biệt tốt ngã hoạt động khác có đặc tính liệu tương tự, có khả tính toán nhanh để chạy hệ thống yêu cầu xử lý theo thời gian thực bị hạn chế tài nguyên Vấn đề tồn bàn luận giải chương 1.4.2 Trích xuất đặc trưng tự động học đặc trưng Các đặc trưng dựa tri thức chuyên gia thống kê thường sử dụng hệ thống nhận dạng hoạt động tính đơn giản hiệu Tuy nhiên, chúng hoạt động hiệu ứng dụng để phân biệt số hoạt động đơn giản, cụ thể mà không đáp ứng cần phân biệt tập hoạt động sống hàng ngày (ADL -Activities of Daily Living) nhiều đa dạng Một cách tiếp cận cho vấn đề sử dụng tổ hợp đặc trưng thống kê phức tạp Tuy nhiên cách tiếp cận làm tăng chi phí gây khó khăn cho việc xây dựng hệ thống nhận dạng hoạt động người Một phương pháp khác hiệu sử dụng học đặc trưng, nghĩa tìm cách tối ưu hóa hàm mục tiêu để “bắt được” phù hợp đặc trưng cho liệu Cách tiếp cận tìm biểu diễn đặc trưng chung cho liệu, đồng thời khả quan việc cải thiện độ xác nhận dạng Các phương pháp khác thử nghiệm có kết tốt nhận dạng hoạt động người như: PCA, ECDF dựa PCA, học đặc trưng sử dụng kỹ thuật học sâu với CNN học đặc trưng dựa vào phương pháp túi từ (BoW – Bag of Word) Học đặc trưng dựa vào BoW tạo đặc trưng đa mức Có thể hiểu đặc trưng xác định tổ hợp đặc trưng sở chuyển động thể người Đặc trưng đa mức không đòi hỏi lực xử lý cao đặc trưng dựa học sâu Đặc trưng đa mức tính thông qua bước: phân cụm liệu sử dụng phương pháp phân cụm để tính thống kê xuất nhóm cửa sổ trượt, sau đặc trưng có ý nghĩa tạo nên thông qua tính toán quãng thời gian, tần số kiện đồng xảy từ liệu Các mô hình BoW cho nhận dạng hoạt động thường xây dựng theo ba bước sau: trích xuất đặc trưng, học từ vựng (vocabulary hay codebook) cuối xây dựng phân phối tần suất (histogram) từ (chuyển động) Các đặc trưng trích xuất thường đặc trưng cục bộ, tính toán từ phân đoạn nhỏ cửa sổ thời gian Từ vựng học cách sử dụng thuật toán phân cụm không giám sát để nhóm đặc trưng thành cụm (cluster) Từng trung tâm cụm tạo thành từ (hay véc-tơ mã/code vector), tập từ tạo từ tập liệu tạo thành từ vựng Tần suất xuất từ có từ vựng tạo nên biểu đồ tần suất từ Các đặc trưng đa mức có thông qua học đặc trưng dựa mô hình BoW dựa phương pháp phân cụm không giám sát k-means có hạn chế độ phức tạp tốc độ tính toán liệu đầu vào có số chiều lớn, gây khó khăn cho việc áp dụng thực tế Vấn đề phân tích giải chương 3, với đề xuất tác giả sử dụng đặc trưng MPF để tăng tốc độ tính toán độ xác CHƯƠNG 2: NHẬN DẠNG HOẠT ĐỘNG VỚI CÁC ĐẶC TRƯNG HALF 2.1 Thống kê phân phối tần suất góc hoạt động Xem xét phân phối xác suất góc cho nhiều loại hoạt động với liệu lấy từ tập liệu sử dụng phần thử nghiệm cho thấy: (1) Ba kiểu ngã ngã trước, ngã sau ngã 10 sang bên có phân phối xác suất tương tự (2) So sánh ngã với hoạt động khác đứng, bộ, chạy bộ, nhảy, ngồi, cầu thang, phân phối xác suất theo góc hoạt động khác hẳn nhau, trừ ngã ngồi Điều cho thấy việc sử dụng phân phối tần suất góc mảnh tín hiệu nối hai điểm giúp phân biệt nhiều hoạt động Ngồi ngã có phân phối xác suất gần giống có tính chất tín hiệu gia tốc tương tự 2.2 Các đặc trưng HALF Đặc trưng HALF (Histograms of Angles of Line Fragments between Two Consecutive Points) đề xuất với ý tưởng với loại chuyển động khác nhau, biểu đồ tín hiệu gia tốc có hình dạng thay đổi khác Đặc trưng thay đổi gia tốc cửa sổ thời gian tín hiệu gia tốc nắm bắt thông qua thống kê, phân phối tần suất góc đoạn nối hai điểm liệu liên tiếp Thuật toán trích xuất đặc trưng sau Đầu tiên, khung tín hiệu chia thành mảnh nhỏ (quantum) có độ dài l Góc mảnh tạo véc-tơ nối điểm liệu đầu cuối mảnh với trục ngang thời gian x hình 2.6 Sau tính toán góc mảnh, cần thực tính phân phối tần suất (histogram) góc nhờ việc chia toàn khoảng giá trị góc sang dạng khoảng, gọi ngăn, đếm số mảnh có góc thuộc ngăn Khoảng giá trị ngăn học thông qua việc sử dụng phương pháp phân cụm k-means để nhóm góc mảnh 11 khung tập huấn luyện thành M cụm Phân phối tần suất tạo sử dụng làm đặc trưng cho khung xét Hình 2.6 Ví dụ mảnh (quantum) hướng Để nắm thông tin vị trí tương đối mảnh cửa sổ, cần áp dụng thuật toán trình bày cho K đoạn liệu nhỏ liên tiếp khung liệu để tạo véc-tơ đặc trưng cục Véc-tơ đặc trưng khung tạo cách nối K véc-tơ đặc trưng cục từ K đoạn khung Do tốc độ lấy mẫu cho hoạt động sử dụng cảm biến gia tốc thường từ 50 Hz đến 100 Hz, nghiên cứu sử dụng mảnh với độ dài l = Hai tham số lại xác định thông qua thực nghiệm hay tối ưu hóa Trong trường hợp gán nhãn liệu đầu vào, độ phức tạp thuật toán tổng độ phức tạp thuật toán tất 12 bước trừ bước phân cụm Độ phức tạp cho tìm kiếm gán cụm O(log M) thực tế số cụm M nhỏ 100 nên độ phức tạp O(N) 2.3 Thử nghiệm 2.3.1 Phương pháp phát người ngã Thuật toán đề xuất thực phát ngã cách phân loại cửa sổ tín hiệu hoạt động thành “ngã” “không ngã” Dữ liệu đầu vào luồng tín hiệu gia tốc theo ba trục x, y, z Thuật toán phát ngã gồm bước: phân đoạn liệu, trích xuất đặc trưng phân lớp Trong bước phân đoạn liệu, cần thử nghiệm khung cửa sổ trượt với kích thước khác để tìm giá trị tối ưu Các đặc trưng HALF từ khung trích xuất sau dùng làm liệu đầu vào cho phân lớp SVM dùng cho phát ngã Do liệu huấn luyện cho mô hình phát ngã cân dễ gây tượng vừa liệu, nghiên cứu sử dụng phương pháp SDC tác giả Akbani, giúp SVM hoạt động hiệu Các độ đo sử dụng gồm độ xác (accuracy), độ nhạy (sensitivity), độ đặc hiệu (specificity) TP + TN Accuracy = TP + FP + TN + FN (2.1) Sensitivity = (2.2) Specificity = TP TP + FN TN TN + FP (2.3) 2.3.2 Tập liệu thử nghiệm Phương pháp đề xuất đánh giá thử nghiệm tập liệu ngã công khai, sử dụng nhiều nghiên 13 cứu ngã, bao gồm: tập liệu DLR, MobiFall2, tFall Các tập liệu chứa nhiều liệu cảm biến kiện ngã hoạt động thường ngày khác Sau trình tiền xử lý, thu 2771 khung ADL 36 khung liệu ngã từ tập liệu DLR, 1832 khung ADL 288 khung liệu ngã từ MobiFall2, 7816 khung ADL 503 khung liệu ngã từ tFall 2.3.3 Kết thử nghiệm đánh giá Phương pháp đề xuất (pp3) so sánh với ba phương pháp khác đề xuất Pham cộng (pp1), Jantaraprim cộng (pp2) Özdemir (pp4), tập liệu Các kết mô tả bảng 2.3 trình bày với cấu trúc độ xác trung bình ± độ lệch chuẩn Bảng 2.3 Các kết phát ngã tập liệu Phương pháp (pp1) (pp2) (pp3) (pp4) DLR MobiFall2 tFall 98,11% ± 96,51% ± 95,62% ± 0,20% 0,41% 0,53% 98,83% ± 96,22% ± 96,18% ± 0,50% 0,34% 0,46% 99,93% ± 99,20% ± 98,70% ± 0,08% 0,45% 0,32% 99,27% ± 98,76% ± 97,92% ± 0,19% 0,23% 0,41% Kết phương pháp đề xuất có kết cao tập liệu Mức tăng độ xác với phương pháp đề xuất so với (pp1) (pp2) đáng kể tập liệu, so với (pp4) xấp xỉ Đồng thời, theo số liệu tốc độ bảng 2.4 phân tích độ phức tạp thuật toán, có 14 thể thấy phương pháp trích xuất đặc trưng HALF có khả tính toán nhanh độ phức tạp thấp, phù hợp với thiết bị trợ giúp cá nhân thông minh, có yêu cầu xử lý thời gian thực Bảng 2.4 Tốc độ phát ngã tập liệu tFall Phương pháp Tập liệu tFall (1000 mẫu) (pp1) 2,86 giây (pp2) 1,15 giây (pp3) 3,01 giây (pp4) 15,02 giây CHƯƠNG 3: HỌC CÁC ĐẶC TRƯNG ĐA MỨC MPF 3.1 Giới thiệu Chương đề xuất phương pháp thay để xây dựng tập từ vựng chuyển động (motion vocabulary) thực gán biểu diễn đặc trưng cách sử dụng kết hợp lượng nhỏ định hay gọi motion primitive forests (MPF) MPF hoạt động giống phân nhóm thông qua việc nhóm mô tả cục tương tự nút Quá trình định hướng nhãn hoạt động nhanh nhiều so với k-means Lợi việc sử dụng cụm định việc học từ vựng (vocabulary/codebook) minh chứng nghiên cứu xử lý ảnh, lần áp dụng cho nhận dạng hoạt động dựa cảm biến Đề xuất thứ hai xây dựng đặc trưng cục đơn giản, phù hợp sử dụng với MPF Các đặc trưng giá trị bao gồm giá trị thô 15 chưa xử lý điểm liệu giá trị tổng, hiệu điểm liệu Những giá trị tính toán nhanh, đồng thời giúp cho nhận dạng hoạt động xác đặc trưng cục phức tạp khác 3.2 Phương pháp học đặc trưng MPF Hình 3.1 (a) lát tín hiệu (slice) phân đoạn từ khung hoạt động (frame) với độ chồng lấn 50%, (b) đặc trưng trích xuất từ lát tín hiệu, (c) MPF với vai trò từ vựng chuyển động, (d) phân phối tần suất chuyển động gốc (motion primitive histogram) Đầu vào chuỗi liệu cảm biến liên tục chiều Bằng cách sử dụng cửa sổ trượt, chuỗi liệu cảm biến liên tục phân đoạn thành khung có kích thước nhau, chiều dài chúng có thời lượng dài khoảng thời gian cho hoạt động Mỗi khung sau phân chia thành lát tín hiệu (hay slice) (có thể chồng lấn) để lát tín hiệu nhỏ nhiều so với 16 khung (frame) (hình 3.1(a)) Từ lát tín hiệu, trích xuất đặc trưng để tạo thành véc-tơ đặc trưng cục Trong giai đoạn huấn luyện, khung chứa hoạt động nhãn hoạt động gán cho toàn khung lát tín hiệu Trong pha dự đoán, toán trở thành dự đoán nhãn lớp hoạt động cho khung Các véc-tơ đặc trưng cục từ tất lớp hoạt động (và lớp nền) huấn luyện, sau gộp lại với lượng tử hóa để tạo thành từ vựng chuyển động gốc (motion primitive vocabulary) mã (codebook) Đây trình gán số cho véc-tơ đặc trưng cục để véc-tơ đặc trưng tương tự có xác suất cao có chung số Phương pháp đề xuất sử dụng MPF (motion primitive forests), rừng ngẫu nhiên sử dụng để phân cụm ánh xạ véc-tơ đặc trưng cục thành chuyển động gốc (hình 3.1(c)) Rừng ngẫu nhiên MPF xử lý nút từ chuyển động gốc riêng biệt Nói cách khác, nút xác định phân vùng, nút tương ứng với cụm véc-tơ đặc trưng cục tương tự Đối với véc-tơ đặc trưng cục đầu vào, MPF trả tập số nút lá, số nằm Các số nút dùng để tạo thành véc-tơ mã (code vector) minh họa hình 3.3, “1” véc-tơ đầu vào ánh xạ tương ứng với chuyển động gốc 17 Hình 3.3 Véc-tơ mã (code vector) tạo từ rừng ngẫu nhiên với cho véc-tơ đặc trưng cục Đường dẫn đến nút kết hiển thị màu vàng Các rừng ngẫu nhiên MPF, có tốc độ phân cụm nhanh k-means phương pháp gán theo hàng xóm gần Đồng thời có khả sinh chuyển động gốc có độ phân biệt cao kể có số lượng lớn lát tín hiệu không nằm khung có chứa hoạt động (background slice) Kết có chủ yếu nhãn hoạt động dùng việc định hướng xây dựng định Trong bước tiếp theo, chuyển động gốc học MPF kết hợp với mô hình túi từ thông qua tổng hợp véc-tơ mã tất lát tín hiệu thuộc khung để tạo thành véc-tơ phân phối tần suất chuyển động gốc cho khung (Hình 3.1(d)) Véc-tơ phân phối tần suất sau chuẩn hóa sử dụng làm đặc trưng khung phân lớp cuối Đặc trưng cục đề xuất yêu cầu không cần tính toán chúng giá trị thô chưa xử lý điểm 18 liệu tổng hay hiệu giá trị điểm liệu Các đặc trưng đơn giản này, kết hợp với MPF, cung cấp độ xác so sánh với đặc trưng phức tạp hơn, chi phí tính toán lại thấp nhiều Độ phức tạp thời gian chạy cho việc gán nhãn đặc trưng cục rừng với T O(T log N) Trong trường hợp số nhỏ 10 (xem thực nghiệm) nên bỏ qua, dẫn tới độ phức tạp yêu cầu O(logN), nhanh nhiều so với k-means với độ phức tạp thuật toán O(kp) 3.3 Tập liệu thử nghiệm Các tập liệu thử nghiệm bao gồm Activity Prediction (AP), Oppotunity (OP) Skoda (SK), chứa liệu gia tốc cho hoạt động hàng ngày sản xuất, sử dụng rộng rãi nhiều nghiên cứu nhận dạng hoạt động người 3.4 Thử nghiệm kết Độ đo dùng độ xác tổng thể, tính tỷ lệ số khung phân loại tổng số khung a) So sánh với phương pháp học đặc trưng sử dụng k-means Thử nghiệm để so sánh MPF với phương pháp học đặc trưng dựa k-means, việc xây dựng từ vựng tìm kiếm hàng xóm gần để gán chuyển động gốc Kết so sánh cho thấy mức cải thiện độ xác tăng lên nhiều dùng phương pháp MPF Đồng thời, kết cho thấy MPF có thời gian chạy tăng không đáng kể kích thước từ vựng tăng lên, thời gian chạy k-means lại tăng tuyến tính Với kích thước 200, thời gian chạy k- 19 means lớn nhiều so với MPF (580 giây so với 54 giây, tập liệu SK) d) So sánh với phương pháp khác Thử nghiệm so sánh độ xác nhận dạng MPF sử dụng đặc trưng cục đơn giản với phương pháp cho tốt Phương pháp thứ học đặc trưng sử dụng PCA ECDF Phương pháp thứ hai sử dụng CNN với partial weight sharing cho việc học đặc trưng phân lớp Bảng 3.2 So sánh độ xác phân lớp AP OP SK MPF + 1-NN 97,93% 84,17% 92,58% MPF + SVM 98,48% 85,68% 95,08% PCA + ECDF 95,75% 79,39% 90,48% CNN 96,21% 77,34% 86,73% Bảng 3.2 cho thấy hai biến thể MPF (với 1-NN SVM), đạt độ xác cao PCA+ECDF CNN ba tập liệu SVM cho kết tốt so với 1-NN, điều hợp lý số chiều liệu đầu vào (số chiều véc-tơ phân phối tần suất) cao Những cải tiến độ xác MPF so với PCA+ECDF CNN đặc biệt đáng ý tập liệu OP SK (khác biệt MPF CNN gần 10%) Kết nhãn hoạt động dùng việc định hướng xây dựng định MPF Nhờ vậy, MPF có khả sinh chuyển động gốc có độ phân biệt cao kể có số lượng lớn 20 lát tín hiệu không nằm khung có chứa hoạt động (background slice) CHƯƠNG 4: XÂY DỰNG MỘT SỐ ỨNG DỤNG NHẬN DẠNG HOẠT ĐỘNG 4.1 Phát người ngã thời gian thực 4.1.1 Giới thiệu Phần trình bày hệ thống tự động phát ngã sử dụng cảm biến gia tốc, dựa đặc trưng đề xuất chương Cảm biến gia tốc tích hợp sẵn Wii Remote có giá thành tương đối rẻ thời lượng pin sử dụng khả quan Hệ thống cho tỉ lệ phát ngã cao chi phí thấp so với hệ thống phát ngã khác 4.1.2 Phần cứng môi trường thu thập liệu Trong hệ thống này, đối tượng đeo Wii Remote hông cảm biến đeo bên hông cung cấp tính tốt cho việc phát nhiều loại hoạt động, ví dụ ngã, chạy, bộ, leo cầu thang, v.v 4.1.3 Thuật toán phát ngã Hệ thống sử dụng đặc trưng đề xuất chương phương pháp phát ngã đề xuất phần 2.3.1 Luồng tín hiệu cảm biến đầu vào sau tiền xử lý phân đoạn thành khung liệu, thực trích xuất đặc trưng đưa dự đoán Hệ thống huấn luyện sử dụng tập liệu ngã mô tả phần 4.1.4, với tham số số ngăn M số đoạn khung K tối ưu hóa tập liệu đầu vào, sử dụng tập tối ưu dành riêng (hold-out validation set) Việc lựa 21 chọn độ dài cửa sổ trượt cho bước phân đoạn tiến hành để tìm độ dài phù hợp Độ dài phù hợp chọn 1,8 giây 4.1.4 Tập liệu thử nghiệm Tập liệu huấn luyện cho ứng dụng liệu thu thập từ 12 đối tượng Các đối tượng yêu cầu thực 12 hoạt động hàng ngày bao gồm bộ, nhảy, lên cầu thang, xuống cầu thang, chạy, vươn người, lau nhà, đánh máy, ngồi xuống lúc đứng, đứng lên lúc ngồi, đánh răng, hút bụi 12 tư ngã khác Số hoạt động ngã 144 hoạt động lại thuộc 12 hoạt động hàng ngày khác (không phải ngã) 4.1.5 Kết thử nghiệm Thử nghiệm cho kết cao, với độ xác 96,25% ± 0,38%, độ nhạy 97,67% ± 0,23% độ đặc hiệu 84,34% ± 2,32% 4.1.6 Phần mềm Phần mềm máy tính xây dựng để thu nhận tín hiệu cảm biến gia tốc Wii Remote qua Wii dongle, truyền qua Bluetooth qua phát ngã thời gian thực 4.2 Xác thực người dùng với chữ ký 3D – SIGVER3D 4.2.1 Vấn đề xác thực cho hệ thống mang người Tác giả đề xuất phương thức xác thực cho người dùng thiết di động với chữ ký 3D, gọi SigVer3D Phương thức có ưu điểm tính an toàn chữ ký thuận tiện cho người dùng muốn “đăng nhập” vào thiết bị di động thiết bị nhập liệu truyền thống 22 hình cảm ứng, hay bàn phím không thuận tiện Phương pháp đề xuất sử dụng liệu cảm biến gia tốc sau Người dùng cầm thiết bị di động vẽ chữ ký họ không gian để đăng nhập Khi người dùng thực ký, liệu gia tốc sinh hệ thống sử dụng để kiểm tra người dùng Một lý để chọn chữ ký 3D làm mật dễ nhớ dễ thực hiện, đồng thời khó giả mạo người khác sử dụng đặc trưng sinh trắc học vật lý bổ sung để làm tăng tính an toàn cho việc xác thực chữ ký 4.2.2 Phần cứng môi trường thu thập liệu Hệ thống cài đặt điện thoại di động thông minh Samsung S3 có trang bị cảm biến gia tốc gắn dùng để cảm nhận gia tốc theo ba trục 4.2.3 Thuật toán xác thực người dùng Bài toán xác thực người dùng thực chất toán phân lớp nhị phân: phát chữ ký giả mạo chữ ký chủ Luồng liệu lấy từ cảm biến gia tốc điện thoại tiền xử lý để loại bỏ nhiễu, thực trích xuất đặc trưng đưa dự đoán Các đặc trưng sử dụng đặc trưng đề xuất chương với tham số số ngăn M số đoạn khung K tối ưu hóa tập liệu đầu vào, sử dụng tập tối ưu dành riêng (hold-out validation set) Các đặc trưng trích xuất sử dụng làm liệu đầu vào cho phân lớp SVM Đánh giá hệ thống kiểm tra đòi hỏi phân tích hai loại lỗi: tỷ lệ từ chối sai (FRR), tỷ lệ chấp nhận sai (FAR) FRR = FN FN + TP (4.1) 23 FAR = FP FP + TN (4.2) Trong đó, FP dương tính giả (chữ ký giả mạo chấp nhận), TP dương tính thực (chữ ký gốc phát hiện), FN âm tính giả (chữ ký gốc bị từ chối không đúng), TN âm tính thực (chữ ký giả mạo bị phát hiện) Các số đo khác diện tích đường cân lỗi (AUC) tỉ lệ lỗi tương đương (EER) sử dụng 4.2.4 Tập liệu thử nghiệm Có 30 đối tượng tổng cộng 1800 mẫu chữ ký 3-D 300 gốc 1500 mẫu chữ ký 3-D giả mạo 4.2.5 Kết thử nghiệm Kết thử nghiệm cho thấy hệ thống xác thực có độ xác tương đối cao tin cậy Giá trị AUC trung bình đạt với giá trị 98,3%, giá trị EER = FRR = FAR = 1,4% Kết cho thấy chữ ký động với việc sử dụng đặc trưng sinh trắc học vật lý bổ sung làm tăng tính an toàn cho việc xác thực Hai người có đặc tính sinh lý khác nhau, kể bắt chước động tác ký giống khó thành công 4.2.6 Phần mềm Phần mềm xác thực chữ ký 3D xây dựng điện thoại di động có hệ điều hành Android phiên 4.2, có trang bị cảm biến gia tốc 24 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ TẠP CHÍ KHOA HỌC [1] Pham Cuong, Diep Nguyen Ngoc, Phuong Tu Minh (2013), A wearable sensor based approach to real-time fall detection and fine-grained activity recognition, Journal of Mobile Multimedia, Rinton Press 9(1-2), p 15–26 [2] Đinh Khắc Quân, Phạm Văn Cường, Nguyễn Ngọc Điệp, Từ Minh Phương (2013), Tự động phát người ngã thời gian thực sử dụng cảm biến gia tốc, Tạp chí Khoa học công nghệ, Viện Hàn lâm KHCN Việt Nam 51(1A), 108-116 [3] Nguyễn Ngọc Điệp, Hà Quang Tấn (2015), Nhận dạng cử người thời gian thực thiết bị di động, Tạp chí Khoa học công nghệ, Viện Hàn lâm KHCN Việt Nam 53(2C), 1-13 HỘI NGHỊ KHOA HỌC [4] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2014), A classifier based approach to real-time fall detection using low-cost wearable sensors, Proceedings of the 5th SoICT, ACM p 14–20 [5] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2015), SigVer3D: Accelerometer Based Verification of 3-D Signatures on Mobile Devices, Proceedings of the 6th International Conference KSE 2014, Springer p 353–65 [6] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2016), An Orientation Histogram based Approach for Fall Detection using Wearable Sensors, Proceedings of the 14th PRICAI, Springer p 354-366 [7] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2016), Motion Primitive Forests for Human Activity Recognition using Wearable Sensors, Proceedings of the 14th PRICAI, Springer p 340-353 [...]... liệu gia tốc cho các hoạt động hàng ngày và trong sản xuất, được sử dụng rộng rãi trong nhiều nghiên cứu về nhận dạng hoạt động người 3.4 Thử nghiệm và kết quả Độ đo được dùng là độ chính xác tổng thể, được tính bằng tỷ lệ số khung được phân loại đúng trên tổng số khung a) So sánh với phương pháp học đặc trưng sử dụng k-means Thử nghiệm này để so sánh MPF với phương pháp học đặc trưng dựa trên k-means,... so với 54 giây, trên tập dữ liệu SK) d) So sánh với các phương pháp khác Thử nghiệm này so sánh độ chính xác nhận dạng của MPF khi sử dụng các đặc trưng cục bộ đơn giản với 2 phương pháp được cho là tốt nhất hiện nay Phương pháp thứ nhất là học đặc trưng sử dụng PCA và ECDF Phương pháp thứ hai sử dụng CNN với partial weight sharing cho cả việc học đặc trưng và phân lớp Bảng 3.2 So sánh độ chính xác... MPF hoạt động giống như các cây phân nhóm thông qua việc nhóm các mô tả cục bộ tương tự trong các nút lá Quá trình này được định hướng bởi các nhãn của hoạt động và nhanh hơn nhiều so với k-means Lợi thế của việc sử dụng cụm cây quyết định trong việc học từ vựng (vocabulary/codebook) đã được minh chứng trong các nghiên cứu xử lý ảnh, nhưng đây là lần đầu tiên được áp dụng cho nhận dạng hoạt động dựa trên. .. trên người Tác giả đề xuất một phương thức xác thực mới cho người dùng thiết di động với chữ ký 3D, gọi là SigVer3D Phương thức này có cả ưu điểm về tính an toàn của chữ ký và thuận tiện cho người dùng khi muốn “đăng nhập” vào thiết bị di động khi không có các thiết bị nhập liệu truyền thống như 22 màn hình cảm ứng, hay bàn phím hoặc không thuận tiện Phương pháp đề xuất sử dụng các dữ liệu cảm biến. .. Ngọc Điệp, Từ Minh Phương (2013), Tự động phát hiện người ngã trong thời gian thực sử dụng bộ cảm biến gia tốc, Tạp chí Khoa học và công nghệ, Viện Hàn lâm KHCN Việt Nam 51(1A), 108-116 [3] Nguyễn Ngọc Điệp, Hà Quang Tấn (2015), Nhận dạng cử chỉ người trong thời gian thực bằng thiết bị di động, Tạp chí Khoa học và công nghệ, Viện Hàn lâm KHCN Việt Nam 53(2C), 1-13 HỘI NGHỊ KHOA HỌC [4] Diep Nguyen... từ mỗi khung được trích xuất và sau đó được dùng làm dữ liệu đầu vào cho bộ phân lớp SVM dùng cho phát hiện ngã Do các dữ liệu huấn luyện cho mô hình phát hiện ngã mất cân bằng và dễ gây ra hiện tượng quá vừa dữ liệu, nghiên cứu này sử dụng phương pháp SDC của tác giả Akbani, giúp SVM có thể hoạt động hiệu quả hơn Các độ đo được sử dụng gồm độ chính xác (accuracy), độ nhạy (sensitivity), độ đặc hiệu... khung Do tốc độ lấy mẫu cho các hoạt động sử dụng cảm biến gia tốc thường từ 50 Hz đến 100 Hz, nghiên cứu này chỉ sử dụng mảnh với độ dài bằng l = 1 Hai tham số còn lại có thể xác định được thông qua thực nghiệm hay tối ưu hóa Trong trường hợp gán nhãn dữ liệu đầu vào, độ phức tạp thuật toán bằng tổng độ phức tạp thuật toán của tất cả các 12 bước trừ bước phân cụm Độ phức tạp cho tìm kiếm gán cụm chỉ... hệ thống này, các đối tượng đeo Wii Remote trên hông do cảm biến đeo bên hông có thể cung cấp các tính năng tốt cho việc phát hiện nhiều loại hoạt động, ví dụ như ngã, chạy, đi bộ, leo cầu thang, v.v 4.1.3 Thuật toán phát hiện ngã Hệ thống sử dụng đặc trưng đề xuất trong chương 2 và phương pháp phát hiện ngã đã đề xuất trong phần 2.3.1 Luồng tín hiệu cảm biến đầu vào sau khi tiền xử lý sẽ được phân... trên cảm biến Đề xuất thứ hai là xây dựng các đặc trưng cục bộ mới đơn giản, phù hợp khi sử dụng với MPF Các đặc trưng này là các giá trị bao gồm những giá trị thô 15 chưa xử lý của các điểm dữ liệu hoặc các giá trị tổng, hiệu của 2 điểm dữ liệu Những giá trị này có thể tính toán nhanh, đồng thời có thể giúp cho nhận dạng hoạt động chính xác như các đặc trưng cục bộ phức tạp khác 3.2 Phương pháp học. .. (2.2) Specificity = TP TP + FN TN TN + FP (2.3) 2.3.2 Tập dữ liệu thử nghiệm Phương pháp đề xuất được đánh giá thử nghiệm trên 3 tập dữ liệu ngã công khai, được sử dụng nhiều trong các nghiên 13 cứu về ngã, bao gồm: tập dữ liệu DLR, MobiFall2, tFall Các tập dữ liệu trên chứa nhiều dữ liệu cảm biến về các sự kiện ngã và hoạt động thường ngày khác Sau quá trình tiền xử lý, thu được 2771 khung ADL và 36