Nghiên cứu phương pháp học máy cho nhận dạng hoạt động sử dụng cảm biến mang trên người (tt)

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG Nguyễn Ngọc Điệp IT NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY CHO NHẬN DẠNG HOẠT ĐỘNG SỬ DỤNG CẢM BIẾN MANG PT TRÊN NGƯỜI Chuyên ngành: Hệ thống thơng tin Mã số: 62.48.01.04 TĨM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội - 2016 Công trình hồn thành tại: Học viện Cơng nghệ Bưu Viễn thơng Người hướng dẫn khoa học: PGS.TS Từ Minh Phương PGS.TS Phạm Văn Cường IT Phản biện 1: PGS.TS Đặng Văn Chuyết Phản biện 2: PGS.TS Nguyễn Ngọc Hóa PT Phản biện 3:PGS.TS Đặng Văn Đức Luận án bảo vệ trước Hội đồng chấm luận án cấp Học viện họp tại: Học viện Công nghệ Bưu Viễn thơng Vào hồi 14h00 ngày 30 tháng 12 năm 2016 Có thể tìm hiểu luận án tại: Thư viện Quốc gia Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Tính cấp thiết luận án Nhờ vào tiến công nghệ nhu cầu ứng dụng năm gần đây, nghiên cứu nhận dạng hoạt động người có phát triển mạnh mẽ Có nhiều tốn thực tế cần giải pháp dựa vào nhận dạng hoạt động để cung cấp nhiều cách thức tương tác đa dạng, chủ động cung cấp dịch vụ, trợ giúp người dùng hoàn thành cơng việc Hiện nay, có ba cách tiếp cận phổ biến để giải IT toán nhận dạng hoạt động, bao gồm: nhận dạng hoạt động dựa thị giác máy tính, nhận dạng hoạt động dựa cảm biến gắn môi trường xung quanh nhận dạng hoạt động dựa cảm biến mang người.Hai cách tiếp cận đầu PT có hạn chế hoạt động người dùng bị giới hạn môi trường cố định, đồng thời hệ thống cần triển khai, lắp đặt sẵn môi trường Các hạn chế rào cản cho việc triển khai rộng rãi ứng dụng nhận dạng hoạt động người thực tế Cách tiếp cận thứ ba sử dụng cảm biến mang theo thể người mở nhiều ứng dụng tiềm nhận dạng hoạt động hoạt động người dùng không bị giới hạn không gian lắp sẵn thiết bị Cách tiếp cận mang lại khảnăng cung cấp trợ giúp thông minh, giao tiếp ảo nơi đâu nào, thông qua việc quan sát hoạt động từ góc nhìn nhân vật Bài toán nhận dạng hoạt động người nói chung nhận dạng hoạt động dựa cảm biến mang theo người nói riêng tiếp cận theo hai hướng, nhận dạng dựa tri thức nhận dạng dựa liệu Cách tiếp cận dựa tri thức có nhược điểm cần nhiều chi phí thời gian kinh nghiệm chuyên gia để xây dựng tập luật suy diễn tốt, việc cập nhật tự động luật không khả thi nguồn liệu đầu vào thường khơng có cấu trúc ln biến động, đồng thời khơng có khả xử lý thơng tin tạm thời chưa rõ ràng Cách tiếp cận dựa liệu sử dụng quy IT tắc nhận dạng xây dựng dựa tập liệu hành vi người dùng lớn có sẵn kỹ thuật học máy, thống kê Cách tiếp cận đảm bảo hệ thống tự động cập nhật quy tắc nhận dạng hoạt động mà không phụ thuộc vào PT tri thức chuyên gia, có khả xử lý thông tin tạm thời chưa rõ ràng Đồng thời, có khả thích nghi cao tận dụng nguồn liệu có sẵn Chính vậy, cách tiếp cận quan tâm nghiên cứu nhiều Đề tài “Nghiên cứu phương pháp học máy chonhận dạng hoạt động sử dụng cảm biến mang người” thực khuôn khổ luận án tiến sĩ chun ngành hệ thống thơng tin nhằm góp phần giải số vấn đề tồn phương pháp nhận dạng hoạt động sử dụng cảm biến mang người Mục tiêu, đối tượng phạm vi nghiên cứu Mục tiêu luận án nghiên cứu đề xuất số phương pháp học máy nhằm tăng cường hiệu cho hệ thống nhận dạng hoạt động sử dụng cảm biến mang người, cụ thể đề xuất phương pháp trích xuất đặc trưng hiệu cho nhận dạng hoạt động, với hai mục tiêu:  Nghiên cứu đề xuất phương pháp trích xuất đặc trưng có tốc độ nhanh cho ứng dụng nhận dạng số hoạt động riêng lẻ, với yêu cầu thời gian thực chạy thiết bị thông minh mang theo người  Nghiên cứu đề xuất phương pháp trích xuất đặc trưng giúp nâng cao độ xác cho hệ thống cần nhận dạng nhiều loại hoạt động IT Như vậy, cácphương pháp học máysẽ sử dụng để nghiên cứu đề xuất phương pháp trích xuất đặc trưng hệ thống nhận dạng hoạt động sử dụng PT cảm biến mang người Các phương pháp trích xuất đặc trưng phù hợp với hệ thống trợ giúp cá nhân thông minh nhỏ gọn mang theo người, lực xử lý thấp yêu cầu hoạt động theo thời gian thực, phù hợp với hệ thống cần nhận dạng nhiều hoạt động người phức tạp Các hoạt động người bao gồm hoạt động sống hàng ngày, hoạt động sản xuất, giải trí, thể thao, chuyển động thể ghi nhận phân biệt cảm biến mang người Phương pháp nghiên cứu Nghiên cứu kỹ thuật phương pháp liên quan tới toán công bố từ trước tới để nhận ưu nhược điểm,sau đề xuất biện pháp cải tiến áp dụng vào toán luận án, dựa phân tích lý thuyết Xây dựng liệu thực nghiệm tiến hành thực nghiệm đánh giá, so sánh phương pháp đề xuất luận án với phương pháp có Các đóng góp luận án Đóng góp thứ luận án đề xuất phương pháp trích xuất đặc trưng đơn giản, hiệu dựa tín hiệu cảm biến mang người cho toán nhận dạng hoạt động riêng lẻ gọi HALF Các đặc trưng có khả tính toán nhanh, phù hợp cho hệ thống di động thơng minh nhỏ gọn với lực tính tốn thấp, đặc biệt hệ IT thống đòi hỏi thời gian thực Các đặc trưng cho kết cao ứng dụng việc phân biệt hoạt động ngã hoạt động khác, sử dụng cảm biến gia tốc Đóng góp thứ hai luận án đề xuất phương pháp PT trích xuất đặc trưng tự động có độ xác cao cho nhiều loại hoạt động người dựa học đặc trưng, gọi MPF Các đặc trưng đề xuất cải thiện độ xác nhận dạng hoạt động người so với đặc trưng đa mức kiểu cũ mà giúp loại trừ hạn chế mặt tốc độ xử lý, đồng thời phù hợp với việc nhận dạng nhiều loại hoạt động người Đóng góp thứ ba luận án áp dụng phương pháp trích xuất đặc trưng đề xuất để xây dựng ứng dụng nhận dạng hoạt động người có tính khả thi thực tế, bao gồm: phát ngã thời gian thực xác thực người dùng sử dụng chữ ký 3D Hệ thống phát ngã sử dụng cảm biến đeo người rẻ tiền, dễ triển khai, phát ngã thời gian thực Hệ thống xác thực điện thoại thông minh xác thực người dùng thơng qua hành động “ký tên” không gian (gọi chữ ký 3D) thời gian thực Bố cục luận án Nội dung luận án xây dựng thành bốn chương Chương Giới thiệu tổng quan nhận dạng hoạt động sử dụng cảm biến mang người, bao gồm giới thiệu chung nhận dạng hoạt động người, loại cảm biến, hoạt động người kiến trúc hệ thống nhận dạng hoạt động Cuối IT phân loại phương pháp trích xuất đặc trưng ưu nhược điểm phương pháp Từ sở nghiên cứu xác định rõ hướng nghiên cứu luận án PT Chương Trình bày phương pháp trích xuất đặc trưng HALF Nội dung trình bày chương tổng hợp dựa kết cơng trình nghiên cứu số 1, số 2, số số Chương Trình bày phương pháp trích xuất tự động MPF nhờ học đặc trưng Nội dung trình bày chương tổng hợp từ kết cơng trình nghiên cứu số tác giả Chương Trình bày hai ứng dụng nhận dạng hoạt động người Nội dung trình bày tổng hợp dựa kết cơng trình nghiên cứu số 4, số số tác giả Cuối số kết luận luận án CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG HOẠT ĐỘNG SỬ DỤNG CẢM BIẾN MANG TRÊN NGƯỜI 1.1 Kiến trúc hệ thống nhận dạng hoạt động người Nhận dạng hoạt động người trình giám sát phân tích hành vi người dùng trạng thái mơi trường xung quanh nhằm suy diễn/nhận dạng hoạt động xảy Một mục tiêu nhận dạng hoạt động cung cấp thông tin hành vi người dùng, từ cho phép hệ thống tính tốn chủ động hỗ trợ người dùng cơng việc Một hệ thống nhận dạng hoạt động người nói chung nhận IT liệu đầu vào liệu thô lấy từ cảm biến thông thường gồm bước sau: tiền xử lý, phân đoạn, trích chọn đặc trưng (gồm trích xuất đặc trưng lựa chọn đặc PT trưng), huấn luyện phân lớp hoạt động (xem hình 1.1) Dữ liệu cảm biến Tiền xử lý Phân đoạn Trích/chọ n đặc trưng Huấn luyện /Phân lớp Hoạt động Hình 1.1 Kiến trúc hệ thống nhận dạng hoạt động người 1.2 Các phương pháp trích xuất đặc trưng 1.2.1 Trích xuất đặc trưng theo tri thức chun gia Tín hiệu gia tốc tín hiệu có mức độ dao động lớn, khó nhận dạng mẫu sử dụng giá trị thơ tín hiệu chưa xử lý Hầu hết hệ thống HAR thời sử dụng đặc trưng theo miền thời gian tần số Phương pháp trích chọn đặc trưng thường sử dụng tính tốn đại lượng thống kê trực tiếp liệu thô đầu vào cảm biến, độc lập khung liệu phân đoạn cửa sổ trượt Các đại lượng thống kê phổ biến bao gồm trung bình, độ lệch chuẩn, phương sai, lượng, trung bình đạo hàm, khoảng tứ phân vị, entropy, tương quan trục, skewness, độ nhọn (kurtosis) Trong miền tần số, phương pháp biến đổi Cô-sin rời rạc (Discrete Cosine Transform) biến đổi Fourier (Fourier Transform) áp dụng mang lại kết khả quan Các đặc trưng thống kê sử dụng nhiều nghiên cứu đơn giản hiệu cao IT nhiều toán nhận dạng hoạt động người Trong trường hợp toán phân biệt ngã hoạt động khác đặc trưng lại khơng hiệu Lý ngã số hoạt động tương tự ngã khác đứng ngồi, PT ngồi nằm, nhảy có tín hiệu có tính chất tương tự dễ gây nhầm lẫn Cách tiếp cận truyền thống dựa ngưỡng có khả phát ngã nhanh, đơn giản tương đối tốt, lại thường bị tỉ lệ cảnh báo giả cao nhiều tình lại không hiệu quả, dẫn tới khả khái qt hóa thấp Để tăng tính khái qt hóa hiệu phân biệt ngã cách tiếp cận dựa học máy gần đề xuất sử dụng tập gồm nhiều đặc trưng thống kê phức tạp Tuy vậy, độ phức tạp tập đặc trưng lớn dẫn tới tính khả thi phương pháp bị hạn chế khó tính tốn nhanh hệ thống có lực xử lý thấp thời lượng pin không nhiều đa số thiết bị trợ giúp cá nhân di động thông minh mang theo người, đặc biệt hệ thống địi hỏi thời gian thực Do đó, chúng khó ứng dụng thực tế nay, người dùng cần thuận tiện cao với thiết bị di động trợ giúp cá nhân thông minh, nhỏ gọn Đây vấn đề tồn nghiên cứu nhận dạng hoạt động sử dụng cảm biến mang người, cần phải có phương pháp biểu diễn đặc trưng mới, hiệu phân biệt tốt ngã hoạt động khác có đặc tính liệu tương tự, có khả tính tốn nhanh để chạy hệ thống yêu cầu xử lý theo thời gian thực bị hạn chế tài nguyên Vấn đề tồn bàn luận giải chương IT 1.4.2 Trích xuất đặc trưng tự động học đặc trưng Các đặc trưng dựa tri thức chuyên gia thường sử dụng hệ thống nhận dạng hoạt động tính đơn giản hiệu Tuy nhiên, chúng hoạt động hiệu PT ứng dụng để phân biệt số hoạt động đơn giản, cụ thể mà không đáp ứng cần phân biệt tập hoạt động sống hàng ngày (ADL -Activities of Daily Living) nhiều đa dạng hơn.Một cách tiếp cận cho vấn đề sử dụng tổ hợp đặc trưng thống kê phức tạp Tuy nhiên cách tiếp cận làm tăng chi phí gây khó khăn cho việc xây dựng hệ thống nhận dạng hoạt động người Một phương pháp khác hiệu sử dụng học đặc trưng, nghĩa tìm cách tối ưu hóa hàm mục tiêu để “bắt được” phù hợp đặc trưng cho liệu Cách tiếp cận tìm biểu diễn đặc trưng chung cho liệu, đồng thời khả quan việc cải thiện độ xác nhận dạng Các phương pháp khác thử nghiệm 13 dùng làm liệu đầu vào cho phân lớp SVM dùng cho phát ngã Do liệu huấn luyện cho mơ hình phát ngã cân dễ gây tượng vừa liệu, nghiên cứu sử dụng cách tiếp cận SDC Akbani, giúp SVM hoạt động hiệu Các độ đo sử dụng gồm độ xác (accuracy), độ nhạy (sensitivity), độ đặc hiệu (specificity) TP  TN Accuracy  TP  FP  TN  FN TP TP  FN IT Sensitivity  Specificity  TN TN  FP 2.3.2 Tập liệu thử nghiệm PT Phương pháp đề xuất đánh giá thử nghiệm tập liệu ngã công khai sử dụng nhiều nghiên cứu ngã, bao gồm: tập liệu DLR, MobiFall2,tFall.Các tập liệu chứa nhiều liệu cảm biến kiện ngã hoạt động thường ngày khác.Sau trình tiền xử lý, thu 2771 khung ADL 36 khung liệu ngã từ tập liệu DLR, 1832 khung ADL 288 khung liệu ngã từ MobiFall2, 7816 khung ADL 503 khung liệu ngã từ tFall 2.3.3 Kết thử nghiệm đánh giá Phương pháp đề xuất (pp3) so sánh với ba phương pháp khác đề xuất Pham cộng (pp1), Jantaraprim cộng (pp2) Özdemir(pp4), tập 14 liệu Các kết mơ tả bảng 2.3 trình bày với cấu trúc độ xác trung bình ± độ lệch chuẩn Kết phương pháp đề xuất có kết cao tập liệu Mức tăng độ xác với phương pháp đề xuất so với (pp1) (pp2) đáng kể tập liệu, so với (pp4) xấp xỉ Đồng thời, theo số liệu tốc độ bảng 2.4 phân tích độ phức tạp thuật tốn, thấy phương pháp trích xuất đặc trưng HALF có khả tính toán nhanh độ phức tạp thấp, phù hợp với gian thực IT thiết bị trợ giúp cá nhân thơng minh, có u cầu xử lý thời Bảng 2.3 Các kết phát ngã tập liệu DLR MobiFall2 tFall 98,11% ± 96,51% ± 95,62% ± 0,20% 0,41% 0,53% 98,83% ± 96,22% ± 96,18% ± 0,50% 0,34% 0,46% 99,93% ± 99,20% ± 98,70% ± 0,08% 0,45% 0,32% 99,27% ± 98,76% ± 97,92% ± 0,19% 0,23% 0,41% PT Phương pháp (pp1) (pp2) (pp3) (pp4) Bảng 2.4 Tốc độ phát ngã tập liệu tFall Phương pháp Tập liệu tFall (1000 mẫu) (pp1) 2,86 giây (pp2) 1,15 giây (pp3) 3,01 giây 15 (pp4) 15,02 giây CHƯƠNG 3: HỌC CÁC ĐẶC TRƯNG ĐA MỨC MPF 3.1 Giới thiệu Chương đề xuất phương pháp thay để xây dựng tập từ vựng chuyển động (motion vocabulary) thực gán biểu diễn đặc trưng cách sử dụng kết hợp lượng nhỏ định hay gọi motion primitive forests (MPF) MPF hoạt động giống phân nhóm thơng qua việc nhóm mơ tả cục tương tự IT nút Quá trình định hướng nhãn hoạt động nhanh nhiều so với k-means Lợi việc sử dụng cụm định việc học từ vựng minh chứng nghiên cứu xử lý ảnh, PT lần áp dụng cho nhận dạng hoạt động dựa cảm biến Đề xuất thứ hai xây dựng đặc trưng cục đơn giản, phù hợp sử dụng với MPF Các đặc trưng giá trị bao gồm giá trị thô chưa xử lý điểm liệu giá trị tổng, hiệu điểm liệu Những giá trị tính tốn nhanh, đồng thời giúp cho nhận dạng hoạt động xác đặc trưng cục phức tạp khác 16 IT 3.2 Phương pháp học đặc trưng MPF Hình 3.1 (a) lát tín hiệu (slice) phân đoạn từ khung hoạt động (frame) với độ chồng lấn 50%, (b) đặc trưng trích xuất từ lát tín hiệu, (c) MPF với PT vai trò từ vựng chuyển động, (d) phân phối tần suất chuyển động gốc (motion primitive histogram) Đầu vào chuỗi liệu cảm biến liên tục chiều Bằng cách sử dụng cửa sổ trượt, chuỗi liệu cảm biến liên tục phân đoạn thành khung có kích thước nhau, chiều dài chúng có thời lượng dài khoảng thời gian cho hoạt động Mỗi khung sau phân chia thành lát tín hiệu (hay slice) (có thể chồng lấn) để lát tín hiệu nhỏ nhiều so với khung (frame) (hình 3.1(a)) Từ lát tín hiệu, trích xuất đặc trưng để tạo thành véc-tơ đặc trưng cục Trong giai đoạn huấn luyện, khung chứa hoạt động nhãn hoạt động gán cho tồn 17 khung lát tín hiệu Trong pha dự đốn, tốn trở thành dự đoán nhãn lớp hoạt động cho khung Các véc-tơ đặc trưng cục từ tất lớp hoạt động (và lớp nền) huấn luyện, sau gộp lại với lượng tử hóa để tạo thành từ vựng chuyển động gốc (motion primitive vocabulary) mã (codebook) Đây trình gán số cho véc-tơ đặc trưng cục để véc-tơ đặc trưng tương tự có xác suất cao có chung số Phương pháp đề xuất sử dụng MPF (motion primitive forests), rừng ngẫu nhiên sử dụng để IT phân cụm ánh xạ véc-tơ đặc trưng cục thành chuyển động gốc (hình 3.1(c)) Rừng ngẫu nhiên MPF xử lý nút từ chuyển động gốc riêng biệt Nói cách khác, nút PT xác định phân vùng, nút tương ứng với cụm véc-tơ đặc trưng cục tương tự Đối với véc-tơ đặc trưng cục đầu vào, MPF trả tập số nút lá, số nằm Các số nút dùng để tạo thành véc-tơ mã (code vector) minh họa hình 3.3, “1” véc-tơ đầu vào ánh xạ tương ứng với chuyển động gốc 18 Hình 3.3 Véc-tơ mã (code vector) tạo từ rừng ngẫu IT nhiên với cho véc-tơ đặc trưng cục Đường dẫn đến nút kết hiển thị màu vàng Các rừng ngẫu nhiên MPF, có tốc độ phân cụm nhanh PT k-means phương pháp gán hàng xóm gần Đồng thời có khả sinh chuyển động gốc có độ phân biệt cao kể có số lượng lớn lát tín hiệu khơng nằm khung có chứa hoạt động (background slice) Kết có chủ yếu nhãn hoạt động dùng việc định hướng xây dựng định Trong bước tiếp theo, chuyển động gốc học MPF kết hợp với mơ hình túi từthông qua tổng hợp véc-tơ mã tất lát tín hiệu thuộc khung để tạo thành véctơ phân phối tần suất chuyển động gốc cho khung (Hình 3.1(d)) Véc-tơ phân phối tần suất sau chuẩn hóa sử dụng làm đặc trưng khung phân lớp cuối 19 Đặc trưng cục đề xuấtyêu cầu khơng cần tính tốn chúng giá trị thô chưa xử lý điểm liệu tổng hay hiệu giá trị điểm liệu Các đặc trưng đơn giản này, kết hợp với MPF, cung cấp độ xác so sánh với đặc trưng phức tạp hơn, chi phí tính toán lại thấp nhiều Độ phức tạp thời gian chạy cho việc gán nhãn đặc trưng cục rừng với T O(T log N) Trong trường hợp số nhỏ 10 (xem thực nghiệm) nên bỏ qua, dẫn tới độ phức tạp yêu cầu O(logN), nhanh IT nhiều so với k-means với độ phức tạp thuật toán O(kp) 3.3 Tập liệu thử nghiệm Các tập liệu thử nghiệm bao gồm Activity Prediction (AP), Oppotunity (OP) Skoda (SK), chứa liệu PT gia tốc cho hoạt động hàng ngày sản xuất, sử dụng rộng rãi nhiều nghiên cứu nhận dạng hoạt động người 3.4 Thử nghiệm kết Độ đo dùng độ xác tổng thể, tính tỷ lệ số khung phân loại tổng số khung a) So sánh với phương pháp học đặc trưng sử dụng k-means Thử nghiệm để so sánh MPF với phương pháp học đặc trưng dựa k-means, việc xây dựng từ vựng tìm kiếm hàng xóm gần để gán chuyển động gốc Kết so sánh cho thấy mức cải thiện độ xác tăng lên nhiều dùng phương pháp MPF Đồng thời, kết cho thấy MPF có thời gian chạy tăng 20 khơng đáng kể kích thước từ vựng tăng lên, thời gian chạy k-means lại tăng tuyến tính Với kích thước 200, thời gian chạy k-means lớn nhiều so với MPF (580 giây so với 54 giây, tập liệu SK) b) So sánh với phương pháp khác Thử nghiệm so sánh độ xác nhận dạng MPF sử dụng đặc trưng cục đơn giản với phương pháp cho tốt Phương pháp thứ học đặc trưng sử dụng PCA ECDF Phương pháp thứ hai sử dụng CNN với partial weight sharing cho việc học đặc IT trưng phân lớp Bảng 3.2 So sánh độ xác phân lớp AP OP SK 97,93% 84,17% 92,58% MPF + SVM 98,48% 85,68% 95,08% PCA + ECDF 95,75% 79,39% 90,48% CNN 96,21% 77,34% 86,73% PT MPF + 1-NN Bảng 3.2 cho thấycả hai biến thể MPF (với 1-NN SVM), ln đạt độ xác cao PCA+ECDF CNN ba tập liệu SVM cho kết tốt so với 1-NN, điều hợp lý số chiều liệu đầu vào (số chiều véc-tơ phân phối tần suất) cao Những cải tiến độ xác MPF so với PCA+ECDF CNN đặc biệt đáng ý tập liệu OP SK (gần 10% khác biệt MPF CNN) Kết nhãn hoạt động dùng việc định hướng xây dựng định MPF Nhờ vậy, MPF có khả sinh 21 chuyển động gốc có độ phân biệt cao kể có số lượng lớn lát tín hiệu khơng nằm khung có chứa hoạt động (background slice) CHƯƠNG 4: XÂY DỰNG MỘT SỐ ỨNG DỤNG NHẬN DẠNG HOẠT ĐỘNG 4.1 Phát người ngã thời gian thực 4.1.1 Giới thiệu Phần trình bày hệ thống tự động phát ngã sử dụng cảm biến gia tốc, dựa đặc trưng đề IT xuất chương Cảm biến gia tốc tích hợp sẵn Wii Remote có giá thành tương đối rẻ thời lượng pin sử dụng khả quan Hệ thống cho tỉ lệ phát ngã cao chi phí thấp so với hệ thống phát ngã khác PT 4.1.2 Phần cứng môi trường thu thập liệu Trong hệ thống này, đối tượng đeo Wii Remote hơng cảm biến đeo bên hơng cung cấp tính tốt cho việc phát hoạt động ngã, chạy, leo cầu thang 4.1.3 Thuật toán phát ngã Hệ thống sử dụng đặc trưng đề xuất chương phương pháp phát ngã đề xuất phần 2.3.1 Luồng tín hiệu cảm biến đầu vào sau tiền xử lý phân đoạn thành khung liệu, thực trích xuất đặc trưng đưa dự đoán Hệ thống huấn luyện sử dụng tập liệu ngã mô tả phần 4.1.4, với tham số số ngăn M số đoạn khung K tối ưu hóa tập liệu đầu vào, 22 sử dụng tập tối ưu dành riêng (hold-out validation set) Việc lựa chọn độ dài cửa sổ trượt cho bước phân đoạn tiến hành để tìm độ dài phù hợp Độ dài phù hợp chọn 1,8 giây 4.1.4 Tập liệu thử nghiệm Tập liệu huấn luyện cho ứng dụng liệu thu thập từ 12 đối tượng Các đối tượng yêu cầu thực 12 hoạt động hàng ngày bao gồm bộ, nhảy, lên cầu thang, xuống cầu thang, chạy, vươn người, lau nhà, đánh máy, ngồi xuống lúc đứng, đứng lên lúc ngồi, đánh IT răng, hút bụi 12 tư ngã khác nhau.Số hoạt động ngã 144 hoạt động lại thuộc 12 hoạt động hàng ngày khác (không phải ngã) 4.1.5 Kết thử nghiệm PT Thử nghiệm cho kết cao, với độ xác 96,25% ± 0,38%, độ nhạy 97,67% ± 0,23% độ đặc hiệu 84,34% ± 2,32% 4.1.6 Phần mềm Phần mềm máy tính xây dựng để thu nhận tín hiệu cảm biến gia tốc Wii Remote qua Wii dongle, truyền qua Bluetooth qua phát ngã thời gian thực 4.2 Xác thực người dùng với chữ ký 3D – SIGVER3D 4.2.1 Vấn đề xác thực cho hệ thống mang người Tác giả đề xuất phương thức xác thực cho người dùng thiết di động với chữ ký 3D, gọi SigVer3D Phương thức có ưu điểm tính an tồn chữ ký 23 thuận tiện cho người dùng muốn “đăng nhập” vào thiết bị di động thiết bị nhập liệu truyền thống hình cảm ứng, hay bàn phím khơng thuận tiện Phương pháp đề xuất sử dụng liệu cảm biến gia tốc sau Người dùng nắm thiết bị di động vẽ chữ ký họ không gian để đăng nhập Khi người dùng thực ký, liệu gia tốc sinh hệ thống sử dụng để kiểm tra người dùng Một lý để chọn chữ ký 3D làm mật dễ nhớ dễ thực hiện, đồng thời khó giả mạo người khác sử dụng đặc trưng sinh trắc học vật lý bổ IT sung để làm tăng tính an tồn cho việc xác thực chữ ký 4.2.2 Phần cứng môi trường thu thập liệu Hệ thống cài đặt điện thoại di động thơng minh Samsung S3 có trang bị cảm biến gia tốc gắn PT dùng để cảm nhận gia tốc theo ba trục 4.2.3 Thuật toán xác thực người dùng Bài toán xác thực người dùng thực chất toán phân lớp nhị phân: phát chữ ký giả mạo chữ ký chủ Luồng liệu lấy từ cảm biến gia tốc điện thoại tiền xử lý để loại bỏ nhiễu, thực trích xuất đặc trưng đưa dự đoán Các đặc trưng sử dụng đặc trưng đề xuất chương với tham số số ngăn M số đoạn khung K tối ưu hóa tập liệu đầu vào, sử dụng tập tối ưu dành riêng (hold-out validation set) Các đặc trưng trích xuất sử dụng làm liệu đầu vào cho phân lớp SVM 24 Đánh giá hệ thống kiểm tra địi hỏi phân tích hai loại lỗi: tỷ lệ từ chối sai (FRR),tỷ lệ chấp nhận sai (FAR) FN FN  TP FP FAR  FP  TN FRR  (4.1) (4.2) Trong đó, FP dương tính giả (chữ ký giả mạo chấp nhận), TP dương tính thực (chữ ký gốc phát hiện), FN âm tính giả (chữ ký gốc bị từ chối không đúng), TN âm tính thực (chữ ký giả mạo bị phát hiện).Các số đo khác IT diện tích đường cân lỗi (AUC) tỉ lệ lỗi tương đương (EER) sử dụng 4.2.4 Tập liệu thử nghiệm PT Có 30 đối tượng tổng cộng 1800 mẫu chữ ký 3-D 300 gốc 1500 mẫu chữ ký 3-D giả mạo 4.2.5 Kết thử nghiệm Kết thử nghiệm cho thấy hệ thống xác thực có độ xác tương đối cao tin cậy Giá trị AUC trung bình đạt 98,3%, EER = FRR = FAR = 1,4% Kết cho thấy chữ ký động với việc sử dụng đặc trưng sinh trắc học vật lý bổ sung làm tăng tính an tồn cho việc xác thực Hai người có đặc tính sinh lý khác nhau, kể bắt chước động tác ký giống khó thành cơng 4.2.6 Phần mềm 25 Phần mềm xác thực chữ ký 3D xây dựng điện thoại di động có hệ điều hành Android phiên 4.2, có trang bị cảm biến gia tốc KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận án hoàn thành mục tiêu đặt ra, với đóng góp sau: Đề xuất đặc trưng HALF có khả tính tốn nhanh, phù hợp cho hệ thống di động thông minh nhỏ gọn với lực tính tốn thấp, địi hỏi thời gian thực Các đặc IT trưng cho kết cao ứng dụng việc phân biệt hoạt động ngã hoạt động khác, sử dụng cảm biến gia tốc Đề xuất đặc trưng đa mức MPF giúp tăng độ PT xác nhận dạng nhiều loại hoạt động người so với đặc trưng đa mức kiểu cũ loại trừ hạn chế mặt tốc độ xử lý Đề xuất xây dựng hai ứng dụng nhận dạng hoạt động người thời gian thực có độ xác cao, giá thành rẻ dễ triển khai, bao gồm: phát ngã xác thực người dùng sử dụng chữ ký 3D Từ nghiên cứu kết đạt luận án, có số định hướng nghiên cứu sau Nâng cao độ xác nhận dạng hoạt động việc nghiên cứu áp dụng giải pháp khắc phục hạn chế phương pháp túi từ thuật tốn tính tốn đặc trưng 26 MPF.Hạn chế mát đặc tính chuỗi thời gian tín hiệu cảm biến làm giảm độ xác nhận dạng Triển khai ứng dụng xây dựng chương vào thực tiễn DANH MỤC CÁC CƠNG TRÌNH CƠNG BỐ TẠP CHÍ KHOA HỌC IT [1] Pham Cuong, Diep Nguyen Ngoc, Phuong Tu Minh (2013), A wearable sensor based approach to real-time fall detection and fine-grained activity recognition, Journal of Mobile Multimedia, Rinton Press 9(1-2), p 15–26 PT [2] Đinh Khắc Quân, Phạm Văn Cường, Nguyễn Ngọc Điệp, Từ Minh Phương (2013), Tự động phát người ngã thời gian thực sử dụng cảm biến gia tốc, Tạp chí Khoa học công nghệ, Viện Hàn lâm KHCN Việt Nam 51(1A), 108-116 [3] Nguyễn Ngọc Điệp, Hà Quang Tấn (2015), Nhận dạng cử người thời gian thực thiết bị di động, Tạp chí Khoa học cơng nghệ, Viện Hàn lâm KHCN Việt Nam 53(2C), 1-13 HỘI NGHỊ KHOA HỌC [4] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2014), A classifier based approach to real-time fall detection using low-cost wearable sensors, Proceedings of the 5th SoICT, p 14–20 [5] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2015), SigVer3D: Accelerometer Based Verification of 3D Signatures on Mobile Devices, KSE, Springer p 353– 65 27 [6] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2016), An Orientation Histogram based Approach for Fall Detection using Wearable Sensors, Proceedings of the 14th PRICAI, Springer p 354-366 PT IT [7] Diep Nguyen Ngoc, Pham Cuong, Phuong Tu Minh (2016), Motion Primitive Forests for Human Activity Recognition using Wearable Sensors, Proceedings of the 14th PRICAI, Springer p 340-353 ... cần nhận dạng nhiều loại hoạt động IT Như vậy, cácphương pháp học máysẽ sử dụng để nghiên cứu đề xuất phương pháp trích xuất đặc trưng hệ thống nhận dạng hoạt động sử dụng PT cảm biến mang người. .. đề tồn phương pháp nhận dạng hoạt động sử dụng cảm biến mang người Mục tiêu, đối tượng phạm vi nghiên cứu Mục tiêu luận án nghiên cứu đề xuất số phương pháp học máy nhằm tăng cường hiệu cho hệ... hệ thống nhận dạng hoạt động sử dụng cảm biến mang người, cụ thể đề xuất phương pháp trích xuất đặc trưng hiệu cho nhận dạng hoạt động, với hai mục tiêu:  Nghiên cứu đề xuất phương pháp trích