Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG HOÀNG LÊ UYÊN THỤC PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 62 48 01 01 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng 2017 Công trình được hoàn thành tại: TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: 1) GS TS Jenq-Neng Hwang 2) PGS TS Phạm Văn Tuấn Phản biện 1: ……………………………………………… Phản biện 2:………………………………………………… Phản biện 3: ………………………………………………… Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Trường họp tại: Đại học Đà Nẵng Vào hồi … giờ ngày tháng ……… năm ……… Có thể tìm hiểu luận án tại: - Thư viện Quốc gia - Trung tâm Thông tin – Học liệu, Đại học Đà Nẵng MỞ ĐẦU Đặt vấn đề Già hóa dân số xu hướng diễn tất khu vực quốc gia giới, có nước ta Mặt trái già hóa bệnh tật liên quan đến tuổi tác xuất ngày nhiều Do đó, yêu cầu cấp bách đặt cần phải tìm biện pháp phát sớm chứng bệnh nói nhằm can thiệp y khoa kịp thời Hiện nay, hướng nghiên cứu hệ thống giám sát chăm sóc sức khỏe HMS (Healthcare Monitoring System) dùng kỹ thuật phân tích thông minh tín hiệu video IVA (Intelligent Video Analytics) nhận nhiều quan tâm đạt nhiều thành tựu đáng khích lệ Tuy nhiên, IVA đối mặt với số thách thức vấn đề góc quay, che khuất, phân vùng đối tượng, mô tả hành động, v.v Xuất phát từ tình hình trên, toán “Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe” chọn làm đề tài nghiên cứu của luận án Mục đích, đối tượng phạm vi nghiên cứu + Mục đích nghiên cứu: cải thiện hệ thống sử dụng kỹ thuật IVA (còn gọi hệ thống IVA) để phù hợp với ứng dụng: - Phát té ngã dự đoán nguy té ngã dáng bất thường - Phát hành động bất thường + Đối tượng nghiên cứu: - Các khối xử lý tín hiệu hệ thống IVA - Các ứng dụng kỹ thuật IVA vào hỗ trợ hệ thống HMS + Phạm vi nghiên cứu: - Tiếp cận theo phương pháp truyền thống: hệ thống IVA có hai khâu trích đặc trưng nhận dạng - Sử dụng camera 2D gắn cố định, môi trường quay nhà, tĩnh, cảnh quay có người - Các kịch bản: (1) người tham gia thực hoạt động thông thường bị té, (2) với kiểu dáng bệnh lý khác nhau, (3) thực hành động suốt cảnh quay Phương pháp nghiên cứu Phương pháp kết hợp lý thuyết thực nghiệm Cấu trúc luận án - Mở đầu - Chương trình bày tổng quan hệ thống HMS, kỹ thuật cảm biến IVA HMS, bước trích đặc trưng nhận dạng IVA - Chương trình bày cấu trúc hệ thống HMS IVA đề xuất, tính toán cho khâu hệ thống - Chương trình bày kết thực nghiệm đánh giá hệ thống HMS ứng dụng phát té ngã dự đoán nguy té ngã dáng bất thường - Chương trình bày kết thực nghiệm đánh giá hệ thống HMS ứng dụng phát hành động bất thường - Kết luận Đóng góp luận án Đóng góp mặt khoa học: - Hệ thống hóa nghiên cứu kỹ thuật IVA, đặc biệt tập trung vào IVA ứng dụng hỗ trợ cho HMS (công trình [1], [2], [6]) - Đề xuất mô tả đặc trưng 3D GRF (Geometric Relation Features) có khả đối phó với vấn đề góc quay che khuất (công trình [3]) - Đề xuất phương pháp nhận dạng hành động gần tuần hoàn dùng mô hình HMM tuần hoàn (Cyclic HMM) (công trình [5]) Ngoài ra, trình thực luận án, số hệ thống xây dựng gồm: - Hệ thống phát té ngã thực tế (công trình[9]) - Hệ thống phát dáng bất thường (công trình [10], [12]) - Hệ thống nhận dạng hành động (công trình [4], [7], [8]) - Hệ thống phát hành động bất thường (công trình [11]) Chương 1: NGHIÊN CỨU TỔNG QUAN Nội dung chương gồm: tổng quan hệ thống HMS, kỹ thuật cảm biến IVA sử dụng hệ thống HMS, đặc biệt tập trung vào IVA với hai bước xử lý trích đặc trưng nhận dạng Kết nghiên cứu tổng quan công bố công trình [1], [2], [6] Danh mục công trình tác giả 1.1 Hệ thống giám sát chăm sóc sức khỏe HMS Là hệ thống quan sát, theo dõi bệnh nhân từ xa nhằm thu thập thông tin tình trạng sức khỏe, phát tai nạn bất thường sức khỏe 1.1.1 Ứng dụng hệ thống HMS 1.1.2 Cấu trúc hệ thống HMS Một hệ thống HMS tối thiểu có ba thành phần Hình 1.1 Dữ liệu thu nhận dựa vào cảm biến camera (camera loại cảm biến cảm biến chiều) Hình 1.1 Sơ đồ cấu trúc hệ thống HMS điển hình 1.2 Kỹ thuật cảm biến 1.2.1 Cấu trúc nút mạng cảm biến 1.2.2 Ứng dụng kỹ thuật cảm biến 1.2.3 Các vấn đề cần quan tâm ứng dụng kỹ thuật cảm biến vào hệ thống HMS Số lượng cảm biến lớn dẫn đến vận hành bảo dưỡng mạng phức tạp, việc gắn cảm biến gây khó khăn phiền phức cho bệnh nhân, v.v 1.3 Kỹ thuật IVA Tín hiệu video ghi hình đối tượng quan tâm phân tích đưa kết kiện xảy đoạn video Mức độ “thông minh” định lượng dựa vào tỷ lệ nhận dạng xác 1.3.1 Cấu trúc hệ thống sử dụng kỹ thuật IVA Trong phạm vi luận án, xét hệ thống IVA truyền thống gồm hai bước trích đặc trưng nhận dạng hành động Hình 1.2 Hình 1.2 Sơ đồ cấu trúc hệ thống sử dụng kỹ thuật IVA điển hình 1.3.2 Ứng dụng kỹ thuật IVA 1.3.3 Một số nghiên cứu gần ứng dụng IVA vào hệ thống HMS 1.3.3.1 Giám sát hoạt động hàng ngày ADL (Activities of Daily Living) 1.3.3.2 Phát tai nạn té ngã 1.3.3.3 Phân tích dáng 1.3.3.4 Hỗ trợ phục hồi chức 1.3.4 Các vấn đề cần quan tâm ứng dụng IVA vào hệ thống HMS Vấn đề góc quay, cảnh động, bóng đổ, che khuất, vẻ bề đối tượng thay đổi, cách thức thực hành động khác nhau, v.v 1.4 Quá trình trích đặc trưng hệ thống IVA Trích đặc trưng tương đương với biến đổi khung hình thành vector đặc trưng Vector đặc trưng cần phải chứa đựng đặc tính hữu hiệu bật hành động, hành động thực ai, thực nào, vào lúc góc quay 1.4.1 Phân vùng đối tượng Đối với camera tĩnh, phương pháp phân đoạn đối tượng phổ biến trừ dùng mô hình hợp Gauss GMM1 (Gaussian Mixture Model), tạo ảnh mặt nạ chứa đối tượng màu trắng đen 1.4.2 Mô tả đặc trưng 1.4.2.1 Đặc trưng số thực Thành phần vector đặc trưng số thực Có thể mô tả đặc trưng dựa vào hình dáng (shape-based) dòng chuyển động (flow-based) 1.4.2.2 Đặc trưng số nhị phân Dùng giá trị để biểu diễn quan hệ hình học nhị phân điểm khác thể Đặc trưng nhị phân điển hình2 tập số 0, để biểu thị điểm thể trước/sau, bên phải/bên trái, trên/dưới mặt phẳng thể, tư gập/duỗi phận thể, v.v 1.4.3 Thảo luận mô tả đặc trưng Nhìn chung, đặc trưng số thực cho kết nhận dạng tốt chủ yếu dựa thông tin 2D nên nhạy với nhiễu, với che khuất phụ thuộc vào góc quay camera Đặc trưng số nhị phân tính từ tọa độ 3D gồm chiều sâu nên khắc phục khuyết điểm đặc trưng số thực, dùng số nên không đủ mềm dẻo để mô tả hành động phức tạp 1.5 Quá trình nhận dạng hành động hệ thống IVA Bước xác định xem chuỗi vector đặc trưng trích mô tả cho hành động số hành động huấn luyện 1.5.1 Nhận dạng tĩnh Không quan tâm đến thông tin thời gian tín hiệu mà thực dựa vào khung trọng yếu Tiêu biểu phương pháp K-NN (KNearest Neighbor) SVM (Support Vector Machine) 1.5.2 Nhận dạng động Stauffer Grimson (1999) Meinard Muller cộng (2005) 1.5.2.1 Phương pháp so khớp mẫu So sánh chuỗi vector đặc trưng trích từ đoạn video kiểm tra từ đoạn video huấn luyện để xác định chúng có tương tự hay không Tiêu biểu phương pháp DTW (Dynamic Time Warping) 1.5.2.2 Phương pháp dùng mô hình không gian trạng thái Mỗi hành động biểu diễn mô hình nhiều trạng thái, trạng thái tương đương với tư Để nhận dạng, tính xác suất mà mô hình sinh chuỗi vector đặc trưng trích từ đoạn video kiểm tra, để đo khả mô hình sinh chuỗi vector Tiêu biểu mô hình HMM (Hidden Markov Model) 1.5.3 Thảo luận phương pháp nhận dạng hành động Tỷ lệ nhận dạng theo phương pháp nhận dạng tĩnh bị phụ thuộc vào khung trọng yếu Phương pháp so khớp mẫu đơn giản nhạy với nhiễu chịu chi phối thứ tự thời gian khung hình Phương pháp dùng mô hình không gian trạng thái khắc phục khuyết điểm phương pháp so khớp mẫu tính toán phức tạp hơn, đòi hỏi số lượng liệu lớn chưa có lý thuyết xác định cấu trúc giá trị tối ưu thông số mô hình 1.6 Định hướng vấn đề nghiên cứu 1.6.1 Bài toán xây dựng hệ thống HMS IVA 1.6.1.1 Bài toán phát té ngã Yêu cầu phát cảnh báo té ngã từ đoạn video ghi hình đối tượng quan tâm sống nhà thực hoạt động thông thường bị ngã Góc quay camera tùy ý 1.6.1.2 Bài toán dự đoán nguy té ngã Yêu cầu phát dáng bất thường từ đoạn video ghi hình đối tượng quan tâm sống nhà theo đường thẳng với góc quay bên hông Kết phát dáng bất thường hỗ trợ cho dự đoán nguy té ngã, dáng bất thường yếu tố nguy gây té ngã 1.6.1.3 Bài toán dự đoán chứng rối loạn nhận thức Yêu cầu phát hành động bất thường từ đoạn video ghi hình đối tượng quan tâm sống nhà thực hành động với góc quay tùy ý Kết dùng để hỗ trợ dự đoán chứng rối loạn nhận thức nhẹ MCI (Mild Cognitive Impairment), nghiên cứu cho thấy chứng MCI có gây hành động bất thường 1.6.2 Các vấn đề thiết yếu hệ thống HMS đề xuất 1.6.2.1 Các khó khăn xây dựng hệ thống HMS - Khó khăn kỹ thuật: trình bày 1.3.4 - Khó khăn phi kỹ thuật: sở liệu video, vấn đề quyền riêng tư 1.6.2.2 Trích đặc trưng hệ thống HMS đề xuất Do môi trường quay nhà, camera gắn cố định tĩnh nên dùng phương pháp trừ GMM để phân vùng đối tượng Các mô tả đặc trưng thay đổi tùy ứng dụng, nhằm khai thác đặc điểm bật khác biệt loại hành động cần nhận dạng 1.6.2.3 Nhận dạng hành động hệ thống HMS đề xuất Từ phân tích mục 1.5.3, mô hình HMM chọn dùng hệ thống HMS đề xuất, lý do: (1) không phụ thuộc tốc độ thực hành động, (2) cho kết nhận dạng tốt, (3) mở rộng HMM chuẩn nhằm phục vụ mục đích đặc biệt 1.7 Kết luận chương Đóng góp chương phân tích, đánh giá ưu khuyết điểm nghiên cứu IVA Đây sở để định hướng vấn đề nghiên cứu luận án Chương 2: HỆ THỐNG HMS TRÊN NỀN KỸ THUẬT IVA Chương trình bày cấu trúc tính toán hệ thống HMS đề xuất, nhằm hướng đến ba ứng dụng trình bày 1.6.1 Các kết nghiên cứu hệ thống HMS đề xuất công bố công trình [9]-[12] Danh mục công trình tác giả 2.1 Phân vùng đối tượng theo phương pháp trừ GMM Nguyên lý phân vùng đối tượng so sánh khung hình với mô hình nền, qua phân chia khung hình thành vùng chứa đối tượng chuyển động vùng Mô hình xây dựng dựa mô hình GMM cho điểm ảnh liên tục cập nhật theo thời gian Sau đó, áp dụng phép hình thái toán học để làm mịn đường biên lấp đầy lỗ nhỏ bên vùng chứa đối tượng nhằm tạo nên ảnh mặt nạ hoàn hảo dùng cho bước xử lý Hình 2.1 ví dụ phân đoạn đối tượng trừ GMM Hình 2.1 Kết phân đoạn đối tượng trừ GMM 2.2 Mô tả đặc trưng hệ thống HMS phát té ngã 2.2.1 Đặc điểm té ngã 2.2.2 Tính toán vector đặc trưng té ngã Sự khác biệt rõ rệt hành động “té ngã” “không té” thể hình dạng tốc độ chuyển động Do đặc trưng kết hợp hình dạng với tốc độ3 chọn dùng luận án tính qua bước sau: Bước 1: Xác định ellipse bao quanh đối tượng ảnh mặt nạ Bước 2: Tính đặc trưng hình dạng dựa vào hình ellipse để biết tư đối tượng, gồm: - Góc đứng tức thời khung tại, - Độ thay đổi góc đứng 15 khung liên tiếp, - Độ lệch tâm tức thời, - Độ thay đổi trọng tâm đối tượng 15 khung liên tiếp Ngo cộng (2012) 11 trái, Hông phải, Vai phải}, {Hông trái, Hông phải, Vai trái}, {Vai trái, Vai phải, Hông phải}, {Vai trái, Vai phải, Hông trái}; điểm quan tâm p4 Tay phải, Tay trái, Chân phải, Chân trái tương ứng với đặc trưng F1, F2, F3, F4 Vậy tính đặc trưng 1A tính khoảng cách có dấu điểm p4 mặt phẳng xác định {p1, p2, p3} Đặc trưng 1B khoảng cách có dấu Tay với mặt phẳng dọc (saggital plane), dấu +/- cho biết Tay bên phải/trái thể Bảng 2.1 Tập đặc trưng 3D GRF 2.4.3.2 Chuẩn hóa đặc trưng khoảng cách Chuẩn hóa nhằm đảm bảo giá trị đặc trưng khoảng cách F1-F6 không bị phụ thuộc vào khoảng cách camera đối tượng 2.4.3.3 Tính đặc trưng góc Đặc trưng góc góc đo hai đoạn thẳng quan tâm thể có thay đổi rõ rệt thực hành động Tính đặc trưng góc tính góc tạo hai vector v1 v2 có chung điểm gốc p có điểm tương ứng p1 p2 2.4.4 Bộ mô tả đặc trưng 3D GRF cải tiến Trong trường hợp hành động cần nhận dạng gồm “xem giờ”, “vòng tay”, “gãi đầu”, “ngồi xuống”, “đứng dậy”, “xoay người”, “đi bộ”, “vẫy tay”, “đấm”, “đá” “nhặt đồ”, đặc trưng 3D GRF nên cải tiến để mô tả hành động hữu hiệu GRF cải tiến gồm 15 đặc trưng: giữ lại đặc trưng gốc, thay đặc trưng gốc bổ sung đặc trưng 2.5 Nhận dạng hành động dựa mô hình HMM 2.5.1 Giới thiệu mô hình HMM 12 Một mô hình HMM xác định tập λ = {A, B, π} giá trị N, M; với A ma trận chuyển tiếp, B ma trận quan sát, π xác suất trạng thái khởi đầu, N số trạng thái ẩn M số ký hiệu quan sát Có nhiều loại mô hình HMM, loại HMM trái-phải phù hợp với mô hình hóa hành động đoạn video 2.5.2 Ứng dụng mô hình HMM vào nhận dạng hành động Trong pha huấn luyện, cần huấn luyện mô hình HMM cho hành động cần nhận dạng từ chuỗi vector huấn luyện Trong pha kiểm tra, cần tính likelihood mà mô hình HMM sinh chuỗi vector kiểm tra, từ kết luận hành động cần nhận dạng dựa theo tiêu chuẩn likelihood cực đại 2.5.3 Mô hình HMM-Kmeans 2.5.3.1 Nguyên lý hoạt động HMM rời rạc Dữ liệu vào huấn luyện chuỗi vector huấn luyện rời rạc hóa cách lượng tử hóa vector (ví dụ dùng Kmeans6) để tạo bảng mã Dữ liệu vào kiểm tra chuỗi vector kiểm tra rời rạc hóa cách mã hóa vector dựa vào bảng mã 2.5.3.2 Lượng tử hóa vector dựa vào Kmeans Nhằm hạn chế khuyết điểm Kmeans, thực số thay đổi như: (1) thí nghiệm với K thay đổi, (2) ứng với K thực Kmeans nhiều lần lấy trung bình cộng bảng mã trung gian, (3) thay giá trị trung bình giá trị trung vị xác định trọng tâm nhóm 2.5.4 Mô hình HMM nhận dạng hành động gần tuần hoàn 2.5.4.1 Khái niệm hành động gần tuần hoàn Từ “gần tuần hoàn” dùng theo nghĩa tư (hoặc tham số đặc trưng) hành động lặp lại theo chu kỳ Tuy nhiên, lặp lại không hoàn toàn giống từ chu kỳ trước đến chu kỳ sau 2.5.4.2 Mô hình HMM tuần hoàn CHMM Là HMM trái-phải với chuyển tiếp từ trạng thái cuối trạng thái đầu Hình 2.4 để biểu thị lặp lại tư hành động Glenn Fung (2011) 13 ! # # # A =# # # #" a11 a12 0 a22 a23 0 a33 a34 0 a44 a51 0 0 $ & & & & a45 & & a55 &% Hình 2.4 Mô hình CHMM trạng thái 2.6 Kết luận chương Tóm lại, chương trình bày chi tiết tính toán khâu xử lý hệ thống HMS đề xuất Đóng góp chương đề xuất mô hình giám sát chăm sóc sức khỏe hướng đến ứng dụng khác gồm phát té ngã, dự đoán nguy té ngã dự đoán nguy chứng MCI Các đề xuất mô hình gồm: mô tả đặc trưng 3D GRF nhận dạng hành động gần tuần hoàn dùng mô hình CHMM Hiệu mô hình đề xuất kiểm tra, đánh giá qua chương chương Chương 3: GIÁM SÁT TÉ NGÃ Chương trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS chương ứng dụng giám sát té ngã, với hai kịch bản: (1) phát té ngã (2) dự đoán nguy té ngã dáng bất thường Kết nghiên cứu thực nghiệm hệ thống giám sát té ngã công bố qua công trình [9], [10], [12] Danh mục công trình tác giả 3.1 Giới thiệu sở liệu tiêu chí đánh giá hệ thống 3.1.1 Cơ sở liệu té ngã HBU HBU nhóm TRT-3DCS xây dựng, bao gồm 134 đoạn video gồm 65 đoạn “té ngã” 69 đoạn “không té”, độ phân giải 320x240, tốc độ 30 khung/s Các tình té ngã khác hướng té (trực diện, chéo, bên hông), nguyên nhân té, tư thể té tốc độ té 14 3.1.2 Cơ sở liệu dáng bất thường Đây sở liệu tự xây dựng, có 56 đoạn video dáng Ataxic, 85 đoạn Hemiplegic, 93 đoạn Limping, 97 đoạn Neuropathic, 100 đoạn Parkinson, 100 đoạn bình thường, phân giải 180x144, tốc độ 25 khung/s Các video ghi hình với góc quay bên hông 3.1.3 Cơ sở liệu té ngã Le2i Le2i phòng thí nghiệm Le2i xây dựng, có 215 đoạn video gồm 147 đoạn “té ngã” 68 đoạn “không té”, độ phân giải gồm 320x240 320x180, tốc độ gồm 25 khung/s loại 24 khung/s 3.1.4 Tiêu chí đánh giá hệ thống Dựa vào Recall (RC), Precision (PR) Accuracy (Acc) tính từ ma trận nhầm lẫn (confusion matrix) Hình 3.1 RC = TP TP + FN , PR = TP TP + FP , ACC = TP + TN TP + TN + FP + FN (3.1) TP (True Positive): dương tính thật FP (False Positive): dương tính giả FN (False Nagetive): âm tính giả TN (True Negative): âm tính thật Hình 3.1 Ma trận nhầm lẫn 3.2 Kiểm tra, đánh giá hệ thống phát té ngã Xét hệ thống7 dùng đặc trưng 2.2 mô hình HMM-Kmeans 3.2.1 Sự phân chia liệu Toàn sở liệu chia hai: 31 video huấn luyện 103 video kiểm tra Các video kiểm tra chia thành tập Test1, Test2 Test3 ứng với kịch té ngã có độ phức tạp khác 3.2.2 Quá trình thí nghiệm kết kiểm tra hệ thống phát té ngã Tra Pham, 2013 15 Hệ thống kiểm tra theo quy trình Hình 3.2, với N=5 K=M=96 Hình 3.2 Sơ đồ thí nghiệm phát té ngã 3.2.3 Kết thí nghiệm kiểm tra hệ thống phát té ngã Bảng 3.1 Hiệu nhận dạng hệ thống phát té ngã HBU 3.2.4 Đánh giá hệ thống phát té ngã 3.2.4.1 Đánh giá hiệu nhận dạng hệ thống - Tỷ lệ nhận dạng phụ thuộc vào mức độ phức tạp kịch kiểm tra - Hiệu phát té ngã bị ảnh hưởng góc quay: té hướng bên hông phát 100% hướng trực diện bị bỏ sót nhiều (78.95%) - Tỷ lệ dương tính giả nhiều với hành động xảy sàn nhà 3.2.4.2 Nguyên nhân nhận dạng không xác - Ánh sáng yếu, màu quần áo trùng lẫn màu nền, che khuất - Bộ mô tả đặc trưng té ngã thiếu thông tin chiều sâu 3.2.4.3 So sánh hệ thống phát té ngã Kết so sánh Bảng 3.2 cho thấy hiệu rõ rệt hệ thống xét, thể tăng lên tất tiêu chí RC, PR Acc 16 Bảng 3.2 So sánh hệ thống phát té ngã Hệ thống RC PR Acc Trừ so khớp ngưỡng 73.01 70 69.9 Trừ mạng neural 81.13 84.31 82.69 Trừ GMM mạng neural 87.38 86.67 86.38 Trừ GMM mô hình HMM 88.46 86.79 87.38 3.3 Triển khai hệ thống phát té ngã thực tế 3.3.1 Kiến trúc hệ thống phát té ngã thực tế 3.3.1.1 Thu nhận tín hiệu video Ghi hình camera IP D-Link DCS-942L, truyền tín hiệu video qua router không dây đến máy tính, giao diện video-máy tính thiết kế nhờ C++ OpenCV, thủ tục truyền liệu RTSP 3.3.1.2 Phân tích tín hiệu video Truyền tín hiệu video theo khung đến máy tính để phân tích theo thuật toán phát té ngã trình bày, dùng Matlab 2012a 3.3.1.3 Thông tin cảnh báo Có hai hình thức cảnh báo thiết kế (1) cảnh báo chỗ âm văn hình quan sát (2) cảnh báo từ xa tin nhắn SMS gởi đến số điện thoại định dùng module SIM900A 3.3.2 Kiểm tra, đánh giá hệ thống với sở liệu Le2i 3.3.2.1 Thí nghiệm kiểm tra hệ thống với sở liệu Le2i Chọn 58 đoạn video có phân giải 320x240 tập Home1, Home2 Lecture có kịch khác nhiều so với HBU Kết có 13/22 hành động “té ngã” 28/36 hành động “không té” nhận dạng đúng, dẫn đến số thống kê RC=59%, PR=62% Acc=71% 3.3.2.2 Nhận xét đánh giá hệ thống dựa sở liệu Le2i - 100% cảnh 50/58 đoạn video (chiếm 86%) chuỗi hành động Le2i khác với HBU nên tỷ lệ nhận dạng giảm đáng kể - Ánh sáng yếu, che khuất ảnh hưởng đến phân đoạn đối tượng (69%) 17 - Tỷ lệ dương tính giả cao nhiều đối tượng chuyển động (55%), hành động tương tự “té ngã” (62%), đồ vật bị rơi (14%) - Khó áp dụng trừ GMM đối tượng có sẵn khung hình (57%), đối tượng bất động (86%) 3.3.3 Kiểm tra, đánh giá hệ thống với tình té ngã thực tế Nhằm kiểm tra tính ổn định, khả đáp ứng thời gian thực khả phát tai nạn té ngã thực, hệ thống huấn luyện 134 video HBU, cho chạy thử trước Văn phòng Khoa ĐT-VT phòng học C217 trường Đại học bách khoa, ĐHĐN, từ 14/04 - 15/05/2014 Kết camera ghi 674 hành động với hành động “té ngã” Hệ thống phát cảnh báo 8/9 hành động “té ngã”, nhận dạng nhầm 16 hành động “không té” Vậy tỷ lệ nhận dạng xác Acc = 97.47% Thời gian trễ xử lý đo 1-5 giây 3.4 Kiểm tra, đánh giá hệ thống dự đoán nguy té ngã dáng bất thường 3.4.1 Kiểm tra, đánh giá hệ thống phát dáng bệnh Parkinson 3.4.1.1 Thí nghiệm phát dáng bệnh Parkinson Thí nghiệm theo quy trình Hình 3.2, với sở liệu 100 đoạn video dáng bình thường 100 đoạn Parkinson, mô tả đặc trưng moment Hu, mô hình nhận dạng CHMM N = M = 64 3.4.1.2 Kết thí nghiệm phát dáng bệnh Parkinson Thực đánh giá theo phương pháp đánh giá chéo 1:10, kết 99/100 dáng Parkinson 100/100 dáng bình thường nhận dạng đúng, dẫn đến tỷ lệ nhận dạng xác tốt - Acc = 99.5% 3.4.2 Kiểm tra, đánh giá hệ thống phát dáng bệnh lý 3.4.2.1 Thí nghiệm phát dáng bệnh lý Thí nghiệm tương tự thí nghiệm phát dáng Parkinson 3.4.1.1, khác sở liệu sở liệu dáng bất thường gồm loại dáng bệnh lý khác trình bày 3.1.2 3.4.2.2 Kết thí nghiệm phát dáng bệnh lý 18 Thí nghiệm thực với vector đặc trưng dùng moment Hu không qua logarit dáng Ataxic Hemiplegic cho kết nhận dạng thấp (97%, phát dáng bất thường >90%, phát hành động bất thường >98%) Thời gian xử lý thấp (từ 1~5 giây với phát té ngã) - Cơ sở liệu sử dụng chưa có tham gia người cao tuổi - Kịch té ngã hành động bất thường đơn giản chưa thực tế Hướng phát triển - Sử dụng camera 3D để cải thiện việc mô hình hóa thể 3D - Kết hợp nhận dạng hành động với thông tin ngữ cảnh W5+ (who, what, when, where, why, how) để hiểu ý nghĩa hành động - Phối hợp chuyên gia y tế mở rộng sở liệu, thu thập thêm liệu thực, phát triển kịch thực tế đa dạng Thực lặp lại quy trình: “thu thập liệu, kiểm tra, huấn luyện lại, cập nhật hệ thống” - Tiếp cận hệ thống HMS dựa IVA theo phương pháp học sâu 25 DANH MỤC CÔNG TRÌNH KHOA HỌC Le Thi My Hanh, Hoang Le Uyen Thuc, and Pham Van Tuan, “A Survey on Advanced Video Based Health Care Monitoring Systems,” 2012 Int Conf BioSciences and Bio Electronics, pp 1-8, 2012 Hoàng Lê Uyên Thục, Phạm Văn Tuấn, and Jenq-Neng Hwang, “Recent advances on video-based human walking gait analysis,” Tạp chí Khoa học Công nghệ ĐHĐN, số 8[57], trang 253-261, 2012 Hoang Le Uyen Thuc, Pham Van Tuan, and Jenq-Neng Hwang, “An Effective 3D Geometric Relational Feature Descriptor for Human Action Recognition,” IEEE RIVF, pp 270-275, 2012 Hoang Le Uyen Thuc, Shian-Ru Ke, Jenq-Neng Hwang, Jang-Hee Yoo, and Kyong-Ho Choi, “Human Action Recognition Based on 3D Body Modeling from Monocular Videos,” 18th Korea-Japan Joint Workshop on Frontiers of Computer Vision, pp 6-13, 2012 Hoang Le Uyen Thuc, Shian-Ru Ke, Jenq-Neng Hwang, Pham Van Tuan, and Truong Ngoc Chau, “Quasi-periodic Action Recognition from Monocular Videos via 3D Human Models and Cyclic HMMs,” Int Conf ATC, pp 110-113, 2012 Shian-Ru Ke, Hoang Le Uyen Thuc, Yong-Jin Lee, Jenq-Neng Hwang, Jang-Hee Yoo, and Kyoung-Ho Choi, “A Review on Video-Based Human Activity Recognition,” MDPI Computers, vol 2(2), pp 88-131, 2013 (ESCI) Shian-Ru Ke, Hoang Le Uyen Thuc, Jenq-Neng Hwang, Jang-Hee Yoo, and Kyong-Ho Choi, “Human Action Recognition based on 3D Human Modeling and Cyclic HMMs,” ETRI journal, vol 36(4), pp 662-672, 2014 (SCI, Scopus) Hoàng Lê Uyên Thục, Phạm Văn Tuấn, Shian-Ru Ke, “So sánh phương pháp nhận dạng hành động người đoạn video quay camera dùng DTW HMM”, Tạp chí Khoa học Công nghệ ĐHĐN, Số 1(74), Quyển 2, trang 64-68, 2014 Hoang Le Uyen Thuc and Pham Van Tuan, “An Effective Video Based System for Human Fall Detection,” Int J Advanced Research in Computer Engineering & Technology, vol 3(8), pp 2820-2826, 2014 10 Hoàng Lê Uyên Thục Phạm Văn Tuấn, “Nhận dạng mẫu hình ảnh sử dụng mômen Hu,” Hội thảo CITA 2016, trang 38-43, 2016 11 Hoang Le Uyen Thuc, Shian-Ru Ke, and Pham Van Tuan, “Video-based Action Recognition to Assist Mild Cognitive Impairment Prediction,” Int J Computer Science and Information Security, vol 14(10), pp 24-33, 2016 12 Hoang Le Uyen Thuc, Pham Van Tuan, and Jenq-Neng Hwang, “An Effective Video-based Model for Fall Monitoring of the Elderly,” IEEE Int Conf Systems Science and Engineering (ICSSE), 2017 (accepted) ... góc quay, che khuất, phân vùng đối tượng, mô tả hành động, v.v Xuất phát từ tình hình trên, toán Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe chọn làm đề... 1.1 Hệ thống giám sát chăm sóc sức khỏe HMS Là hệ thống quan sát, theo dõi bệnh nhân từ xa nhằm thu thập thông tin tình trạng sức khỏe, phát tai nạn bất thường sức khỏe 1.1.1 Ứng dụng hệ thống. .. Hiện nay, hướng nghiên cứu hệ thống giám sát chăm sóc sức khỏe HMS (Healthcare Monitoring System) dùng kỹ thuật phân tích thông minh tín hiệu video IVA (Intelligent Video Analytics) nhận nhiều