Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG -—{– - HOÀNG LÊ UYÊN THỤC PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG -—{– HOÀNG LÊ UYÊN THỤC PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: GS TS Jenq-Neng Hwang PGS TS Phạm Văn Tuấn Đà Nẵng 2017 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu thực hiện, hướng dẫn khoa học GS TS Jenq-Neng Hwang (Khoa Điện, Trường Đại học Washington, Seattle, USA) PGS TS Phạm Văn Tuấn (Phòng Khảo thí Đảm bảo chất lượng giáo dục, Trường Đại học Bách khoa, Đại học Đà Nẵng) Tôi cam đoan kết nghiên cứu trình bày luận án trung thực không chép từ luận án khác Một số kết nghiên cứu thành tập thể đồng tác giả đồng ý cho sử dụng Mọi trích dẫn có ghi nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả NCS Hoàng Lê Uyên Thục LỜI CẢM ƠN Trước tiên, với lòng kính trọng biết ơn sâu sắc, xin gởi lời tri ân đến thầy giáo hướng dẫn – GS TS Jenq-Neng Hwang PGS TS Phạm Văn Tuấn tận tình giúp đỡ từ bước đến hoàn thành luận án Với tôi, niềm đam mê nghiên cứu lòng người Thầy học trò nguồn động viên tinh thần vô giá Trong trình học tập nghiên cứu, thông qua buổi trao đổi học thuật, giảng, bảo vệ chuyên đề, seminar, bảo vệ cấp sở, nhận nhiều kiến thức góp ý quý báu PGS TS Võ Trung Hùng, PGS TS Phan Huy Khánh, TS Huỳnh Hữu Hưng, TS Hồ Phước Tiến PGS TS Nguyễn Thanh Bình (Đại học Đà Nẵng), TS Ngô Văn Sỹ (Trung tâm Nghiên cứu Điện tử-Tin học-Tự động hóa Miền Trung), PGS TS Huỳnh Xuân Hiệp (Trường Đại học Cần Thơ), PGS TS Lê Mạnh Thạnh (Đại học Huế), BS Cao Bích Thủy (Trường Đại học Kỹ thuật Y-Dược Đà Nẵng), BS Nguyễn Hoài Nam (Trường Đại học Y Hà Nội) Xin bày tỏ lòng biết ơn chân thành đến quý Thầy Cô Đặc biệt, xin trân trọng cảm ơn phản biện độc lập dành thời gian công sức đọc, nhận xét đánh giá luận án nhằm giúp cho luận án bổ sung, chỉnh sửa rõ ràng, đầy đủ hợp lý Tôi xin trân trọng cảm ơn Ban Đào tạo - Đại học Đà Nẵng, Phòng Đào tạo Trường Đại học Bách khoa tạo điều kiện thuận lợi cho thời gian học tập, nghiên cứu thực luận án Xin cảm ơn Khoa Công nghệ thông tin tạo môi trường học thuật thân thiện tích cực cho nghiên cứu sinh Tôi xin gởi lời cảm ơn chân thành đến Ban Lãnh đạo Khoa Điện tử - Viễn thông Bộ môn Kỹ thuật Viễn thông hỗ trợ tạo điều kiện tốt cho thực luận án Xin cảm ơn Thầy Cô giáo Khoa bên cạnh động viên sẵn lòng chia sẻ công việc để tập trung nghiên cứu Tôi xin ghi nhận cảm ơn thành viên Phòng thí nghiệm Information Processing – Đại học Washington nhiệt tình hỗ trợ mặt chuyên môn thời gian nghiên cứu Phòng Xin cảm ơn đồng tác giả đồng ý cho sử dụng kết nghiên cứu chung cho luận án Cảm ơn em sinh viên Khoa Điện tử - Viễn thông Chương trình tiên tiến nhiệt tình hỗ trợ xây dựng sở liệu kiểm tra hệ thống Cuối cùng, xin gởi lời cảm ơn sâu sắc đến gia đình bạn thânnhững người dành cho tình yêu niềm tin, để vững tâm hành trình đầy thách thức NCS Hoàng Lê Uyên Thục MỤC LỤC —{– LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC TỪ VIẾT TẮT vi DANH MỤC THUẬT NGỮ ANH – VIỆT viii DANH MỤC BẢNG BIỂU .xii DANH MỤC HÌNH VẼ xiv MỞ ĐẦU 1 Đặt vấn đề Mục tiêu, đối tượng phạm vi nghiên cứu 3 Phương pháp nghiên cứu 4 Cấu trúc luận án Đóng góp luận án Chương NGHIÊN CỨU TỔNG QUAN 1.1 Hệ thống giám sát chăm sóc sức khỏe HMS 1.1.1 Ứng dụng hệ thống HMS 1.1.2 Cấu trúc hệ thống HMS 1.2 Kỹ thuật cảm biến 10 1.2.1 Cấu trúc nút mạng cảm biến 11 1.2.2 Ứng dụng kỹ thuật cảm biến 11 1.2.3 Các vấn đề cần quan tâm ứng dụng kỹ thuật cảm biến vào hệ thống HMS .13 1.3 Kỹ thuật IVA 14 1.3.1 Cấu trúc hệ thống sử dụng kỹ thuật IVA 14 1.3.2 Ứng dụng kỹ thuật IVA 16 1.3.3 Một số nghiên cứu gần ứng dụng IVA vào hệ thống HMS 17 1.3.4 Các vấn đề cần quan tâm ứng dụng IVA vào hệ thống HMS 20 1.4 Quá trình trích đặc trưng hệ thống IVA 22 1.4.1 Phân vùng đối tượng 23 1.4.2 Mô tả đặc trưng 24 1.4.3 Thảo luận mô tả đặc trưng 27 1.5 Quá trình nhận dạng hành động hệ thống IVA 28 1.5.1 Nhận dạng tĩnh 29 1.5.2 Nhận dạng động 30 1.5.3 Thảo luận phương pháp nhận dạng hành động 33 1.6 Định hướng vấn đề nghiên cứu 34 1.6.1 Bài toán xây dựng hệ thống HMS IVA 35 1.6.2 Các vấn đề thiết yếu hệ thống HMS đề xuất 37 1.7 Kết luận chương 40 Chương HỆ THỐNG HMS TRÊN NỀN KỸ THUẬT IVA 41 2.1 Phân vùng đối tượng theo phương pháp trừ GMM 41 2.2 Mô tả đặc trưng hệ thống HMS phát té ngã 43 2.2.1 Đặc điểm té ngã 43 2.2.2 Tính toán vector đặc trưng té ngã 44 2.3 Mô tả đặc trưng hệ thống HMS phát dáng bất thường 47 2.3.1 Đặc điểm dáng 47 2.3.2 Tính toán vector đặc trưng dáng 48 Mô tả đặc trưng hệ thống HMS phát hành động bất thường 51 2.4.1 Cơ sở xây dựng mô tả đặc trưng hành động 3D GRF 51 2.4.2 Xác định liệu vào mô tả đặc trưng hành động 3D GRF 52 2.4.3 Tính toán vector đặc trưng GRF 56 2.4.4 Bộ mô tả đặc trưng 3D GRF cải tiến 60 2.5 Nhận dạng hành động dựa mô hình HMM 61 2.5.1 Giới thiệu mô hình HMM 61 2.5.2 Ứng dụng mô hình HMM vào nhận dạng hành động 63 2.5.3 Mô hình HMM-Kmeans 65 2.5.4 Mô hình HMM nhận dạng hành động gần tuần hoàn 67 Kết luận chương 69 Chương GIÁM SÁT TÉ NGà 70 3.1 Giới thiệu sở liệu tiêu chí đánh giá hệ thống 70 3.1.1 Cơ sở liệu té ngã HBU 70 3.1.2 Cơ sở liệu dáng bệnh lý bất thường 71 3.1.3 Cơ sở liệu té ngã Le2i 73 3.1.4 Tiêu chí đánh giá hệ thống 75 3.2 Kiểm tra, đánh giá hệ thống phát té ngã 76 3.2.1 Sự phân chia liệu 76 3.2.2 Quá trình thí nghiệm kết kiểm tra hệ thống phát té ngã 76 3.2.3 Kết thí nghiệm kiểm tra hệ thống phát té ngã 78 3.2.4 Đánh giá hệ thống phát té ngã 79 3.3 Triển khai hệ thống phát té ngã thực tế 81 3.3.1 Kiến trúc hệ thống phát té ngã thực tế 81 3.3.2 Kiểm tra, đánh giá hệ thống với sở liệu Le2i 83 3.3.3 Kiểm tra, đánh giá hệ thống với tình té ngã thực tế 85 3.4 Kiểm tra, đánh giá hệ thống dự đoán nguy té ngã dáng bất thường 87 3.4.1 Kiểm tra, đánh giá hệ thống phát dáng bệnh Parkinson 87 3.4.2 Kiểm tra, đánh giá hệ thống phát dáng bệnh lý 88 3.5 Kết luận chương 91 Chương PHÁT HIỆN HÀNH ĐỘNG BẤT THƯỜNG 93 4.1 Giới thiệu sở liệu tiêu chí đánh giá hệ thống 93 4.1.1 Cơ sở liệu HumanEVA 93 4.1.2 Cơ sở liệu ước lượng tư 3D 95 4.1.3 Cơ sở liệu IXMAS 95 4.1.4 Tiêu chí đánh giá hệ thống 96 4.2 Đánh giá mô tả đặc trưng 3D GRF 97 4.2.1 Thí nghiệm mô tả đặc trưng 3D GRF 97 4.2.2 Kết thí nghiệm mô tả đặc trưng 3D GRF 98 4.2.3 Nhận xét mô tả đặc trưng 3D GRF 100 4.3 Các yếu tố ảnh hưởng đến hiệu nhận dạng mô hình HMM 102 4.3.1 Ảnh hưởng tham số mô hình HMM 103 4.3.2 Ảnh hưởng số lượng người tham gia huấn luyện mô hình HMM 106 4.4 Nhận dạng hành động gần tuần hoàn dùng mô hình CHMM 109 4.4.1 Xây dựng sở liệu hành động gần tuần hoàn 109 4.4.2 Kết thí nghiệm 110 4.5 Kiểm tra, đánh giá hệ thống phát hành động bất thường 110 4.5.1 Kiểm tra, đánh giá khối nhận dạng hành động 112 4.5.2 Kiểm tra, đánh giá khối phát hành động bất thường 114 4.6 Kết luận chương 116 KẾT LUẬN 118 Các kết luận án 118 Đánh giá kết 118 Hướng phát triển 119 DANH MỤC CÔNG TRÌNH KHOA HỌC 121 TÀI LIỆU THAM KHẢO 122 PHỤ LỤC 133 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Nghĩa chữ viết tắt Dịch nghĩa tiếng Việt Acc Accuracy Độ xác ADL Activities of Daily Living Hoạt động hàng ngày AMI Accumulated Motion Image Ảnh chuyển động tích lũy BMI Body Mass Index Chỉ số khối lượng thể BSN Body Sensor Netword Mạng cảm biến thể người CHMM Cyclic HMM HMM tuần hoàn D Dimension Hướng (chiều) DFT Discrete Fourier Transform Phép biến đổi Fourier rời rạc DTW Dynamic Time Warping Làm lệch thời gian động GMM Gaussian Mixture Model Mô hình hợp Gauss GRF Geometric Relational Feature Đặc trưng quan hệ hình học HM Highly Mismatch Ít phù hợp HMM Hidden Markov Model Mô hình Markov ẩn HMS Healthcare Monitoring System Hệ thống giám sát chăm sóc sức khỏe HOG Histogram of Oriented Gradient Histogram gradient có hướng IIR Infinite duration Impulse Response Đáp ứng xung dài vô hạn INRIA Institut National de Recherche en Informatique et en Automatique Viện Nghiên cứu Tin học Tự động hóa ITMI Integrated Time Motion Image Ảnh chuyển động theo thời gian tích hợp IVA Intelligent Video Analytics Phân tích thông minh tín hiệu video JHFRAT Johns Hopkins Fall Risk Assessment Tool Công cụ đánh giá nguy té ngã bệnh viện Johns Hopkins KNN K-Nearest Neighbor K lân cận gần Le2i Laboratoire Electronique, Informatique et Image Phòng thí nghiệm Điện tử, Tin học Ảnh MCI Mild Cognitive Impairment Suy giảm nhận thức mức độ nhẹ MFS Morse Fall Scale Thang đo nguy té ngã Morse vi MHI Motion History Image Ảnh lịch sử chuyển động MII Motion Intensity Image Ảnh cường độ chuyển động MLP Multi Layer Perceptron Perceptron nhiều lớp MM Medium Match Phù hợp trung bình NWFE Nonparametric Weighted Feature Extraction Đặc trưng lấy trọng số tham số PCA Principal Component Analysis Phân tích thành phần Pixel Picture of Element Điểm ảnh RP PRecision Độ tin cậy RC ReCall Tỷ lệ dương tính phát RGB Red Green Blue Không gian màu Đỏ-Lục-Lam RSTP Real Time Streaming Protocol Thủ tục truyền dòng tín hiệu thời gian thực SAIL Smart AssIsted Living Hệ thống trợ giúp thông minh SMS Short Message Services Dịch vụ tin nhắn STIP Space Time Interest Points Điểm quan tâm không-thời gian SVM Support Vector Machine Máy vector hỗ trợ WHO World Health Organization Tổ chức Y tế giới WM Well Match Rất phù hợp vii DANH MỤC THUẬT NGỮ ANH – VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Abnormal gait detection Phát dáng bất thường Action recognition Nhận dạng hành động Addition pattern Mẫu dư thừa Angle-related feature Đặc trưng góc Anormal action pattern Mẫu hành động bất thường Axial plane Mặt phẳng ngang Background Nền Background model Mô hình Background subtraction Trừ Base width Độ rộng bước Body plane Mặt phẳng thể Boolean feature Đặc trưng nhị phân Box Đánh bốc Centroid Trọng tâm Check watch Xem Codebook Bảng mã Codeword Từ mã Commission pattern Mẫu sai khác Confusion matrix Ma trận nhầm lẫn Coronal plane Mặt phẳng đứng Cost function Hàm giá Cross arm Vòng tay Deep learning Học sâu Depth camera Camera 3D (độ sâu) Discrimative model Mô hình phân biệt Distance-related feature Đặc trưng khoảng cách Dynamic recognition Nhận dạng động Eigenvector Vector riêng viii 130 [115] Rogez G., Rihan J., Ramalingam S., Orrite C and Torr P.H.S “Randomized trees for human pose detection,” IEEE Conference on Computer Vision and Pattern Recognition (CPVR), pp 1-8, 2008 [116] Rougier C., Meunier J., St-Arnaud A and Rousseau J “Fall detection from human shape and motion history using video surveillance,” 21st International Conference on Advanced Information Networking and Applications Workshops (AINAW'07), vol 2, pp 875-880, 2007 [117] Ryuichi A., Terumasa H., Satory T., Setsuko S and Nobuyuki A “A method for supporting at-home fitness exercise guidance and at-home nursing care for the elders, video-based simple measurement system,” IEEE 10th Int Conf on e-Health Networking, Applications and Service (HealthCom), pp 182-186, 2008 [118] Sankoff D and Kruskal J.B (editors) “TimeWarps, string edits, and macromolecules: the theory and practice of sequence comparison,” Addison-Wesley Publishing Company, Inc., 1983 [119] Schuldt C., Laptev I and Caputo B “Recognizing human actions: a local SVM approach,” 17th Int Conf on Pattern Recognition, vol.3, pp 32-36, 2004 [120] Schwendimann R, De Geest S and Milisen K “Evaluation of the Morse Fall Scale in hospitalized patients,” Age and Aging, vol 35(3), pp 311-313, 2006 [121] Sempena S., Maulidevi N.U., Aryan P.R “Human action recognition using dynamic time warping,” IEEE International Conference on Electrical Engineering and Informatics (ICEEI), pp 17-19, 2011 [122] Shechtman E and Irani M “Space-time behavior based correlation,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), vol 1, pp 405-412, 2005 [123] Sigal L and Black M.J “HumanEva: synchronized video and motion capture dataset for evaluation of articulated human motion,” Technical report CS-06-08, Brown University, Providence, RI 02912, USA, 2006 [124] Sigal L., Balan A.O and Black M.J “HumanEva: synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion,” International Journal of Computer Vision, vol 27, pp 4-27, 2010 [125] Singer S and Nelder J “Nelder-Mead algorithm,” Sholarpedia, vol 4(7): 2928, 2009 [126] Soda P., Carta A., Formica D and Guglielmelli E “A low-cost video-based tool for clinical gait analysis,” 31st Annual Int Conf of the IEEE EMBS, pp 3979-3982, 2009 [127] Stauffer C and Grimson W.E.L “Adaptive background mixture models for real-time tracking,” IEEE ICCV 1999, pp 246-252, Jun 1999 [128] Sundar H., Silver D., Gagvani N., Dickinson S and Ý D.S “Skeleton based shape matching and retrieval,” Shape Modeling International, pp 130-139, 2003 [129] Szeliski R “Computer vision: Algorithms and Applications,” Springer, 2010 131 [130] Tra K and Pham V Tuan “Human Fall Detection based on Adaptive Background Mixture Model and HMM,” The 2013 International conference on Advanced Technologies for Communications (ATC), pp 217-222, 2013 [131] Tran D D., Le T L and Tran T T H “Abnormal event detection using multimedia information for monitoring system,” IEEE 5th International Conference on Communications and Electronics (ICCE), pp 490-495, 2014 [132] Tran T T H., Le T L and Morel J “An analysis on human fall detection using skeleton from Microsoft kinect,” IEEE 5th International Conference on Communications and Electronics (ICCE), pp 484-489, 2014 [133] UNFPA, “The aging population in Vietnam: current status, prognosis, and possible policy responses,” pp 1-68, 2011 [134] United Nations, Department of Economic and Social Affairs, Population Division, “World population ageing 2015”, pp 1-149, 2015 [135] Zhang B., Wang L., Wang Z., Qiao Y and Wang H “Real-time Action Recognition with Enhanced Motion Vector CNNs,” CVPR, pp 2718-2726, 2016 [136] Waite L.M., Grayson D.A., Piguet O., Creasey H., Bennett H.P and Broe G.A “Gait slowing as a predictor of incident dementia: 6-year longitudinal data from the Sydney older persons study,” Journal of the Neurological Sciences, vol 229-230, pp 89-93, 2005 [137] Weinland D., Boyer E and Ronfard R “Action recognition from arbitrary views using 3D exemplars,” IEEE ICCV, pp 1-7, 2007 [138] Welch G and Bishop G “An introduction to the Kalman filter,” Technical Report TR 95-041, Department of Computer Science, University of North Carolina at Chapel Hill, 2006 [139] Wilson J.S (Editor-in-Chief), “Sensor technology handbook,” Elsevier Inc., 2005 [140] World Health Organization, “10 facts on dementia,” địa http://www.who.int/features/factfiles/dementia/en, [truy cập 10/6/2016] [141] Wren C., Azarbayejani A., Darrell T and Pentland A.P “Pfinder: real-time tracking of the human body,” IEEE Transactions On Pattern Analysis and Machine Itelligence, vol 19 (7), pp 780-785, 1997 [142] Wu Y-C, Chen H-S, Tsai W-J, Lee S-Y and Yu J-Y “Human action recognition based on layered-HMM,” IEEE ICME, pp 1453-1456, 2008 [143] Xu L-Q., Landabaso J.L and Lei B “Segmentation and tracking of multiple moving objects for intelligent video analysis,” BT Technology Journal, vol 22(3), pp 140-150, 2004 [144] Yamato J., Ohya J and Ishii K “Recognizing human action in time-sequential images using hidden Markov model,” IEEE CVPR, pp 379-385, 1992 132 [145] Yang M-T and Chuang M-W “Fall risk assessment and early-warning for toddler behaviors at home,” Mdpi Sensors, vol 13(12), pp 16985-17005, 2013 [146] Zappa M “15 emerging agriculture technologies that will change the world,” Business Insider Singapore reproduced from Policy Horizons Canada, 2014 [147] Zhang B., Jiang S., Wei D., Marschollek M and Zhang W “State of the Art in Gait Analysis Using Wearable Sensors for Healthcare Applications,” 11th IEEE/ACIS International Conference on Computer and Information Science (ICIS), pp 213-218, 2012 [148] Zhu C and Sheng W “Wearable sensor-based hand gesture and daily activity recognition for robot-assisted living,” Systems, Man and Cybernetics, Part A: Systems and Humans, IEEE Transactions, vol 41(3), pp 569-573, 2011 [149] Zivkovic Z “Improved adaptive Gaussian mixture model for background subtraction,” 17th Int Conf on Pattern Recognition (ICPR), pp 28-31, 2004 133 PHỤ LỤC Phụ lục A Cơ sở liệu té ngã HBU Huấn luyện File avi Giải thích Kiểm tra Test File avi Giải thích Test File avi Giải thích Test File avi Giải thích cr0101F Té ngã cr0107F Té ngã di0414N Gập cr0801F Té ngã cr0102F Té ngã cr0108F Té ngã cr0415N Gập cr0901F Té ngã cr0201F Té ngã cr0208F Té ngã di0416N Bò cr1001F Té ngã cr0202F Té ngã cr0209F Té ngã si0417N Nằm cr0902F Té ngã cr0301N Gập cr0406N Gập cr0418N Nằm cr0903F Té ngã cr0302N Nằm cr0314N Nằm di0419N Ngồi cr0605F Té ngã cr0303N Bò cr0407N Bò si0501N Gập cr0420F Té ngã di0103F Té ngã di0109F Té ngã si0502N Bò di0606F Té ngã di0104F Té ngã di0110F Té ngã cr0503N Ngồi di0904F Té ngã di0203F Té ngã di0210F Té ngã si0504N Ngồi di0421F Té ngã di0204F Té ngã di0211F Té ngã di0505N Nằm di0422F Té ngã di0304N Gập di0315N Nằm cr0506N Bò di0119F Té ngã di0305N Gập di0408N Gập si0214F Té ngã si0802F Té ngã di0306N Nằm di0409N Bò di0215F Té ngã si0607F Té ngã di0307N Bò di0410N Ngồi cr0216F Té ngã si1101F Té ngã di0308N Ngồi si0111F Té ngã si0217F Té ngã si1002F Té ngã di0309N Ngồi si0112F Té ngã cr0218F Té ngã si0905F Té ngã di0401N Gập si0212F Té ngã di0113F Té ngã si0219F Té ngã di0402N Nằm si0213F Té ngã si0114F Té ngã cr0507F Té ngã di0403N Nằm si0411N Gập si0115F Té ngã di0508F Té ngã di0404N Bò si0316N Nằm cr0116F Té ngã di0509F Té ngã di0405N Ngồi si0412N Bò di0117F Té ngã di0510F Té ngã si0105F Té ngã si0413N Ngồi di0118F Té ngã di0511F Té ngã si0106F Té ngã di0701F Té ngã si0608F Té ngã si0205F Té ngã cr0601N Bò si0609F Té ngã si0206F Té ngã si0317N Gập mu0610N Khác si0207F Té ngã si0602F Té ngã mu0611N Khác si0310N Gập cr0603F Té ngã mu1201N Khác si0311N Nằm di0604F Té ngã mu1202N Khác si0312N Bò mu1102N Khác si0313N Ngồi mu1301N Khác mu1003N Khác mu0906N Khác mu0907N Khác si0612N Gập Huấn luyện File avi Giải thích Test1 File avi Giải thích Test2 File avi Giải thích Test3 File avi Giải thích si0613N Nằm cr0318N Nằm cr0319N Ngồi si0423N Gập di0424N Gập di0425N Gập cr0702N Bò si0703N Bò di0704N Bò si0705N Nằm cr0706N Nằm di0707N Ngồi cr0708N Ngồi si0709N Ngồi mu0320N Khác mu0710N Khác Ghi chú1: tên file bao gồm: - ký tự hướng quay camera (cross: nghiêng, direct: trực diện, side: bên hông, multiview: đối tượng thay đổi hướng di chuyển nên góc quay camera thay đổi) - chữ số tiếp theo: định danh cho tình nguyện viên (đợt có tình nguyện viên tham gia, đợt bổ sung thêm tình nguyện viên) - chữ số tiếp theo: số thứ tự file video tính tình nguyện viên - chữ cuối: N/F (Non-fall/Fall): không té/té ngã Ghi chú2: số kịch “không té”, gồm nhiều hành động diễn lần lượt: - mu0610N: vào phòng – ngồi xuống đất – nằm xuống – ngồi dậy – đứng lên – - mu0611N: vào phòng – tập thể dục động tác gập bụng – đổi hướng – tiếp tục tập – - mu1201N: vào phòng – cúi nhặt đồ vật – lom khom để tiếp tục nhặt đồ vật – - mu1202N: cầm sách vào phòng – ngồi lên giường – nằm xuống đọc sách - mu1102N: vào phòng – ngồi xổm – đứng lên - mu1301N: vào phòng – cúi xuống tìm đồ vật gầm giường – bò tìm quanh nhà – đứng lên tìm – cúi xuống tìm – nằm lên giường - mu1003N: vào phòng – nằm xuống đất – tập thể dục động tác nâng người ngồi dậy thả người nằm xuống - mu0906N: vào phòng – dừng lại nhìn cửa sổ – quanh phòng – ngồi xổm - mu0907N: lên cầu thang – xuống cầu thang - mu0320N: cầm gối vào phòng – ném gối xuống đất – quỳ xuống – bò quanh tìm đồ vật - mu0710N: vào phòng – ngồi xuống đất – lấy gối – nằm xuống – người khác vào phòng Phụ lục B Cơ sở liệu té ngã Le2i kết nhận dạng Ghi chú: A- Người có sẵn khung hình B- Người bất động khoảng thời gian C- Quần áo trùng màu nền/che khuất/thiếu ánh sáng D- Nhiều đối tượng chuyển động Kết nhận dạng: (té), (không té) Home1 File avi video (3) A ✓ ✓ ✓ B ✓ ✓ ✓ C ✓ ✓ ✓ D ✓ ✓ ✓ video (4) ✓ ✓ ✓ ✓ video (5) video (6) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ video (7) ✓ ✓ ✓ ✓ video (37) video (55) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ video (56) ✓ ✓ ✓ video (57) video (58) ✓ ✓ ✓ ✓ ✓ ✓ video (59) ✓ ✓ ✓ ✓ video (60) ✓ ✓ ✓ ✓ video (1) video (2) Hành động Đang ngồi – đứng lên – bước – té làm lệch thảm Đang ngồi – đứng lên – bước – té làm lệch thảm Đang ngồi – đứng lên – bước – té làm lệch thảm Đang ngồi – đứng lên – bước – té làm lệch thảm đèn bị lắc Đang ngồi – đứng lên – bước – té làm lệch thảm Đang ngồi – đứng lên – bước – té làm lệch thảm Đang ngồi – đứng lên – bước – ngồi ghế khác – té làm lệch thảm K.quả 1 1 Home2 video (38) video (39) video (40) video (41) video (42) video (43) video (44) video (45) video (46) video (47) video (48) video (49) video (50) video (51) video (52) video (53) video (54) ✓ Đang ngồi – đứng lên – bước – té làm lệch thảm Đang đứng – bước – ngồi xuống ghế Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – kéo ghế – ngồi xuống Đang đứng – bước – ngồi xuống ghế Đang đứng – bước – ngồi xuống ghế Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – khiêng ghế đến chỗ khác – ngồi xuống ghế Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – ngồi xuống ghế khác Đang ngồi – đứng lên – bước – kéo ghế – ngồi xuống Đang ngồi – đứng lên – đẩy ghế – bước – ngồi xuống ghế khác 0 1 0 0 0 0 0 0 1 0 Lecture room File avi A B C D video (1) video (2) ✓ video (3) ✓ video (4) ✓ ✓ ✓ ✓ ✓ ✓ ✓ video (5) video (6) video (7) ✓ video (8) ✓ video (9) ✓ video (10) ✓ video (11) ✓ video (12) ✓ ✓ ✓ ✓ ✓ ✓ ✓ video (13) ✓ video (14) ✓ video (15) ✓ video (16) ✓ video (17) ✓ video (18) ✓ video (19) ✓ video (20) ✓ video (21) ✓ video (22) ✓ video (23) ✓ video (24) ✓ video (25) ✓ video (26) ✓ video (27) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ Hành động Đi vào phòng – té Đi vào phòng – chuẩn bị ngồi xuống ghế – té Đi vào phòng – đứng giũ áo khoác – treo áo lên ghế – bước – té Đi vào phòng – té khuỵu gối chậm trực diện Đẩy cửa vào phòng – đóng cửa lại – bước – té Đẩy cửa cầm gậy vào phòng – đặt gậy lên bàn – té Đẩy cửa cầm túi xách vào phòng – dừng lại – té văng túi xách xa Đẩy cửa vào phòng – quay đóng cửa – quay vào – bước – té Đi vào phòng – kéo ghế ngồi vào bàn – đứng lên – đẩy ghế – bước – té khuỵu gối chậm Đẩy cửa vào phòng – ngồi xuống ghế – đứng lên – ngồi xuống – đứng lên – té Đi vào phòng – té khuỵu gối chậm Đi vào phòng – kéo ghế ngồi vào bàn – đứng lên – té – đồ vật tay bị văng xa Đi vào phòng – té Đẩy cửa vào phòng – cúi xuống nhặt đồ vật – đứng lên – té Đẩy cửa vào phòng – lấy áo khoác – giũ áo – mặc áo – Đẩy cửa vào phòng – đóng cửa – lấy áo – giũ áo – mặc áo – cởi áo – qua lại – mặc áo – Đẩy cửa vào phòng – lấy túi – làm rơi túi – cúi nhặt – đặt lên bàn – Đẩy cửa vào phòng – ngồi xuống ghế – đứng lên – Đẩy cửa vào phòng – đặt túi lên ghế – bước – quay lại – đặt túi xuống đất – ngồi xuống ghế – cúi nhặt túi – đứng lên – đặt túi lên bàn – Đang đứng xếp ghế – bước – đẩy cửa – Đẩy cửa vào phòng – đóng cửa – bước – ngồi xuống ghế – đứng lên Đẩy cửa vào phòng – xếp ghế – cầm túi bị – làm rơi túi – cúi nhặt túi – – quay vào – nghiêng người lấy thêm đồ vật – Đi vào phòng – mở cửa khác – quay vào – nghiêng người lấy đồ vật – làm rơi đồ vật – cúi nhặt – Đẩy cửa vào phòng – ngồi xổm cột dây giày – đứng lên dọn dẹp – vứt rác vào thùng – cúi lấy thùng rác – bước – cúi đặt thùng rác nơi khác – dọn dẹp tiếp – Đi vào phòng – nghiêng người đặt đồ vật lên bàn – Đi vào phòng – cúi lấy thùng rác – mang – cúi đặt thùng rác nơi khác – dọn dẹp – – quay vào – đặt đồ vật lên bàn – Đang đứng – giũ áo – vắt áo lên vai – K.quả 1 1 1 0 0 0 0 1 0 Phụ lục C Một số kết thí nghiệm phát té ngã thành công 1) Cơ sở liệu HBU: • Hành động “té ngã” phát đúng: • Hành động “bò” đất tương tự “té ngã” nhận dạng đúng: 2) Cơ sở liệu Le2i • Hành động “té ngã” đứng dậy nhận dạng “không té”: • Hành động xuống cầu thang bị “té ngã”, người bị văng xa phát đúng: • Hành động “té ngã” làm cho nệm bị xô lệch phát đúng: • Hành động “ngồi xổm” tương tự “té ngã” bị che khuất ghế nhận dạng đúng: • Hành động “té ngã” có quần áo bị trùng màu thảm phát đúng: • Hành động “té ngã” kéo theo ghế bị xô ngã phát đúng: • Hành động “đi”, khác nhiều so với “té ngã” nhận dạng đúng: • Hành động “ngồi xuống đất” tương tự “té ngã” nhận dạng đúng: 10 • Hành động “té ngã” phát đúng: • Hành động “gập người” để lau nhà tương tự “té ngã” nhận dạng đúng: 11 • Hành động “té ngã” phát đúng: • Hành động “té ngã” phát đúng: ... giả 1.1 Hệ thống giám sát chăm sóc sức khỏe HMS Hệ thống giám sát chăm sóc sức khỏe HMS hệ thống cho phép quan sát, theo dõi liên tục bệnh nhân từ xa nhằm thu thập thông tin tình trạng sức khỏe. .. ĐẠI HỌC ĐÀ NẴNG -—{– HOÀNG LÊ UYÊN THỤC PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 LUẬN ÁN TIẾN SĨ... hưởng đến kết nhận dạng Xuất phát từ bối cảnh trên, đề tài Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe chọn làm nội dung luận án với mong muốn góp phần vào