Phát hiện sự kiện ngã sử dụng cảm biến kinect

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN VĂN NGỌC PHÁT HIỆN SỰ KIỆN NGÃ SỬ DỤNG CẢM BIẾN KINECT Chuyên ngành : Kỹ thuật máy tính truyền thông LUẬN VĂN THẠC SĨ KHOA HỌC KỸ THUẬT MÁY TÍNH VÀ TRUYỀN THÔNG NGƢỜI HƢỚNG DẪN KHOA HỌC: TS VŨ HẢI Hà Nội – Năm 2014 LỜI CẢM ƠN Trƣớc tiên, em muốn gửi lời cảm ơn sâu sắc đến thầy giáo, Tiến sĩ Vũ Hải tận tình hƣớng dẫn em suốt trình thực luận văn cao học Không ngƣời thầy uyên bác, mẫu mực, Tiến sĩ Vũ Hải ngƣời anh tận tình, nhiệt huyết, trẻ trung lạc quan động viên tinh thần em, truyền cho em niềm hứng khởi học tập, công việc, nhƣ mặt sống Em xin bày tỏ lời cảm ơn sâu sắc đến thầy cô, anh chị công tác viện nghiên cứu quốc tế MICA, đặc biệt phòng Thị giác máy tính, tạo điều kiện tốt cho em học tập công tác, giúp đỡ cho em tri thức kinh nghiệm sống, hành trang giúp em vững bƣớc tƣơng lai Em muốn gửi lời cảm ơn đến tất thầy cô dạy dỗ em môn học học phần cao học, tất học bổ ích chuyên môn cung cấp cho em gợi mở quan trọng suốt trình nghiên cứu Cuối cùng, em muốn gửi lời cảm ơn sâu sắc đến tất gia đình, bạn bè, ngƣời kịp thời động viên giúp đỡ em vƣợt qua khó khăn, đạt đƣợc mục tiêu đề trình hoàn thành luận văn Nguyễn Văn Ngọc LỜI CAM ĐOAN Tôi xin cam đoan luận văn đƣợc hoàn thành sở nghiên cứu, tổng hợp kiến thức công việc Viện nghiên cứu quốc tế MICA, Đại học Bách Khoa Hà Nội, thông qua giảng thầy hƣớng dẫn qua tài liệu tham khảo đƣợc trích dẫn đầy đủ Luận văn mới, đóng góp luận văn thân thực hiện, nghiên cứu, đúc rút, thí nghiệm số liệu có thực đƣợc thực Phòng Thị giác máy tính, Viện MICA, Đại học Bách Khoa Hà Nội Tôi xin cam đoan đóng góp không chép nguyên từ nguồn tài liệu khác HỌC VIÊN Nguyễn Văn Ngọc MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC Danh mục ký hiệu, chữ viết tắt Danh mục bảng Danh mục hình vẽ, đồ thị Chƣơng I Mở đầu 10 I.1 Bối cảnh lí chọn đề tài 10 I.2 Nhiệm vụ đặt 11 I.3 Những đóng góp luận văn 11 I.4 Bố cục luận văn 12 Chƣơng II Tìm hiểu toán liên quan nhận dạng kiện ngã 13 II.1 Tổng quan toán phát kiện ngã 13 II.1.1 Các hệ thống phát cảm ngữ cảnh 13 II.1.2 Các hệ thống phát dựa thiết bị mang theo 16 II.2 Nhận dạng kiện ngã sử dụng cảm biến Kinect 17 II.2.1 Các nghiên cứu sử dụng ảnh độ sâu 20 II.2.2 Các nghiên cứu sử dụng skeleton 26 Chƣơng III Các giải pháp đề xuất cho hệ thống 30 III.1 Định nghĩa tập liệu phân biệt kiện ngã 33 III.2 Phƣơng pháp phát kiện ngã sử dụng ngƣỡng 38 III.3 Phƣơng pháp xác định ngã dựa nghiên cứu trạng thái thể ngƣời trình hoạt động 42 III.3.1 Cơ sở lý thuyết: 42 III.3.2 Phƣơng pháp phát kiện ngã sử dụng mô hình chuỗi markov (markov chain) 46 III.3.3 Phƣơng pháp phát kiện ngã sử dụng mô hình markov ẩn (Hidden Markov Model) 51 Chƣơng IV Xây dựng hệ thống kết đánh giá 59 IV.1 Các vấn đề kỹ thuật 59 IV.2 Xây dựng hệ thống thu thập liệu từ Kinect 59 IV.3 Xây dựng mô đun phát ngƣời 62 IV.4 Mô tả môi trƣờng thử nghiệm 64 IV.5 Kết thử nghiệm 68 Kết luận 71 Tài liệu tham khảo 72 Danh mục ký hiệu, chữ viết tắt Ký hiệu /Chữ viết tắt Cụm từ đầy đủ Dịch nghĩa ADL Activities of daily living Các hoạt động thƣờng ngày HMM Hidden Markov model Mô hình Markov ẩn HOG Histogram of Oriented Biểu đồ biến đổi hƣớng Gradients PCA component Phân tích thành phần Principal analysis SDK Software Development Bộ công cụ phát triển phần Kit mềm SVM Support Vector Machine Máy hỗ trợ vectơ WHO World Health Tổ chức Y tế Thế giới Organization Danh mục bảng Bảng IV-1: Cơ sở liệu thu thập 67 Bảng IV-2: Kết nhận dạng kiện ngã với phƣơng pháp sử dụng ngƣỡng 68 Bảng IV-3: Kết nhận dạng kiện ngã với phƣơng pháp sử dụng mô hình Markov chain 68 Bảng IV-4: Kết nhận dạng kiện ngã với phƣơng pháp sử dụng mô hình Markov ẩn 69 Bảng IV-5: So sánh kết phƣơng pháp 70 Danh mục hình vẽ, đồ thị Hình II-1: Một hệ thống phân loại phƣơng pháp phát ngã 13 Hình II-2: Cấu tạo cảm biến Kinect 18 Hình II-3: Thông tin màu, độ sâu, khung xƣơng thu nhận đƣợc từ cảm biến Kinect 18 Hình II-4: Tọa độ khớp xƣơng thu nhận đƣợc từ Kinect 19 Hình II-5: Các khớp xƣơng thu nhận đƣợc từ Kinect 19 Hình II-6: (a) Ảnh độ sâu; (b)Ảnh V-Disparity; (c) Kết phân đoạn vùng 21 Hình II-7: Các góc nhìn độc lập từ thiết bị Kinect 23 Hình II-8: Các trƣờng hợp nhận dạng sai: Nằm xuống sàn nhảy lên nằm ghế sofa 24 Hình II-9: Thiết lập camera trần nhà 25 Hình II-10: Theo dõi ngƣời phát ngã 25 Hình II-11: Vị trí khớp xƣơng cung cấp KinectSDK 26 Hình II-12: Vị trí khớp xƣơng chuyển động ngã 27 Hình II-13: Các khớp xƣơng KinectSDK không xác tƣ nằm 28 Hình II-14: Mô tả kết thuật toán 29 Hình III-1: Các bƣớc triển khai giải pháp đề xuất 31 Hình III-2: Ví dụ frame liệu a) ảnh RGB b)ảnh độ sâu c)ảnh skeleton 33 Hình III-3: Một ví dụ liệu ngã 34 Hình III-4: Một ví dụ hoạt động lại bình thƣờng 35 Hình III-5: Một liệu hoạt động cúi 36 Hình III-6: Một ví dụ hoạt động ngồi xuống sàn 37 Hình III-7: Chuyển động thể trình ngã 38 Hình III-8: Mặt phẳng sàn xác định V-disparity KinectSDK 39 Hình III-9: Một chuỗi frame biểu thị ngã 41 Hình III-10: Cảnh báo ngã từ hệ thống 41 Hình III-11: Một ví dụ mô hình markov, x: trạng thái, a: xác suất chuyển trạng thái, y: quan sát, b: xác suất sinh 43 Hình III-12: Mô hình HMM trình di chuyển ngƣời bệnh 43 Hình III-13: Mô hình forwarding markov 45 Hình III-14: Cách thiết lập trạng thái mẫu a)ảnh hình trạng ngƣời b)ảnh chuẩn hóa c)ảnh PCA d)các trạng thái 47 Hình III-15: Chuẩn hóa ảnh với tƣ khác 48 Hình III-16: Chuyển từ không gian ảnh chuẩn hóa không gian PCA 49 Hình III-17: Các liệu đƣợc gắn trạng thái qua k-means 50 Hình III-18: Đồ thị độ che lấp phần ngƣời ảnh chuẩn hóa 52 Hình III-19: Momen m11 biểu thị tƣơng quan thành phần trục đƣờng biên 53 Hình III-20: Biến thiên vùng ảnh 1,3,5 chứa nhiều thông tin quan sát trình ngã 53 Hình IV-1: Một số kết nhận dạng ngƣời sử dụng HoG-SVM, vùng chứa ngƣời đƣợc đóng khung 62 Hình IV-2: Một số kết phát ngƣời dùng KinectSDK, vùng chứa ngƣời đƣợc xác định đến pixel 63 Hình IV-3: Kết phát ngƣời sử dụng liệu RGB độ sâu Kinect 64 Hình IV-4: Phòng bệnh giả lập viện MICA 65 Hình IV-5: Trƣờng quan sát cảm biến Kinect 66 Hình IV-6: Các vị trí đánh dấu thử nghiệm từ góc nhìn 66 Chương I I.1 Mở đầu Bối cảnh lí chọn đề tài Theo thống kê tổ chức y tế giới (WHO 2005) [17], giới có khoảng 28-35% ngƣời già (65 tuổi) bị ngã năm tỉ lệ tăng lên tới 3242% họ bƣớc qua tuổi 70 Do đặc điểm sinh học, ngƣời già dễ bị tổn thƣơng nghiêm trọng ngã ảnh hƣởng to lớn đến sức khỏe trình điều trị sau bệnh nhân Nếu biện pháp bảo vệ thích hợp, số lƣợng ca chấn thƣơng ngã tăng lên tới 100% năm 2030 Vì thế, thiết bị hỗ trợ để phát ngã tránh hậu ngã (thông qua thiết bị hỗ trợ theo dõi từ xa…) thực cần thiết Việc thực đề tài không nằm mục đích Hiện giới có nhiều hƣớng nghiên cứu hệ thống phát kiện ngã nhƣ đƣợc mô tả [7], [11] Về bản, hệ thống phát ngã thƣờng có chế hoạt động giống Trong đó, hệ thống cố gắng phân biệt họat động bình thƣờng (activities of daily living – ADL) với kiện ngã Đây công việc đơn giản số họat động bình thƣờng lại giống với kiện ngã, ví dụ: ngƣời chuyển sang ngồi xuống đứng lên với/lấy đồ vật đó, nằm sóng xoài để tìm đồ vật dƣới đất Vì thế, để đánh giá hệ thống phát kiện ngƣời ngã, ngƣời ta thƣờng phải thu thập liệu thật họat động bình thƣờng họat động ngã, công việc khó khăn trƣờng hợp ngã Các họat động đƣợc thu thập thiết bị cảm biến khác Dữ liệu thu thập đƣợc dạng tín hiệu gia tốc, hình ảnh, tín hiệu áp suất Sau tín hiệu đƣợc xử lý, phân lớp để phân lớp thành hai loại: bình thƣờng ngã Trong [7], hệ thống phát ngã đƣợc phân loại thành hai cách chính: Các hệ thống phát cảm ngữ cảnh (context aware fall detection system) Các hệ thống phát dựa thiết bị mang theo (wearable devices) Hệ thống đƣợc xây dựng đề tài theo hƣớng phát triển cảm ngữ cảnh, phƣơng pháp có ƣu điểm ngƣời bệnh đeo thêm thiết bị 10 Chương IV Xây dựng hệ thống kết đánh giá IV.1 Các vấn đề kỹ thuật Bƣớc hệ thống mô đun thu thập liệu từ cảm biến Với đặc trƣng thiết bị Kinect có nhiều sensor khác không trả liệu đồng nên cách kết nối khó so với camera thông thƣờng Để làm đƣợc việc sử dụng nhiều thƣ viện khác nhƣ KinectSDK, OpenNI, libfreenect… Tuy nhiên việc kết nối tƣơng đối phức tạp Với mong muốn kết nối với cảm biến Kinect dễ dàng nhƣ với camera thông thƣờng, tác giả xây dựng thƣ viện riêng để phục vụ công việc kết nối này, platform không thuận tiện mà có nhiều tính trội nhƣ kết nối đơn giản, cung cấp nhiều thông tin, tối ƣu hóa trình xử lý liệu Trình bày chi tiết thƣ viện đƣợc mô tả phần IV.2 Mô đun mô đun phát ngƣời, mô đun có vai trò phân vùng có ngƣời sequence thu đƣợc từ cảm biến Kinect Bài toán phát ngƣời toán đƣợc đề cập nhiều lĩnh vực Thị giác máy tính, thực đề tài, sử dụng lại phƣơng pháp thành công nghiên cứu trƣớc Chi tiết việc xây dựng mô đun phát ngƣời mục IV.3 Các mô đun trích chọn đặc trƣng, xây dựng mô hình học máy đƣợc thực theo phƣơng pháp đề xuất chƣơng III Với phƣơng pháp sử dụng ngƣỡng cần tìm ngƣỡng thích hợp để chạy nhận dạng, với phƣơng pháp sử dụng mô hình chuỗi Markov xây dựng chƣơng trình riêng để học nhận dạng, phƣơng pháp sử dụng mô hình Markov ẩn, kế thừa thƣ viện sẵn có Xkin lib nhƣ hƣớng dẫn tài liệu [12] IV.2 Xây dựng hệ thống thu thập liệu từ Kinect Đặt vấn đề Nhƣ ta biết cảm biến Kinect thiết bị chuyên dụng cho phép thu nhận nhiều thông tin khác đƣợc phát triển Microsoft Mặc dù Microsoft số phần mềm mã nguồn mở cung cấp phƣơng thức để giao tiếp với Kinect nhƣng 59 công việc tƣơng đối phức tạp không thân thiện với ngƣời dùng Ví dụ nhƣ KinectSDK Kinect ta phải thực nhiều bƣớc để thu đƣợc luồng liệu nhƣ RGB hay depth Trƣớc hết phải include thƣ viện cần thiết windows KinectSDK #include #include #include #include #include Sau khởi tạo mở luồng liệu từ Kinect, ví dụ nhƣ liệu RGB phải khởi tạo nhƣ sau: bool initKinect() { // Get a working kinect sensor int numSensors; if (NuiGetSensorCount(&numSensors) < || numSensors < 1) return false; if (NuiCreateSensorByIndex(0, &sensor) < 0) return false; // Initialize sensor sensor->NuiInitialize(NUI_INITIALIZE_FLAG_USES_DEPTH | NUI_INITIALIZE_FLAG_USES_COLOR); sensor->NuiImageStreamOpen( NUI_IMAGE_TYPE_COLOR, // Depth camera or rgb camera? NUI_IMAGE_RESOLUTION_640x480, // Image resolution 0, // Image stream flags, e.g near mode 2, // Number of frames to buffer NULL, // Event handle &rgbStream); return sensor; } Rồi nhận liệu từ luồng data void getKinectData(GLubyte* dest) { NUI_IMAGE_FRAME imageFrame; NUI_LOCKED_RECT LockedRect; if (sensor->NuiImageStreamGetNextFrame(rgbStream, 0, &imageFrame) < 0) return; INuiFrameTexture* texture = imageFrame.pFrameTexture; texture->LockRect(0, &LockedRect, NULL, 0); if (LockedRect.Pitch != 0) { const BYTE* curr = (const BYTE*) LockedRect.pBits; const BYTE* dataEnd = curr + (width*height)*4; while (curr < dataEnd) { 60 *dest++ = *curr++; } } texture->UnlockRect(0); sensor->NuiImageStreamReleaseFrame(rgbStream, &imageFrame); } Việc hiển thị liệu sử dụng lại phức tạp nữa, điều làm tốn không thời gian ngƣời phát triển ứng dụng từ Kinect Kinect MICA library Việc xây dựng thƣ viện có mục đích sau: - Config sẵn môi trƣờng liên kết thƣ viện cần thiết cho ngƣời sử dụng - Xây dựng giao thức thân thiện để kết nối với Kinect thông qua opencv Không cần sử dụng giao diện windows, tối ƣu hóa hàm lấy liệu - Chủ động việc thay đổi, bổ sung hàm xây dựng thêm sau vào Platform Hạn chế lỗi, tránh lỗi mong muốn Ta xây dựng class KinectObject, có phƣơng thức cho phép kết nối với Kinect trích xuất liệu từ Kinect, sau số hàm class này: - Khởi tạo Kinect: Công việc trở nên dễ dàng với hàm HRESULT KinectObject::Initialize(int index) - Lấy liệu RGB Depth: Thay phải khởi tạo luồng bắt gói tin từ Kinect, ta truy xuất ảnh RGB depth dạng ảnh opencv đơn giản nhƣ kết nối với camera thông thƣờng Mat KinectObject::UpdateColorFrame(DWORD waitMillis /* = */) Mat KinectObject::UpdateDepthFrame(DWORD waitMillis /* = */) - Lấy liệu skeleton: Đây liệu phải mở luồng liệu để lấy về, với KinectObject ta cần lấy cách đơn giản, trả kết theo định dạng KinectSDK NUI_SKELETON_DATA KinectObject::getSkeletonData(int i) 61 - Lấy frame ảnh RGB độ sâu đƣợc hiệu chỉnh với Vì vị trí cảm biến thu nhận ảnh màu ảnh độ sâu Kinect khác nhau, thực tế phải có bƣớc hiệu chỉnh từ góc nhìn để ảnh khớp với Với KinectObject việc lấy ảnh hiệu chỉnh đơn giản qua hàm sau Mat KinectObject::getCalibImageColor() Mat KinectObject::getCalibImageDepth() IV.3 Xây dựng mô đun phát người Trong khuôn khổ đề tài nghiên cứu phƣơng pháp phát ngƣời phổ biến Đầu tiên tìm hiểu phƣơng pháp phát ngƣời dùng đặc trƣng HOG (Histogram of gradient) đƣợc đề xuất Bill Triggs Navel Dalal vào năm 2005 viện nghiên cứu INRIA Hình IV-1: Một số kết nhận dạng người sử dụng HoG-SVM, vùng chứa người đóng khung Chúng nghiên cứu phát ngƣời tích hợp sẵn KinectSDK Trong [15], tác giả Jamie Shotton đƣa giải pháp phát ngƣời phần xây dựng mô hình 3D khớp xƣơng ngƣời từ ảnh độ sâu thu đƣợc từ cảm biến Kinect 62 Hình IV-2: Một số kết phát người dùng KinectSDK, vùng chứa người xác định đến pixel Chúng nhận thấy phƣơng pháp nhận dạng độ sâu cho độ xác cao nhƣng vùng hoạt động liệu độ sâu bị hạn chế bị ảnh hƣởng nhiều nhiễu, liệu RGB phát ngƣời tốt nhƣng phân vùng không đƣợc xác Phƣơng pháp kết hợp ƣu tiên kết phát ngƣời từ liệu độ sâu trƣớc, không phát đƣợc ngƣời sử dụng phát ngƣời từ liệu RGB Trƣớc hết từ Kinect sensor ta thu đƣợc loại liệu RGB Depth Qua thuật toán calibration để chuẩn hóa liệu tƣơng ứng với nhau, liệu đƣợc đƣa vào trình nhận dạng riêng (detect HOG-SVM liệu RGB detect Kinect SDK liệu Depth) Cuối bƣớc kết hợp kết với cho kết cuối 63 Hình IV-3: Kết phát người sử dụng liệu RGB độ sâu Kinect IV.4 Mô tả môi trường thử nghiệm Thiết lập phòng bệnh giả lập 64 Hình IV-4: Phòng bệnh giả lập viện MICA Trên sơ đồ phòng bệnh giả lập, thành phần phòng bệnh bao gồm cửa vào, giƣờng bệnh, nhà tắm (nhà vệ sinh), cảm biến Kinect đƣợc bố trí để quan sát ngƣời bệnh vị trí nhƣ hình Việc bố trí cảm biến Kinect nhƣ đảm bảo cho việc có cảm biến quan sát đƣợc di chuyển ngƣời bệnh đƣa cảnh báo cần Các cảm biến đƣợc đồng với đƣợc điều khiển máy chủ cho phép phối hợp hoạt động giám sát ngƣời bệnh 24/24h Trong khuôn khổ đề tài, liệu thu đƣợc không đồng thời gian với phƣơng pháp phát ngã xử lý liệu thiết bị với kịch sẵn có đƣợc thực vùng quan sát tốt thiết bị 65 Hình IV-5: Trường quan sát cảm biến Kinect Kịch thử nghiệm Một kịch đƣợc xây dựng để thu lại kiện bất thƣờng ngƣời bệnh (trong có kiện ngã) Trên góc nhìn đánh dấu vị trí cần nhớ, ví dụ Hình IV-6: Các vị trí đánh dấu thử nghiệm từ góc nhìn 66 Ngƣời thực tình nguyện viên đóng vai bệnh nhân, ngƣời thực kịch nhƣ sau: - Đi-ngã: di chuyển từ S → A → ngã sang bên phải cho nằm xuống theo hƣớng AD Sau ngã, nằm bất động sàn - Đi-ngồi: di chuyển từ S → A → C → ngồi xuống sàn, ngồi bất động thời gian - Đi-đi: di chuyển từ S → A → C → A → đứng yên A - Đi-cúi: di chuyển từ S → A → cúi ngƣời nhặt vật B, ngẩng đầu đứng trở lại đứng yên A Cơ sở liệu thu đƣợc: 20 ngƣời thực thu liệu, liệu đƣợc thu lần Kinect Dữ liệu RGB độ sâu lƣu dƣới dạng video, liệu skeleton lƣu dƣới dạng file Bảng IV-1: Cơ sở liệu thu thập Dữ liệu Dạng lƣu trữ Số lƣợng RGB video (30fps) 60 Depth video (30fps) 60 skeleton file text (.txt) 60 Từ sở liệu thu đƣợc từ hệ thống, ta kết hợp lại thành frame mẫu (chứa thành phần) biểu diễn kiện ngã hoạt động thƣờng ngày để thực nghiệm phƣơng pháp đề xuất luận văn: - Các chuỗi frame kiện ngã: - Các chuỗi frame hoạt động lại bình thƣờng: - Các chuỗi frame hoạt động ngồi: - Các chuỗi frame hoạt động cúi: 67 IV.5 Kết thử nghiệm Đối với phƣơng pháp phát ngã sử dụng ngƣỡng, sở liệu thu đƣợc đƣợc chia làm phần positive (các mẫu ngã) negative (ghép chung mẫu ngã gồm lại, nằm, cúi…) Với 51 mẫu positive 60 mẫu negative kết thử nghiệm nhƣ sau: Bảng IV-2: Kết nhận dạng kiện ngã với phương pháp sử dụng ngưỡng Positive Negative Fall 47 12 Non-Fall 48 Kết cho ta: Recall = 89.6 %, Precision = 81.1 % kiện ngã Đối với phƣơng pháp phát ngã sử dụng mô hình markov, ta phân chia liệu test thành hoạt động kiện gồm có: cúi, lại, ngã, ngồi, hoạt động có 24 mẫu Kết thử nghiệm nhƣ sau: Đối với mô hình markov chain: Bảng IV-3: Kết nhận dạng kiện ngã với phương pháp sử dụng mô hình Markov chain Cúi Đi lại Ngã Ngồi Cúi 14 2 Đi lại 21 1 Ngã 19 Ngồi 2 19 Kết cho ta: Recall = 79.2%, Precision = 67.9% kiện ngã Tuy nhiên kiện khác đƣợc phân biệt với với độ xác lớn 50% tất độ đo Kết nhận dạng chƣa cao lựa chọn trạng thái tƣờng minh trƣờng hợp chƣa phải tối ƣu 68 Đối với mô hình markov ẩn Bảng IV-4: Kết nhận dạng kiện ngã với phương pháp sử dụng mô hình Markov ẩn Cúi Đi lại Ngã Ngồi Cúi 17 1 Đi lại 22 Ngã 20 Ngồi 3 15 Kết cho ta: Recall = 83.3%, Precision = 68.9% kiện ngã, kết khác cao kết sử dụng mô hình markov chain chút Kết đƣợc nhìn nhận chƣa đƣợc tốt cách lựa chọn quan sát chƣa phải tối ƣu Nhận xét: Các phƣơng pháp nhận dạng kiện ngã cho kết mức chấp nhận đƣợc Ngoài đƣa tiêu chí khả phân biệt kiện, tính ổn định, tốc độ tính toán nhƣ khả cải tiến phƣơng pháp theo bảng dƣới 69 Bảng IV-5: So sánh kết phương pháp 70 Kết luận Trong luận văn, việc cung cấp nhìn tổng quan phƣơng pháp phát ngã giới, tập trung vào phƣơng pháp phát kiện ngã sử dụng cảm biến Kinect Trong trình đó, thu nhận đƣợc nhiều kinh nghiệm quan trọng để giải vấn đề đề tài Tiếp theo, nêu đƣợc phƣơng pháp thực toán, sở lý luận phƣơng pháp nhƣ đầy đủ vấn đề kỹ thuật cần thực Về phƣơng pháp mang tính khả thi, hiệu đạt đƣợc mục đích đề Cuối cùng, mô tả lại trình thực gồm xây dựng mô đun hoàn chỉnh thí nghiệm cách đầy đủ Các kết thử nghiệm đƣợc ghi chép đầy đủ phân tích để nhìn nhận lại ƣu, nhƣợc điểm phƣơng pháp Về luận văn đạt đƣợc mục tiêu đề ra, với phƣơng pháp thực khoa học, quán, xây dựng đƣợc hệ thống hoàn chỉnh có đóng góp mặt khoa học lẫn mặt kỹ thuật, song luận văn số nhƣợc điểm Đầu tiên điều kiện thí nghiệm luận văn đơn giản, thực Kinect phòng bệnh quan sát bệnh nhân, chƣa tính đến nhiễu vật cản ngƣời lại khác Thêm phƣơng pháp đánh giá đề tài chƣa thực sở liệu đủ lớn, đặc biệt chƣa tối ƣu hóa việc học tham số cho mô hình Markov Về hƣớng phát triển đề tài, đƣa hai hƣớng phát triển Thứ tối ƣu hóa toán, đặc biệt lựa chọn đặc trƣng để thiết lập nên trạng thái quan sát tốt cho mô hình markov Thứ hai kết hợp nhiều cảm biến Kinect với để giải toán giám sát đa góc nhìn, nâng cao hiệu phát kiện ngã nhƣ sụ kiện bất thƣờng khác trƣờng hợp môi trƣờng phức tạp 71 Tài liệu tham khảo [1] H Aghajan, J C A., C Wu, et al., (2007) "Distributed vision-based accident management for assisted living." ICOST: 196-205 [2] Jose M Canas, S.M., et al (2009) Visual Fall Detection for Intelligent Spaces 6th IEEE International Symposium on Intelligent Signal Processing 2009 Budapest, Hungary [3] Culhane KM, O’Connor M, Lyons D, Lyons GM, “Accelerometers in rehabilitation medicine for older adults” Age Ageing 2005, 34:556–560 [4] Amandine Dubois, Francois Charpillet, “Automatic Fall Detection System with a RGB-D Camera using a Hidden Markov Model”, ICOST - 11th International Conference On Smart homes and health Telematics - 2013, Jun 2013, Singapore [5] Gasparrini et al, “A Depth-Based Fall Detection System Using a Kinect”, Sensors (14248220);Feb2014 [6] L Hazelho, J Han, et al (2008) Video-Based Fall Detection in the Home Using Principal Component Analysis 10th International Conference on Advanced Concepts for Intelligent Vision Systems Juan-les-Pins, France 298 - 309 [7] R Igual, C Medrano, et al (2013) "Challenges, Issues, and Trends in Fall detection systems." Biomedical Engineering Online 12(66) [8] Christopher Kawatsu, “Development of a Fall Detection System with Microsoft Kinect”, Robot Intelligence Technology and Applications 2012 [9] Lane N, Miluzzo E, Lu H, Peebles D, Choudhury T, Campbell A, “A survey of mobile phone sensing” IEEE Commun Mag 2010, 48:140–150 [10] Steve Mann, “Wearable Computing”, http://www.interaction- design.org/encyclopedia/wearable_computing.html [11] M Mubashir, L Shao, et al (2013) "A survey on fall detection: Principles and approaches." Neural Computing 100: 144-152 72 [12] Fabrizio Pedersoli, Nicola Adami, Sergio Benini, Riccardo Leonardi, “XKin eXtendable hand pose and gesture recognition library for Kinect” ACM Conference on Multimedia 2012 (ACM MM 2012); 01/2012 [13] Caroline Rougier, Edouard Auvinet, et al (2011) "Fall Detection from Depth Map Video Sequences." ICOST, volume 6719 of Lecture Notes in Computer Science, page 121-128 Springer [14] Kristie Seymore, Andrew McCallum, and Roni Rosenfeld, “Learning Hidden Markov Model Structure for Information Extraction”, AAAI 99 Workshop on Machine Learning for Information Extraction, 1999 [15] Shotton, J ; Fitzgibbon, A ; Cook, M ; Sharp, T et al (2011) “Real-Time Human Pose Recognition in Parts from Single depth Images”, Computer Vision and Pattern Recognition (CVPR), 2011 IEEE [16] J Willems, G Debard, et al (2009) How to detect human fall in video? An overview Positioning and context-awareness international conference - POCA May 28, 2009, Antwerp, Belgium [17] World Health Organization: Global report on falls prevention in older age [http://www.who.int/ageing/publications/Falls_prevention7March.pdf [18] Z Zhang , W Liu , V Metsis and V Athitsos "A viewpoint-independent statisticalmethod for fall detection", Proc ICPR, pp.3626 -3630 2012 73 ... thống phát kiện ngã sử dụng loại cảm biến khác (cảm biến gia tốc, cảm biến siêu âm, cảm biến rung, v.v) cho sử dụng cảm biến hình ảnh có lợi riêng Sau tác giả giới thiệu phƣơng pháp phát ngƣời (sử. .. nhận dạng kiện ngã sử dụng Kinect nằm hệ thống nhận dạng ngã cảm ngữ cảnh Trƣớc hết tìm hiểu cảm biến Kinect ứng dụng cảm biến Kinect 17 Hình II-2: Cấu tạo cảm biến Kinect Kinect cảm biến đƣợc... kiện ngã 13 II.1 Tổng quan toán phát kiện ngã 13 II.1.1 Các hệ thống phát cảm ngữ cảnh 13 II.1.2 Các hệ thống phát dựa thiết bị mang theo 16 II.2 Nhận dạng kiện ngã sử dụng cảm