Ứng dụng phân tích video tự động phát hiện tình trạng té ng

Header Page of 126 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG Công trình ñược hoàn thành ĐẠI HỌC ĐÀ NẴNG NGÔ THỊ Ý ỨNG DỤNG PHÂN TÍCH VIDEO TỰ ĐỘNG PHÁT HIỆN TÌNH TRẠNG TÉ NGÃ Chuyên ngành: Kỹ thuật ñiện tử Người hướng dẫn khoa học: TS PHẠM VĂN TUẤN Phản biện 1: TS NGUYỄN LÊ HÙNG Phản biện 2: TS NGÔ VĂN SỸ Mã số: 60.52.70 Luận văn ñược bảo vệ trước Hội ñồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Đại học Đà Nẵngvàongày 11 tháng 11 năm 2012 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Có thể tìm hiểu luận văn tại: Đà Nẵng - Năm 2012 - Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Đà Nẵng Footer Page of 126 Header Page of 126 MỞ ĐẦU hay ñơn giản ñột ngột ngồi xuống sàn nhà Trong ñề tài ñề Tính cấp thiết ñề tài Tình trạng gia tăng dân số người cao tuổi ngày nhanh Ở Việt Nam, ước tính số người 65 tuổi 6,5% (khoảng 5,5 triệu) xuất hệ thống phát té ngã với tỉ lệ phát cao Mục tiêu nghiên cứu Xây dựng hệ thống phân tích thông minh tín hiệu video ñể tự ñộng khoảng 1,5 -1,9 triệu người già bị té ngã năm Hậu nghiêm phát tình trạng té ngã bệnh nhân người cao tuổi trọng việc té ngã gãy xương (trong ñó khoảng 5% phải nhập Đối tượng phạm vi nghiên cứu viện) [2] Theo tổ chức y tế giới, ñể ñáp ứng yêu cầu chung, Việt Nam cần phải bổ sung thêm gần 80 nghìn nhân lực y tế [1] Giám sát liệu sinh lý người trường hợp bình Đối tượng nghiên cứu + Hệ thống phân tích thông minh tín hiệu video Phạm vi nghiên cứu thường bất thường, mục ñích ñể phát kiện khẩn cấp Đề tài thực tảng kế thừa kiến thức sau: lưu trữ thông tin Đối với người cao tuổi bệnh nhân mắc - Phân tích video bệnh mãn tính sống mình, việc theo dõi hành vi họ nhu - Học máy (machine learning) cầu cần thiết Mục ñích ñặc biệt việc giám sát phát - Cơ sở liệu cố té ngã Tai nạn té ngã có nguy ảnh hưởng lớn ñến - Thiết kế phân tích thí nghiệm sức khỏe mà gây chấn thương tâm lý làm giảm tự tin Phương pháp nghiên cứu người già bệnh nhân [2] Do ñó phát té ngã cần thiết - Xây dựng thu thập sở liệu ñể hỗ trợ bệnh nhân tránh ñáng tiếc xảy - Xem xét ñề tài liên quan, so sánh ñánh giá ưu khiểm ñiểm Những năm gần ñây, công nghệ cảm biến mạng lưới camera phương pháp ñã ñược nghiên cứu phân tích video phát triển nhanh chóng góp phần vào phát triển chăm sóc y tế [9], - Sử dụng công cụ toán học phù hợp [14] Trong ñó hệ thống phát té ngã phát triển nhanh ngày - Thiết kế thực thí nghiệm dựa hệ thống ñưa ñể ñạt ñược kết tốt Có nhiều phương pháp giải hệ thống phát té ngã Trong [15], [26], cảm biến ñược sử dụng ñể thu thập thông tin ñối tượng, [19], [22], phân tích thông tin tín hiệu video từ camera ñược sử dụng ñể nhận dạng hành thu thập liệu kết - Kiểm tra ñộ xác tính hiệu hệ thống ñưa Ý nghĩa khoa học thực tiến Ý nghĩa khoa hoc ñộng Công nghệ camera giám sát phát triển, dễ lắp ñặt gây xáo Ngày nay, việc cài ñặt, vận hành bảo dưỡng hệ thống camera trộn với người ñược giám sát Vì hệ thống phát té ngã rất dễ thực hiện, ñiều ñã giúp cho kỹ thuật phân tích thông minh hay sử dụng phương thức Hầu hết hệ thống chưa tín hiệu video phát triển nhanh chóng Đề tài tập trung vào phân biệt ñược cố té ngã với hành ñộng người nằm xuống phân tích thông minh tín hiệu video ứng dụng hệ thống tự ñộng Footer Page of 126 Header Page of 126 phát tình trạng té ngã người, ñây lĩnh vực 1.2.1 Hệ thống dựa vào thiết bị cảm biến gắn thể người mẻ Việt Nam 1.2.2 Hệ thống dựa vào thiết bị cảm biến không gắn thể người Ý nghĩa thực tiễn 1.3 HỆ THỐNG DỰA VÀO PHÂN TÍCH VIDEO Mức sống ngày cao ñòi hỏi chất lượng sống ngày tăng 1.3.1 Hệ thống giám sát qua tín hiệu video Bên cạnh ñó tình trạng thiếu nhân viên y tế trầm trọng dân số ngày Phân tích video kỹ thuật tự ñộng xác ñịnh hành vi ñông, dẫn ñến nhu cầu dịch vụ y tế ngày lớn Do ñó, phát thái ñộ ñối tượng cụ thể thông qua việc sử dụng phần triển công nghệ áp dụng ngành y tế ñể giải phóng phần mềm ñể phân tích nội dung ñoạn video ghi hình ñối tượng [31] sức người vô cấp thiết Nghiên cứu, thiết kế hệ thống tự ñộng phát hành ñộng té ngã video có ý nghĩa quan trọng giai ñoạn Các kết ñề tài sát với thực tế có Hệ thống sử lý Hiểu thông minh hành vi mạng internet tính thực tiễn cao góp phần hoàn thiện việc xây dựng hệ thống chăm sóc sức khỏe bênh nhân người cao tuổi nhà Cấu trúc luận văn Luận văn gồm chương: Chương 1: Tổng quan hệ thống tự ñộng hỗ trợ chăm sóc y tế Hình 1.4 Hệ thống camera giám sát thông minh Chương 2: Hệ thống phân tích video phát ngã 1.3.2 Phân tích hiểu hành vi người thông qua tín hiệu video Chương 3: Huấn luyện mạng nơ-ron ñể phát té ngã 1.3.3 Chăm sóc y tế dựa vào hệ thống giám sát video thông minh Chương 4: Thực nghiệm phân tích kết Hệ thống giám sát thông minh video ứng dụng rộng rãi: Kết luận hướng phát triển ñề tài + Giúp ñỡ trị liệu chẩn ñoán sơ cho bệnh nhân + Tự ñộng phân tích phát dị vật hay khối u CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TỰ ĐỘNG HỖ TRỢ CHĂM SÓC Y TẾ Trong chương này, tìm hiểu hệ thống tự ñộng hỗ trợ chăm sóc y tế tập trung tìm hiểu hệ thống dựa phân tích thể bệnh nhân + Giám sát sức khỏe bệnh nhân từ xa 1.3.4 Ứng dụng hệ thống giám sát video thông minh vào việc phát té ngã thông minh tín hiệu video 1.1 GIỚI THIỆU HỆ THỐNG TỰ ĐỘNG HỖ TRỢ CHĂM SÓC Y TẾ 1.2 HỆ THỐNG DỰA VÀO CÁC THIẾT BỊ CẢM BIẾN Footer Page of 126 CHƯƠNG : HỆ THỐNG PHÂN TÍCH VIDEO PHÁT HIỆN NGÃ Chương này, ñi sâu vào nghiên cứu phân tích khối hệ thống phân tích video phát ngã người Header Page of 126 2.1 SƠ ĐỒ KHỐI a Phương pháp trừ Các khung Tách ñối tượng video Tiền xử lý Trích thuộc tính Nhận dạng Hậu xử lý It (x, y) - Bt (x, y) > τ Ý nghĩa, hành ñộng Hình 2.1 Sơ ñồ khối chức hệ thống phân tích video phát ngã 2.2 TÁCH ĐỐI TƯỢNG Tách ñối tượng phát hiện, phân biệt ñối tượng chuyển ñộng với phần lại khung hình (hay gọi hình nên) (2.2) Sự khác biệt ñiểm ảnh so với ngưỡng ñược xem ñối tượng ñó : + τ : Giá trị ngưỡng ñược ñịnh nghĩa trước + It : Khung hình + Bt : Ảnh ñược cập nhật Trong ñề tài sử dụng giá trị trung bình ba khung hình liên tiếp khung hình ñể cập nhật i Bi+1 = (1 − α).Bi + α ∑ I j=i−2 j (2.4) α lớn hình thay ñổi nhanh tạo thành ñuôi phía sau (a) (b) (c) (d) Hình 2.2 – Ví dụ mô tả bước thực khối tách ñối tượng ñối tượng chuyển ñộng α ñược chọn 0.05 [17] b Phương pháp sai khác thời gian 2.3 TIỀN XỬ LÝ (a) Khung hình ñược ước lượng Một phương pháp ñược sử dụng ñể lọc ñối tượng sau (b) Khung hình ngẫu nhiên thời ñiểm ñó (c) Kết sau tách ñối tượng, gồm bóng (shadow) trích khỏi hình sử dụng hình thái toán học [23] (d) Kết cuối sau xử lý 2.3.1 Hình thái toán học 2.3.2 Phép dãn 2.2.1 Ước lượng Phương pháp trung bình: Giá trị ñiểm ảnh vị trí (x,y) 2.3.3 Phép co mô hình trung bình cộng giá trị ñiểm ảnh vị trí (x,y) 2.3.4 Phép mở N khung hình [24] 2.3.5 Phép ñóng B ( x, y ) = ∑ n i +1 Fi ( x, y ) N với: B(x, y) : Giá trị ñiểm ảnh vị trí (x, y) mô hình 2.4 MÔ HÌNH CƠ THỂ NGƯỜI VÀ TRÍCH THUỘC TÍNH (2.1) F(x, y) : Giá trị ñiểm ảnh vị trí (x, y) khung hình thứ i N : Tổng số khung hình ñược xét 2.2.2 Tách ñối tượng Footer Page of 126 2.4.1 Mô hình thể người 2D a Mô hình elip Sử dụng mô hình 2D elip bao quanh ñối tượng [22] Để xây dựng elip cần phải xác ñịnh: Tọa ñộ trọng tâm elip O; Góc lệch elip so với phương ngang θ ñộ dài hai bán trục elip: a, b Header Page of 126 10 O; Hiệu góc tạo ñường thẳng xuất phát từ trọng tâm (O) ñến a θ=90 b a θ=78,590 so với phương ngang góc θ không vượt ∆θ + Tọa ñộ O2 có: hoành ñộ (tung ñộ) trung bình cộng b hoành ñộ (tung ñộ) ñiểm trắng thỏa mãn: Tung ñộ có giá trị lớn tung ñộ O; Hiệu góc tạo ñường thẳng xuất phát từ trọng Hình 2.13 Mô hình elip bao quay thể người tâm (O) ñến so với phương ngang góc (θ +π/2) không vượt ∆θ Độ lớn bán trục dài (a) ngắn (b) ñược xác ñịnh sau: a = 2d (2.13)  b = d b Xác ñịnh tâm elip + Hoành ñộ (tung ñộ) trung bình cộng hoành ñộ (tung ñộ) ñiểm ảnh trắng ∑ i ∑ j [ j.P(i, j )] ∑ i ∑ j [i.P(i, j )] x= ,y= Height.Width Height.Width 2.4.2 Trích thuộc tính (2.10) a Tập thuộc tính dùng ñể phát té ngã với: + i = Height; j = Width (Height: chiều cao; Width: chiều b Góc tức thời ñối tượng Góc tức thời ñối tượng góc quay elip θ ng· ngang ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m rộng khung hình) + P(i, j) giá trị nhị phân ñiểm ảnh (i, j); P(i, j) = ñiểm ảnh (i, j) màu ñen P(i, j) = ñiểm ảnh (i, j) màu trắng 160 c Góc quay elip (θ) 140 120 (2.11) 80 40 20 trung bình cộng ñiểm ảnh ñể tính θ: 0 (2.12) với : + (i, j) : Vị trí ñiểm ảnh (i=1 Width, j=1 Height) + x = i - Ox y = j- Oy (Ox, Oy : tọa ñộ trọng tâm elip) d Xác ñịnh ñộ dài hai bán trục: d1, d2 khoảng cách từ (O) ñến trung ñiểm nửa trục dài (O1) trục ngắn (O2) + Tọa ñộ O1 có: hoành ñộ (tung ñộ) trung bình cộng hoành ñộ (tung ñộ) ñiểm trắng thỏa mãn: Tung ñộ lớn tung ñộ Footer Page of 126 100 60 Ta dời trục tâm elip, ñồng thời áp dụng Công thức (2.11)   ∑i ∑ j x y.P(i, j)  θ = arctan 2  ∑ ∑ x P(i, j) − ∑ ∑ y P(i, j )  i j i j   Theta tan θ tan 2θ = − tan θ ngåi 180 10 15 20 25 Frame 30 35 40 45 50 Hình 2.15 Đồ thị biểu diễn góc tức thời ñối tượng c Tốc ñộ chuyển ñộng ñối tượng Với ảnh xám, ñiểm ảnh có giá trị ñoạn [0, 255], ñó ñen 255 trắng “White pixel” số ñiểm trắng có giá trị 255, “Gray pixel” số ñiểm xám có giá trị nằm khoảng (0, 255) Tốc ñộ chuyển ñộng ñối tượng (CMotion): Gray pixel CMotion = (2.14) Gray pixel + White pixel Header Page of 126 11 12 e Độ lệch tâm tức thời elip Độ lệch tâm tức thời elip tâm sai elip khung b2 a2 hình ñang xét Tâm sai elip là: e = − ng· ngang ng· chÐo ng· trùc diÖn ®i bé (2.17) gËp ng−êi bß n»m ngåi (a) (b) Hình 2.16 – MHI chuyển ñộng (a) MHI chuyển ñộng chậm (b) MHI chuyển ñộng nhanh ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m 0.8 ngåi 0.7 0.7 0.6 0.5 0.4 0.6 0.3 0.2 0.5 Cmotion Eccentricity ng· ngang 0.9 0.1 0.4 0.3 10 15 20 25 Frame 30 35 40 45 50 Hình 2.20 Đồ thị biểu diễn ñộ lệch tâm elip f Tốc ñộ thay ñổi trọng tâm theo phương thẳng ñứng 0.2 0.1 Tốc ñộ thay ñổi trọng tâm ñối tượng theo phương thẳng ñứng ñộ 0 10 15 20 25 Frame 30 35 40 45 50 lệch chuẩn n trọng tâm ñối tượng theo phương thẳng ñứng ng· ngang Hình 2.17 Đồ thị biểu diễn tốc ñộ chuyển ñộng ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m ngåi 15 Tốc ñộ thay ñổi góc ñứng ñối tượng (CTheta) ñộ lệch chuẩn n góc tức thời n khung hình θ liên tiếp ng· ngang ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m ngåi Ccentroid d Tốc ñộ thay ñổi góc ñứng ñối tượng 10 40 35 0 CTheta 30 25 10 15 20 25 Frame 30 35 40 45 50 Hình 2.21 Đồ thị biểu diễn tốc ñộ thay ñổi trọng tâm theo phương ñứng 20 g Phân tích khả kết hợp thuộc tính 15 10 2.4.3 Tập thuộc tính huấn luyện: Có hai tập thuộc tính ñược xem xét: 0 10 15 20 25 Frame 30 35 40 45 50 Hình 2.18 Đồ thị biểu diễn tốc ñộ thay ñổi góc ñứng ñối tượng Footer Page of 126 + Tập thuộc tính thứ (FS1): Tập chứa thuộc tính ñược trích từ khung hình ñoạn video Header Page of 126 13 + Tập thuộc tính thứ hai (FS2): Tập bao gồm 100 thuộc tính (5 thuộc tính khung hình) ñược trích từ 20 khung hình 14 Hình 3.3 mô tả mạng nơ-ron lớp feedforward với cầu hình 5-3-2 tức nút nguồn lớp vào, nơ-ron lớp ẩn, nơ-ron ñầu liên tiếp tính từ khung hình trở trước ♦ Các hàm kích hoạt : xác ñịnh ñầu nơ-ron 2.5 KHỐI NHẬN DẠNG ♦ Số ñầu vào: Số nơ-ron ñầu vào (FS1) 100 (FS2) 2.6 KHỐI HẬU XỬ LÝ ♦ Số ñầu (lớp 2): Gồm ñầu ra, ñầu ngã ñầu không Sau dùng mạng nơ-ron ñã ñược huấn luyện trọng số tính toán ñể phân loại hành ñộng ñối tượng khung hình, có chuỗi giá trị chuỗi khung hình, phải xử lý chuỗi liệu ñể ñưa kết cuối hành ñộng té ngã hay không ngã Đầu mục tiêu thứ ñược gán nhãn cho ngã cho không ngã, ñầu mục tiêu thứ hai ngược lại ♦ Số lượng nơ-ron lớp ñược thay ñổi phạm vi rộng ñể chon lựa giá trị tốt cho cấu hình cụ thể 3.1.3 Thuật toán huấn luyện CHƯƠNG : HUẤN LUYỆN MẠNG NƠ-RON ĐỂ PHÁT HIỆN TÉ NGÃ Trong chương tập trung thảo luận mạng nơ-ron, Huấn luyện NN ñiều chỉnh, xác lập giá trị trọng số liên kết ñược gọi trọng số kết nối mạng (ký hiệu W) - nơ-ron mạng bias tìm hiểu mô hình mạng, thuật toán huấn luyện tối ưu mạng a Thuật toán Resilien Backpropagation 3.1 CẤU HÌNH MẠNG NƠ-RON b Thuật toán Scale Conjugate Gradient 3.1.1 Cấu trúc nơ-ron nhân tạo 3.2 CƠ SỞ DỮ LIỆU 3.1.2 Kiến trúc mạng nơ-ron 3.2.1 Giới thiệu: Đề tài ñược sử dụng tập liệu DTU-HBU [28] 3.2.2 Mô tả liệu Tập liệu bao gồm 217 video xây dựng hành ñộng ngã theo hướng ñược mô tả Hình 3.6: Ngang, trực diện, chéo Lớp vào gồm Lớp ẩn gồm Lớp ñầu gồm nút nguồn nơ-ron ẩn nơ-ron ñầu Hình3.3 Mạng tiến ña mức Trực diện Chéo Ngang Hình 3.6 Các tư té ngã so với góc quay camera Trong tư ngã có nhiều loại ngã khác như: Ngã vấp, ngất, trượt chân, ngã lăn Các ñoạn video không ngã có hành Footer Page of 126 Header Page of 126 15 16 ñộng như: nằm, ngồi, bò hay gập người Các hành ñộng phân Hai thuật toán xem xét SCG RP Chia liệu thành 80% loại theo hướng huấn luyện 20% xác nhận Bảng 3.2 cho thấy với hai tập FS1 FS2 ñều ñạt f-score lớn MSE nhỏ dùng SCG Bảng 3.1 Phân loại sở liệu Huấn luyện DỮ LIỆU Fc Ngã Fd Fs Ncb Ndb Nsb Ncc Ndc Nsc Không ngã Ncl Ndl Nsl Ncs Nds Nss No TỔNG Kiểm tra hệ thống 3.3.2 Kích thước tập xác nhận Scenario1 Scenario2 Test1 Test2 Test3 ALL 4 1 1 3 33 18 19 17 3 4 12 113 4 1 1 1 1 1 23 1 2 1 1 1 1 29 10 1 1 2 1 11 52 Bảng 3.3 Hiệu suất thu ñược từ ñào tạo với tập xác nhận khác 18 19 16 3 3 4 3 11 104 FS VS (%) nhu f-score (%) MSE FS1 FS2 FS1 FS2 FS1 FS2 FS1 FS2 FS1 FS2 FS1 FS2 5 10 10 15 15 20 20 25 25 30 30 10 10 10 10 10 10 10 10 10 10 10 10 94,8 96,0 95,0 96,1 95,0 96,8 95,1 96,5 95,2 97,2 95,4 96,8 0,063837 0,041704 0,062168 0,041763 0,053273 0,035492 0,052288 0,040831 0,050576 0,030628 0,051006 0,040143 Sử dụng SCG, cố ñịnh nhu=10 chia liệu vào tập ñào tào tập xác nhận (Validation set-VS) với VS∈{5, 10, 15, 20, 25, 30} 3.3 TIẾN HÀNH LỰA CHỌN THÔNG SỐ MẠNG Từ Bảng 3.3 ta thấy, MSE nhỏ tập VS lớn hơn.Tập xác nhận Tìm cấu hình tốt cho tập thuộc tính FS1 FS2 20% cho cấu hình tốt trường hợp 3.3.1 Lựa chọn thuật toán huấn luyện 3.3.3 Lựa chọn số nơ-ron lớp ẩn 96 Bảng 3.2 Hiệu suất thu ñược từ ñào tạo thuật toán khác 0.06 MSE FS1 FS2 FS1 FS2 FS1 FS2 FS1 FS2 FS1 FS2 FS1 FS2 SCG SCG RP RP SCG SCG RP RP SCG SCG RP RP 10 10 10 10 20 20 20 20 30 30 30 30 95,1 96,0 95,0 96,1 95,4 96,8 95,0 96,5 95,4 97,2 95,2 96,8 0,052288 0,041704 0,053019 0,041763 0,058781 0,035492 0,059890 0,040831 0,059860 0,030628 0,059762 0,040143 0.055 95.6 mse f-score (%) 95.4 95.2 95 10 98 0.05 20 30 40 sè líp Èn-nhu 50 0.04 10 60 0.045 97.5 0.04 97 0.035 96.5 0.03 96 0.025 95.5 10 a) FS1 0.045 MSE nhu f-score Thuật toán f-score 95.8 FS 20 30 40 50 60 0.02 10 20 30 40 50 60 sè khèi Èn b) FS2 20 30 40 Sè nót Èn - nhu 50 60 Hình 3.8 Hiệu suất nhận ñược từ ñào tạo với nhu khác Footer Page of 126 Header Page of 126 17 18 Lặp lại trình xử lý với tham số cố ñịnh VS= 20%, thuật toán SCG, cho số nơ-ron lớp ẩn (Number Of Hidden Units nhu) thay ñổi ∈ {10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60} ñể có cầu hình tối ưu ♦ Tập Test1 (WM): Bao gồm ñoạn video giống Scenario1 Tập Test1 chứa 23 ñoạn video ♦ Tập Test2 (MM): So với Scenario1, tập Test2 chứa ñoạn video có ánh sáng góc quay camera khác (29 ñoạn video) Từ kết Hình 3.8 ta thấy với FS1 nhu= 40 với FS2 nhu = 50 lúc ñó f-score lớn MSE nhỏ ♦ Tập Test3 (HM) : So với tập Scenario1, tập Test3 có nhiều ñiểm khác: có ñối tượng bị che khuất, có không cố ñịnh hay có nhiều ñối tượng di chuyển lúc (52 ñoạn video) CHƯƠNG 4: THỰC NGHIỆM VÀ PHÂN TÍCH KẾT QUẢ 4.1 PHƯƠNG PHÁP ĐÁNH GIÁ Test1, Test2 Test3 ñược kết hợp trở thành tập có tên ALL Trong ñề tài sử dụng: Tỉ lệ phát (RC) [%], Độ tin cậy (PR) [%], Độ xác (Acc) [%], Tỉ lệ ñúng tích cực (TPR) [%] Tỉ lệ ñúng tiêu cực (TNR) [%] Chúng ñược tính toán từ ñồ thị ROC: TP TP TP + TN , PR = , Acc = TP + FN TP + FP TP + TN + FP + FN TP TN TPR = , TNR = TP + FP FP + TN ♦ Ngoài ñể tập hợp ñiều kiện kiểm tra, ba tập kiểm tra 4.2.2 Kịch 2: Huấn luyện với tập liệu nhiễu Dữ liệu nhiễu kết hợp liệu liệu nhiễu Chúng bao gồm ñoạn video có hành ñộng ñiều kiện giống với ñoạn video tập Test1, Test2 Test3 RC = Trong kịch này, tập huấn luyện ñược ñặt tên Scenario2 (4.1) với:+ True positives-TP: tổng hành ñộng ngã ñược phân loại ñúng + False positives-FP: tổng hành ñộng không ngã bị phân loại sai + True negatives-TN: tổng hành ñộng không ngã phân loại ñúng Tập bao gồm ñoạn video giống Scenario1, Test2 Test3 Các tập kiểm tra Test1, Test2, Test3 ALL kịch ñược sử dụng kịch Bảng 4.1 – Phân loại liệu huấn luyện kiểm tra Huấn luyện + False negatives-FN: tổng hành ñộng té ngã phân loại sai 4.2 KỊCH BẢN HUẤN LUYỆN VÀ KIỂM TRA: Hai kịch ñược trình bày 4.2.1 Kịch 1: Huấn luyện với tập liệu Tập liệu có ñoạn video có thay ñổi, ánh sáng tốt ñối tượng di chuyển, ñối tượng không bị che khuất ♦ Tập huấn luyện ñược gọi Scenario1, bao gồm 33 ñoạn video thuộc liệu Tập kiểm tra ñược xếp vào ba ñiều kiện kiểm tra với tên là: tập Test1, Test2, Test3 Footer Page of 126 DỮ LIỆU Fc Fd Fs Ncb Ndb Nsb Ncc Ndc Nsc Không ngã Ncl Ndl Nsl Ncs Nds Nss No TỔNG Ngã Kiểm tra hệ thống Scenario1 Scenario2 Test1 Test2 Test3 ALL 4 1 1 3 33 18 19 17 3 4 12 113 4 1 1 1 1 1 23 1 2 1 1 1 1 29 10 1 1 2 1 11 52 18 19 16 3 3 4 3 11 104 20 Bảng 4.2 – Kết nhận dạng cho mô hình phát té ngã thứ Không ngã Tổng Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL 4 0 0 0 0 0 0 3 0 0 0 0 0 6 0 0 1 0 15 13 15 0 1 1 0 0 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 3 3 3 3 4 1 1 1 1 1 23 1 2 1 1 1 1 29 10 1 1 2 1 11 52 18 19 16 3 3 4 3 11 104 Dựa vào kết Bảng 4.2 ñưa kết thống kê: TPR [%] TNR [%] Hình 4.4 TPR tương ñối cao xét theo hướng ngã ta thấy tỉ lệ giảm dần theo khả nhìn thấy ñối tượng Các hành ñộng gập người hay ngồi xuống ghế không gây nhầm, hành ñộng ngồi nằm hay bò gây nhầm lẫn với ngã Footer Page 10 of 126 No Nss Bảng 4.3 – Kết nhận dạng cho mô hình phát té ngã thứ hai a Kết cho mô hình phát té ngã thứ Fc Fd Fs Ncb Ndb Nsb Ncc Ndc Nsc Không Ncl ngã Ndl Nsl Ncs Nds Nss No Tổng Nds b Kết cho mô hình phát té ngã thứ hai 4.4.1 Kết ñánh giá kết Ngã Ncs Hình 4.4 Kết thống kê TPR TNR mô hình thứ cho tập ALL + Mô hình phát té ngã thứ tư (FS2, Scenario2) Scenario1 FS1 Nsl Scenario1, FS1 + Mô hình phát té ngã thứ ba (FS2, Scenario1) Ngã TNR (%) Nsc Nsb Ncc + Mô hình phát té ngã thứ hai (FS1, Scenario2) Ndb + Mô hình phát té ngã thứ (FS1, Scenario1) Ncb tính FS1 FS2 Vì có mô hình phát té ngã khác nhau: Fs Có hai tập huấn luyện Scenario1 Scenario2 hai tập thuộc Fd 4.4 PHÂN TÍCH KẾT QUẢ THỰC NGHIỆM Fc TPR (%) 100 90 80 70 60 50 40 30 20 10 Ndl 4.3 SƠ ĐỒ KHỐI QUÁ TRÌNH NHẬN DẠNG Ncl 19 Ndc Header Page 10 of 126 Scenario2 FS1 Fc Ngã Fd Fs Ncb Ndb Nsb Ncc Ndc Nsc Không Ncl ngã Ndl Nsl Ncs Nds Nss No Tổng Ngã Không ngã Tổng Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL 4 0 0 0 0 0 0 4 0 0 0 0 0 0 0 0 0 0 0 17 15 14 0 0 0 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 2 1 3 3 4 3 4 1 1 1 1 1 23 1 2 1 1 1 1 29 10 1 1 2 1 11 52 18 19 16 3 3 4 3 11 104 Dựa vào kết Bảng 4.3 ñưa kết thống kê: TPR [%] TNR [%] Hình 4.5 Tỉ lệ nhận dạng ñược cải thiện ñáng kể, nhiều hành ñộng không ngã không bị nhầm 22 No Nss Nds Ncs Nsl Ndl Ncc Nsb Ndb Ncb TNR (%) Fs TPR (%) Scenario1, FS2 No Nss Nds Ncs Nsl Ndl Ncl Nsc Ndc Ncc Nsb Ndb Ncb Fs Fd Hình 4.6 Kết thống kê TPR TNR mô hình thứ ba cho tập ALL Fc 100 90 80 70 60 50 40 30 20 10 Fd khác Để khắc phục nhược ñiểm sử dụng FS2 100 90 80 70 60 50 40 30 20 10 Fc có thuộc tính tương ñối giống ñộ dài thực TNR (%) Ndc TPR (%) Ngã trực diện ngồi xuống sàn bị phân loại nhầm, hành ñộng Ncl 21 Nsc Header Page 11 of 126 So với mô hình với kịch huấn luyện sử dụng tập thuộc tính ñộng FS2 cho kết tốt hơn, tỉ lệ phát hành Scenario2, FS1 Hình 4.5 Kết thống kê TPR TNR mô hình thứ hai cho tập ALL ñộng ngã cao c Kết cho mô hình phát té ngã thứ ba d Kết cho mô hình phát té ngã thứ tư Bảng 4.4 – Kết nhận dạng cho mô hình phát té ngã thứ ba Bảng 4.5 – Kết nhận dạng cho mô hình phát té ngã thứ tư Ngã Không ngã Tổng Scenario1 FS2 Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Ngã Không ngã Tổng Scenario2 FS2 Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Fc Ngã Fd Fs Ncb Ndb Nsb Ncc Ndc Nsc Không Ncl ngã Ndl Nsl Ncs Nds Nss No Tổng 4 0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 0 16 12 14 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1 2 3 4 3 4 1 1 1 1 1 23 1 2 1 1 1 1 29 10 1 1 2 1 11 52 18 19 16 3 3 4 3 11 104 Dựa vào kết nhận dạng Bảng 4.4 ñưa kết thống kê: TPR [%] TNR [%] Hình 4.6 Footer Page 11 of 126 Fc Ngã Fd Fs Ncb Ndb Nsb Ncc Ndc Nsc Không Ncl ngã Ndl Nsl Ncs Nds Nss No Tổng 4 0 0 0 0 0 0 5 0 0 0 0 0 0 10 0 0 0 0 18 16 16 0 0 0 0 1 1 1 1 1 1 0 1 2 1 1 1 1 0 1 1 2 1 10 3 3 3 3 10 4 1 1 1 1 1 23 1 2 1 1 1 1 29 10 1 1 2 1 11 52 18 19 16 3 3 4 3 11 104 Dựa vào kết nhận dạng Bảng 4.5 ñưa kết thống kê: TPR [%] TNR [%] Hình 4.7 23 24 20 PR(%) Scenario2, FS1 Acc(%) Scenario1, FS2 Scenario2, FS2 79.31 89.66 79.31 100 92.86 90.91 84.62 93.33 60 (%) No Nss Nds Ncs N sl N dl N cl Nsc Ndc Ncc Nsb Ndb Ncb 80 66.67 73.33 100 Fs 86.67 Test2 (MM) 96.55 TNR (%) RC(%) Fd 95.65 95.83 95.65 100 100 100 100 40 Scenario1, FS1 Fc 100 90 80 70 60 50 40 30 20 10 91.67 60 không ngã ñạt 100%, vài hành ñộng nhanh bị nhầm TPR (%) 100 80 (%) ngã ngang ngã chéo ñược phát 100% nhiều hành ñộng 100 91.67 Scenario2 kết tăng lên rõ rệt, TPR, TNR tăng cao, hành ñộng 100 Test1 (WM) Khi sử dụng tập thuộc tính ñộng FS2 huấn luyện với tập 92.31 Header Page 12 of 126 40 Scenario2, FS2 20 RC(%) Scenario2, FS1 TNR cao, hành ñộng chậm không bị nhầm với ngã Acc(%) Scenario1, FS2 Scenario2, FS2 92.31 82.69 88.46 76.92 89.29 Test3 (HM) 86.96 76.92 80 (%) phân loại nhầm so với ngã trực diện 100 84.62 dần theo khả nhìn thấy camera, ngã ngang hay chéo 76.92 TPR cao, nhiên tỉ lện nhận dạng hành ñộng ngã giảm 76.92 Scenario1, FS1 96.15 Nhìn vào kết mô hình phát té ngã ñều thấy: PR(%) 91.67 Hình 4.7 Kết thống kê TPR TNR mô hình thứ tư cho tập ALL 60 40 20 nhiên với hành ñộng ngồi xuống nhanh nhầm ngã RC(%) Scenario1, FS1 PR(%) Scenario2, FS1 kết tốt nhất, tỉ lệ nhận dạng tăng ñáng kế Mô hình sử dụng tập huấn luyện Scenario2 cho kết thống kê tốt mô hình sử dụng tập huấn luyện Scenario1 Huấn luyện Scenario1: Hiệu suất mô hình chấp nhận với tập liệu Các kết thống kê giảm nhanh chóng ñối với liệu có nhiễu Footer Page 12 of 126 (%) 80 Scenario1, FS2 Scenario2, FS2 94.23 84.76 90.38 82.69 94.34 89.36 93.88 94.34 79.25 86.79 81.13 100 Hình 4.9 so sánh kết thống kê: RC [%], PR [%], Acc) [%] mô hình phát té ngã Acc(%) ALL e Hiệu suất tổng thể 84.31 Trong bốn mô hình phát té ngã ta thấy mô hình thứ tư cho 60 40 20 RC(%) Scenario1, FS1 Scenario2, FS1 PR(%) Scenario1, FS2 Acc(%) Scenario2, FS2 Hình 4.9 Kết thống kê RC, PR Acc mô hình Header Page 13 of 126 25 Huấn luyện Scenario2: Sử dụng huấn luyện Scenario2 cho kết ñồng ñều cho ñiều kiện, tập liệu Test1 hay tập liệu có nhiễu Test2, Test3 Điều chứng tỏ, mô hình phát té ngã ñạt hiệu huấn luyện Scenario2 Mạng huấn luyện với tập thuộc tính FS2 cho kết tốt mạng ñược huấn luyện với tập FS1 kịch huấn luyện Trong bốn mô hình ñã phân tích trên, mô hình thứ tư cho kết tốt kết ñồng ñều cho ñiều kiện hay có 26 dạng tăng so với sử dụng tập thuộc tính tĩnh FS1, hai mô hình sử dụng tập thuộc tính ñộng FS2 cho ñộ xác 90% - Khả phân loại ñược cải thiện ñáng kể sử dụng mô hình huấn luyện với nhiễu so với sử dụng mô hình huấn luyện Cùng tập thuộc tính FS2 sử dụng mô hình huấn luyện nhiễu ñã cải thiện so với sử dụng mô hình huấn luyện (RC, PR Acc tăng: 16%, 5%, 10%) - Cả mô hình thực ñã cho kết khả quan Trong mô nhiễu Đây kết cao tương xứng với hệ thống hình ñã thực kiểm thử mô hình sử dụng tập thuộc tính ñộng 4.4.2 Phân tích lỗi nhận dạng FS2 ñược huấn luyện với tập liệu bao gồm nhiễu Scenario2 a Lỗi tách ñối tượng chưa tốt cho kết tốt với RC, PR ñạt 94,34% Acc ñạt 94,23% + Do ñiều kiện ánh sáng không tốt ♦ Với yêu cầu toán ñề xây dựng mô hình nhận dạng hành + Do ñối tượng bị che khuất ñộng té ngã ñơn giản cho hiệu xuất nhận dạng cao ñề tài + Do có nhiều ñối tượng di chuyển lúc khung hình ñã ñáp ứng ñược yêu cầu ñề Tuy nhiên cần nghiên cứu phát b Lỗi thuộc tính sử dụng chưa tốt triển thêm: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI ♦ Sau thời gian thực ñề tài, luận văn ñã hoàn thành ñược - Thu thập sở liệu lớn với hành ñộng thực tế bệnh nhân người cao tuổi công việc sau: Nghiên cứu lý thuyết hệ thống tự ñộng phát - Nghiên cứu thêm khâu tách ñối tượng ñể ñối tượng bị ảnh té ngã sử dụng phân tích video khó khăn gặp phải hưởng Xử lý ñối tượng bị che khuất hay sử dụng mô hình hóa áp dụng hệ thống vào thực tế; Nghiên cứu mô hình ước lượng thể người 3D ñể tạo chiều sâu cho ñối tượng hình ñộng sử dụng phương pháp trừ ñể tách ñối tượng cần giám sát khỏi khung hình; Thực số phép toán hình thái toán học ñể lọc ñối tượng sau ñược tách khỏi khung hình nền; Nghiên cứu lý thuyết mạng nơ-ron ♦ Xây dựng mô hình nhận dạng té ngã mạng nơ-ron Kiểm thử mô hình phương pháp ñánh giá cho kết cao - Tất mô hình cho kết cao, ñộ xác bốn mô hình ñều 82% Khi sử dụng tập thuộc tính ñộng FS2 kết nhận Footer Page 13 of 126 - Sử dụng thêm thuộc tính nhằm phân biệt rõ hành ñộng ñược xem xét - Xem xét thời gian thực hệ thống, thực hệ thống xử lý trực tuyến ngôn ngữ Matlap, C++ lập trình phần cứng - Phát triển thêm hành ñộng nhận dạng: phân loại hành ñộng té ngã sinh hoạt bình thường, nhận dạng thêm hành ñộng ñi liên tục, uống thuốc, tập thể dục  ... th ng phát té ng với tỉ lệ phát cao Mục tiêu nghiên cứu Xây d ng hệ th ng phân tích th ng minh tín hiệu video ñể tự ñ ng kho ng 1,5 -1,9 triệu ng ời già bị té ng năm Hậu nghiêm phát tình tr ng té. .. với hành ñ ng người nằm xu ng phân tích th ng minh tín hiệu video ng d ng hệ th ng tự ñ ng Footer Page of 126 Header Page of 126 phát tình tr ng té ng ng ời, ñây lĩnh vực 1.2.1 Hệ th ng dựa vào... camera giám sát th ng minh Chư ng 2: Hệ th ng phân tích video phát ng 1.3.2 Phân tích hiểu hành vi ng ời th ng qua tín hiệu video Chư ng 3: Huấn luyện m ng nơ-ron ñể phát té ng 1.3.3 Chăm sóc