Phát hiện rối loạn dáng đi hỗ trợ giám sát chăm sóc sức khỏe trên nền video

Phát hiện rối loạn dáng đi là một nhánh nghiên cứu nhận được nhiều quan tâm trong lĩnh vực chăm sóc sức khỏe, do sự liên quan mật thiết giữa dáng đi và tình trạng sức khỏe của bệnh nhân. Bài viết đề xuất một cách tiếp cận mới trên nền video để phát hiện các bất thường trong dáng đi do ảnh hưởng của bệnh tật, bằng cách phân tích các đoạn video quay cảnh người đi bộ theo phương ngang.

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00057 PHÁT HIỆN RỐI LOẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SĨC SỨC KHỎE TRÊN NỀN VIDEO Hồng Lê Un Thục 1, Ngô Thị Kim Xuyến2, Nguyễn Thị Thu Thảo3, Lê Thị Mỹ Hạnh4, Hoàng Thị Mỹ Lệ5 Trường Đại học Bách khoa, Đại học Đà Nẵng Công ty Quản lý bay Miền Trung Atspid Inc Chi nhánh Đà Nẵng Trường Đại học Sư phạm Kỹ thuật, Đại học Đà Nẵng 14 hluthuc@dut.udn.vn, ngoxuyen710@gmail.com, nthuthao0610@gmail.com, ltmhanh@dut.udn.vn, htmle@ute.udn.vn TÓM TẮT: Phát rối loạn dáng nhánh nghiên cứu nhận nhiều quan tâm lĩnh vực chăm sóc sức khỏe, liên quan mật thiết dáng tình trạng sức khỏe bệnh nhân Trong báo này, đề xuất cách tiếp cận video để phát bất thường dáng ảnh hưởng bệnh tật, cách phân tích đoạn video quay cảnh người theo phương ngang Trước tiên, mô hình Markov ẩn tuần hồn CHMM huấn luyện để mơ hình hóa dáng bình thường, dựa chuỗi véctơ đặc trưng trích từ chuỗi khung hình đoạn video ghi hình dáng bình thường; véctơ đặc trưng sử dụng moment Hu để mô tả thống kê hình dạng đối tượng đối tượng trích từ khung hình phép trừ dựa mơ hình hợp Gauss GMM Để kiểm tra tình trạng dáng đi, ta chuyển chuỗi khung video đoạn video kiểm tra thành chuỗi véctơ đặc trưng theo cách tương tự trên, tính khả mà mơ hình dáng bình thường sinh chuỗi véctơ này, sau so sánh với mức ngưỡng định để xác định bất thường dáng Kết thực nghiệm với sở liệu video dáng bệnh lý giả lập cho thấy hiệu hứa hẹn hệ thống đề xuất, thể tỷ lệ nhận dạng xác cao thời gian quan sát dáng ngắn Từ khóa: Phát rối loạn dáng đi, moment Hu, mơ hình Markov ẩn tuần hoàn CHMM, cách tiếp cận video, hệ thống giám sát chăm sóc sức khỏe I GIỚI THIỆU Trong năm qua, Việt Nam đạt nhiều thành tựu quan trọng kinh tế, an sinh xã hội, chăm sóc sức khỏe, nhờ tuổi thọ người dân nâng cao Theo Quỹ Dân số i n hợp quốc UNFPA, từ năm 2011 Việt Nam thức bước vào giai đoạn già hóa dân số dự báo đến năm 2049 th t lệ người cao tuổi Việt Nam s chiếm đến 26,10 tổng dân số, cao nhiều so với t lệ người cao tuổi trung b nh tr n toàn c u [1] B n cạnh tác động tích cực, già hóa dân số đặt nhiều thách thức mặt đời sống kinh tế xã hội nước ta, vấn đề giám sát chăm sóc sức khỏe người cao tuổi, phát sớm chứng bệnh li n quan đến tuổi tác nhằm có biện pháp hỗ trợ y tế kịp thời [1] Từ bối cảnh tr n, đặt mục ti u lâu dài nghi n cứu phát triển hệ thống hỗ trợ giám sát chăm sóc sức khỏe người cao tuổi cách tự động, giai đoạn đ u ti n dành cho nghi n cứu phát rối loạn dáng Các nghi n cứu y khoa kết luận việc người khả b nh thường hậu vấn đề sức khỏe rối loạn, tổn thương suy giảm chức nhiều quan gồm hệ thống tiểu não, tiền đ nh, xương khớp, quan thị giác, thính giác [2] Ngoài ra, dáng bất thường chứng minh yếu tố rủi ro làm gia tăng nguy té ngã người cao tuổi [3] Như vậy, phát sớm rối loạn dáng đóng vai trò quan trọng giúp giảm thiểu hậu bệnh tật nhờ can thiệp y khoa kịp thời giúp phịng tránh té ngã hiệu nhờ dự đốn nguy té ngã Theo phương pháp y khoa truyền thống, chuy n gia dáng thường tiến hành đánh giá dáng cách quan sát bệnh nhân bệnh viện/phòng khám kết hợp với vấn bệnh nhân/người chăm sóc [4] Ưu điểm trội phương pháp dựa vào chuy n gia độ xác cao, nhi n kết mang tính chủ quan phụ thuộc vào khai bệnh hợp tác bệnh nhân Ngoài ra, việc thăm khám thường theo đợt không thường xuy n, cho n n bỏ sót giai đoạn phát bệnh Ngày nay, với hỗ trợ công nghệ đại, dáng giám sát, phân tích đánh giá thường xuy n tự động nơi Phương pháp tiến hành dựa vào cảm biến loại khác [4] Cảm biến đeo người thường gắn vào đ u gối, chân, đùi, v.v để thu giữ liệu dáng oại khiến người bệnh không cảm thấy thoải mái di chuyển Cảm biến không đeo người, chẳng hạn cảm biến đo phản lực nền, thường dùng phịng thí nghiệm phân tích dáng chuy n dụng tốn c n chuy n gia phân tích liệu thu thập So với phương pháp tr n, phương pháp phân tích dáng dựa vào xử lý h nh ảnh quay từ camera có nhiều ưu điểm lắp đặt, vận hành bảo dưỡng đơn giản, tạo thoải mái cho người bệnh mang thiết bị theo người thực thường xuy n Từ phân tích tr n đây, báo đề xuất hệ thống tự động phát dáng bất thường với cách tiếp cận dựa vào camera tr n H nh Trước ti n, khối thu nhận liệu thu thập thông tin t nh trạng sức khỏe bệnh PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO 438 nhân nhờ camera ghi hình đối tượng Tiếp đến, tín hiệu video dáng truyền đến khối xử lý liệu Việc xử lý liệu thực ph n mềm, dựa tr n nguyên lý so sánh thống k tín hiệu video thu từ bệnh nhân (là liệu kiểm tra) với mẫu video lưu sẵn (là liệu huấn luyện gán nhãn) để đưa kết luận t nh trạng dáng Cuối cùng, kết nhận dạng gởi đến khối lưu trữ/cảnh báo trạm cấp cứu, nhân vi n y tế và/hoặc người nhà bệnh nhân tùy theo cài đặt hệ thống, nhằm cảnh báo bất thường để t m kiếm can thiệp y khoa kịp thời lưu lại để chuy n gia y tế phân tích sâu sau c n thiết Thu nhận liệu Xử lý liệu Lưu trữ/cảnh báo Hình Sơ đồ khái niệm hệ thống phát rối loạn dáng tr n video Ph n báo tổ chức sau: Ph n II t m hiểu nghi n cứu g n li n quan đến phát dáng bất thường, ph n III mô tả chi tiết khâu xử lý bước tính tốn hệ thống đề xuất - khâu “Xử lý liệu” H nh 1, ph n IV thí nghiệm đánh giá hệ thống cuối kết luận ph n V II CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN Hiện nay, lĩnh vực phân tích dáng tr n video nói chung thu hút nhiều quan tâm nghi n cứu tr n toàn giới Các nghi n cứu h u hết tập trung vào mục ti u t m cách trích xuất tham số đặc trưng dáng Sau số công tr nh nghiên cứu li n quan năm g n sử dụng camera chiều thơng thường (tức khơng có thông tin độ sâu): Hệ thống [5] sử dụng hai camera đặt vng góc để ghi h nh đối tượng với góc quay trực diẹn bên hơng Các đặc trưng trích từ ảnh đối tượng gồm có đường nối trọng tâm với điểm cổ, đường nối điểm đ u với điểm cổ góc tạo hai đường dùng để đánh giá tư ph n thân Các đặc trưng gồm trọng tâm bề rộng thể sử dụng để đánh giá tư ph n thân Trong phương pháp [6], đối tượng quan sát theo hướng tùy ý y u c u hai camera lắp vng góc với Phương pháp trích đặc trưng quan trọng dáng trọng tâm chiều dài bước chân Không dùng nhiều camera tr n, hệ thống [7] dùng camera kết hợp với gắn vật đánh dấu phát sáng vào vị trí định tr n chân đối tượng Hệ thống thực phân tích dáng cách phân tích dịng video dựa vào việc theo vết vật đánh dấu phát sáng nhánh nghi n cứu phân tích dáng đi, hệ thống phát dáng bất thường bệnh lý trước hết tập trung vào việc trích xuất tham số đặc trưng dáng vừa tr nh bày tr n Th m vào đó, hệ thống c n phải có chế phân biệt dáng khỏe mạnh dáng bệnh lý Điều thường thực dựa vào so sánh dáng kiểm tra với mô h nh dáng b nh thường sử dụng kỹ thuật học máy, số công tr nh nghi n cứu sau đây: Phương pháp [8] thực đo độ tương tự chuyển động khung xương trích từ mơ h nh đối tượng c n kiểm tra trích từ mô h nh dáng khỏe mạnh Phương pháp đạt độ xác tuyệt đối trường hợp phát dáng bệnh Parkinson Phương pháp [9] nhận dạng loại dáng bệnh lý khác gồm diplegic, hemiplegic, neuropathic Parkinson dựa vào liệu video với góc quay b n hơng, sử dụng kỹ thuật học máy véctơ hỗ trợ SVM (Support Véctơ Machine) Kết thực nghiệm đạt độ xác tốt, đến 80 , nhi n số lượng mẫu sở liệu m tốn, 75 mẫu gồm b nh thường loại dáng bệnh lý Chỉ sử dụng camera 2D thông thường phương pháp [9], phương pháp [10] trích đặc trưng h nh dạng dáng dựa tr n moment Hu sử dụng mơ h nh Markov ẩn tu n hồn CHMM (Cyclic Hidden Markov Model) để mơ h nh hóa dáng đi, loại bệnh lý mơ h nh hóa mơ h nh CHMM tương ứng Bản chất tu n hồn mơ h nh CHMM giúp cho việc trích đặc trưng dáng trở n n đơn Hồng Uy n Thục, Ngơ Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 439 giản hơn, khơng c n quan tâm trích xác chu kỳ dáng phương pháp [9] Đồng thời mô h nh HMM chứng minh thực nghiệm đối phó tốt với thay đổi thang không gian-thời gian chuỗi véctơ đặc trưng trích từ đoạn video hành động người [11] So với phương pháp [8], [9], phương pháp [10] cho hiệu nhận dạng ngang với số lượng mẫu sở liệu lớn nhiều mà chưa c n dùng đến mô tả đặc trưng dáng phức tạp Từ phân tích tr n đây, nghi n cứu này, chọn cách tiếp cận tương tự phương pháp [10] Tuy nhiên, theo phương pháp [10] th pha huấn luyện ta phải huấn luyện mô h nh CHMM cho loại dáng bệnh lý tương ứng Điều khó thực thực tế khơng đủ kiến thức thiếu liệu video cho nhiều loại dáng bệnh lý Hơn nữa, tr nh bày tr n H nh 1, mục ti u nghi n cứu đặt không nhằm nhận dạng loại dáng bệnh lý khác nhau, mà phát dáng bất thường nhằm cảnh báo kịp thời cho chuy n gia y tế V vậy, để phù hợp với mục ti u nghi n cứu tăng tính khả thi, chúng tơi cải tiến phương pháp [10] cách: pha huấn luyện tiến hành huấn luyện mô h nh dáng khỏe mạnh từ đoạn video ghi h nh dáng khỏe mạnh, dùng mơ h nh mơ hình tham chiếu để xác định t nh trạng b nh thường hay bất thường dáng đoạn video kiểm tra Như vậy, hệ thống đề xuất, tải công việc huấn luyện s giảm nhiều không c n huấn luyện mô h nh dáng bệnh lý loại phương pháp [10] III PHÁT HIỆN DÁNG ĐI BẤT THƯỜNG Tương tự phương pháp [9], [10], kịch đặt đối tượng dọc theo hành lang b n nhà quan sát camera gắn cố định với góc quay b n hơng (side-view) Hệ thống đề xuất cải tiến từ hệ thống [10] nên có cấu trúc tương tự hệ thống [10] H nh cho thấy ba khối xử lý liệu hệ thống đề xuất gồm phân vùng đối tượng, trích đặc trưng nhận dạng Véctơ đặc trưng Hình Sơ đồ khối chức hệ thống phát rối loạn dáng đề xuất 3.1 Phân vùng đối tượng Từ khung h nh chuỗi khung video vào, thuật toán phân vùng đối tượng, đối tượng trích khỏi ph n ảnh không chứa đối tượng H nh 3a để tạo thành ảnh mặt nạ đối tượng Ảnh mặt nạ ảnh nhị phân có vùng trắng vùng thuộc đối tượng vùng đen vùng thuộc H nh 3c (a) (b) (c) Hình Phân vùng đối tượng phương pháp trừ GMM (a) Khung ảnh nền, (b) Chuỗi khung video dáng đi, (c) Chuỗi ảnh mặt nạ kết PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO 440 Trong hệ thống đề xuất, việc phân vùng đối tượng thực phương pháp trừ nền, với nguy n lý so sánh khung h nh gốc (H nh 3b) với ảnh (H nh 3a) để t m sai khác Nếu độ sai khác vượt mức ngưỡng định th ph n sai khác s xem ảnh mặt nạ đối tượng Để đối phó với thay đổi điều kiện chiếu sáng, rung nhẹ cảm biến, v.v., thay v chọn khung h nh th ban đ u ta sử dụng nhiều khung h nh li n tiếp để xây dựng mô h nh hợp Gauss GMM (Gaussian Mixture Model) cho điểm ảnh Sau thực tu n tự trừ cập nhật mô h nh GMM cho điểm ảnh qua khung h nh [12] Trong báo, số lượng khung h nh chọn để xây dựng mô h nh GMM ban đ u 25 số lượng phân bố Gauss mô h nh GMM Sau đó, ảnh mặt nạ đối tượng xử lý qua phép h nh thái tốn học trích vùng quan tâm ROI (Region Of Interest) Vùng ROI vùng bao h nh chữ nhật xung quanh đối tượng ph n b n trái H nh Việc xử lý bước thực với ph n ảnh b n vùng ROI Hình Vùng ROI giá trị thành ph n véctơ đặc trưng tương ứng 3.2 Trích đặc trưng Như tr nh bày, mục ti u hệ thống phân biệt dáng b nh thường bất thường Bằng trực giác kinh nghiệm, người nhận biết điều thơng qua quan sát biểu b n ngồi dáng mà khơng c n số liệu xác tham số dáng Từ suy mô tả đặc trưng h nh dạng tốt hy vọng cung cấp đ y đủ thông tin sai khác h nh dạng bề dáng b nh thường bất thường Qua xem xét mô tả đặc trưng h nh dạng phổ biến nay, báo chọn sử dụng mô tả đặc trưng h nh dạng dựa vào moment Hu, v hai lý sau [13]: Moment Hu chứng minh mơ tả thống k h nh dạng h nh học ảnh mặt nạ đối tượng vị trí, kích thước hướng đối tượng ảnh Việc tính tốn moment đơn giản sử dụng phép toán số học thông thường liệt k chuỗi công thức từ (1) đến (3) Q tr nh tính tốn moment Hu bao gồm ba bước sau [13]: Tính moment trung tâm từ hàm ảnh mặt nạ nhị phân s(x, y) : _ _ (x x ) p ( y y )q s(x, y) mpq x _ p,q 0,1,2,3 (1) y _ (x, y) tọa độ điểm ảnh, (x, y ) trọng tâm ảnh mặt nạ nhị phân, hàm ảnh mặt nạ nhị phân s(x, y) nhận giá trị tương ứng với điểm ảnh thuộc vùng trắng đen Chuẩn hóa moment trung tâm: M pq m pq p q 00 (2) m Tính giá trị moment Hu từ S1 đến S7: S1 M 20 M 02 S2 (M 20 M 02 )(M 20 M 02 ) 4M 11M 11 S3 (M 30 3M 12 ) (M 30 3M 21 ) S4 (M 30 M 12 ) (M 03 M 21 ) S5 (M 30 3M 12 )(M 30 M 12 )[(M 30 M 12 ) 3(M 03 M 21 )2 ] (3M 21 M 03 )(M 03 M 21 )[3(M 30 M 12 )2 (M 03 M 21 )2 ] S6 (M 20 M 02 )[(M 30 M 12 ) (M 03 M 21 ) ] 4M 11 (M 30 M 12 )(M 03 M 21 ) S7 (3M 21 M 03 )(M 30 M 12 )[(M 30 M 12 ) 3(M 03 M 21 ) ] (M 30 3M 12 )(M 21 M 02 )[3(M 30 M 12 )2 (M 03 M 21 )2 ] (3) Hồng Uy n Thục, Ngơ Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 441 Các giá trị moment Hu tính nhỏ n n gây sai số sau làm tròn giá trị nhỏ Để khắc phục vấn đề này, tiến hành lấy logarit trị tuyệt đối moment Cách làm ánh xạ điểm véctơ đặc trưng gốc g n sang khơng gian mới, chúng cách đủ xa để tiện xử lý Tóm lại, đặc trưng mơ tả dáng sử dụng hệ thống đặc trưng dựa tr n logarit moment Hu ảnh mặt nạ nhị phân đối tượng, gọi ngắn gọn đặc trưng logHu Như vậy, bước trích đặc trưng chuyển đổi khung h nh thành véctơ đặc trưng logHu chiều thể qua ví dụ tr n H nh 3.3 Nhận dạng dáng bất thường Để phát dáng bất thường, trước ti n ta huấn luyện mô h nh dáng b nh thường, dùng mô h nh chuẩn tham chiếu để dựa vào đánh giá t nh trạng dáng kiểm tra b nh thường hay bất thường Mơ hình hóa dáng bình thường Theo định nghĩa [14], chuỗi li n tục theo chu kỳ gồm giai đoạn hai bàn chân luân phi n nhấc l n khỏi mặt đất (swing) chạm xuống đất (stance) Một chu kỳ khoảng thời gian từ tư đến tư lặp lại, ví dụ từ tư số đến lại tư số tr n H nh Như vậy, hành động chuỗi tư li n tiếp có lặp lại Tuy nhi n, cử động thể khơng thể giống hồn tồn chu kỳ n n lặp lại g n tu n hoàn (quasi-periodic) Ngoài ra, hành động xem tín hiệu biến thiên động theo thời gian (time-varying) tốc độ biến thi n nhanh chậm khác tùy nhiều yếu tố Hình Chuỗi tư thể đánh số từ đến chu kỳ Qua xem xét mơ h nh tốn học phổ biến, ta nhận thấy mơ hình CHMM [11] tỏ phù hợp để mơ h nh hóa hành động Một mơ h nh CHMM hồn tồn đặc trưng ma trận chuyển tiếp trạng thái A {aij }, ma trận quan sát B {b j (k)} phân bố xác suất khởi đ u mô h nh hóa hành động bộ, mơ h nh CHMM { i } ứng với số trạng thái ẩn N số ký hiệu quan sát M Để {A, B, } đề xuất với đặc điểm sau: N trạng thái ẩn qi thể N tư khác thể, M ký hiệu quan sát phân biệt vk thể M véctơ đặc trưng logHu phân biệt trích từ chuỗi khung video, Ma trận A có đặc điểm (4), gồm điều kiện l n lượt tương ứng với đặc điểm hành động biến thiên động theo thời gian, g n tu n hoàn chuỗi tư li n tiếp nhau: aii aN aij i (4) j Ma trận B có xác suất thỏa điều kiện (5) Điều nhằm đối phó với vấn đề thiếu liệu huấn luyện, nghĩa giả sử véctơ trạng thái vk không xuất từ trạng thái qj liệu huấn luyện th có khả nhỏ (là ε) vk xuất liệu kiểm tra chưa biết: (5) b j (k) k, j Xác định tình trạng dáng Trước ti n, ta huấn luyện mô h nh CHMM có đặc điểm n u từ véctơ huấn luyện Các véctơ logHu trích từ khung video dáng khỏe mạnh, ghép li n tiếp với thành chuỗi, sau rời rạc hóa phép lượng tử hóa véctơ để phân cụm cho véctơ thành M cụm Mỗi cụm gồm véctơ g n tính theo khoảng cách Euclid Kết véctơ chuyển thành ký hiệu huấn luyện số M ký hiệu (mỗi ký hiệu số cụm) M trọng tâm cụm tạo thành M từ mã bảng mã Trong pha kiểm tra, việc rời rạc hóa chuỗi véctơ đặc trưng kiểm tra O thực phép mã hóa véctơ Ta tính khoảng cách Euclid từ véctơ kiểm tra đến tất M từ mã bảng mã, gán véctơ kiểm tra PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO 442 ký hiệu số từ mã g n Sau tính likelihood mà mơ h nh dáng b nh thường sinh chuỗi ký hiệu p(O | ) , so sánh với ngưỡng để định t nh trạng dáng đi: If p(O | ) then "normal" (6) If p(O | ) then "abnormal" Ở ngưỡng dáng di b nh thường xác định sau: giả sử sở liệu có L đoạn video dáng b nh thường, ta chọn (L-1) đoạn để huấn luyện mô h nh dáng b nh thường tính likelihood mà mơ h nh sinh chuỗi véctơ đặc trưng trích từ đoạn video lại (gọi video định ngưỡng); tiếp tục xoay vịng ta tính L giá trị likelihood i ,1 i L Dựa vào tập { i } ta xác định mức ngưỡng dựa theo ti u chí mong muốn ưu ý chuỗi véctơ định ngưỡng chuyển thành chuỗi ký hiệu định ngưỡng cách mã hóa véctơ tương tự thực với chuỗi véctơ kiểm tra Toàn tr nh thể tóm tắt tr n H nh 6, với đường nét đỏ, lục lam l n lượt thể tr nh diễn pha huấn luyện, pha xác định ngưỡng pha kiểm tra tương ứng Véctơ huấn luyện Véctơ định ngưỡng Véctơ kiểm tra Hình Quá tr nh nhận dạng dáng bất thường IV ĐÁNH GIÁ HỆ THỐNG ĐỀ XUẤT Việc đánh giá hệ thống thực sở liệu dáng bệnh lý giả lập [10] tn theo quy trình thí nghiệm trình bày chi tiết mục III 4.1 Cơ sở liệu tiêu chí đánh giá hệ thống Cơ sở liệu dùng để đánh giá hệ thống có tổng cộng 438 đoạn video ghi h nh dáng với góc quay bên hơng, gồm 100 đoạn video dáng b nh thường 338 đoạn video dáng bệnh lý giả lập gồm 56 đoạn dáng ataxic, 85 đoạn dáng hemiplegic, 97 đoạn dáng neuropathic 100 đoạn dáng bệnh Parkinson [3] Các bệnh lý có dáng thể qua thăng bằng, độ dài bước không đều, khớp bị co cứng, tư chúi trước bất thường, tay chân giật rung, tốc độ di chuyển chậm, v.v Tất đoạn video sở liệu tuân theo định dạng avi, độ phân giải 180x144, ghi h nh camera RGB thông thường quay hành lang nhà vào buổi sáng ánh sáng tự nhi n [3] Để đánh giá hệ thống, đặt ưu ti n cao cho ti u chí t lệ phát bệnh cao (nghĩa t lệ bỏ sót bệnh thấp) chấp nhận t lệ cảnh báo nh m cao Điều mục ti u hệ thống phát dáng bệnh lý bất thường để gửi thông tin cảnh báo đến chuy n gia y tế nhằm có can thiệp y khoa sâu sau 4.2 Tiến hành thí nghiệm 10 , Trong pha huấn luyện, ta chọn tham số mô h nh CHMM N = 7, M = 64, {1,0,0,0,0,0,0}, ma trận A B khởi đ u chọn ngẫu nhi n thỏa điều kiện (4) (5) tối ưu hóa thuật tốn huấn luyện Baum-Welch với 10000 vòng lặp [10] L n lượt đoạn video dáng b nh thường chọn làm video định ngưỡng để tính likelihood định ngưỡng V giá trị likelihood nhỏ n n áp dụng phép logarit để thuận tiện cho tính tốn sau Kết tính 100 giá trị log-likelihood { i } dùng làm ứng vi n cho việc xác định mức ngưỡng Trong pha kiểm tra, sau chuyển đổi chuỗi khung video kiểm tra thành chuỗi ký hiệu kiểm tra rời rạc, ta tính likelihood mà mơ h nh dáng b nh thường sinh chuỗi ký hiệu thực so sánh với ngưỡng theo phương tr nh (6) để xác định dáng bất thường Việc xác định ngưỡng thực theo cách sau: Cách chọn ngưỡng đơn giản dùng giá trị trung b nh tập { i } là: làm tròn giá trị log-likelihood để tiện tính tốn round( mean( i )) Việc i 100 Hồng Uy n Thục, Ngơ Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 443 Nếu quan tâm đến phân tán liệu ứng vi n, chọn ngưỡng với độ ch nh lệch định so với trị trung bình là: round ( ) , số chọn tùy ý, l n lượt giá trị i 100 trung b nh lệch chuẩn tập { i } Nếu mục ti u đặt t lệ phát dáng bất thường cao nhất, ngưỡng s đặt giá trị cực đại tập { i } Trường hợp phải chấp nhận t lệ cảnh báo nh m cao Nếu mục ti u đặt t lệ cảnh báo nh m thấp nhất, ngưỡng chọn s giá trị cực tiểu tập { i } Cách thường khơng khuyến khích v s trả giá t lệ bỏ sót bệnh cao 4.3 Kết thí nghiệm Thực thí nghiệm với cách chọn ngưỡng tr n kiểm tra tr n toàn sở liệu, ta thu kết Bảng Ở t n dáng viết tắt chữ đ u ti n t n tiếng Anh, TPR (True Positive Rate) t lệ phát bệnh đúng, FAR (False Alarm Rate) t lệ cảnh báo nh m Acc t lệ nhận dạng dáng b nh thường dáng bệnh lý Các kết TPR, FAR Acc tính theo t lệ ph n trăm, với số lượng video dáng bệnh lý tất loại số lượng video dáng khỏe mạnh chuẩn hóa (là 100) Bảng Kết phát dáng bất thường ứng với giá trị ngưỡng khác Tỷ lệ nhận dạng Kết (%) Chọn ngưỡng Ngưỡng Wal Ata Hem Neu Par TPR FAR Acc Trung bình -457 62/100 56/56 85/85 97/97 100/100 100,00 38,00 81,00 =-1 -593 83/100 56/56 85/85 95/97 100/100 99,41 17,00 91,21 =-0,7 -552 77/100 56/56 85/85 97/97 100/100 100,00 23,00 88,50 =-1,2 -620 85/100 56/56 85/85 92/97 100/100 98,52 15,00 91,76 =-1,5 -661 87/100 56/56 85/85 85/97 100/100 96,45 13,00 91,73 =-2 -729 100/100 56/56 85/85 70/97 100/100 92,01 0,00 96,01 Cực đại -232 2/100 56/56 85/85 97/97 100/100 100,00 98,00 51,00 Cực tiểu -748 100/100 54/56 85/85 68/97 100/100 90,83 0,00 95,42 ệch chuẩn 4.4 Đánh giá hệ thống Qua kết Bảng ta rút số nhận xét t lệ phát dáng bệnh lý hệ thống sau: Chọn ngưỡng dựa vào giá trị trung b nh giúp mang lại t lệ phát bệnh đạt tuyệt đối (100 ) t lệ cảnh báo nh m cao (38 %) Chọn ngưỡng dựa vào giá trị cực đại giúp đạt mục ti u đặt t lệ phát bệnh đạt cao (100 %) trả giá t lệ cảnh báo nh m cao (98 %) Chọn ngưỡng dựa vào giá trị cực tiểu giúp đạt t lệ cảnh báo nh m thấp (0 ), t lệ phát bệnh thấp (90,83 ), nghĩa có tr n % trường hợp bệnh bị bỏ sót Chọn ngưỡng dựa vào độ lệch chuẩn cho kết tốt xét tr n ti u chí t lệ phát bệnh t lệ cảnh báo nh m Hướng nghi n cứu c n kết hợp với toán tối ưu để t m giá trị số tối ưu T lệ phát dáng bệnh lý phân bố không Cụ thể t lệ phát dáng bệnh Parkinson hemiplegic tốt (100 ) neuropathic thấp Như mô tả đặc trưng h nh dạng logHu chưa đủ tổng quát để mô tả nhiều loại dáng bệnh lý khác Bảng So sánh hệ thống phát dáng bất thường Hệ thống Hoạt động Huấn luyện [10] Đề xuất 620 Tỷ lệ phát dáng bệnh lý Chọn ngưỡng Nhận dạng Ata Hem Neu Par TPR Huấn luyện mô h nh khác ứng với loại dáng Không Maximum likelihood 49/56 80/85 92/97 99/100 94,67 % Chỉ huấn luyện mơ h nh dáng b nh thường Có So khớp ngưỡng 56/56 85/85 92/97 100/100 98,52 % 444 PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO Qua xem xét độ dài đoạn video sở liệu, kết thu độ dài đoạn video dao động khoảng thời gian 10-42 giây Như vậy, khoảng thời gian quan sát ngắn, hệ thống phát loại dáng bệnh lý khác với t lệ phát trung b nh tốt (tr n 90 tất kiểu chọn ngưỡng) Để đánh giá hiệu hệ thống đề xuất, ta thực so sánh với nghi n cứu trước [10] cách thực thí nghiệm tr n sở liệu, cách phân vùng đối tượng trích đặc trưng, khác khâu nhận dạng Kết so sánh thể Bảng cho thấy ảnh hưởng tích cực việc cải thiện khâu nhận dạng đến hiệu nhận dạng hệ thống Ngưỡng ghi Bảng đảm bảo t lệ cảnh báo nh m hai phương pháp V KẾT LUẬN Tóm lại, báo đề xuất hệ thống phát dáng bệnh lý dùng camera 2D loại thơng dụng Hệ thống thực xử lý tín hiệu video dáng qua ba bước gồm: (1) phân vùng đối tượng dùng phương pháp trừ dựa tr n mơ h nh GMM, (2) trích đặc trưng dáng dựa tr n moment h nh dạng logHu (3) nhận dạng dáng bất thường theo nguy n lý so khớp ngưỡng kết hợp với mô h nh CHMM Thí nghiệm tr n tập sở liệu giả lập cho thấy hệ thống đề xuất có ưu điểm là: (1) t lệ phát dáng bệnh lý cao với thời gian quan sát dáng ngắn, (2) pha huấn luyện c n huấn luyện mô h nh CHMM biểu diễn dáng b nh thường mà không c n thông tin dáng bệnh lý loại (3) thay đổi mức ngưỡng để đạt mục ti u mong đợi khác Đây kết khả quan ban đ u để tiếp tục phát triển nghi n cứu tương lai với liệu ghi h nh từ bệnh nhân thật, lượng liệu lớn mô tả đặc trưng cải thiện nhằm trích xuất đặc trưng rõ rệt dáng bệnh lý loại VI TÀI LIỆU THAM KHẢO [1] UNFPA “The aging population in Vietnam: current status, prognosis, and possible policy responses”, pp 1-68, 2011 [2] A Ali, K Sundaraj, B Ahmad, N Ahamed, and A Islam “Gait disorder rehabilitation using vision and nonvision based sensors: a systematic review” Bosnian Journal of Basic Medical Sciences, vol 12(3), pp 193–202, 2012 [3] W Pirker and R Katzenschlager “Gait disorders in adults and the elderly: A clinical guide” Wiener klinische Wochenschrift, vol 129(3), pp 1-15, 2016 [4] A Muro-De-La-Herran, B Garcia-Zapirain, and A Mendez-Zorrilla “Gait analysis methods: An overview of wearable and non-wearable systems, highlighting clinical applications” Sensors, vol 14(2), pp.3362-3394, 2014 [5] T Y Liao, S G Miaou and Y R Li “A vision-based walking posture analysis system without markers” 2nd International Conference on Signal Processing Systems, pp 254- 258, 2010 [6] Y R Li, S G Miaou, C K Hung and J T Sese “A gait analysis system using two cameras with orthogonal view” International Conference on Multimedia technology, pp 2841-2844, 2011 [7] P Soda, A Carta, D Formica and E Guglielmelli “A low-cost video-based tool for clinical gait analysis” 31st Annual International Conference of the IEEE EMBS, pp 3979-3982, 2009 [8] T Khan, J Westin and M Dougherty “Motion cue analysis for parkinsonian gait recognition” The Open Biomedical Engineering Journal, vol 7, pp 1-8, 2013 [9] M Nieto-Hidalgo and J M García-Chamizo “Classification of pathologies using a vision based feature extraction” Ubiquitous Computing and Ambient Intelligence (UCAmI 2017), Lecture Notes in Computer Science, vol 10586, pp 265-274, 2017 [10] L U T Hoang, V T Pham and J N Hwang “An effective video-based model for fall monitoring of the elderly” 2017 IEEE International Conference on System Science and Engineering, pp 57-61, 2017 [11] L U T Hoang, S R Ke, J N Hwang, V T Pham and N C Truong “Quasi-periodic action recognition from monocular videos via 3D human models and cyclic HMMs” The 2012 International Conference on Advanced Technologies for Communications, pp 110-113, 2012 [12] C Stauffer and W E L Grimson “Adaptive background mixture models for real-time tracking” IEEE ICCV 1999, pp 246-252, Jun 1999 [13] Z Huang and J Leng “Analysis of Hu's moment invariants on image scaling and rotation” 2nd International Conference on Communication Engineering and Technology, pp 476-480, 2010 [14] “Walk” Địa www.dictionary.com, [truy cập ngày 11/07/2017] Hoàng Uy n Thục, Ngô Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 445 VIDEO-BASED ABNORMAL GAIT DETECTION TO ASSIST HEALTHCARE MONITORING SYSTEMS Hoang Le Uyen Thuc, Ngo Thi Kim Xuyen, Nguyen Thi Thu Thao, Le Thi My Hanh, Hoang Thi My Le ABSTRACT: Abnormal gait detection is an interested research branch in healthcare due to an apparent relation between a patient’s gait and his health status In this paper, we propose a new video-based approach to detect gait abnormalities which may be caused by some diseases by analyzing the side-view walking videos First, cyclic hidden Markov models (CHMMs) are trained to modelize normal gaits based on feature véctơs extracted frame-by-frame from healthy gait video clips The feature véctơ statistically represents the shape of the object by Hu’s moments, and the object is segmented from the image frame by background subtraction based on Gaussian mixture model (GMM) In order to check the status of gait, we convert the sequence of image frames in testing video clip into sequence of feature véctơs in a similar way, then compute the likelihood that a normal walk model can generate this sequence, and finally perform the threshold matching to determine the gait anomaly Experimental results on a simulated pathological video gait database show the effectiveness of our approach in terms of very high accuracy rate and very low observation time Keywords: Abnormal gait detection, video-based, Hu’s moments, cyclic Hidden Markov Model, healthcare monitoring system  ... phương pháp trừ GMM (a) Khung ảnh nền, (b) Chuỗi khung video dáng đi, (c) Chuỗi ảnh mặt nạ kết PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO 440 Trong hệ thống đề xuất,...PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO 438 nhân nhờ camera ghi hình đối tượng Tiếp đến, tín hiệu video dáng truyền đến khối xử lý... mã bảng mã, gán véctơ kiểm tra PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO 442 ký hiệu số từ mã g n Sau tính likelihood mà mơ h nh dáng b nh thường sinh chuỗi ký