Phân tích dáng đi dựa trên thông tin độ sâu

Bài viết đề xuất giải pháp nhận dạng hành vi té ngã thông qua ảnh chiều sâu thu nhận được từ thiết bị Kinect do Microsoft sản xuất. Quá trình xử lý bao gồm các bước: thu nhận các đặc trưng về khung xương và đường biên cơ thể thông qua việc sử dụng Kinect; tính toán các thông số đặc trưng gồm vị trí khớp và tốc độ khớp; so sánh các giá trị thông số đặc trưng đó với các giá trị ngưỡng, nếu các đặc trưng đó vượt quá ngưỡng và không tiếp tục có sự biến động lớn, hành vi té ngã được giả định rằng đã xảy ra.

Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX ―Nghiên cứu ứng dụng Công nghệ thông tin (FAIR'9)‖; Cần Thơ, ngày 4-5/8/2016 DOI: 10.15625/vap.2016.00068 PHÂN TÍCH DÁNG ĐI DỰA TRÊN THƠNG TIN ĐỘ SÂU Hồ Viết Hà1, Trần Anh Vũ2, Ngô Văn Sỹ2, Huỳnh Hữu Hưng3, Đặng Văn Đàng4 Trường Cao đẳng Nghề Đà Nẵng Trung Tâm nghiên cứu Điện, Tin học, Tự động hóa miền Trung Trường Đại học Bách khoa, Đại học Đà Nẵng Khoa Công nghệ thông tin, Trường Đại học Cửu Long {viethait, anhvu.tran1504, singo2016}@gmail.com,hhhung@dut.udn.vn, dangvandang@mku.edu.vn TÓM TẮT— Ngày nay, nghiên cứu lĩnh vực thị giác máy tính hỗ trợ nhiều cho cơng tác y tế, đặc biệt nghiên cứu phân tích dáng giúp quan sát bệnh nhân phát sớm số bệnh tật Trong báo đề xuất giải pháp nhận dạng hành vi té ngã thông qua ảnh chiều sâu thu nhận từ thiết bị Kinect Microsoft sản xuất Quá trình xử lý bao gồm bước: (1) thu nhận đặc trưng khung xương đường biên thể thơng qua việc sử dụng Kinect; (2) tính tốn thơng số đặc trưng gồm vị trí khớp tốc độ khớp; (3) so sánh giá trị thông số đặc trưng với giá trị ngưỡng, đặc trưng vượt q ngưỡng khơng tiếp tục có biến động lớn, hành vi té ngã giả định xảy Kết thực nghiệm môi trường thực tế sở liệu MOCAP khung xương cho thấy giải pháp đề xuất mang lại hiệu hứa hẹn Từ khóa— Dáng đi, té ngã, độ sâu, Kinect I GIỚI THIỆU Theo nghiên cứu y tế nay, té ngã nguyên nhân chủ yếu gây chấn thương người cao tuổi trẻ em Kết điều tra tai nạn thương tích Việt Nam năm 2010 cho thấy rằng, việc té ngã nguyên nhân đứng thứ dẫn đến trường hợp tử vong Vì vậy, việc nghiên cứu theo dõi dáng người để kịp thời phát té ngã phát cảnh báo cho người phụ trách chăm sóc trở thành nhu cầu cấp thiết vấn đề quan tâm hàng đầu năm gần Các nghiên cứu thường theo hai hướng chính: hướng thứ sử dụng thiết bị ngoại vi để cảnh báo hướng thứ hai sử dụng hệ thống camera để quan sát, phân tích dáng đi, phát té ngã Hành vi té ngã người mơ tả thay đổi vị trí cách nhanh chóng từ tư đứng hay ngồi sang tư thăng bằng, gần nằm Té ngã hành động khơng kiểm sốt Theo [1], hành vi té ngã chia thành giai đoạn Trong năm gần đây, có nhiều nghiên cứu đề xuất phân thành hai loại, tùy thuộc vào giai đoạn trình té ngã mà nghiên cứu tập trung vào, hai giai đoạn tập trung chủ yếu là: giai đoạn ngã giai đoạn ngã Nghiên cứu [9] sử dụng hệ thống nhiều camera để giám sát đối tượng nhận dạng; thí nghiệm nghiên cứu thực 300 chuỗi video tổng hợp từ nguồn liệu CASIA-B ghi 12 người khỏe mạnh với hướng tự theo góc khác (36o; 54o; 72o; 90o; 108o; 126o), từ xây dựng thư viện dáng người phục vụ cho nghiên cứu phát té ngã G Debart P Karsmakers [10] sử dụng camera đơn để tiến hành quan sát nhận biết dấu hiệu có nguy té ngã bệnh nhân, sau sử dụng mơ hình Support Vector Machine để phân loại đối tượng thành nhóm bình thường nhóm bị té ngã Trong nghiên cứu [3], tác giả kết hợp Kinect máy đo gia tốc để phát té ngã Để phát té ngã, nhóm tác giả nghiên cứu phát đối tượng tiền cảnh (ở đối tượng người) cách sử dụng nhiều kĩ thuật dựa ảnh chiều sâu Trọng tâm người khoảng cách trọng tâm người với Kinect tính tốn Việc xác định té ngã thực dựa thông tin trọng tâm số quy tắc định trước Hiệu suất đem lại phương pháp nghiên cứu khả quan Tuy nhiên, nghiên cứu lại không phân biệt được, đâu té ngã đâu chủ động nằm hay ngồi sàn nhà Ưu điểm hệ thống sử dụng camera khơng cần có thiết bị ngoại vi người người sử dụng, đồng thời thơng tin chuyển động xác định chi tiết kịp thời Với việc Kinect vừa thu nhận ảnh màu camera thơng thường, vừa thu nhận thơng tin ảnh chiều sâu, dựa vào liệu để theo vết khung xương đối tượng Do đó, Kinect dùng nghiên cứu để phát té ngã Nội dung trình bày sau: phần II đề cập chi tiết giải pháp nhận dạng té ngã đề xuất; kết thực nghiệm trình bày phần III; phần IV so sánh giải pháp đề xuất với với vài phương pháp có cuối phần V kết luận đánh giá giải pháp II GIẢI PHÁP ĐỀ XUẤT Trong nghiên cứu này, định nghĩa té ngã trình mà vận tốc trung bình khớp thể đạt đến mức lớn ngưỡng định trước Điều đưa dựa thực tế hành vi bình thường người ngồi, nằm diễn với tốc độ chậm rãi (so với ngưỡng đưa ra) Dữ liệu vào hệ thống khớp khung xương thu nhận qua Kinect, dựa khớp xương này, đưa thuật toán để phát té ngã Thuật PHÂN TÍCH DÁNG ĐI DỰA TRÊN THƠNG TIN ĐỘ SÂU 554 tốn sử dụng liệu vị trí khớp Thuật tốn thứ hai tính vận tốc khớp theo hướng vng góc với mặt phẳng sàn, vận tốc trung bình tính tất khớp chọn nhiều khung hình A Đặc trưng khung xương Hình ảnh khung xương Kinect nhận diện bao gồm 20 vị trí khớp thể Hình Hình Vị trí khớp khung xương Kinect Tọa độ 3D khớp Kinect biểu diễn thông số x, y, z tương ứng với chiều ngang, chiều dọc chiều sâu Hình Hình Hệ tọa độ không gian Kinect Bài báo sử dụng tất 20 khớp xương Kinect cung cấp để đánh giá khả xảy té ngã B Thuật toán tính vị trí khớp Kinect SDK xử lý cung cấp cho liệu với tốc độ 30 khung hình giây Mỗi khung hình xử lý giải pháp đề xuất xác định hình có xuất việc té ngã hay khơng Đối với khớp theo dõi khung xương, có mẫu liệu tương ứng thu thập từ Kinect: tọa độ x, y, z khớp thơng tin theo dõi khớp Các tọa độ x, y, z tọa độ Descartes thiết bị Kinect đặt gốc tọa độ Ngoài thông tin khớp, thông tin mặt phẳng sàn nhà thu lại Kinect cung cấp thông tin mặt phẳng sàn nhà thông qua phương trình (1) a, b c tọa độ vector pháp tuyến mặt phẳng sàn nhà, d xác định công thức d = – ax0 – by0 – cz0 (2) với x0, y0, z0 tọa độ điểm xác định nằm mặt phẳng sàn nhà Từ phương trình mặt phẳng sàn, ta tính khoảng cách từ khớp có tọa độ (x, y, z) đến mặt phẳng sàn nhà cơng thức (3) Hình Xác định vị trí khớp khoảng cách từ khớp đến mặt phẳng sàn nhà Hồ Viết Hà, Trần Anh Vũ, Ngô Văn Sỹ, Huỳnh Hữu Hưng, Đặng Văn Đàng 555 Thuật tốn tính tốn khoảng cách khớp xương chọn theo dõi Kinect Nếu khoảng cách từ khớp xương đến mặt phẳng sàn nhà nhỏ giá trị ngưỡng cho trước thuật tốn kết luận đối tượng theo dõi bị té ngã Hình Khoảng cách từ khớp đến mặt phẳng sàn nhà ngưỡng C Thuật tốn tính vận tốc khớp Kinect cung cấp thơng tin khung hình với tốc độc 30 khung hình giây Với khung hình, thơng tin thời gian vị trí khớp ứng với khung hình lưu giữ Chúng tơi giả định Kinect đặt vị trí cố định có góc độ khơng đổi so với mặt phẳng sàn suốt trình quan sát Thay sử dụng phương trình mặt phẳng sàn cung cấp Kinect, thuật tốn tính tốn mặt phẳng sàn riêng Theo nghiên cứu [4] mặt phẳng sàn nhà xác định theo phương trình (4) với a = 0, b = cos(Ɵ), c = sin(Ɵ), d = 3, Ɵ góc tạo Kinect mặt phẳng sàn Khoảng cách từ khớp đến mặt phẳng sàn nhà xác định theo công thức (5) Với hai khung hình liên tiếp i i+1, vận tốc khớp j thời điểm xác định dựa phương trình (6) với di khoảng cách từ khớp j đến mặt phẳng sàn nhà xác định thời gian ti khung hình thứ i, di+1 khoảng cách từ khớp j đến mặt phẳng sàn nhà xác định thời gian ti+1 khung hình thứ i+1, vj vận tốc khớp cần tính Vận tốc trung bình khớp j n khung hình liên tiếp Kinect thu nhận tính theo cơng thức (7) Cuối cùng, ta tính vận tốc khớp trung bình từ vận tốc trung bình thu 20 khớp sau: (3.5) Nếu vận tốc trung bình khớp vfull lớn ngưỡng, việc té ngã xác định D Quy trình nhận dạng hành vi té ngã Hệ thống phát hành vi té ngã dựa thông tin đặc trưng khung xương có quy trình thực hình     Bước 1: Từ hình ảnh màu hình ảnh chiều sâu thu nhận qua Kinect, hệ thống tính tốn giá trị mặt phẳng sàn nhà thu nhận khớp xương khung xương đối tượng Bước 2: Từ phương trình đặc trưng mặt phẳng sàn nhà khung xương trích xuất được, giá trị khoảng cách D khớp đến mặt phẳng sàn nhà xác định Nếu D thay đổi bất thường tiếp tục tính tốn vận tốc trung bình vm thay đổi Bước 3: Tính tốn vận tốc trung bình khớp dựa n khung hình liên tiếp, sau tính vận tốc trung bình tồn khớp xương theo dấu So sánh kết thu với giá trị vận tốc ngưỡng Nêu vfull lớn ngưỡng kết luận hành vi té ngã Bước 4: Kết luận dáng đối tượng theo dõi dựa thông tin đặc trưng thu Trong trình thực thi, hệ thống liên tục theo dõi tư người tầm nhìn camera, đồng thời tính tốn vận tốc trung bình khớp số khung hình liên tiếp gần Hệ thống dừng theo dõi đưa cảnh báo vận tốc đạt giá trị vượt ngưỡng định trước với giả định việc té ngã xảy 556 PHÂN TÍCH DÁNG ĐI DỰA TRÊN THƠNG TIN ĐỘ SÂU Hình Quy trình phát té ngã dựa đặc trưng khung xương III KẾT QUẢ THỰC NGHIỆM Hệ thống thử nghiệm xây dựng tảng ngơn ngữ lập trình C# thực với hỗ trợ thiết bị Kinect 1.0 Việc thực nghiệm tiến hành mơi trường phịng bình thường Hệ thống thử nghiệm khắc phục tình trạng nhầm lẫn, phân biệt hành vi bình thường người hành vi té ngã Khi có thay đổi vị trí khớp xương khơng kèm với tốc độ thay đổi lớn, hệ thống khơng đánh giá hành vi té ngã Hệ thống thử nghiệm với góc nhìn khác nhau: góc nhìn từ phía trước, từ phía sau, từ bên trái từ bên phải Với góc nhìn này, phát có thay đổi vị trí khớp xương, hệ thống kiểm tra xem thay đổi có kèm với tốc độ thay đổi lớn hay khơng, có, hệ thống kết luận có hành vi té ngã, ngược lại, hành vi bình thường đối tượng Vận tốc trung bình thể tính 10 khung hình liên tiếp, tương ứng với xấp xỉ 1/3 giây (tốc độ ghi hình Kinect xấp xỉ 30 khung hình giây) Vận tốc ngưỡng thiết lập hệ thống 2.5 m/s (gần gấp đơi vận tốc người bình thường) Hình Phát hành vi té ngã góc nhìn từ phía trước Hồ Viết Hà, Trần Anh Vũ, Ngơ Văn Sỹ, Huỳnh Hữu Hưng, Đặng Văn Đàng 557 Hình Phát hành vi té ngã góc nhìn từ phía sau Hình Phát hành vi té ngã góc nhìn từ bên trái Hình Phát hành vi té ngã góc nhìn từ bên phải Để thử nghiệm hệ thống này, báo thử nghiệm khác nhiều lần hành vi góc nhìn khác Kết thu cho thấy hệ thống có khả phân biệt hành vi té ngã với hành vi bình thường nằm ngồi đối tượng Bên cạnh kết trực tiếp thu được, chúng tơi cịn sử dụng sở liệu khung xương MOCAP [15] để kiểm thử hệ thống thu kết sau Bảng Kết thử nghiệm với liệu MOCAP Tư kiểm thử Nằm Ngồi Ngã (góc nhìn trước) Ngã (góc nhìn sau) Ngã (góc nhìn trái) Ngã (góc nhìn phải) Số liệu thử nghiệm 127 118 136 130 125 158 Tỉ lệ nhận dạng xác 100% 100% 93.4% 95.4% 96% 94.3% Bảng So sánh hệ thống triển khai với hệ thống có Hệ thống triển khai Kepski, M and B Kwolek [3] Phân biệt nằm/ ngồi với té ngã X Không nhận dạng người không hoạt động té ngã X X Nhận dạng nhiều góc nhìn X X Nhận dạng bị khuất phần nhỏ thể X Một số dạng té ngã bị hệ thống bỏ qua (nhận dạng sai) vận tốc ngã lớn, với tư q trình ngã gây khó khăn cho việc xác định vị trí khớp thể, lúc vị trí khớp nội suy từ quỹ đạo chuyển động trước Điều khiến cho hệ thống không phát thay đổi thực vị trí khớp, dẫn đến việc vận tốc trung bình thể khơng có nhiều biến đổi Hạn chế giải sử dụng hệ thống nhiều camera nhằm đảm bảo tồn camera xác định vị trí khớp thời điểm PHÂN TÍCH DÁNG ĐI DỰA TRÊN THÔNG TIN ĐỘ SÂU 558 IV KẾT LUẬN Bài báo trình bày phương pháp nhận dạng té ngã dựa liệu khung xương xác định ảnh độ sâu Microsoft Kinect Kết thực nghiệm cho thấy giải pháp đề xuất mang lại hiệu hứa hẹn bối cảnh nhà Ngồi ra, giải pháp đề xuất tính hợp vào hệ thống giám sát sử dụng Kinect, chăm sóc sức khỏe tự động, cơng cụ để theo dõi phân tích dáng người để phát hành vi té ngã người chăm sóc đưa cảnh báo kịp thời có cố Điểm hạn chế giải pháp hệ thống chưa đánh giá xác số hành vi có tốc độ thay đổi cao nhảy nhót, chạy tốc độ cao Trong tương lai, giải pháp đề xuất cải tiến cách kết hợp liệu khung xương liệu đường biên thể để xây dựng mơ hình 3D đối tượng cần theo dõi, từ thu kết xác phục vụ cho việc đánh giá hành vi chăm sóc sức khỏe có liên quan đến dáng người LỜI CẢM ƠN Nghiên cứu Dự án UK – ASEAN Research Hub, Viện Nghiên cứu Đào tạo Việt - Anh, Đại học Đà Nẵng tài trợ (07/HĐ-UARH) TÀI LIỆU THAM KHẢO [1] N, N , et aI , “A proposal for the classification and evaluation of fall detectors”, Biomed Eng Res (IRBM), 29(6): pp.340-349, 2008 [2] Rougier, C , et al., “Fall Detection from Depth Map Video Sequences”, in ICOST, pp 121-128, 2011 [3] Kepski, M and B Kwolek, “Fall Detection on Embedded Platform Using Kinect and Wireless Accelerometer”, in ICCHP2012, pp.407-414, 2012 [4] Kawatsu, c., Li, and C Chung, “Development of a Fall Detection System with Microsoft Kinect”, in Robot Intelligence Technology and Applications, pp.623-630, 2012 [5] Zoran Zivkovic, “Improved Adaptive Gaussian Mixture Model for Background Subtraction”, In Proc ICPR, pp.28-31, 2004 [6] Muhammad Jamil Khan and Hafiz Adnan Habib, “Video Analytic for Fall Detection from Shape Features and Motion Gradients”, WCECS 2009, San Francisco, USA, pp.20-22, 2009 [7] Chen, M., Huang, B., & Xu, Y., “Human Abnormal Gait Modeling via Hidden Markov Model,” In Proceedings ofInternational Conference on Information Acquisition 2007 (ICIA'07), IEEE, pp 517-522, 2007 [8] Greene, B R., Donovan, A O., Romero-Ortuno, R., Cogan, L., Scanaill, C N., & Kenny, R A., “Quantitative Falls Risk Assessment using the Timed Up and Go Test,” IEEE Transactions on Biomedical Engineering, 57(12), pp 2918-2926, 2010 [9] Goffredo, M., Bouchrika, I., Carter, J N., & Nixon, M S, “Performance analysis for gait in camera networks”, In Proceedings of the 1st ACM workshop on Analysis and retrieval of events/actions and workflows in video streams, ACM, pp 73-80, 2008 [10] Debard, G., Karsmakers, P., Deschodt, M., Vlaeyen, E., Van den Bergh, J., Dejaeger, E., & Vanrumste, B, “Camera based fall detection using multiple features validated with real life video”, In Workshop Proceedings of the 7th International Conference on Intelligent Environments, vol 10, pp 441-450, 2011 [11] Clark, R A., Pua, Y H., Bryant, A L., & Hunt, M A., “Validity of the Microsoft Kinect for Providing Lateral Trunk Lean Feedback during Gait Retraining,” Gait & posture, Elsevier, 38(4), pp 1064-1066, 2013 [12] Nguyen, H A., Auvinet, E., Mignotte, M., de Guise, J A., & Meunier, J., “Analyzing Gait Pathologies using a Depth Camera,” In Proceedings of Annual International Conference of the IEEE on Engineering in Medicine and Biology Society (EMBC), IEEE, pp 4835-4838, 2012 [13] Stone, E E., & Skubic, M., “Passive in-home Measurement of Stride-to-Stride Gait Variability Comparing Vision and Kinect Sensing,” 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, IEEE, Boston, Massachusetts, pp 6491-6494, 2011 [14] Thi-Thanh-Hai Tran, Thi-Lan Le An analysis on human fall detection using skeleton from Microsoft Kinect IEEE Bordeaux, France, pp 484 – 489, 2014 [15] http://mocap.cs.cmu.edu/info.php GAIT ANALYSIS USING DEPTH INFOMATION Ho Viet Ha, Tran Anh Vu, Ngo Van Sy, Huynh Huu Hung, Dang Van Dang AbSTRACT – Nowaday, the research in the field of computer vision supports a lot for public health, especially the gait analysis help observe the patient and can detect a disease early In this paper we propose behavioral recognition solution falls through the depth image acquired by the Microsoft Kinect device Treatment process comprising the steps of: (1) acquire the characteristics of the boundary frame and body through the use of Kinect; (2) calculate the characteristic parameters including location and speed joints joints; (3) comparing the characteristic parameter value with the threshold value which, if it exceeds the threshold characteristic and not continue to have large fluctuations, the behavior falls is assumed that happened Experimental results in real environment and the database of the skeleton suggests MOCAP proposed solutions bring promising results  ... định vị trí khớp thời đi? ??m PHÂN TÍCH DÁNG ĐI DỰA TRÊN THƠNG TIN ĐỘ SÂU 558 IV KẾT LUẬN Bài báo trình bày phương pháp nhận dạng té ngã dựa liệu khung xương xác định ảnh độ sâu Microsoft Kinect... trị vượt ngưỡng định trước với giả định việc té ngã xảy 556 PHÂN TÍCH DÁNG ĐI DỰA TRÊN THƠNG TIN ĐỘ SÂU Hình Quy trình phát té ngã dựa đặc trưng khung xương III KẾT QUẢ THỰC NGHIỆM Hệ thống thử...PHÂN TÍCH DÁNG ĐI DỰA TRÊN THƠNG TIN ĐỘ SÂU 554 toán sử dụng liệu vị trí khớp Thuật tốn thứ hai tính vận tốc khớp theo