Áp dụng độ đo entropy cho bài toán tự động phát hiện hành vi bất thường qua camera

UBND TỈNH BÌNH DƢƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ QUỐC THÔNG ÁP DỤNG ĐỘ ĐO ENTROPY CHO BÀI TOÁN TỰ ĐỘNG PHÁT HIỆN HÀNH VI BẤT THƯỜNG QUA CAMERA CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ BÌNH DƯƠNG - 2022 UBND TỈNH BÌNH DƢƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ QUỐC THƠNG ÁP DỤNG ĐỘ ĐO ENTROPY CHO BÀI TỐN TỰ ĐỘNG PHÁT HIỆN HÀNH VI BẤT THƯỜNG QUA CAMERA CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN HÀ HUY CƯỜNG BÌNH DƯƠNG - 2022 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chƣa đƣợc công bố cơng trình khác Tơi xin cam đoan giúp đỡ cho việc thực Luận văn đƣợc cảm ơn thơng tin trích dẫn Luận văn đƣợc rõ nguồn gốc Học viên thực đề tài i LỜI CẢM ƠN Để hồn thành Luận văn này, xin gửi lời cảm ơn chân thành tới TS Nguyễn Hà Huy Cƣờng Thầy tận tình giảng dạy, hƣớng dẫn giúp tiếp cận việc nghiên cứu Thầy ln tận tâm động viên, khuyến khích dẫn giúp tơi hồn thành đƣợc luận văn Tôi xin đƣợc gửi lời cảm ơn tới TS Hồng Mạnh Hà giúp tơi định hƣớng luận văn Bên cạnh đó, tơi xin gửi lời cảm ơn tới quý Thầy/Cô, bạn sinh viên Viện Sau đại học, Trƣờng Đại học Thủ Dầu Một hỗ trợ trình khảo sát liệu Học viên thực đề tài ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC BẢNG v DANH MỤC HÌNH, ĐỒ THỊ vi DANH MỤC CHỮ VIẾT TẮT viii MỞ ĐẦU CHƢƠNG TỔNG QUAN 1.1 Tổng quan toán phát té ngã 1.2 Entropy toán đo độ bất định 1.2.1 Khái niệm entropy 1.2.2 Ứng dụng độ đo entropy 1.3 Phân lớp Support Vector Machine 1.3.1 Bài toán phân lớp 1.3.2 Bộ phân lớp SVM 12 1.3.3 Bộ phân lớp nhị phân SVM 14 Kết luận chƣơng 15 CHƢƠNG 2.ĐỀ XUẤT ỨNG DỤNG ĐỘ ĐO ENTROPY ĐỂ TÁCH ĐẶC TRƢNG NGÃ TRÊN CAMERA THEO DÕI 19 2.1 Tổng quan toán tách đặc trƣng ngã 19 2.2 Áp dụng độ đo entropy để tách đặc trƣng ngã qua camera theo dõi 20 2.3 Một số kết thực nghiệm 20 Kết luận chƣơng 23 CHƢƠNG 3.ĐỀ XUẤT ÁP DỤNG SVM CHO BÀI TOÁN PHÂN LỚP CÁC VECTOR ĐẶC TRƢNG NGÃ 24 3.1 Bài toán phát ngã dựa phân lớp SVM 24 3.2 Một số thực nghiệm 25 3.2.1 Mô tả phƣơng pháp thực nghiệm 25 3.2.2 Mô tả liệu 27 3.2.3 Kết thực nghiệm 28 Kết luận chƣơng 30 KẾT LUẬN 32 iii TÀI LIỆU THAM KHẢO 33 iv DANH MỤC BẢNG Bảng 3.1 Số lƣợng hình ảnh tập liệu 27 Bảng 3.2 Kết thực nghiệm mơ hình clip 30 Bảng 3.3 Các mơ hình phát hành vi té ngã 31 v DANH MỤC HÌNH, ĐỒ THỊ Hình 1.1 Các pha té ngã Hình 1.2 Đƣờng phân tách hệ trục tọa độ 12 Hình 1.3 Ví dụ đƣơng phân tách 15 Hình 1.4 Dữ liệu phân tách tuyến tính 16 Hình 1.5 Đƣờng phân tách vector hỗ trợ 17 Hình 2.1 Ƣớc lƣợng entropy mức pixel cho 24 khung hình 20 Hình 2.2 Frame đến frame 24 21 Hình 2.3 Entropy từ frame đến frame 24 22 Hình 2.4 Frame 34 đến frame 57 22 Hình 2.5 Entropy từ frame 34 đến frame 57 23 Hình 3.1 Quy trình xây dựng mơ hình phát té ngã 24 Hình 3.2 Code chép file nén zip vào môi trƣờng thực thi 25 Hình 3.3 Code thực thi giải nén file zip môi trƣờng thực thi 25 Hình 3.4 Support Vector Classifier 26 Hình 3.5Đánh giá confusion matrix 26 Hình 3.6 Hình ảnh tập liệu chuẩn bị cho huấn luyện 28 vi Hình 3.7 Đánh giá mơ hình huấn luyện với 50 epoch 29 Hình 3.8 Kết ban đầu mơ hình 29 Hình 3.9 Confusion matrix mơ hình 29 vii DANH MỤC CHỮ VIẾT TẮT TỪ VIẾT TẮT TIẾNG ANH TIẾNG VIỆT SVM Support Vector Machine Máy vector hỗ trợ ANN Artificial Neural Network Mạng neural nhân tạo SRM Structural Risk Minimisation ERM Empirical Risk Minimisation SVC Support Vector Classifier SVR Support Vector Regression viii 3.2.2 Mô tả liệu Tập liệu đầu vào: tập liệu đầu vào đƣợc sử dụng đề tài nghiên cứu đƣợc nhóm nghiên cứu sƣu tầm q trình học tập Tập liệu bao gồm 16.000 hình ảnh đƣợc chia thành lớp phân biệt ‗ngã‘ ‗không ngã‘ Tập liệu đƣợc chia thành tập liệu Tập huấn luyện đƣợc sử dụng cho máy học trích xuất đặc điểm quan trọng hình ảnh chiếm phần lớn liệu gốc Tập xác thực có chức kiểm tra đối chứng với mơ hình đào tạo trình huấn luyện đƣợc diễn Tập kiểm thử dùng để kiểm chứng độ xác sau mơ hình huấn luyện đào tạo có đáp ứng đƣợc yêu cầu hay không Bảng 3.1 Số lƣợng hình ảnh tập liệu Bộ sưu tập Lớp ‗Ngã‘ Tập huấn luyện Tập xác thực 777 1004 Lớp ‗Khơng ngã‘ 10369 3341 Số lƣợng hình ảnh 11146 4345 Tiền xử lý hình ảnh: tiền xử lý bƣớc quan trọng trình tiền xử lý liệu, giúp hình ảnh đƣợc đồng kích thƣớc, chất lƣợng hình ảnh phục vụ cho q trình huấn luyện mơ hình Cần thời gian xử lý hình ảnh để làm đƣợc liệu nhằm làm giảm thời gian đào tạo cải thiện hiệu suất hình ảnh đƣợc giảm kích thƣớc trƣớc đào tạo nhằm giảm chi phí huấn luyện thời gian Cần lọc bỏ hình ảnh khơng liên quan đặc trƣng khó tìm thấy khuất tầm nhìn Q trình tiền xử lý thứ đƣa tồn hình ảnh kích thƣớc cố định giúp cho hình ảnh đồng dễ dàng xử lý q trình đào tạo trích xuất thơng tin 27 Hình 3.6 Hình ảnh tập liệu chuẩn bị cho huấn luyện Làm giàu liệu: làm giàu liệu nhằm tạo mẫu liệu từ liệu có khơng thực đƣợc chụp lại tình thực tế Nhằm tổng qt hóa tình xảy cho phép mơ hình đào tạo hệ đƣợc học hỏi tình rộng Nhóm sử dụng kỹ thuật xử lý ảnh để phục vụ việc tăng cƣờng liệu Cho phép tạo hình ảnh nhân tạo từ nhớ ban đầu (dữ liệu gốc khơng bị ảnh hƣởng nhƣ bị mất) Nó bao gồm thao tác xoay, hình ảnh đƣợc xoay theo gốc khác nhằm mục đích tạo hình Dịch chuyển, hình ảnh đƣợc di chuyển lệch khỏi khung hình Thao tác thực theo chiều ngang chiều dọc Thu phóng, hình ảnh thu phóng phần liệu gốc Crop, hình ảnh đƣợc cắt vùng ảnh sau thay đổi kích thƣớc vùng ảnh kích thƣớc ban đầu Ngồi ra, số kỹ thuật nâng cao tăng cƣờng liệu nhƣ Cutout, hình ảnh thêm pixel màu đen với số lƣợng tùy hình vào vị trí ảnh, với mục đích làm lƣợng thông tin tránh cho việc overfitting liệu đầu vào 3.2.3 Kết thực nghiệm Mơ hình đƣợc đánh giá sơ nhƣ sau: sau trình nghiên cứu huấn luyện mơ hình đào tạo, nhóm có biểu đồ q trình huấn luyện mơ hình đào tạo Nhóm thực 50 vịng lặp Nhƣ sơ đồ, đƣờng biểu đồ màu xanh đại diện cho độ xác mơ hình, đƣờng biểu đồ màu đỏ đại diện cho tỷ lệ huấn luyện 28 mát mơ hình, đƣờng biểu đồ màu xanh biển đại diện cho tỷ lệ xác thực mát mơ hình huấn luyện Hình 3.7 Đánh giá mơ hình huấn luyện với 50 epoch Hình 3.8 Kết ban đầu mơ hình Hình 3.9 Confusion matrix mơ hình 29 Để đánh giá thực tế độ hiệu mơ hình huấn luyện, chúng tơi dựa vào độ đo FP (dƣơng tính giả) FN (âm tính giả) đƣợc mơ tả nhƣ sau: 𝐹𝑃 𝑠ố 𝑙ượ𝑛𝑔 ℎà𝑛ℎ độ𝑛𝑔 𝑘ℎô𝑛𝑔 𝑛𝑔ã 𝑛ℎư𝑛𝑔 đượ𝑐 𝑥á𝑐 𝑛ℎậ𝑛 𝑙à 𝑛𝑔ã 𝑇ổ𝑛𝑔 𝑠ố ℎà𝑛ℎ độ𝑛𝑔 𝑘ℎô𝑛𝑔 𝑛𝑔ã 𝐹𝑁 𝑆ố 𝑙ượ𝑛𝑔 ℎà𝑛ℎ độ𝑛𝑔 𝑛𝑔ã 𝑛ℎư𝑛𝑔 đượ𝑐 𝑥á𝑐 𝑛ℎậ𝑛 𝑙à 𝑘ℎô𝑛𝑔 𝑛𝑔ã 𝑇ổ𝑛𝑔 𝑠ố ℎà𝑛ℎ độ𝑛𝑔 𝑛𝑔ã Chúng tiến hành thu thập 05 clip ghi lại hoạt động đời sống thƣờng ngày Mỗi clip ghi nhận lại hành vi té ngã hành vi sinh hoạt bình thƣờng Chúng tơi sử dụng mơ hình phát hành vi té ngã dựa độ đo Entropy SVM xây dựng để dự đoán hành vi clip có phải hành vi té ngã hay không Thông tin chi tiết số hành động clip độ đo FP, FN, TP, TN, độ xác, độ phủ đƣợc liệt kê chi tiết bảng 3.2 Kết từ bảng 3.2 cho thấy với cách tiếp cận phát hành vi té ngã dựa độ đo Entropy SVM độ xác độ phủ clip đạt lớn 95% Bảng 3.2 Kết thực nghiệm mơ hình clip Số Số hành hành Số động động Số Tổng hành không ngã Độ hành số Độ Clip động ngã FP FN TP TN động hành phủ không xác xác ngã động ngã ghi nhận nhận không ngã ngã #1 25 65 90 3.08 4.00 96.00 96.92 0.97 0.96 #2 75 45 120 2.22 4.00 96.00 97.78 0.98 0.96 #3 70 35 105 2.86 2.86 97.14 97.14 0.97 0.97 #4 50 50 100 4.00 2.00 98.00 96.00 0.96 0.98 #5 47 55 102 1 1.82 2.13 97.87 98.18 0.98 0.98 Dựa vào kết thực nghiệm mơ hình đề xuất clip, chúng tơi đối sánh với kết mơ hình phát hành vi té ngã khác Kết cho thấy độ xác mơ hình đề xuất đạt độ xác tƣơng đối cao đối sánh với 30 mơ hình phát hành vi té ngã khác Các mơ hình phát hành vi té ngã khác đƣợc liệt kê bảng 3.3 Bảng 3.3 Các mơ hình phát hành vi té ngã [16] Cơng bố Năm Đặc tính H Rajabiet al 2015 Muzaffer Aslan et al 2015 Z Bian et al 2015 F Merrouche et al 2016 K G Gunale et al 2016 Foreground extraction through background subtraction (Gaussian mixed models—GMM) and Sobel filter application/ global characterization Human silhouette is segmented using depth information, and curvature scale space (CSS) is calculated and encoded in a Fisher vector/depth characterization Silhouette extraction by using depth information Human body joints identified and tracked with torso rotation/depth characterization Foreground extraction by using the difference between depth frames and head tracking through particle filter/depth characterization Foreground extraction through background subtraction (direct comparison)/global characterization A Y Alaoui et al 2017 Foreground extraction through background subtraction (direct comparison)/global characterization + OF/global characterization Độ xác 81% 88% 95.8% 93% Fall: 90% Not fall: 100% 91% 3.3 Kết luận Trong chƣơng này, luận văn đề xuất cách áp dụng SVM vào toán phát té ngã Các kết thực nghiệm cho thấy độ xác bình qn lớn 95% 31 KẾT LUẬN Luận văn đề xuất giải pháp cho toán tự động phát ngã thơng qua camera giám sát Đó áp dụng độ đo entropy để tách đặc trƣng ngã nhằm tăng độ xác bƣớc phân lớp Áp dụng phân lớp SVM để nhận dạng frame ảnh có ngã Ƣu điểm: Độ xác độ tin cậy đáp ứng yêu cầu Nhƣợc điểm: Độ phức tạp tính tốn lớn tính entropy tồn bề mặt frame ảnh Hƣớng phát triển thời gian tới: Tăng số thực nghiệm để đánh giá xác hơn, cải tiến nhằm giảm độ phức tạp tính tốn, phát triển thành sản phẩm cụ thể 32 TÀI LIỆU THAM KHẢO [1] World Health Organization WHO global report on falls prevention in older age 2008 URL: http://apps.who.int/iris/handle/10665/43811 [2] Noury, N., et al "A proposal for the classification and evaluation of fall detectors." Irbm 29.6 (2008): 340-349 [3] Muhammad Mubashir, Ling Shao, and Luke Seed ―A survey on fall de tection: Principles and approaches‖ Neurocomputing 100.Supplement C (2013) Special issue: Behaviours in video, pp 144–152 [4] Jaynes, E.T Information Theory and Statistical Mechanics Phys Rev 1957, 106, 620–630 [5] Jaynes, E.T Information Theory and Statistical Mechanics II Phys Rev 1957, 108, 171–190 [6] Shannon, C.E A Mathematical Theory of Communication Bell Syst Tech J 1948, 27, 379–423 [7] Cesario, F.J A Primer on Entropy Modeling J Am Plan Assoc 1975, 41, 40–48 [8] Lu, X.; Wang, J.; Li, X.; Yang, M.; Zhang, X An Adaptive Weight Method for Image Retrieval Based Multi-Feature Fusion Entropy 2018, 20, 577 [9] Zhu, S.; Zhu, C.; Wang, W A New Image Encryption Algorithm Based on Chaos and Secure Hash SHA-256 Entropy 2018, 20, 716 [10] Li, B.; Shu, H.; Liu, Z.; Shao, Z.; Li, C.; Huang, M.; Huang, J Nonrigid Medical Image Registration Using an Information Theoretic Measure Based on Arimoto Entropy with Gradient Distributions Entropy 2019, 21, 189 33 [11] Miao, Y.; Wu, J.; Hou, Y.; Wang, L.; Yu, W.; Wang, S Study on Asphalt Pavement Surface Texture Degradation Using 3-D Image Processing Techniques and Entropy Theory Entropy 2019, 21, 208 [12] Nagy, S.; Sziová, B.; Pipek, J On Structural Entropy and Spatial Filling Factor Analysis of Colonoscopy Pictures Entropy 2019, 21, 256 [13] Vapnik, Vladimir, Steven Golowich, and Alex Smola "Support vector method for function approximation, regression estimation and signal processing." Advances in neural information processing systems (1996) [14] Gunn, Steve R., Martin Brown, and Kev M Bossley "Network performance assessment for neurofuzzy data modelling." International Symposium on Intelligent Data Analysis Springer, Berlin, Heidelberg, 1997 [15] Ha, Hoang Manh, et al "Entropy Measurement to Extract the Signification of Abnormal Activity from Camera‘s Frames and its Application for Fall Detection." Thu Dau Mot University Journal of Science, 2020 [16] Gutiérrez, Jesús, Víctor Rodríguez, and Sergio Martin "Comprehensive review of vision-based fall detection systems." Sensors 21.3 (2021): 947 34 35 36 37 38 39 40 41