Phát hiện đối tượng chuyển động sử dụng camera toàn hướng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Phát đối tượng chuyển động sử dụng camera toàn hướng NGUYỄN ANH DUY Ngành Kỹ thuật Y sinh Giảng viên hướng dẫn: TS Nguyễn Việt Dũng Viện: Điện tử - Viễn thông HÀ NỘI, 2021 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Phát đối tượng chuyển động sử dụng camera toàn hướng NGUYỄN ANH DUY Ngành Kỹ thuật Y sinh Giảng viên hướng dẫn: TS Nguyễn Việt Dũng Chữ ký GVHD Viện: Điện tử - Viễn thơng HÀ NỘI, 2021 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Anh Duy Đề tài luận văn: Phát đối tượng chuyển động sử dụng camera toàn hướng Chuyên ngành: Kỹ thuật Y sinh Mã số SV: CB180182 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 22/4/2021 với nội dung sau: - Điều chỉnh lại vị trí số mục luận văn cho phù hợp - Thống lại tên cụm từ sử dụng luận văn Ngày Giáo viên hướng dẫn tháng năm 2021 Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CẢM ƠN Đầu tiên em xin gửi lời cảm ơn chân thành đến quý thầy, cô Viện Điện tử - Viễn thông, trường Đại Học Bách Khoa Hà Nội Những người hết lịng dìu dắt tận tình, truyền đạt cho em kiến thức kinh nghiệm quý báu suốt thời gian em học tập trường Đặc biệt em xin trân trọng cảm ơn Thầy giáo, TS Nguyễn Việt Dũng, Người tận tình bảo hết lịng giúp đỡ em hoàn thành luận văn Xin trận trọng cảm ơn! Hà Nội, ngày tháng Tác giả năm 2021 Nguyễn Anh Duy MỤC LỤC MỤC LỤC i DANH MỤC BẢNG ii DANH MỤC HÌNH ẢNH iii CHƯƠNG TỔNG QUAN 1.1 Nhu cầu thực tiễn lý chọn đề tài 1.2 Chấn thương ngã người cao tuổi 1.3 Hệ thống giám sát 1.4 Các khái niệm 1.4.1 Camera toàn hướng so với camera truyền thống 1.4.2 Các giải pháp ngày phát triển 1.4.3 Mắt cá so với đa cảm biến CHƯƠNG PHÂN TÍCH THIẾT KẾ HỆ THỐNG 29 2.1 Các nghiên cứu liên quan 29 2.2 Phương pháp đề xuất 32 2.2.1 Phép biến đổi từ hệ tọa độ trục sang tọa độ decarte 34 2.2.2 Thuật tốn xóa hình ảnh 35 2.2.3 Trích xuất đặc trưng 39 2.2.4 Các phương pháp nhận dạng phân loại hình ảnh 39 CHƯƠNG XÂY DỰNG GIẢI PHÁP THỰC HIỆN 42 3.1 Kịch thử nghiệm 42 3.2 Các công cụ sử dụng 43 3.3 Kết nhận xét 43 3.3.1 Xóa hình ảnh 43 3.3.2 Nhận dạng phân loại 53 TÀI LIỆU THAM KHẢO 61 i DANH MỤC BẢNG Bảng Dải thơng số đề xuất cho phương pháp xóa hình ảnh 47 Bảng Kết mục tiêu sử dụng phương pháp xóa khác 48 Bảng 3 Kết mục tiêu ngồi với camera treo tường sử dụng phương pháp xóa khác 49 Bảng Kết mục tiêu ngất xỉu với camera treo tường sử dụng phương pháp xóa khác 50 Bảng Kết 02 mục tiêu có hình ảnh chồng lên với camera treo trần sử dụng phương pháp xóa khác 51 Bảng Độ xác nhận dạng 60 ii DANH MỤC HÌNH ẢNH Hình 1.1 Biểu đồ số ca cấp cứu Hình 1.2 Cảm biến hình ảnh đơn Hình 1.3 a) Camera tồn hướng phát triển Giáo sư Shree K Nyar b) Camera thơng thường với gương hyperbol c) Ống kính O-360 d) ODVS từ đại học Wakayama Hình 1.4 a) Hệ thống trực giao b) Hệ thống phối cảnh 12 Hình 1.5 So sánh loại hình chiếu khác a) dọc; b) ngang; c) góc 16 Hình 1.6 a) Mô tả chuẩn bị hệ thống với camera thông thường giá giữ gương b) vị trí cài đặt thấu kính camera 17 Hình 1.7 Hệ quy chiếu khơng gian vật thể hệ quy chiếu mặt phẳng hình ảnh 20 Hình 1.8 Điểm 20 Hình 1.9 Mơ hình ảnh camera toàn cảnh trung tâm với gương hypebol 23 Hình 1.10 Trường dọc vùng nhìn 24 Hình 1.11 Góc chiếu tia qua tâm gương 26 Hình 1.12 Mơ hình ảnh hệ thống catadioptric không tâm 27 Hình 2.1 Sơ đồ khối thuật tốn xử lý hình ảnh hệ thống “Fallert” 29 Hình 2.2 Sơ đồ khối phương pháp đào tạo a) nhận dạng người b) nhận dạng cố ngã 31 Hình 2.3 Sơ đồ khối phương pháp đề xuất 32 Hình 2.4 Sơ đồ khối thể bước xử lý hình ảnh thu 33 Hình 2.5: Biến đổi tháo cuộn trịn đơn giản 34 Hình 3.1 Sơ đồ bố trí phịng dàn dựng kịch 42 Hình 3.2: Kết sau chuyển đổi không gian màu sử dụng làm mờ Gaussian (Gaussian Blur) a) Hình ảnh ban đầu b) Chuyển đổi sang hệ màu xám c) Sau sử dụng Guassian Blur 43 Hình 3.3: Hình ảnh sau xóa (ảnh ban đầu – sử dụng GMG – MOG – MOG2 – KNN 44 Hình 3.4: Hình ảnh sau loại bỏ bóng a) Ảnh ban đầu b) Ảnh trước loại bỏ bóng c) Sau loại bỏ bóng 44 Hình 3.5: Sơ đồ khối bước xử lý xóa 45 iii Hình 3.6 Giá trị tham số history: trái: history = 100, giữa: history = 300, phải: history = 500 46 Hình 3.7 Hình dạng kernel: a) vuông, b) chữ thập, c) elip 46 Hình 3.8 Kích thước kernel: a) x 1, b) x 5, c) 11 x 11 46 Hình 3.9 a) Iterations = 1, b) Iterations = 47 Hình 3.10 Tham số ngưỡng bóng: a) ảnh chưa lọc ngưỡng, b) ngưỡng = 200, c) ngưỡng = 100 47 Hình 3.11 Kết kịch sử dụng phương pháp xóa GMG MOG - MOG2 - KNN 48 Hình 3.12 Ảnh dewrap 53 Hình 3.13 R = 70 54 Hình 3.14 R = 50 54 Hình 3.15 R = 90 54 Hình 3.16 Ví dụ đường viền chia khung hình để xử lý dựa bán kính R 55 Hình 3.17 Xử lý vùng Panorama 55 Hình 3.18 Xử lý vùng Fisheyes 55 Hình 3.19 Đối tượng phát hiện: vùng (ảnh trái), vùng (ảnh phải) camera toàn hướng 56 Hình 3.20 Đường viền (ảnh trái), Đường kẻ phù hợp với đường viền (ảnh giữa), Đường viền bị xoay (ảnh phải) 56 Hình 3.21 Nhận dạng đối tượng bị ngã 57 Hình 3.22 Nhận dạng đối tượng ngồi 57 Hình 3.23 Nhận dạng đối tượng đứng 58 Hình 3.24 Khơng nhận dạng đối tượng 58 Hình 3.25 Nhận dạng đối tượng rửa tay thành đứng 59 Hình 3.26 Nhận dạng đối tượng mở cửa thành ngồi 59 iv CHƯƠNG TỔNG QUAN 1.1 Nhu cầu thực tiễn lý chọn đề tài Sự cải thiện việc chăm sóc sức khỏe thập kỷ qua dẫn đến tỷ lệ tử vong thấp sống lâu hơn, nhiều người có tuổi thọ dài 100 năm Tuy nhiên, dân số già đòi hỏi nhiều điều chỉnh kinh tế xã hội, đặc biệt lĩnh vực lao động, lương hưu viện chăm sóc sức khỏe Sự tăng trưởng dự kiến người cao tuổi dẫn đến tỷ lệ số người cao tuổi nhiều người trẻ tuổi, với đó, chi phí chăm sóc sức khỏe tăng cao, với số lượng người trẻ tuổi giảm, nhân viên điều dưỡng giảm, nhiều người cao tuổi khơng chăm sóc sức khỏe đầy đủ Việc dẫn đến xu hướng dịch vụ chăm sóc người cao tuổi chuyển từ viện chăm sóc sức khỏe tập trung (viện dưỡng lão) sang chăm sóc sức khỏe nhà Bên cạnh lợi ích tài chính, người cao tuổi trì độc lập họ, cho phép họ sống mơi trường gia đình họ Để đáp ứng chuyển dịch cần có hệ thống cơng nghệ cung cấp thơng tin cần thiết cho việc chăm sóc sức khỏe đầy đủ Các hệ thống giám sát cải thiện chất lượng sống cho người cao tuổi trì hỗn thời điểm chuyển sang sở đắt tiền 1.2 Chấn thương ngã người cao tuổi Một vấn đề phổ biến toàn giới, gia tăng dân số già, chấn thương ngã người cao tuổi Khoảng 30% người từ 65 tuổi trở lên sống cộng đồng 50% người sống sở chăm sóc nội trú viện dưỡng lão bị ngã hàng năm, khoảng nửa số người rơi vào tình trạng nhiều lần [1] Mặc dù tất cú ngã dẫn đến chấn thương, khoảng 20% cần chăm sóc y tế, 5% dẫn đến gãy xương chấn thương nghiêm trọng khác, chẳng hạn chấn thương nặng đầu, biến dạng khớp trật khớp, phát sinh vết bầm tím, va chạm rách mô mềm 5–10% số ca phát sinh Tỷ lệ phần trăm tăng gấp đơi phụ nữ từ 75 tuổi trở lên (xem Hình 1.1) [2] Chấn thương nguyên nhân gây tử vong đứng hàng thứ năm người cao tuổi, hầu hết chấn thương gây tử vong liên quan đến ngã Ngã chiếm 80% số ca nhập viện liên quan đến chấn thương người 65 tuổi Một cú ngã chấn thương liên quan, chí nỗi sợ hãi hậu chúng, chẳng hạn khơng cịn khả tiếp xúc xã hội, tính độc lập tự tin, cần đưa vào sở chăm sóc dài hạn, gây trầm cảm lo lắng nghiêm trọng Hình 1.1 Biểu đồ số ca cấp cứu Các yếu tố rủi ro Gần nửa số vụ té ngã người cao tuổi diễn nhà họ Có nhiều yếu tố khác làm tăng khả xảy cố Do lực tốc độ di chuyển giảm dần nên việc giữ thăng cho thể khó Bên cạnh đó, thời gian phản ứng giảm khiến người cao tuổi khơng thể phán đốn kịp thời tình nguy hiểm Hầu hết người cao tuổi ngã vấp va chạm vào đồ vật Các yếu tố rủi ro chia thành yếu tố bên bên Các yếu tố rủi ro nội sinh: + Sinh lý + Thần kinh + Bệnh lý Các yếu tố rủi ro ngoại sinh: a) Các kết kịch số Hình 3.11 Kết kịch sử dụng phương pháp xóa GMG - MOG - MOG2 - KNN Bảng Kết mục tiêu sử dụng phương pháp xóa khác Video vào đầu Kết mục Camera tiêu nhận dạng (camera treo tường) Hành động GMG Kém Camera treo tường MOG Hiệu suất việc phát Đi Trung bình 48 MOG2 Tốt KNN Tốt Bảng 3 Kết mục tiêu ngồi với camera treo tường sử dụng phương pháp xóa khác Video vào đầu Kết mục Camera tiêu nhận dạng Hành động Hiệu suất việc phát GMG Rất MOG Tốt Camera treo tường MOG2 KNN Ngồi Trung bình Tốt 49 Bảng Kết mục tiêu ngất xỉu với camera treo tường sử dụng phương pháp xóa khác Video vào đầu Kết mục Camera tiêu nhận dạng Hành động Hiệu suất việc phát GMG Rất MOG Tốt Camera treo trần Ngất xỉu MOG2 Tốt KNN Tốt 50 b) Các kết kịch số Bảng Kết 02 mục tiêu có hình ảnh chồng lên với camera treo trần sử dụng phương pháp xóa khác Kết mục Camera tiêu nhận dạng Video vào Hành động đầu GMG Kém MOG Camera treo trần MOG2 KNN Hiệu suất việc phát 02 Mục tiêu có hình ảnh chồng lên Kém Kém Kém 51 c) Một số trường hợp xấu khác Vấn đề Đứng rìa Góc nhìn panorama Góc nhìn tồn hướng Cách khắc phục Sử dụng góc nhìn Omni Đứng cạnh cửa Tối ưu thuật toán trừ Đứng nơi sáng Sử dụng không gian màu khác Đối tượng bị che vật Sử dụng ảnh omni 52 3.3.1.3 Kết luận Sau so sánh phương pháp trừ GMG, KNN, MOG, MOG2, cho thấy sử dụng thuật toán KNN cho kết phát tiền cảnh với độ xác cao MOG2 cho thấy kết khả quan Thời gian xử lý không ghi lại, nhiên MOG2 nhanh KNN, điều xem xét để xử lý theo thời gian thực Đánh giá hiệu GMG MOG MOG2 KNN Phát đối tượng chuyển động √ √ √ √ Thích ứng thay đổi cường độ ánh sáng đột ngột x x x x Phát đối tượng không hoạt động x x x √ Loại bỏ bóng x x √ √ Phân biệt đối tượng chồng x x x x 3.3.2 Nhận dạng phân loại 3.3.2.1 Thực Độ phân giải video 640x480 pixel Để khử cong vênh tồn hướng, chúng tơi đạt tốc độ khung hình 10 FPS kết tốt, Hình 3.12 Hình 3.12 Ảnh dewrap 53 Như chứng minh trước đó, K-Nearest Neighbors (KNN) cho hiệu suất loại bỏ đối tượng tốt so với Mixture-of-Gaussian (MOG), MOG2 Geometric MultiGrip (GMG) Do đó, phần này, KNN sử dụng làm phương pháp xóa 3.3.2.2 Thực Như mơ tả, đối tượng phát nằm bên vịng trịn bán kính cố định tâm khung hình tồn hướng ban đầu, xử lý thêm chế độ xem toàn cảnh phần bên ngồi nơi xuất Bằng cách kiểm tra giá trị khác bán kính hình trịn tâm, bán kính 0,145xR với R bán kính khung chọn khoảng 70 pixel Hình 3.19 cho thấy đối tượng phát đường trang bị cho đường viền chúng trường hợp Trong Hình 3.20 hình minh họa phóng to đường viền đối tượng, đường thẳng vừa vặn hộp giới hạn xoay Hình 3.14 R = 50 Hình 3.13 R = 70 Hình 3.15 R = 90 54 Hình 3.16 Ví dụ đường viền chia khung hình để xử lý dựa bán kính R Hình 3.17 Xử lý vùng Panorama Hình 3.18 Xử lý vùng Fisheyes 55 Hình 3.19 Đối tượng phát hiện: vùng (ảnh trái), vùng (ảnh phải) camera tồn hướng Hình 3.20 Đường viền (ảnh trái), Đường kẻ phù hợp với đường viền (ảnh giữa), Đường viền bị xoay (ảnh phải) 56 3.3.2.3 Kết Hình 3.21 Nhận dạng đối tượng bị ngã Hình 3.22 Nhận dạng đối tượng ngồi 57 Hình 3.23 Nhận dạng đối tượng đứng Một số kết nhận dạng nhầm: Hình 3.24 Khơng nhận dạng đối tượng 58 Hình 3.25 Nhận dạng đối tượng rửa tay thành đứng Hình 3.26 Nhận dạng đối tượng mở cửa thành ngồi Độ xác việc nhận dạng ngã không ngã xác nhận chéo 10 lần miêu tả Bảng Rõ ràng DT cho độ xác độ lệch chuẩn cao Nó chứng minh ý tưởng luận án việc kết 59 hợp chế độ xem toàn cảnh phát ngã cách sử dụng video tồn hướng Bảng Độ xác nhận dạng DT KNN SVM Naive 78.03 75.51 73.30 75.99 Ảnh toàn hướng Phương R=50 91.15±2.10 85.34±1.85 87.38±1.96 33.32±0.30 pháp đề xuất R=70 92.49±1.50 83.78±2.62 85.89±2.71 35.21±0.20 R=100 78.75±6.00 73.55±6.31 75.76±6.55 18.73±5.76 Mặc dù kết trung bình cao, phương pháp đề xuất không hoạt động tốt đối tượng đứng gần vùng sáng đối tượng mở đóng cửa Đây hướng nghiên cứu tương lai luận án Như luận án đề xuất cách tiếp cận để phát ngã video toàn hướng cách kết hợp chế độ xem toàn cảnh toàn hướng So với nghiên cứu trước đây, phương pháp luận án xử lý cách đáng tin cậy nhược điểm biến dạng toàn hướng áp dụng phương pháp phát thông thường giải vấn đề thông tin quan trọng so với phương pháp hiệu chuẩn tồn hướng thơng thường Phương pháp đề xuất đạt kết phân loại khả quan chế độ xem toàn cảnh toàn hướng Tuy nhiên, cách tiếp cận nhạy cảm với khả phát nhiều đối tượng tượng tắc thay đổi đột ngột độ chiếu sáng Kết nghiên sử dụng để nghiên cứu thêm camera tồn hướng với tối ưu hóa nữa, sử dụng cách đáng tin cậy cho hệ thống giám sát toàn hướng thời gian thực 60 TÀI LIỆU THAM KHẢO [1] N Dalal and B Triggs, “Histograms of Oriented Gradients for Human Detection,” Computer Vision and Pattern Recognition, San Diego, 2005 [2] T K Hareven, Historical Perspectives on Aging and Family Relations, 5th Edition biên tập viên, Elsevier Science, 2001 [3] Nayar, S., Baker, S., “A Theory of Catadioptric Image Formation” [4] Paletta, L., Frintrop, S., Hertzberg, J, “Robust localization using context in omnidirectional imaging,” 2001 IEEE Intl Conf on Robotics and Automation (ICRA 2001), Seoul, Korea, 2001 [5] H Ishiguro, “Development of Low-Cost Compact Omnidirectional Vision Sensors and their Applications,” Panoramic Vision Monographs in Computer Science, Springer, New York, NY, 2001 [6] Micusik, B., Pajdla, T., “Autocalibration & 3D Reconstruction with Noncentral Catadioptric Cameras,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'04), 2004 [7] S Gachter, Motion Detection as Application for the Omnidirectional Camera, Center for Machine Perception, Department of CyberneticsFaculty of Electrical Engineering, Czech Technical University, 2001 [8] Svoboda, T., Pajdla, T., Hlavac, V., “Epipolar Geometry of Panoramic Cameras,” fifth European Conference on Computer Vision, Freiburg, Germany, 1998 [9] T Svoboda, “Central Panoramic Cameras Design, Geometry, Egomotion,” Center for Machine Perception, Faculty of Electrical Engineering, Czech Technical University, 1999 [10] Gaspar, J., Decco, C., Okamoto, J., Santos-Victor, J., “Constant Resolution Omnidirectional Cameras,” Proceedings of the Third Workshop on Omnidirectional Vision (OMNIVIS’02), 2002 [11] R Bunschoten, “Mapping and Localization from a Panoramic Vision Sensor,” Febodruk B.V., Enschede, The Netherlands, 2003 [12] Y Kwon, “Camera Calibration, The basic theory behind camera calibration,” [Trực tuyến] Available: http://www.kwon3d.com/theory/calib.html 61 [13] Derrien, S., Konolige, K., “Approximating a single viewpoint in panoramic imaging devices,” Proc of the IEEE Workshop on Omnidirectional Vision, 2000 [14] Koldo de Miguel, Alberto Brunete, Miguel Hernando and Ernesto Gambao, “Home Camera-Based Fall Detection System for the elderly,” Sensor, 2017 [15] Barı¸s Evrim Demiră oz, Albert Ali Salah, and Lale Akarun, Coupling Fall Detection and Tracking in Omnidirection Camera,” Istanbul, Turkey [16] Francy Shu; Jeff Shu, “An eight-camera fall detection” [17] Trần Bách, Lưới điện hệ thống điện, Nhà xuất Khoa học Kỹ thuật, 2004 [18] Abe Masayuki, “A Practical Approach to Accurate Fault Location on Extra High Voltage Teed Feeders,” IEEE Transaction on Power Delivery, pp 159168, 1995 [19] Microsoft, “Add citations in a Word document,” 2017 [20] Swaminathan, R., Grossberg, M., Nayar, S., “Non-Single Viewpoint Catadioptric Cameras: Geometry and Analysis,” New York, 2001 [21] T Zhang, J Wang, L Xuetal, “Using wearable sensor and NMF algorithm to realize ambulatory fall detection, Lecture Notes in Computer Science, Advances in Natural Computation,” 2006 [22] Atherton, T., Kerbyson, D., “Size invariant circle detection,” Image and Vision Computing, tập 17, 1999, pp 795-803 [23] Zelniker, E., Vaughan, I., Clarkson, L., “Maximum-Likelihood CircleParameter Estimation via Convolution,” Proceedings of the VIIth Biennial Australian Pattern Recognition Society Conference - Digital Image Computing: Techniques and Applications, Sydney, Australia, 2003 [24] E Davis, “Machine Vision: Theory, Algorithms, Practicalities,” Elsevier, 2005 [25] Pajdla, T., Roth, H., “Panoramic imaging with SVAVISCA camera – simulations and reality,” 2000 62 ... toàn hướng [15] Trong nghiên cứu này, tác giả theo dõi hoạt động nhà cách sử dụng camera toàn hướng phát cố ngã Nhiều camera toàn hướng sử dụng để xử lý trường hợp người bị che khuất Trong nghiên... Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Anh Duy Đề tài luận văn: Phát đối tượng chuyển động sử dụng camera toàn hướng Chuyên ngành: Kỹ thuật Y sinh... đóng vai trị lớn phát triển tương lai để cải thiện độ xác phát rơi phương pháp độc lập màu sắc để theo dõi đối tượng qua cảnh thu thập liệu Phát theo dõi cố ngã sử dụng camera toàn hướng [15] Trong