Phát hiện ngã sử dụng đặc trưng chuyển động và hình dạng cơ thể dựa trên camera đơn

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIỆT ANH PHÁT HIỆN NGÃ SỬ DỤNG ĐẶC TRƯNG CHUYỂN ĐỘNG VÀ HÌNH DẠNG CƠ THỂ DỰA TRÊN CAMERA ĐƠN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIỆT ANH PHÁT HIỆN NGÃ SỬ DỤNG ĐẶC TRƯNG CHUYỂN ĐỘNG VÀ HÌNH DẠNG CƠ THỂ DỰA TRÊN CAMERA ĐƠN Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Lê Thanh Hà TS Nguyễn Thị Thuỷ Hà Nội - 2016 i LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu, thực nghiệm trình bày luận văn tơi thực hướng dẫn Phó giáo sư, Tiến sĩ Lê Thanh Hà Tiến sĩ Nguyễn Thị Thuỷ Tất tham khảo từ nghiên cứu liên quan nêu nguồn gốc cách rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn, khơng có việc chép tài liệu, cơng trình nghiên cứu người khác mà khơng rõ tài liệu tham khảo TÁC GIẢ LUẬN VĂN Nguyễn Việt Anh ii LỜI CẢM ƠN Trước tiên, xin gửi lời cảm ơn sâu sắc đến thầy giáo, Phó giáo sư, Tiến sĩ Lê Thanh Hà cô giáo, Tiến sĩ Nguyễn Thị Thuỷ, tận tình hướng dẫn tơi suốt q trình thực luận văn tốt nghiệp Cảm ơn thầy giáo - Tiến sĩ Trần Quốc Long, Tiến sĩ Nguyễn Đỗ Văn có góp ý, nhận xét quý giá giúp cải thiện kết nghiên cứu luận văn Tôi xin bày tỏ lời cảm ơn chân thành tới trường Đại học Công Nghệ - ĐHQG Hà Nội thầy cô giáo giảng dạy, truyền thụ kiến thức thời gian qua Cuối cùng, xin cảm ơn tất gia đình, bạn bè động viên giúp đỡ thời gian nghiên cứu đề tài Tuy có cố gắng định thời gian trình độ có hạn nên luận văn cịn nhiều thiếu sót hạn chế Kính mong nhận góp ý thầy bạn TÁC GIẢ LUẬN VĂN Nguyễn Việt Anh MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN Danh mục ký hiệu chữ viết tắt Danh mục hình vẽ Danh mục bảng MỞ ĐẦU CHƯƠNG TỔNG QUAN BÀI TOÁN PHÁT HIỆN NGÃ TỰ ĐỘNG Phát ngã sử dụng thiết bị mang theo người 1.1.1 Gia tốc kế gắn thể 1.1.2 Cảm biến tích hợp điện thoại thông minh 1.1.3 Xu hướng, ưu điểm hạn chế Phát ngã dựa phân tích liệu video 1.2.1 Phát ngã sử dụng camera đơn 1.2.2 Phát ngã sử dụng hệ multi camera 1.2.3 Phát ngã sử dụng Camera độ sâu CHƯƠNG CƠ SỞ LÝ THUYẾT Tổng quan xử lý ảnh số 2.1.1 Ảnh kỹ thuật số 2.1.2 Xử lý ảnh số 2.1.3 Các phép tốn xử lý ảnh Tổng quan thị giác máy tính 2.2.1 Hệ thống kỹ thuật thị giác máy 2.2.2 Các khái niệm quan trọng 2.2.3 Phân tích nội dung video (video content analysis) 2.2.4 Bài toán phát hành động (action detection) CHƯƠNG PHƯƠNG THỨC ĐỀ XUẤT Tổng quan Phân tách vùng chuyển động 3.2.1 Một số thuật toán trừ 3.2.2 Áp dụng kỹ thuật trừ nền, phân tách vùng chuyển động Trích rút đặc trưng chuyển động 3.3.1 Optical flo 3.3.2 Motion Hi 3.3.3 Image Mom 3.3.1 Áp dụng MHI, Image Moments trích rút đặc trưng chuyển động Trích rút đặc trưng hình dạng thể 3.4.1 Kỹ thuật fitting ellipse 3.4.2 Áp dụng fitting ellipse đo lường đặc trưng hình dạng Phát ngã CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ Tập liệu phương pháp đánh giá hiệu thuật toán 4.1.1 Tập liệu thực nghiệm 4.1.2 Phương pháp đánh giá độ hiệu giải thuật Cài đặt thí nghiệm Kết thảo luận CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TÀI LIỆU THAM KHẢO 3 Danh mục ký hiệu chữ viết tắt Viết tắt GMM MHI SVM KDE CB Danh mục hình vẽ Hình 1.1 Thiết bị có tích hợp cảm biến điện thoại hay gậy thơng minh Hình 1.2 Minh hoạ hệ thống phát ngã tự động dựa phân tích video Hình 1.3 Hoạt động camera độ sâu Hình 2.1 Hệ thống phân tích ảnh số Hình 2.2 Minh họa chu kỳ lấy mẫu tín hiệu Hình 2.3 Các láng riềng điểm ảnh Hình 2.4 Hai tập điểm ảnh phụ cận với Hình 2.5 Minh họa đường bao vùng ảnh Hình 2.6 Ví dụ minh họa điều chỉnh độ tương phản Hình 2.7 Minh họa cân biểu đồ mức xám Hình 2.8 Minh họa phân bố Gaussian hàm chiều Hình 2.9 Minh họa phân bố Gaussian hai chiều Hình 2.10 Xấp xỉ rời rạc cho hàm Gaussian với Hình 2.11 Minh họa lọc Gaussian Hình 2.12 Phép giãn nở Hình 2.13 Phép xói mịn Hình 2.14 Một số ví dụ thuật toán thị giác máy xuất sớm Hình 2.15 Một số ứng dụng cơng nghiệp thị giác máy Hình 2.16 Hệ thống kỹ thuật thị giác máy Hình 2.17 Hệ toạ độ giới thực hệ toạ độ camera Hình 2.18 Phép chuyển trục toạ độ Hình 2.19 Đối sánh vùng ảnh ảnh Hình 2.20 Điểm hấp dẫn ảnh Hình 2.21 Ví dụ khơng gian đặc trưng ảnh Hình 2.22 Biểu diễn dấu hiệu đối tượng khơng gian đặc trưng Hình 2.23 Các điểm phân cụm với tương đồng cao cụm Hình 3.1 Luồng hoạt động hệ thống phát ngã đề xuất Hình 3.2 Minh họa trừ Hình 3.3 Minh họa mơ hình Hình 3.4 Đánh giá biến đổi màu sắc theo cường độ sáng Hình 3.5 Minh hoạ phương pháp đánh giá hiệu kỹ thuật trừ Hình 3.6 Đường cong Precision-Recall kỹ thuật trừ thử nghiệm tập liệu có tĩnh, khơng nhiễu Hình 3.7 Đường cong Precision-Recall kỹ thuật trừ thử nghiệm tập liệu có phức tạp Hình 3.8 Đường cong Precision-Recall kỹ thuật trừ thử nghiệm tập liệu nhiễu Hình 3.9 Một ví dụ phân tách vùng chuyển động Hình 3.10 Ví dụ minh họa ảnh MH Hình 3.11 So sánh phương thức xác định hướng chuyển động Hình 3.12 Minh hoạ xác định Mrate lỗi thời điểm gần kết thúc chuyển động Hình 3.13 Ví dụ cho ước lượng độ lớn chuyển động Hình 3.14 So sánh kỹ thuật bounding box với fitting ellipse Hình 3.15 Minh họa thay đổi hình dạng thể ngã Hình 3.16 Quy ước góc xác định hướng chuyển động góc nghiêng thể Hình 4.1 Một số hình ảnh tập liệu thực nghiệm Danh mục bảng Bảng 3.1 Thời gian xử lý trung bình kỹ thuật trừ Bảng 3.2 Số phép tính dấu phẩy động kỹ thuật trừ Bảng 3.3 Bảng so sánh chung mức độ hiệu kỹ thuật trừ Bảng 4.1 Bảng mô tả tập liệu thực nghiệm Bảng 4.2 Kết thực nghiệm 70 Cài đặt thí nghiệm Giải thuật phương thức đề xuất luận văn cài đặt ngôn ngữ Python với thư viện OpenCV môi trường MacOS Hệ thống dùng để thử nghiệm máy tính gồm CPU Core i5 2.9MHz, 8GB RAM, 512GB SSD Để xác thực hiệu kỹ thuật đề xuất, tác giả thực thí nghiệm riêng biệt, thí nghiệm khơng áp dụng kỹ thuật giới thiệu Ở thí nghiệm cuối cùng, tất kỹ thuật sử dụng Cụ thể sau: • • • • Thí nghiệm thứ nhất: Khơng sử dụng MHI đo lường hình dáng thể mà mô tả phần 3.4.2 Thí nghiệm thứ 2: Sử dụng phương thức tính hướng gradient thông thường đề xuất [33] thay cho phương thức giới thiệu phần 1) mục 3.3.1 Không áp dụng thông tin chuyển động trọng tâm để hạn chế lỗi ước lượng độ lớn chuyển động sử dụng MHI, mô tả phần 2) mục 3.3.1 Áp dụng tất kỹ thuật đề xuất Kết thảo luận Tác giả sử dụng tập liệu thử nghiệm khác nhau, với mơi trường khác biệt rõ rệt: Góc camera chiều cao đặt camera khác nhau; khoảng cách từ camera đến vùng phát ngã khác nhau; điều kiện chiếu sáng khác nhau; v.v Vì vậy, với liệu cần đặt ngưỡng giá trị cho đặc trưng khác Các ngưỡng xác định thông qua thực nghiệm để đạt kết tốt Bảng 4.2 trình bày kết thí nghiệm tập liệu Các dòng từ đến tương ứng với thí nghiệm đến thí nghiệm mơ tả phần trước chương Bảng 4.2 Kết thực nghiệm Datasets Lecture-room Coffee-room Home Office Từ bảng kết nhận thấy, thí nghiệm cuối áp dụng tất kỹ thuật đề xuất, tỉ lệ khôi phục (Recall) cao hẳn Tuy nhiên tỉ lệ xác hai trường hợp thấp chút Cụ thể thí nghiệm so với thí nghiệm cho tập liệu Coffee-room; thí nghiệm so với thí nghiệm tập liệu Home Tuy nhiên ngữ cảnh tốn phát ngã, tỉ lệ khơi phục thường quan trọng tỉ lệ xác khơng q khác biệt Vì để đánh giá hiệu giải thuật, cần vào hệ số điều hòa F-measure Hệ số thể mối tương quan tỉ lệ khôi phục tỉ lệ xác kết Trong thí nghiệm, thí nghiệm thứ cho giá trị F-measure cao hẳn thí nghiệm khác Ngồi Fmeasure đạt giá trị cao, 0.965 cho tập Lecture-room; 0.926 cho tập Coffee-room; 0.954 cho tập Home 0.848 tập Office Ngồi thấy kết thí nghiệm tập Lecture-room cao tập liệu thử nghiệm, tập Office cho kết thấp Điều tập Lecture-room, camera đặt vị trí phù hợp đủ xa khu vực người di chuyển, dẫn đến tránh tượng tự động đo sáng lại camera Cộng với việc môi trường tập khơng có chứa nguồn sáng phức tạp cửa sổ, khiến cho giải thuật phát chuyển động không gặp nhiều khó khăn Ngược lại, mơi trường tập Office có cửa sổ nên người di chuyển che khuất phần cửa sổ làm thay đổi đột ngột điều kiện chiếu sáng khung cảnh Camera đặt thấp gần ngang người Khi người di chuyển lại gần camera khiến camera đo sáng lại, gây thay đổi độ sáng khắp khung hình Những điều gây nhiều khó khăn cho giải thuật trừ áp dụng Tóm lại, trường hợp phát lỗi nhiễu tạo trình phân tách vùng chuyển động lý thay đổi điều kiện chiếu sáng đột ngột Quan sát q trình thí nghiệm, số lỗi xuất có hoạt động thường ngày có đặc điểm giống với hành động ngã, ví dụ ngồi xuống dứt khoát; chủ động nằm với tốc độ nhanh Thời gian xử lý Với đặc điểm toán phát hành động thời gian thực, yêu cầu tính tốn hệ thống phải đảm bảo lực xử lý tối thiểu 10fps Với hệ thống thực thí nghiệm mơ tả phần trước, tốc độ xử lý giải thuật xấp xỉ 90fps, đáp ứng tốt yêu cầu hoạt động thời gian thực toán 72 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Qua trình thực luận văn, tác giả tiến hành tìm hiểu lý thuyết tổng quan lĩnh vực xử lý ảnh số thị giác máy, có hội tiếp cận với số giải thuật học máy Tác giả sâu vào tìm hiểu giải thuật thị giác máy quan trọng giải thuật trừ nền, giải thuật trích chọn số đặc trưng quan trọng góc, điểm bất biến, đặc trưng SIFT, SUFT, v.v , có hiểu biết dạng toán thuộc ngành thị giác máy, qua làm tảng cho q trình học tập nghiên cứu thân lĩnh vực Về mặt thực tiễn, luận văn giới thiệu phương thức tự động phát ngã dựa việc kết hợp đặc trưng chuyển động hướng độ lớn, với đặc trưng thay đổi hình dáng thể Luận văn đề xuất số cải tiến giải thuật MHI, đề xuất sử dụng đặc điểm chuyển động trọng tâm thể để cải thiện kết đo lường chuyển động dựa MHI Điểm mấu chốt phương thức đề xuất là thông qua phân tích đặc điểm thực tế q trình ngã dựa quan sát kỹ lưỡng, từ khai thác hợp lý đặc trưng trích rút Việc đưa dự đốn việc ngã khơng dựa giá trị đặc trưng thời điểm, mà dựa quan sát giá trị đặc trưng toàn khoảng thời gian tương ứng với hành động ngã, từ bắt đầu xuất chuyển động nhanh bất thường đến không xuất chuyển động sau ngã Các ngưỡng xác định thủ công dựa suy luận từ đặc điểm việc ngã trình quan sát video thử nghiệm Với việc lựa chọn tập liệu thực nghiệm với nhiều môi trường khác nhau, điều kiện ánh sáng khác nhau, vị trí góc độ camera đặt khác nhau, kịch ngã phong phú xen hoạt động thông thường ngày, kết đạt luận văn khả quan Các trường hợp nhận diện sai lầm chủ yếu nhiễu, thay đổi ánh sáng đột ngột người di chuyển gần ống kính camera, khiến kích hoạt chức tự động đo sáng camera, ảnh hưởng đến giải thuật phân tách vùng chuyển động Một số trường hợp nhận diện nhầm hành động nằm, ngồi dứt khoát Để giải vấn đề trên, tác giả dự kiến tìm hiểu giải pháp trừ phù hợp nữa, giúp loại trừ trường hợp camera điều chỉnh độ sáng, bổ xung kỹ thuật phát vùng đầu người (head detection) kỹ thuật giới hạn vùng quan tâm (inactivity zone) nghiên cứu Ngoài ra, để mở rộng phạm vi toán trường hợp bối cảnh có nhiều người, tác giả dự định tìm hiểu kỹ thuật theo vết đối tượng (object tracking) cho việc cải tiến phương thức đề xuất Kết nghiên cứu kỹ thuật đề xuất đồng thời trình bày báo [51] gửi hội thảo quốc tế SoICT chấp nhận 73 Danh mục cơng trình khoa học tác giả liên quan đến luận văn Viet Anh Nguyen, Thanh Ha Le and Thuy Thi Nguyen Single camera based Fall detection using Motion and Human shape Features In The Seventh International Symposium on Information and Communication Technology (SoICT 2016), chấp nhận đăng kỷ yếu trình bày hội thảo  ... Phát ngã dựa phân tích liệu video 1.2.1 Phát ngã sử dụng camera đơn 1.2.2 Phát ngã sử dụng hệ multi camera 1.2.3 Phát ngã sử dụng Camera độ sâu CHƯƠNG CƠ SỞ LÝ... QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VIỆT ANH PHÁT HIỆN NGÃ SỬ DỤNG ĐẶC TRƯNG CHUYỂN ĐỘNG VÀ HÌNH DẠNG CƠ THỂ DỰA TRÊN CAMERA ĐƠN Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần... thức tự động phát ngã dựa việc kết hợp đặc trưng chuyển động hướng độ lớn, với đặc trưng thay đổi hình dáng thể Luận văn đề xuất số cải tiến giải thuật MHI, đề xuất sử dụng đặc điểm chuyển động