Nghiên cứu xác định người trên video dựa trên HOG bằng MATLAB

TRƯỜNG ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN TỐT NGHIỆP NGHIÊN CỨU XÁC ĐỊNH NGƯỜI TRÊN VIDEO DỰA TRÊN HOG BẰNG MATLAB Sinh viên thực hiện: Lưu Thị Tuyết Lan Giáo viên hướng dẫn: ThS Nguyễn Văn Hách Hà Nội, năm 2015 LỜI CAM ĐOAN Tôi cam đoan kết nghiên cứu đƣa luận án dựa kết thu đƣợc trình nghiên cứu riêng tôi, không chép kết nghiên cứu tác giả khác Nội dung luận văn có tham khảo sử dụng số thông tin, tài liệu từ nguồn sách, tạp chí đƣợc liệt kê danh mục tài liệu tham khảo Hà Nội, tháng năm 2015 Sinh viên thực Lƣu Thị Tuyết Lan LỜI CẢM ƠN Trên thực tế, thành công cá nhân hay tập thể mà không gắn liền với hỗ trợ, dù hay nhiều, dù trực tiếp hay gián tiếp ngƣời khác Trong suốt thời gian học tập trƣờng Đại học Tài nguyên Môi trƣờng Hà Nội, em nhận đƣợc nhiều quan tâm thầy cô giáo viên hƣớng dẫn nhƣ từ phía gia đình bè bạn Với lòng biết ơn sâu sắc nhất, em xin gửi đến quý Thầy Cô Khoa Công nghệ thông tin Đại học Tài nguyên Môi trƣờng Hà Nội với tri thức tâm huyết truyền đạt vốn kiến thức kinh nghiệm quý báu thu nhận đƣợc sách cho em, nhƣ bạn khác Em xin chân thành cảm ơn giáo viên hƣớng dẫn Nguyễn Văn Hách, thầy tận tình giảng giải, hƣớng dẫn em từ ngày thực đồ án Nhờ có thầy mà em có thêm động lực tri thức để thực đồ án Em xin cảm ơn thầy cô khoa tận tâm giúp em hoàn thành báo cáo nhƣ dẫn cho em kiến thức cần có dành cho việc thực đồ án hay cho tƣơng lai sau Những em nhận đƣợc từ thầy, thực vô giá! Nếu giúp đỡ thầy cô, thực em hoàn thiện đƣợc đồ án tốt nghiệp Một lần nữa, em xin chân thành cảm ơn! Đồ án tốt nghiệp em chắn nhiều thiết sót hạn chế kiến thức nhiều bỡ ngỡ Em mong ngận đƣợc ý kiến đóng góp quý bái quý Thầy cô để hoàn thiện kiến thức Sau cùng, em xin kính chúc thầy cô Khoa Công nghệ thông tin Đại học Tài nguyên Môi trƣờng Hà Nội thật nhiều sức khỏe, niềm tin để tiếp tục thực sức mệnh cao đẹp ngƣời dẫn bƣớc, đƣờng cho hệ mai sau Trân trọng! Sinh viên thực Lƣu Thị Tuyết Lan MỤC LỤC MỞ ĐẦU I Lý chọn đề tài II Mục tiêu nhiệm vụ nghiên cứu III Đối tƣợng phạm vi nghiên cứu 1.1 Đối tƣợng nghiên cứu 1.2 Phạm vi nghiên cứu 1.3 Phƣơng pháp luận phƣơng pháp nghiên cứu CHƢƠNG 1: TỔNG QUAN VỀ NỘI DUNG NGHIÊN CỨU 1.1 Giới thiệu chung Matlab 1.2 Tổng quan toán xác định ngƣời 1.2.1 Động lực phƣơng pháp tiếp cận 1.2.2 Thách thức vấn đề nghiên cứu 1.2.3 Nền tảng vấn đề nghiên cứu 1.2.4 Khái quát phƣơng pháp tiếp cận 12 1.3 Sơ lƣợc Video 13 1.3.1 Khái quát video 13 1.3.2 Cấu trúc video 14 1.3.3 Phân loại video 16 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT VỀ ĐẶC TRƢNG HOG 17 2.1 Kiến trúc chung xác định đối tƣợng 17 2.2 Đặc trƣng HOG 19 2.2.1 Khái quát HOG 19 2.2.2 Kết hợp nhiều dò tìm 23 2.2.3 Quá trình learning 25 2.3 Đặc trƣng HOG ảnh 26 2.3.1 HOG tĩnh 26 2.3.2 Mã hóa nghiên cứu giải thuật với ảnh dựa HOG 30 CHƢƠNG 3: XÂY DỰNG CHƢƠNG TRÌNH MÔ PHỎNG 34 VÀ THỰC NGHIỆM 34 3.1 Sử dụng HOG để xác định ngƣời chuyển động video 34 3.1.1 Xác định đối tƣợng đa tỉ lệ 34 3.1.2 Sử dụng HOG Flow để xác định ngƣời chuyển động video 44 3.2 Chƣơng trình mô xác định ngƣời video dựa vào HOG Matlab 54 3.2.1 Xây dựng chƣơng trình mô 54 3.2.2 Kết chƣơng trình mô 57 3.2.3 Nhận xét kết đạt đƣợc 59 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT CCIR C-HOG Consultative Committee for International Radio Circular HOG Ủy ban tƣ vấn quốc tế Radio HOG hình tròn Khuôn dạng trung gian chung: CIF Common Intermediate Format tiêu chuẩn cho kích thƣớc video hình ảnh máy tính chứa 352 x 288 điểm ảnh HOG Histograms of Oriented Gradients IMH Internal Motion Histogram Biểu đồ chuyển động nội KDE Kernel Density Estimation Đánh giá mật độ nhân MBH Motion Boundary Histogram Biểu đồ vùng chuyển động National Television System Uỷ ban tiêu chuẩn truyền hình Committee quốc gia Phase Altermation Line Thay đổi pha theo dòng NTSC PAL QCIF Quarter Common Intermediate Format Kết miêu tả lƣợc đồ hƣớng R2-HOG R-HOG SECAM ¼ Độ phân giải CIF chung Bar HOG Rectangular HOG Sequentiel Couleurs A Memorre Sequentiel Color with Memory SIFT Scale Invariant Feature Transform SVM Support Vector Machine HOG hình chữ nhật Tuần tự màu với nhớ Đặc trƣng cục bất biến / Tỉ lệ bất biến tính biến đổi Máy Vector hỗ trợ DANH MỤC CÁC BẢNG Bảng 1: Một số tiêu chuẩn Video theo CCIR 16 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1: Cửa sổ tiêu chuẩn Matlab .4 Hình 1.2: Các lệnh liên quan đến tiện ích Help Hình 1.3: Cửa sổ khởi động Guide Quick Hình 1.4: Giao diện GUIDE .7 Hình 1.5: Cấu trúc Video 15 Hình 2.1: Kiến trúc chung xác định đối tƣợng 17 Hình 2.2: Tổng quan trích chọn đặc trƣng HOG phát đối tƣợng liên tục qua cửa sổ ảnh 21 Hình 2.3: Tổng quát rút trích đặc trƣng HOG tĩnh .22 Hình 2.4: Xử lý rút trích đặc trƣng cho kênh chuyển động 24 Hình 2.5: Tổng quát bƣớc thuật toán non – maximum suppression 25 Hình 2.6: Các biến thể miêu tả HOG 27 Hình 2.7: Thuật toán mã hóa R – HOG, R2 – HOG C – HOG .31 Hình 2.8: Thuật toán cửa sổ phân lớp learning 32 Hình 3.1: Minh họa phƣơng pháp Non – maximum suppression kết hợp nhiều phát chồng 35 Hình 3.2: Ba lớp hàm chuyển đổi t(w) .40 Hình 3.3: Thuật toán dò tìm đối tƣợng .42 Hình 3.4: Một số ví dụ phát video cho xác định ngƣời 43 Hình 3.5: Một minh họa miêu tả MBH với cặp ảnh liên tiếp 47 Hình 3.6: Sự khác biệt miêu tả chuyển động IMH MBH 49 Hình 3.7: Các lƣợc đồ mã hóa khác với IMH 49 Hình 3.8: Một cặp ảnh liên tiếp đánh giá có quy tắc bất quy tắc trƣờng flow 51 Hình 3.9: Phƣơng thức tính optical flow đa tỉ lệ dày đặc 52 Hình 3.10: Thuật toán mã hóa IMHcd, IMHmd .53 Hình 3.11: Video đầu vào 54 Hình 3.12: Giao diện chƣơng trình 55 Hình 3.13: Lƣu đồ thuật toán 56 Hình 3.14: Kết mô trƣờng hợp nhiều ngƣời di chuyển thời điểm 57 Hình 3.15: Kết mô trƣờng hợp có ngƣời chuyển động vị trí, xung quanh có ngƣời khác chuyển động 57 Hình 3.16: Kết mô khung hình có đối tƣợng chuyển động vùng, với tỉ lệ 58 Hình 3.17: Kết mô khung hình có nhiều ngƣời chuyển động theo hƣớng khác nhau, vị trí khác nhau, góc độ tỉ lệ khác 58 MỞ ĐẦU Máy tính ngày trở nên phổ biến sống hàng ngày Chúng thực hiên lặp lặp lại, liệu chuyên sâu tác vụ tính toán, hiệu xác so với ngƣời Chúng ta ngày cố gắng mở rộng khả chúng để thực tác vụ thông minh nhƣ phân tích cảnh thị giác hay ngôn ngữ, suy luận lý luận cách logic – tóm gọn tác vụ cấp độ cao mà ngƣời thực tiềm thức hàng trăm lần ngày cách dễ dàng mà chí không thƣờng xuyên nhận thực Một mục tiêu nhà nghiên cứu làm việc lĩnh vực Thị giác máy Trí tuệ nhân tạo cấp cho máy tính khả nhìn – phân tích thị giác Xử lý ảnh Một nhiệm vụ phát đƣợc lớp đối tƣợng khác ảnh video Nhƣ sử dụng đƣợc vào nhiều ứng dụng, ví dụ tƣơng tác ngƣời máy, robotic, phân tích tự động cá thể hay nội dung quảng cáo kỹ thuật số phƣơng tiện truyền thông, trình sản xuất tự động, phƣơng tiện tự động thông minh Trong đó, tìm tòi nghiên cứu ngƣời đƣợc ƣu tiên hàng đầu, lĩnh vực nóng xuất hiện: nghiên cứu xác định ngƣời Xác định ngƣời nhiệm vụ đầy tính thách thức, với nhiều ứng dụng thu hút nhiều ý năm gần Luận văn chủ yếu tập trung ngƣời đứng thẳng (ngƣời bộ) Vì nghiên cứu vector đặc trƣng thích hợp miêu tả cho ảnh toàn thể phần khác (nhƣ chân, tay) xây dựng máy dò tìm dựa chúng Xác định ngƣời đƣợc khai thác cho ứng dụng phát ngƣời ô tô thông minh Thông thƣờng, thông tin từ cảm biến nhƣ stereo camera hồng ngoại đƣợc kết hợp miền hiểu biết cụ thể nhƣ thực tế ngƣời thƣờng sang đƣờng đƣợc khai thác nhƣng hiệu thấp nhiều so với cần thiết cho hệ thống nhƣ đƣợc dùng giới thực Nhiều máy dò tìm ngƣời mạnh mẽ giúp đỡ cách xác để tăng hiệu chung hệ thống Một ứng dụng khác giám sát video an ninh, hệ thống thời gian thực cần thiết để phân tích xử lý chuỗi video để phát xâm nhập I Lý chọn đề tài Từ cuối năm 90 kỷ trƣớc, nhà nghiên cứu bắt đầu quan tâm đến chủ đề xác định ngƣời ảnh, sau video Có nhiều phƣơng pháp đƣợc tìm để trƣớc hết: phát ngƣời (mà động thực vật khác), sau nâng cao lên chuẩn hóa số lƣợng, chất lƣợng nhƣ độ xác Một phƣơng pháp phổ biến mà ta thƣờng thấy phƣơng pháp trừ nền, phƣơng pháp dựa thống kê, phƣơng pháp thời gian thực,… Nhƣng phƣơng pháp sử dụng đặc trƣng HOG để xác định ngƣời (kể lớp đối tƣợng) video mẻ, đặc biệt nƣớc ta Tuy nhiên, dù phƣơng pháp khó, đến chƣa đƣợc nghiên cứu đến tận cùng, nhƣng điều phủ nhận hiệu vƣợt trội hẳn phƣơng pháp trƣớc Bên cạnh đó, việc chọn công cụ Matlab cho hiệu cao Nhƣ biết: có nhiều công cụ ngôn ngữ lập trình áp dụng để minh họa cho đề tài này, nhƣng nay, Matlab phần mềm hỗ trợ mạnh lĩnh vực xử lý ảnh, thị giác máy nhƣ trí tuệ nhân tạo khả tính toán nhanh nhạy với mức độ phức tạp cao, lại đƣợc tích hợp nhiều công cụ tiện ích, thân thiện với ngƣời sử dụng Vậy nên em chọn công cụ để minh họa hệ thống xác định chuyển động ngƣời video Từ yêu cầu thực tế đƣợc đặt ra, việc xây dựng hệ thống xác định chuyển động ngƣời từ liệu video thu đƣợc thông qua hệ thống camera tĩnh với hỗ trợ máy tính việc thiết Nhờ camera phƣơng pháp, giải thuật, ta xây dựng phần mềm điều khiển, phần mềm hỗ trợ Vì em muốn thực đề tài này, mức bản, nhƣng mong từ ứng dụng lên mức cao II Mục tiêu nhiệm vụ nghiên cứu Mục tiêu luận văn nghiên cứu xác định ngƣời (ngƣời bộ) chuyển động video dựa vào HOG, sử dụng công cụ Matlab để đƣa chƣơng trình mô máy tính III Đối tƣợng phạm vi nghiên cứu 1.1 Đối tƣợng nghiên cứu - Công cụ Matlab - Cơ Video - Bài toán phát ngƣời lĩnh vực xử lý ảnh, thị giác máy nhƣ trí tuệ nhân tạo - Đặc trƣng HOG - Sử dụng đặc trƣng HOG để xác định ngƣời video 1.2 Phạm vi nghiên cứu Phạm vi nghiên cứu đề tài liên quan đến lĩnh vực xử lý ảnh số thông qua việc sử dụng video thu thập đƣợc từ thiết bị thu nhận ảnh để phát đối tƣợng ngƣời chuyển động video 1.3 Phƣơng pháp luận phƣơng pháp nghiên cứu - Phƣơng pháp tổng hợp tài liệu - Phƣơng pháp phân tích - Kỹ thuật lập trình - Kỹ thuật mô phỏng, mô hình hóa