Nghiên ứu phương pháp nhận diện cơ thể người trong ảnh số

NGUYỄN THẾ MẠNH BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN THẾ MẠNH KỸ THUẬT ĐIỆN TỬ NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN CƠ THỂ NGƯỜI TRONG ẢNH SỐ LUẬN VĂN THẠC SĨ KỸ THUẬT CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ 2014B Hà Nội – Năm 2017 Tai ngay!!! Ban co the xoa dong chu nay!!! 17051113815021000000 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN THẾ MẠNH NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN CƠ THỂ NGƯỜI TRONG ẢNH SỐ LUẬN VĂN THẠC SĨ KĨ THUẬT CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VÕ LÊ CƯỜNG Hà Nội – 2017 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc tới thầy giáo TS Võ Lê Cường, người trực tiếp hướng dẫn tơi tận tình thời gian nghiên cứu hồn thiện luận văn Tơi xin gửi lời cảm ơn tới tập thể thầy, cô giáo Viện Điện tử Viễn thông, trường Đại học Bách Khoa Hà Nội tận tình giúp đỡ suốt thời gian học tập nghiên cứu trường Một lần xin trân trọng cảm ơn tất thầy giáo, gia đình, bạn bè, đồng nghiệp giúp đỡ ủng hộ tơi thời gian qua Xin kính chúc thầy cô giáo, anh chị bạn mạnh khỏe, hạnh phúc thành công Hà Nội, ngày 20 tháng 03 năm 2017 Tác giả luận văn Nguyễn Thế Mạnh LỜI CAM ĐOAN Tôi xin cam đoan: Bản luận văn tốt nghiệp cơng trình nghiên cứu thực cá nhân, thực sở nghiên cứu lý thuyết, thực tế hướng dẫn Tiến sỹ Võ Lê Cường, Viện Điện tử - Viễn Thông, Trường Đại học Bách Khoa Hà Nội Các số liệu, kết luận luận án trung thực, dựa nghiên cứu, thân, chưa cơng bố bất ký hình thức trước trình, bảo vệ trước “Hội đồng đánh giá luận văn thạc sỹ khoa học” Các số liệu, kết quả, kết luận tơi tham khảo trích dẫn nguồn đầy đủ Một lần xin khẳng định trung thực lời cam kết Hà Nội, ngày 20 tháng 03 năm 2017 Tác giả luận văn Nguyễn Thế Mạnh MỤC LỤC MỤC LỤC DANH SÁCH TỪ VIẾT TẮT DANH SÁCH CÁC BẢNG DANH SÁCH HÌNH VẼ MỞ ĐẦU .7 CHƯƠNG TỔNG QUAN HỆ THỐNG NHẬN DIỆN NGƯỜI ĐI ĐƯỜNG 10 1.1 Giới thiệu chung 10 1.2 Khái quát hệ thống nhận diện người đường .13 1.2.1 Tổng quan hệ thống .13 1.2.2 Khó khăn thách thức 16 1.3 Các kết nghiên cứu giới .17 1.4 Kết luận chương .18 CHƯƠNG CƠ SỞ LÝ THUYẾT 19 2.1 Gradient ảnh đặc trưng biên độ gradient 19 2.1.1 Khái niệm gradient xử lý ảnh số 19 2.1.2 Ứng dụng đặc trưng gradient xử lý ảnh số 22 2.2 Đặc trưng HOG 23 2.2.1 Chuẩn hóa gamma màu .24 2.2.2 Tính gradient 25 2.2.3 Chia hướng gom đặc trưng cell 25 2.2.4 Tính đặc trưng cho khối chuẩn hóa 27 2.2.5 Tính vector đặc trưng cho cửa sổ 30 2.2.6 Ứng dụng đặc trưng HOG .30 2.3 Không gian màu CIELUV .31 2.4 Thuật toán AdaBoost .32 2.5 Kết luận chương .33 CHƯƠNG ACF THUẬT TOÁN NHẬN DIỆN NGƯỜI ĐI ĐƯỜNG SỬ DỤNG 34 3.1 Ước lượng gradient ảnh theo tỷ lệ kích thước .34 3.1.1 Histogram gradient ảnh lấy mẫu lên 35 3.1.2 Histogram gradient ảnh lấy mẫu xuống 37 3.2 Ước lượng đặc trưng ảnh theo tỷ lệ lấy mẫu 38 3.2.1 Cơng thức lũy thừa tính đặc trưng ảnh theo tỷ lệ lấy mẫu 39 3.2.2 Ước lượng hệ số λ 40 3.3 Phương pháp xây dựng tháp đặc trưng nhanh 41 3.3.1 Tính tốn kênh đặc trưng theo tỷ lệ lấy mẫu 41 3.3.2 Xây dựng tháp đặc trưng nhanh .43 3.3.3 Phân tích độ phức tạp thuật tốn 44 3.4 Nhận diện người đường sử dụng ACF .45 3.5 Cài đặt thử nghiệm đánh giá .46 3.5.1 Sử dụng công cụ ACF MATLAB .46 3.5.2 Phương pháp đánh giá 47 3.5.3 Kết thực nghiệm 55 3.6 Kết luận chương .58 CHƯƠNG ỨNG DỤNG BỘ LỌC KALMAN TRONG NHẬN DIỆN 59 4.1 Giới thiệu chung lọc Kalman 59 4.2 Mơ hình tốn học lọc Kalman 61 4.3 Ứng dụng lọc Kalman hệ thống nhận diện người đường 64 4.3.1 Ý tưởng thuật toán 64 4.3.2 Sơ đồ thuật toán .66 4.4 Cài đặt thử nghiệm đánh giá .67 4.5 Kết luận chương .69 KẾT LUẬN .70 TÀI LIỆU THAM KHẢO .71 DANH SÁCH TỪ VIẾT TẮT ACF Aggregated Channel Features Các đặc trưng tổng hợp đa kênh AUC Area Under Curve Vùng nằm đường cong BB Bounding box Hình hộp bao quanh CIE Commission internationale de l'éclairage Ủy ban quốc tế chiếu sáng CPDB Caltech Pedestrian Detection Benchmark Bộ đánh giá nhận diện người đường Caltech FPDW Fastest Pedestrian Detector in the West Bộ nhận diện người đường nhanh miền Tây FN False Negative Âm tính giả FP False Positive Dương tính giả FPPI False Positive per Image Dương tính giả ảnh HOG Histogram of Oriented Gradient Histogram gradient có hướng SVM Support Vector Machine Máy vector hỗ trợ TN True Negative Âm tính thực TP True Positive Dương tính thực DANH SÁCH CÁC BẢNG Bảng : Sử dụng hàm acfDetect để nhận diện .46 Bảng : Một số thông số tập liệu sử dụng 49 Bảng 3 : Tóm tắt khái niệm true/false positive, true/false negative .49 Bảng 4: Miss rate số phương pháp nhận diện người phổ biến tập liệu .58 DANH SÁCH HÌNH VẼ Hình 1: Một số ví dụ kết nhận diện người từ tập liệu Caltech [10] 11 Hình : Một số ứng dụng nhận diện người 12 Hình : Kiến trúc tổng quan hệ thống nhận diện người 14 Hình : Một số phương pháp lựa chọn vùng candidate .15 Hình : Hai dạng gradient Mũi tên hướng gradient Vùng màu tối thể giá trị cao 19 Hình 2 : Ảnh mức xám ảnh gradient tương ứng theo chiều x chiều y 20 Hình : Ảnh độ lớn gradient sử dụng tốn tử khác .21 Hình : Một ví dụ gradient cho ảnh đối tượng người .23 Hình : Sơ đồ bước trích chọn đặc trưng HOG [5] .24 Hình : Tổng quan bước trích xuất đặc trưng HOG tĩnh [4] 26 Hình : Biểu đồ histogram cho cell với bin từ đến 180 độ .27 Hình : Một số dạng block đề xuất [4] 28 Hình : Chất lượng đặc trưng phụ thuộc vào kích thước cell block [5] 29 Hình 10 : Đặc trưng HOG cửa sổ chứa đối tượng người .31 Hình 11 : Biểu đồ màu (u′, v′), gọi biểu đồ CIE 1976 UCS 31 Hình 12 : Lược đồ AdaBooost [17] 32 Hình 13 : Thuật tốn học AdaBoost [17] 33 Hình : Phân bố tỉ lệ gradient histogram lấy mẫu lên với k = [7] 36 Hình : Phân bố tỉ lệ gradient histogram lấy mẫu xuống với k = [7] 37 Hình 3 : Tính xấp xỉ gradient histogram ảnh lấy mẫu lại với k = [7] 38 Hình : Hệ số λ cho loại channel khác [7] 41 Hình 5: Phương pháp tính channel theo phương pháp truyền thống phương pháp đề xuất [7] 42 Hình : Phương pháp xây dựng tháp đặc trưng nhanh [7] 43 Hình : Tổng quan bước phương pháp nhận diện ACF [7] 45 Hình : Một số ảnh tập liệu Caltech 48 Hình : Một số ảnh tập liệu ETH 48 Hình 10 : Precision Recall 51 Hình 11 : Đường cong PR .52 Hình 12 : Caltech Pedestrian Detection Benchmark Framework 53 Hình 13 : Chuẩn hóa tỉ lệ khung bounding box [10] 54 Hình 14 : Đường cong miss rate - FPPI tập liệu Caltech 56 Hình 15 : Đường cong PR tập liệu Caltech 56 Hình 16 : Đường cong miss rate - FPPI tập liệu ETH 57 Hình 17 : Đường cong PR ACF tập liệu ETH 57 Hình : Mơ hình đo lường ước lượng lọc Kalman 59 Hình : Chu trình bước lọc Kalman 60 Hình 3: Mơ hình khơng gian trạng thái lọc Kalman 62 Hình 4 : Hoạt động lọc Kalman theo phương trình 64 Hình : Các frame liên tiếp video với đối tượng người chuyển .65 Hình : Sơ đồ thuật toán đề xuất 66 Hình : Sự biến đổi thời gian nhận diện miss rate theo số frame bỏ qua nhận diện giảm dần 68