Nghiên cứu phương pháp nhận diện cơ thể người trong ảnh số

Nghiên cứu phương pháp nhận diện cơ thể người trong ảnh số Nghiên cứu phương pháp nhận diện cơ thể người trong ảnh số Nghiên cứu phương pháp nhận diện cơ thể người trong ảnh số luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp

NGUYỄN THẾ MẠNH BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN THẾ MẠNH KỸ THUẬT ĐIỆN TỬ NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN CƠ THỂ NGƯỜI TRONG ẢNH SỐ LUẬN VĂN THẠC SĨ KỸ THUẬT CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ 2014B Hà Nội – Năm 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN THẾ MẠNH NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN CƠ THỂ NGƯỜI TRONG ẢNH SỐ LUẬN VĂN THẠC SĨ KĨ THUẬT CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VÕ LÊ CƯỜNG Hà Nội – 2017 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc tới thầy giáo TS Võ Lê Cường, người trực tiếp hướng dẫn tơi tận tình thời gian nghiên cứu hồn thiện luận văn Tơi xin gửi lời cảm ơn tới tập thể thầy, cô giáo Viện Điện tử Viễn thông, trường Đại học Bách Khoa Hà Nội tận tình giúp đỡ suốt thời gian học tập nghiên cứu trường Một lần xin trân trọng cảm ơn tất thầy giáo, gia đình, bạn bè, đồng nghiệp giúp đỡ ủng hộ tơi thời gian qua Xin kính chúc thầy cô giáo, anh chị bạn mạnh khỏe, hạnh phúc thành công Hà Nội, ngày 20 tháng 03 năm 2017 Tác giả luận văn Nguyễn Thế Mạnh LỜI CAM ĐOAN Tôi xin cam đoan: Bản luận văn tốt nghiệp cơng trình nghiên cứu thực cá nhân, thực sở nghiên cứu lý thuyết, thực tế hướng dẫn Tiến sỹ Võ Lê Cường, Viện Điện tử - Viễn Thông, Trường Đại học Bách Khoa Hà Nội Các số liệu, kết luận luận án trung thực, dựa nghiên cứu, thân, chưa cơng bố bất ký hình thức trước trình, bảo vệ trước “Hội đồng đánh giá luận văn thạc sỹ khoa học” Các số liệu, kết quả, kết luận tơi tham khảo trích dẫn nguồn đầy đủ Một lần xin khẳng định trung thực lời cam kết Hà Nội, ngày 20 tháng 03 năm 2017 Tác giả luận văn Nguyễn Thế Mạnh MỤC LỤC MỤC LỤC DANH SÁCH TỪ VIẾT TẮT DANH SÁCH CÁC BẢNG DANH SÁCH HÌNH VẼ MỞ ĐẦU .7 CHƯƠNG TỔNG QUAN HỆ THỐNG NHẬN DIỆN NGƯỜI ĐI ĐƯỜNG 10 1.1 Giới thiệu chung .10 1.2 Khái quát hệ thống nhận diện người đường .13 1.2.1 Tổng quan hệ thống .13 1.2.2 Khó khăn thách thức 16 1.3 Các kết nghiên cứu giới .17 1.4 Kết luận chương .18 CHƯƠNG CƠ SỞ LÝ THUYẾT .19 2.1 Gradient ảnh đặc trưng biên độ gradient 19 2.1.1 Khái niệm gradient xử lý ảnh số 19 2.1.2 Ứng dụng đặc trưng gradient xử lý ảnh số 22 2.2 Đặc trưng HOG 23 2.2.1 Chuẩn hóa gamma màu .24 2.2.2 Tính gradient 25 2.2.3 Chia hướng gom đặc trưng cell 25 2.2.4 Tính đặc trưng cho khối chuẩn hóa 27 2.2.5 Tính vector đặc trưng cho cửa sổ 30 2.2.6 Ứng dụng đặc trưng HOG .30 2.3 Không gian màu CIELUV .31 2.4 Thuật toán AdaBoost .32 2.5 Kết luận chương .33 CHƯƠNG ACF THUẬT TOÁN NHẬN DIỆN NGƯỜI ĐI ĐƯỜNG SỬ DỤNG 34 3.1 Ước lượng gradient ảnh theo tỷ lệ kích thước .34 3.1.1 Histogram gradient ảnh lấy mẫu lên 35 3.1.2 Histogram gradient ảnh lấy mẫu xuống 37 3.2 Ước lượng đặc trưng ảnh theo tỷ lệ lấy mẫu 38 3.2.1 Cơng thức lũy thừa tính đặc trưng ảnh theo tỷ lệ lấy mẫu 39 3.2.2 Ước lượng hệ số λ 40 3.3 Phương pháp xây dựng tháp đặc trưng nhanh 41 3.3.1 Tính toán kênh đặc trưng theo tỷ lệ lấy mẫu 41 3.3.2 Xây dựng tháp đặc trưng nhanh .43 3.3.3 Phân tích độ phức tạp thuật tốn 44 3.4 Nhận diện người đường sử dụng ACF .45 3.5 Cài đặt thử nghiệm đánh giá .46 3.5.1 Sử dụng công cụ ACF MATLAB .46 3.5.2 Phương pháp đánh giá 47 3.5.3 Kết thực nghiệm 55 3.6 Kết luận chương .58 CHƯƠNG ỨNG DỤNG BỘ LỌC KALMAN TRONG NHẬN DIỆN 59 4.1 Giới thiệu chung lọc Kalman 59 4.2 Mô hình tốn học lọc Kalman 61 4.3 Ứng dụng lọc Kalman hệ thống nhận diện người đường 64 4.3.1 Ý tưởng thuật toán 64 4.3.2 Sơ đồ thuật toán .66 4.4 Cài đặt thử nghiệm đánh giá .67 4.5 Kết luận chương .69 KẾT LUẬN .70 TÀI LIỆU THAM KHẢO 71 DANH SÁCH TỪ VIẾT TẮT ACF Aggregated Channel Features Các đặc trưng tổng hợp đa kênh AUC Area Under Curve Vùng nằm đường cong BB Bounding box Hình hộp bao quanh CIE Commission internationale de l'éclairage Ủy ban quốc tế chiếu sáng CPDB Caltech Pedestrian Detection Benchmark Bộ đánh giá nhận diện người đường Caltech FPDW Fastest Pedestrian Detector in the West Bộ nhận diện người đường nhanh miền Tây FN False Negative Âm tính giả FP False Positive Dương tính giả FPPI False Positive per Image Dương tính giả ảnh HOG Histogram of Oriented Gradient Histogram gradient có hướng SVM Support Vector Machine Máy vector hỗ trợ TN True Negative Âm tính thực TP True Positive Dương tính thực DANH SÁCH CÁC BẢNG Bảng : Sử dụng hàm acfDetect để nhận diện .46 Bảng : Một số thông số tập liệu sử dụng 49 Bảng 3 : Tóm tắt khái niệm true/false positive, true/false negative .49 Bảng 4: Miss rate số phương pháp nhận diện người phổ biến tập liệu .58 DANH SÁCH HÌNH VẼ Hình 1: Một số ví dụ kết nhận diện người từ tập liệu Caltech [10] 11 Hình : Một số ứng dụng nhận diện người 12 Hình : Kiến trúc tổng quan hệ thống nhận diện người 14 Hình : Một số phương pháp lựa chọn vùng candidate .15 Hình : Hai dạng gradient Mũi tên hướng gradient Vùng màu tối thể giá trị cao 19 Hình 2 : Ảnh mức xám ảnh gradient tương ứng theo chiều x chiều y 20 Hình : Ảnh độ lớn gradient sử dụng tốn tử khác .21 Hình : Một ví dụ gradient cho ảnh đối tượng người .23 Hình : Sơ đồ bước trích chọn đặc trưng HOG [5] .24 Hình : Tổng quan bước trích xuất đặc trưng HOG tĩnh [4] 26 Hình : Biểu đồ histogram cho cell với bin từ đến 180 độ .27 Hình : Một số dạng block đề xuất [4] 28 Hình : Chất lượng đặc trưng phụ thuộc vào kích thước cell block [5] 29 Hình 10 : Đặc trưng HOG cửa sổ chứa đối tượng người .31 Hình 11 : Biểu đồ màu (u′, v′), gọi biểu đồ CIE 1976 UCS 31 Hình 12 : Lược đồ AdaBooost [17] 32 Hình 13 : Thuật tốn học AdaBoost [17] 33 Hình : Phân bố tỉ lệ gradient histogram lấy mẫu lên với k = [7] 36 Hình : Phân bố tỉ lệ gradient histogram lấy mẫu xuống với k = [7] 37 Hình 3 : Tính xấp xỉ gradient histogram ảnh lấy mẫu lại với k = [7] 38 Hình : Hệ số λ cho loại channel khác [7] 41 Hình 5: Phương pháp tính channel theo phương pháp truyền thống phương pháp đề xuất [7] 42 Hình : Phương pháp xây dựng tháp đặc trưng nhanh [7] 43 Hình : Tổng quan bước phương pháp nhận diện ACF [7] 45 Hình : Một số ảnh tập liệu Caltech 48 Hình : Một số ảnh tập liệu ETH 48 Hình 10 : Precision Recall 51 Hình 11 : Đường cong PR .52 Hình 12 : Caltech Pedestrian Detection Benchmark Framework 53 Hình 13 : Chuẩn hóa tỉ lệ khung bounding box [10] 54 Hình 14 : Đường cong miss rate - FPPI tập liệu Caltech 56 Hình 15 : Đường cong PR tập liệu Caltech 56 Hình 16 : Đường cong miss rate - FPPI tập liệu ETH 57 Hình 17 : Đường cong PR ACF tập liệu ETH 57 Hình : Mơ hình đo lường ước lượng lọc Kalman 59 Hình : Chu trình bước lọc Kalman 60 Hình 3: Mơ hình khơng gian trạng thái lọc Kalman 62 Hình 4 : Hoạt động lọc Kalman theo phương trình 64 Hình : Các frame liên tiếp video với đối tượng người chuyển .65 Hình : Sơ đồ thuật toán đề xuất 66 Hình : Sự biến đổi thời gian nhận diện miss rate theo số frame bỏ qua nhận diện giảm dần 68 Trong hình 4.1 ta có mơ hình tổng quan lọc Kalman Hệ thống hoạt động có thơng số trạng thái mà quan tâm cần đo đạc Các thiết bị cảm biến đo lường đo đưa giá trị đo Trong thực tế, giá trị khơng phản ánh xác trạng thái thực hệ thống thiết bị đo ln có sai số nhiễu Chúng ta có mơ hình động học hệ thống (bộ lọc Kalman yêu cầu mô hình tuyến tính) Trong thực tế, mơ hình hệ thống chứa sai số phép xấp xỉ công thức, nhiễu tác động từ môi trường vào hệ thống Bên cạnh đó, hệ thống chịu tác động lực điều khiển từ tác nhân bên Bộ lọc Kalman sử dụng thơng tin dự đốn trạng thái hệ thống dựa mơ hình hệ thống, kết hợp với thông tin giá trị đo đạc từ cảm biến, từ áp dụng vào hệ phương trình lọc để đưa giá trị ước lượng tối ưu trạng thái hệ thống Bộ lọc Kalman hoạt động theo bước chính: bước dự đốn - prediction bước cập nhật sửa sai - correction Trong bước dự đoán, lọc Kalman đưa giá trị ước lượng cho trạng thái hệ thống thời điểm dựa mơ hình động học hệ thống kết ước lượng thời điểm trước Trong bước cập nhật sửa sai, có giá trị đo từ thiết bị đo, lọc Kalman kết hợp giá trị với giá trị ước lượng bước dự đoán để đưa giá trị ước lượng tối ưu trạng thái hệ thống thời điểm Hai bước trình lặp lặp lại từ thời điểm sang thời điểm khác (hình 4.2) Do vậy, thuật toán lọc Kalman giống thuật tốn ước lượng – sửa sai tuần hồn liên tục Điều chỉnh ước lượng với giá trị đo lường Dự đoán Sửa sai Đầu thời điểm k đầu vào cho thời điểm (k+1) Hình : Chu trình bước lọc Kalman 60 Ví dụ tốn xác định vị trí xe tơ di chuyển Chiếc xe gắn thiết bị định vị GPS ta biết vị trí xe với độ xác khoảng vài mét Kết đo từ GPS thường bị “nhiễu”, khơng thể xác vị trí thực xe, kết nằm khoảng sai số biết trước Bên cạnh đó, ta có mơ hình chuyển động xe dựa cơng thức vật lý, vị trí xe tính từ vận tốc, thời gian di chuyển, góc quay bánh xe Mơ hình thường cho ta số dự đoán theo lý thuyết vị trí xe, nhiên vị trí thực có sai số (tích lũy dần theo thời gian) mơ hình khơng thể xác 100% yếu tố trước từ bên đường gập gềnh, trơn trượt, … Trong bước prediction lọc, vị trí xe dự đốn dựa mơ hình chuyển động vị trí thời điểm trước xe Tiếp đó, bước correction, thơng tin vị trí đọc từ GPS lọc Kalman sử dụng để điều chỉnh lại giá trị mà dự đốn bước trước 4.2 Mơ hình tốn học lọc Kalman Bước ta cần xây dựng mơ hình hệ thống Chúng ta giả sử q trình hệ thống mơ hình hóa phương trình chuyển trạng thái (4.1) 𝑥𝑘+1 = 𝐹𝑘 𝑥𝑘 + 𝐺𝑘 𝑢𝑘 + 𝑤𝑘 (4.1) Trong 𝑥𝑘 trạng thái hệ thống thời điểm 𝑘, 𝑢𝑘 vector điều khiển đầu vào, 𝑤𝑘 nhiễu trình – thường nhiễu Gaussian trắng cộng (Additive white Gaussian noise - AWGN), 𝐹𝑘 ma trận chuyển trạng thái, 𝐺𝑘 ma trận chuyển đổi đầu vào Ngoài ra, giả sử khả quan sát trạng thái hệ thống thực qua hệ thống đo lường biểu diễu phương trình tuyến tính (4.2) 𝑧𝑘 = 𝐻𝑘 𝑥𝑘 + 𝑣𝑘 (4.2) Trong 𝑧𝑘 thơng tin quan sát hay đo lường thực thời điểm 𝑘, 𝐻𝑘 ma trận quan sát, 𝑣𝑘 nhiễu cộng q trình đo lường Mơ hình cịn gọi mơ hình khơng gian trạng thái hệ thống (hình 4.3) 61 Chúng ta giả thiết sau:  Nhiễu trình 𝑤𝑘 nhiễu đo lường 𝑣𝑘 khơng tương quan, nhiễu AWGN có giá trị trung bình khơng Ma trận hiệp phương sai 𝑤𝑘 𝑄𝑘 ma trận hiệp phương sai 𝑣𝑘 𝑅𝑘 biết  Trạng thái khởi tạo hệ thống 𝑥0 vector ngẫu nhiên không tương quan với nhiễu hệ thống nhiễu đo lường  Trạng thái khởi tạo hệ thống có giá trị trung bình ma trận hiệp phương sai biết w u G + v Unit delay x H + z F Hình 3: Mơ hình khơng gian trạng thái lọc Kalman Kí hiệu 𝑥̂𝑛|𝑚 giá trị ước lượng trạng thái hệ thống 𝑥 thời điểm 𝑛 dựa quan sát thời điểm trước 𝑚 ≤ 𝑛 Như vậy, 𝑥̂𝑘+1|𝑘 giá trị ước lượng trạng thái 𝑥𝑘+1 dựa quan sát tới thời điểm 𝑘, 𝑧1 , … , 𝑧𝑘 Kí hiệu 𝑃𝑘+1|𝑘 hiệp phương sai ước lượng dự đoán, trung bình bình phương sai số ước lượng 𝑥̂𝑘+1|𝑘 Ý nghĩa 𝑃𝑘+1|𝑘 thể sai số trình ước lượng lọc Một đại lượng 𝐾 gọi độ lời Kalman (Kalman gain) tính tốn phù hợp để tối thiểu hóa hiệp phương sai sai số ước lượng 𝑃 Độ lời Kalman 𝐾 thể mức độ ảnh hưởng giá trị đo lường thời điểm lên giá trị ước lượng dự đốn thời điểm Độ lời Kalman cao có nghĩa độ xác giá trị đo lường cao ảnh hưởng lớn tới giá trị ước lượng Độ lời Kalman thấp tức độ xác đo lường thấp ảnh hưởng tới giá trị ước lượng 62 Thuật toán lọc Kalman bao gồm phương trình cho q trình prediction, cịn gọi trình cập nhật theo thời gian (time update), q trình corection, cịn gọi q trình cập nhật theo giá trị đo lường (measurement update) Tóm tắt phương trình lọc Kalman theo trình sau Quá trình prediction: lọc Kalman dựa vào trạng thái ước lượng điều chỉnh 𝑥̂𝑘|𝑘 – ước lượng trạng thái 𝑥𝑘 để ước lượng trạng thái 𝑥̂𝑘+1|𝑘 – ước lượng dự đoán trạng thái 𝑥𝑘+1 cho phép đo 𝑧𝑘+1 Phương trình trạng thái dự đoán: 𝑥̂𝑘+1|𝑘 = 𝐹𝑘 𝑥̂𝑘|𝑘 + 𝐺𝑘 𝑢𝑘 (4.3) Hiệp phương sai ước lượng dự đoán: 𝑃𝑘+1|𝑘 = 𝐹𝑘 𝑃𝑘|𝑘 𝐹𝑘𝑇 + 𝑄𝑘 𝑢𝑘 (4.4) Quá trình correction: Tính độ lời Kalman: 𝑇 𝑇 𝐾𝑘+1 = 𝑃𝑘+1|𝑘 𝐻𝑘+1 (𝐻𝑘+1 𝑃𝑘+1|𝑘 𝐻𝑘+1 + 𝑅𝑘+1 )−1 (4.5) Trạng thái ước lượng điều chỉnh: 𝑥̂𝑘+1|𝑘+1 = 𝑥̂𝑘+1|𝑘 + 𝐾𝑘+1 (𝑧𝑘+1 − 𝐻𝑘+1 𝑥̂𝑘+1|𝑘 ) (4.6) Hiệp phương sai ước lượng điều chỉnh: 𝑃𝑘+1|𝑘+1 = (𝐼 − 𝐾𝑘+1 𝐻𝑘+1 )𝑃𝑘+1|𝑘 (4.7) Cùng với điều kiện ban đầu ước lượng ma trận hiệp phương sai sai số nó, phương trình (4.3) – (4.7) định nhĩa giải thuật rời rạc hóa thời gian đệ quy để xác định hiệp phương sai ước lượng tuyến tính tối thiểu lọc Kalman Ta có mơ hình hồn chỉnh hoạt động lọc Kalman với phương trình cụ thể hình 4.4 63 Hình 4 : Hoạt động lọc Kalman theo phương trình 4.3 Ứng dụng lọc Kalman hệ thống nhận diện người đường 4.3.1 Ý tưởng thuật toán Trong hệ thống nhận diện người, đặc biệt ứng dụng nhận diện người đường xe ô tô, liệu ảnh đầu vào thường frame liên tục video thu từ camera xe Do đối tượng người thường xuất frame liên tiếp có khoảng thời gian xuất định video Một đặc điểm đối tượng thường di chuyển theo quỹ đạo tốc độ tương đối ổn định Hình 4.5 minh họa số frame liên tiếp trích từ tập liệu ETH, thể đối tượng người xuất liên tục di chuyển Bên cạnh đó, ứng dụng nhận diện người đường xe tơ cần có tốc độ xử lý cao u cầu cho tính an tồn xe di chuyển Từ đặc điểm yêu cầu này, luận văn đề xuất phương pháp kết hợp lọc Kalman với phương pháp nhận diện thông thường dựa ảnh, nhằm mục đích nâng cao độ xác tốc độ xử lý cho hệ thống Việc kết hợp lọc Kalman phương pháp nhận diện ảnh đem lại lợi ích chính:  Nâng cao độ xác việc nhận diện người: phương pháp nhận diện dựa ảnh, dù có độ xác cao có sai số Bộ lọc 64 Hình : Các frame liên tiếp video với đối tượng người chuyển Kalman, với đặc tính mình, giúp ta làm giảm sai số việc kết hợp thêm dự đoán dựa vào tốc độ quỹ đạo di chuyển người  Nâng cao tốc độ xử lý toàn hệ thống: sử dụng kết hợp lọc Kalman, ta dự đốn vị trí đối tượng frame Điều giúp ta giảm diện tích vùng ảnh cần để tìm kiếm đối tượng Thậm chí giúp ta tránh khỏi việc phải thực phương pháp nhận dạng tất frame cách: thực nhận dạng số frame, với frame cịn lại dùng kết dự đốn từ Kalman filter Như giúp tiết kiệm khối lượng tính tốn cần thiết, từ cịn giúp tiết kiệm lượng cho hệ thống Với tiềm lợi ích vậy, luận văn đề xuất thuật toán “nhận diện bám sát” người đường, kết hợp lọc Kalman phương pháp nhận diện ACF (chương 3) để tập trung làm tăng tốc độ xử lý toàn hệ thống Ý tưởng thuật toán: hệ thống nhận diện bám sát người đường, trạng thái hệ thống mà ta quan tâm vị trí xác đối tượng người ảnh Tại frame video, ta áp dụng thực nhận diện sử dụng phương pháp nhận diện có nhằm tìm vị trí đối tượng Kết bước nhận diện coi giá trị đo lường trạng thái mà ta nhận từ “thiết bị 65 đo đạc”, kết có sai số nhiễu đo lường Bộ lọc Kalman dựa giá trị để đưa giá trị ước lượng tối ưu cho trạng thái hệ thống, tức vị trí thực tế xác đối tượng người ảnh; đồng thời dự đốn vị trí người frame mà khơng thiết phải có kết đo lường từ bước nhận diện Điều giúp tăng tốc độ xử lý hệ thống bỏ qua bước nhận diện số frame Về mơ hình hệ thống, người đường thường di chuyển theo đường cố định tốc độ ổn định, ta coi đối tượng di chuyển theo mơ hình chuyển động thẳng với vận tốc khơng đổi 4.3.2 Sơ đồ thuật tốn Sơ đồ bước thuật tốn minh họa hình 4.6 Hình : Sơ đồ thuật tốn đề xuất Thuật toán thực đọc frame ảnh từ video đầu vào video kết thúc Với frame, ta xác định xem có thực việc nhận diện phương pháp ACF frame hay không Cụ thể, với số frame ta cần sử dụng lọc Kalman để dự đoán vị trí đối tượng mà khơng cần thực nhận diện Trong trường hợp không bỏ qua bước nhận diện, ta thực nhận diện đối 66 tượng phương pháp ACF Kết đầu bước bounding box tương ứng cho đối tượng Ta cần gán bounding box cho lọc Kalman, lọc Kalman hoạt động đối tượng Tiếp theo ta thực bước prediction correction lọc Kalman để dự đốn vị trí người chỉnh sửa giá trị ước lượng tối ưu cho vị trí người frame Bước prediction để dự đốn vị trí frame đối tượng mà xuất từ frame trước video theo dõi lọc Tương tự bước correction áp dụng cho đối tượng có từ frame trước Sau đó, có hai bước phụ khác cần thực trước xử lý frame Thứ khởi tạo lọc Kalman cho đối tượng xuất video (chưa gán vào lọc Kalman trước đó), thứ hai xóa lọc Kalman đối tượng khỏi video (ví dụ người di chuyển ngồi khung cảnh) Một bước cần ý bước gán kết nhận diện với lọc Kalman tương ứng để xem bounding box nhận diện đối tượng theo dõi Trong bước này, ta tính tỉ lệ chồng lấp (overlap) cặp bounding box nhận diện bounding box dự đốn trước Sau sử dụng phương pháp gán James Munkres [18] để gán cặp bounding box Về số lượng frame bỏ qua bước nhận diện, ta thực cài đặt kiểm thử với nhiều giá trị khác Tại giá trị ta đánh giá độ xác hệ thống thời gian thực thi Kết chi tiết trình bày mục 4.4 4.4 Cài đặt thử nghiệm đánh giá Thực triển khai thuật toán MATLAB chạy thực nghiệm tập liệu ETH Ta điều chỉnh số lượng frame bỏ qua bước nhận diện, từ frame frame, frame 15 frame log-average miss rate cho trường hợp Phương pháp đo giống với phương pháp sử dụng chương Bên cạnh đó, ta đo thời gian thực thi hệ thống nói chung thời gian thực thi bước nhận diện nói riêng trường hợp Các kết đo đạc thể bảng 4.1 67 Trong bảng 4.1, thời gian thực thi hệ thống thời gian bao gồm bước nhận diện bước trung gian (hình 4.6) Thời gian nhận diện tổng thời gian sử dụng bước nhận diện ACF Sử dụng lọc Kalman Không Có Có Có Có Có Có Có Có Số frame bỏ qua Thời gian thực thi (giây) nhận diện/tổng Cả hệ Nhận diện số frame thống 104.890 77.739 107.285 76.365 1/15 101.140 70.774 1/10 99.916 69.003 1/9 98.076 67.523 1/8 96.280 65.809 1/7 92.949 63.057 1/6 91.100 61.173 1/5 88.146 57.940 Số lần thực nhận diện 1804 1804 1676 1604 1580 1548 1504 1445 1355 Logaverage miss rate 54% 71% 73% 74% 75% 75% 75% 76% 78% Bảng : Kết thuật toán sử dụng lọc Kalman tập liệu ETH Với trường hợp không sử dụng lọc Kalman, tức không sử dụng thuật toán đề xuất mà sử dụng phương pháp nhận diện ACF ảnh, kết kết chương (mục 3.5), log-average miss rate đạt 54% Hình : Sự biến đổi thời gian nhận diện miss rate theo số frame bỏ qua nhận diện giảm dần 68 Khi sử dụng Kalman filter với thuật toán đề xuất tăng dần số frame bỏ qua bước nhận diện (1 frame 15, 10, 9, 8, …, frame), ta nhận thấy thời gian thực thi giảm đáng kể miss rate tăng lên nhẹ So sánh trường hợp số frame bỏ qua 1/15 1/5 ta thấy, thời gian thực thi bước nhận diện giảm 18%, miss rate tăng khoảng 5% Hình 4.7 minh họa biến đổi thời gian bước nhận diện miss rate số lượng frame bỏ qua bước nhận diện thay đổi theo bảng 4.1 Nhìn vào bảng 4.1 ta ý thấy, sử dụng Kalman filter với thuật toán trên, không bỏ qua bước nhận diện frame nào, miss rate tăng lên đáng kể (71%) so với không áp dụng lọc (54%) Điều dự đoán ảnh hưởng bước phụ thuật toán như: gán kết nhận diện với lọc tương ứng, xác định khởi tạo lọc cho đối tượng mới, tìm xóa đối tượng bị Mỗi bước đề tạo sai số, từ làm giảm độ xác chung hệ thống Tuy nhiên, dự đoán cần kiểm nghiệm thêm Việc kiểm nghiệm thực cách áp dụng thuật toán với video mà chứa đối tượng người di chuyển từ đầu tới cuối Khi bước phụ khơng cần thiết loại bỏ 4.5 Kết luận chương Chương trình bày sở lý thuyết lọc Kalman Dựa đặc tính lọc Kalman mà luận văn đề xuất ý tưởng thuật toán để kết hợp với phương pháp nhận diện người trình bày chương 3, nhằm mục đích giảm thiểu thời gian xử lý, nâng cao tốc độ cho toàn hệ thống Các kết thực nghiệm minh chứng cho khả thuật tốn 69 KẾT LUẬN Luận văn hồn thành trình bày cách tổng quát hệ thống nhận diện người, khó khăn thường gặp lĩnh vực tình hình số kết nghiên cứu giới Đồng thời, luận văn trình bày chi tiết phương pháp nhận diện cụ thể phương pháp sử dụng ACF Đây phương pháp đánh giá có chất lượng tốt so với phương pháp trước Các kết thực nghiệm đưa so sánh Việc tìm hiểu nắm rõ phương pháp có ý nghĩa giúp hiểu tình trạng thành tựu lĩnh vực, để làm tảng nghiên cứu phát triển phương pháp tiên tiến sau Dựa sở đó, luận văn đề xuất thuật toán nhằm cải tiến tốc độ xử lý hệ thống nhận diện, thời gian tính tốn giảm xuống Kết nghiên cứu sở để nâng cao chất lượng cho hệ thống nhận diện người đường xe ô tô, giúp xe xử lý phản hồi nhanh di chuyển, từ tăng cường độ an tồn cho xe người Hướng phát triển luận văn nâng cao độ xác thuật toán đề xuất, bên cạnh cải tiến tốc độ đạt Bên cạnh nghiên cứu thêm phương pháp nhận diện người sử dụng mạng nơ-ron trí tuệ nhân tạo Đây hướng nhận nhiều ý có kết bật thời gian ngắn trở lại 70 TÀI LIỆU THAM KHẢO [1] Belongie, S., Malik, J., & Puzicha, J (2001) Matching shapes In Computer Vision, 2001 ICCV 2001 Proceedings Eighth IEEE International Conference on (Vol 1, pp 454-461) IEEE [2] Caltech Pedestrian Detection Benchmark https://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/ Truy cập lần cuối ngày 23/3/2017 [3] Canny, J (1986) A computational approach to edge detection IEEE Transactions on pattern analysis and machine intelligence, (6), 679-698 [4] Dalal, N (2006) Finding people in images and videos (Doctoral dissertation, Institut National Polytechnique de Grenoble-INPG) [5] Dalal, N., & Triggs, B (2005, June) Histograms of oriented gradients for human detection In Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on (Vol 1, pp 886-893) IEEE [6] Déniz, O., Bueno, G., Salido, J., & De la Torre, F (2011) Face recognition using histograms of oriented gradients Pattern Recognition Letters, 32(12), 1598-1603 [7] Dollár, P., Appel, R., Belongie, S., & Perona, P (2014) Fast feature pyramids for object detection IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(8), 1532-1545 [8] Dollár, P., Belongie, S J., & Perona, P (2010, August) The Fastest Pedestrian Detector in the West In BMVC (Vol 2, No 3, p 7) [9] Dollár, P., Tu, Z., Perona, P., & Belongie, S (2009) Integral channel features [10] Dollar, P., Wojek, C., Schiele, B., & Perona, P (2012) Pedestrian detection: An evaluation of the state of the art IEEE transactions on pattern analysis and machine intelligence, 34(4), 743-761 [11] Ess, A., Leibe, B., Schindler, K., & Van Gool, L (2008, June) A mobile vision system for robust multi-person tracking In Computer Vision and Pattern Recognition, 2008 CVPR 2008 IEEE Conference on (pp 1-8) IEEE 71 [12] Everingham, M., Van Gool, L., Williams, C K., Winn, J., & Zisserman, A (2010) The pascal visual object classes (voc) challenge International journal of computer vision, 88(2), 303-338 [13] Freund, Y., & Schapire, R E (1995, March) A desicion-theoretic generalization of on-line learning and an application to boosting In European conference on computational learning theory (pp 23-37) Springer Berlin Heidelberg [14] Gavrila, D M., & Munder, S (2007) Multi-cue pedestrian detection and tracking from a moving vehicle International journal of computer vision, 73(1), 41-59 [15] INRIA Person Dataset http://pascal.inrialpes.fr/data/human/ Truy cập lần cuối ngày 20/3/2017 [16] Kalman, R E (1960) A new approach to linear filtering and prediction problems Journal of basic Engineering, 82(1), 35-45 [17] Meynet, J., Popovici, V., & Thiran, J (2003) Fast face detection using adaboost (No EPFL-STUDENT-86954) [18] Munkres, J (1957) Algorithms for the assignment and transportation problems Journal of the society for industrial and applied mathematics, 5(1), 32-38 [19] Nguyen, D T (2012) Human detection from images and videos [20] Nguyen, D T., Li, W., & Ogunbona, P O (2016) Human detection from images and videos: a survey Pattern Recognition, 51, 148-175 [21] Piotr Dollár Piotr's Computer Vision Matlab Toolbox https://pdollar.github.io/toolbox/index.html Truy cập lần cuối ngày 23/3/2017 [22] Porikli, F (2005, June) Integral histogram: A fast way to extract histograms in cartesian spaces In Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on (Vol 1, pp 829-836) IEEE [23] Prewitt, J M (1970) Object enhancement and extraction Picture processing and Psychopictorics, 10(1), 15-19 72 [24] Prisacariu, V., & Reid, I (2009) fastHOG-a real-time GPU implementation of HOG Department of Engineering Science, 2310(9) [25] Roberts, L G (1963) Machine perception of three-dimensional solids (Doctoral dissertation, Massachusetts Institute of Technology) [26] Ruderman, D L., & Bialek, W (1994) Statistics of natural images: Scaling in the woods Physical review letters, 73(6), 814-817 [27] Rybski, P E., Huber, D., Morris, D D., & Hoffman, R (2010, June) Visual classification of coarse vehicle orientation using histogram of oriented gradients features In Intelligent Vehicles Symposium (IV), 2010 IEEE (pp 921-928) IEEE [28] Ruderman, D L (1994) The statistics of natural images Network: computation in neural systems, 5(4), 517-548 [29] Sobel, I., Feldman, G (1968) "A 3x3 Isotropic Gradient Operator for Image Processing", presented at the Stanford Artificial Intelligence Project (SAIL) [30] Stallkamp, J., Schlipsing, M., Salmen, J., & Igel, C (2012) Man vs computer: Benchmarking machine learning algorithms for traffic sign recognition Neural networks, 32, 323-332 [31] Stauffer, C., & Grimson, W E L (2000) Learning patterns of activity using real-time tracking IEEE Transactions on pattern analysis and machine intelligence, 22(8), 747-757 [32] Viola, P., & Jones, M (2001) Rapid object detection using a boosted cascade of simple features In Computer Vision and Pattern Recognition, 2001 CVPR 2001 Proceedings of the 2001 IEEE Computer Society Conference on (Vol 1, pp I-I) IEEE [33] Viola, P., & Jones, M J (2004) Robust real-time face detection International journal of computer vision, 57(2), 137-154 [34] Wang, X., Han, T X., & Yan, S (2009, September) An HOG-LBP human detector with partial occlusion handling In Computer Vision, 2009 IEEE 12th International Conference on (pp 32-39) IEEE 73 [35] Zhu, Q., Yeh, M C., Cheng, K T., & Avidan, S (2006) Fast human detection using a cascade of histograms of oriented gradients In Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on (Vol 2, pp 1491-1498) IEEE 74 ... nhiều tốn nhận diện Trong cơng trình nghiên cứu HOG, tác giả áp dụng HOG vào toán nhận diện người cho kết tốt [7, 9] Phương pháp nhận diện người sử dụng đặc trưng HOG phương pháp nghiên cứu, trích... THỐNG NHẬN DIỆN NGƯỜI ĐI ĐƯỜNG 1.1 Giới thiệu chung Trong lĩnh vực thị giác máy tính, vấn đề nhận diện đối tượng nhận ý lớn cộng đồng nghiên cứu năm gần Trong đó, nhận diện thể người, hay nhận diện. .. đích nghiên cứu, đối tượng phạm vi nghiên cứu Luận văn thực với mục đích:  Nghiên cứu hệ thống nhận diện người đường phương pháp nhận diện sử dụng phổ biến giới Đánh giá chất lượng phương pháp nghiên