Phát hiện người trong ảnh dùng trích rút đặc trưng hog mở rộng

ỦY BAN NHÂN DÂN TP.HCM TRƯỜNG CAO ĐẲNG CÔNG NGHỆ THỦ ĐỨC NGHIÊN CỨU KHOA HỌC Tên đề tài: PHÁT HIỆN NGƯỜI TRONG ẢNH DÙNG TRÍCH RÚT ĐẶC TRƯNG HOG MỞ RỘNG Chủ nhiệm đề tài: NGUYỄN THỊ PHONG TP Hồ Chí Minh, năm 2020 I ỦY BAN NHÂN DÂN TP.HCM TRƯỜNG CAO ĐẲNG CÔNG NGHỆ THỦ ĐỨC NGHIÊN CỨU KHOA HỌC Tên đề tài: PHÁT HIỆN NGƯỜI TRONG ẢNH DÙNG TRÍCH RÚT ĐẶC TRƯNG HOG MỞ RỘNG Mã sớ: Chủ nhiệm đề tài: NGUYỄN THỊ PHONG TP Hồ Chí Minh, năm 2020 II MỤC LỤC MỤC LỤC III A.DANH MỤC CÁC CHỮ VIẾT TẮT V B.DANH MỤC CÁC HÌNH V C PHẦN NỘI DUNG Chương 1: TỔNG QUAN 1.1 Tổng quan lĩnh vực nghiên cứu 1.2 Tình hình nghiên cứu 1.3 Mục tiêu nhiệm vụ nghiên cứu 1.3.1 Mục tiêu nghiên cứu 1.3.2 Nhiệm vụ nghiên cứu 1.4 Đối tượng phạm vi nghiên cứu 1.4.1 Đối tượng nghiên cứu 1.4.2 Phạm vi nghiên cứu 1.5 Phương pháp nghiên cứu 1.6 Đóng góp của đề tài 1.7 Kết cấu của đề tài CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Vector gradient ảnh 2.2.Đặc trưng HOG mở rộng 2.2.1 Đặc trưng HOG 2.2.2 Trích rút đặc trưng HOG 2.2.3 Đặc trưng HOG mở rộng 12 2.3 Máy vector hỗ trợ SVM (Support Vetor Machines) 15 2.3.1 Phân loại tuyến tính với lề cực đại (maximum-margin linear classifier) 16 2.3.2 Các điều kiện Karush-Kuhn-Tucker 18 2.3.3 Hàm phân loại tuyến tính với lề mềm cực đại (Soft Margin Classifiers) 18 III 2.3.4 Hàm nhân và SVM phi tuyến (Kernel function and nonlinear SVMs) 19 2.4 Trượt window phát người 20 CHƯƠNG 3: THỰC NGHIỆM - ĐÁNH GIÁ 25 3.1 Sơ đồ bước thực 25 3.2 Trích rút đặc trưng HOG mở rộng 25 3.3 Huấn luyện test phân loại nhị phân 26 3.4 Xây dựng phát người ảnh tĩnh 28 3.5 Đánh giá 29 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 33 TÀI LIỆU THAM KHẢO 34 IV A DANH MỤC CÁC CHỮ VIẾT TẮT ACF - Aggregated Channel Features DET - Detection Error Tradeoff EHOG - Enhanced Histogram of Oriented Gradients FN - False Negative FP - False Positive INRIA - French National Institute for Research in Computer Science and Control HOG - Histogram of Oriented Gradients MHOG - Multiple Histogram of Oriented Gradients MIT - Massachusetts Institute of Technology RBF - Radial Basis Function R-HOG - Rectangle - Histogram of Oriented Gradients ROC - Receiver Operating Characteristic SS-HOG - Scale Space Histogram of Oriented Gradients SVM - Support Vector Machines TN - True Negative TP - True Positive V B DANH MỤC CÁC HÌNH HÌNH TRANG Hình 2.1: Ví dụ pixel cần tính vector gradient Hình 2.2: Sơ đồ tổng quan trích rút đặc trưng HOG tĩnh Hình 2.3: Ví dụ cửa sổ nhận dạng cao 128 pixel x rộng 64 pixel Hình 2.4: Ví dụ (a) ảnh xám; (b) ảnh gradient X; (c)ảnh gradient Y Hình 2.5: Tính góc và biên độ theo X-gradient Y-gradient Hình 2.6: Mơ tả bin hướng gradient của cell ảnh (8x8 pixels) 10 Hình 2.7: Ví dụ HOG của block ảnh (2x2 cells) 11 Hình 2.8: Ảnh (a) và hình dung (Visualization) HOG của ảnh: (b) kích thước cell 8x8 pixel, (c) kích thước cell 16x16 pixel 12 Hình 2.9: Mơ tả toàn q trình trích rút đặc trưng HOG 12 Hình 2.10: Xử lý gradient theo hướng của ảnh đới với phương pháp tổng tích lũy 13 Hình 2.11: Sơ đồ tính đặc trưng HOG mở rộng 13 Hình 2.12: Các siêu phẳng support vector SVM 16 Hình 2.13: Các siêu phẳng H+ và H- SVM 18 Hình 2.14: Mơ tả phương pháp trượt window 21 Hình 2.15: Ví dụ hai window phát gần 22 Hình 2.16: Ví dụ loại bỏ không cực đại (Non-Maximum Suppression) 23 Hình 2.17: Minh họa hình chóp tỉ lệ, mức mô tả tỉ lệ so với ảnh gốc 23 Hình 2.18: Một vài kết phát trước (a) và sau (b) loại bỏ phát trùng lặp 24 Hình 3.1: Sơ đồ bước thực phát người 25 Hình 3.2: Một vài kết phát người ảnh tĩnh 28 Hình 3.3: Đường cong ROC test với tập liệu của INRIA 31 Hình 3.4: So sánh thời gian trích đặc trưng trước và sau cải thiện phương pháp tính vector đặc trưng HOG của ảnh 32 VI C.PHẦN NỘI DUNG Chương 1: TỔNG QUAN 1.1 Tổng quan lĩnh vực nghiên cứu Trong thập kỷ qua, hệ thống tự động phát người được dùng rộng rãi nhiều lĩnh vực khác phát hoạt động của người an ninh, camera giám sát và phát người ứng dụng xe thông minh,… Nghiên cứu phát người dựa vào mô tả đặc trưng, sau đó dùng giải thuật học máy để học đặc trưng của lớp đối tượng Cuối là nhận dạng, phát đối tượng ảnh video dùng mơ hình được h́n luyện Đề tài “Phát người ảnh dùng trích rút đặc trưng HOG mở rộng” nghiên cứu phát người (pedestrians) ảnh tĩnh dựa vào mô tả đặc trưng HOG mở rộng (Extended Histogram of Oriented Gradients), sau đó đưa vào SVM (Support Vector Machines) để thực phân loại, đồng thời dùng phương pháp trượt cửa sổ (Sliding windows) để phát 1.2 Tình hình nghiên cứu Cùng với yêu cầu phát triển xã hội, phát đối tượng cụ thể là người (pedestrian), được quan tâm nhiều năm gần Đề tài “Giám sát an ninh dùng kỹ thuật xử lý hình ảnh” của tác giả Hồ Q́c Thiền (Khóa 2015AĐHSPKTTPHCM) [1] thực việc phát người ảnh đặc trưng kênh tổng hợp ACF (Aggregated Channel Features) kết hợp với thuật toán máy học Adaboost, theo dõi đối tượng, biểu thị đặc trưng hành động của người phương pháp trích đặc trưng HOG, sau đó thông qua vector hỗ trợ máy học SVM để phân loại loại hành động Kết cuối của đề tài là tổng hợp của nhiều khâu xử lý nên cho độ xác mức tương đới, tớc độ xử lý cịn thách thức Ở ngoài nước, nhiều cơng trình phát người được thực năm gần Mỗi công trình sử dụng mơ tả đặc trưng khác và phân loại khác Bộ mô tả đặc trưng dùng biểu đồ hướng gradient (HOG) được nhóm tác giả Dalal và Triggs [2] đề xuất năm 2005 Giải thuật chuẩn hóa HOG cục của nhóm tác giả này cho kết phát tốt Vector đặc trưng sau đó được đưa vào phân loại SVM tuyến tính để phân loại Kết thực nghiệm nhận dạng người cho thấy phương pháp đề xuất có độ xác cao Tuy nhiên, việc tính tốn mơ tả đặc trưng HOG được lặp lại nhiều lần ảnh phát người phí tính tốn HOG lớn Nhiều tác giả khác sau đó tiếp tục nghiên cứu nhằm cải thiện tớc độ xử lý và độ xác phương pháp khác Sự cải thiện được thực gồm: phương pháp khác để trích rút đặc trưng HOG; kết hợp đặc trưng khác với HOG; phương pháp khác để tăng tốc phân loại; kết hợp phát dựa phần,… Ning He [3] (2008) đưa phương pháp lý thuyết không gian tỉ lệ (Scale Space) tích hợp với trích rút đặc trưng HOG được gọi là biểu đồ gradient hướng không gian tỉ lệ (SS-HOG) và đưa vào SVM tuyến tính để phân loại Thực nghiệm liệu người INRIA, SS-HOG cho kết phát tốt HOG gốc Guangyua Zhang [4] (2010) đưa phương pháp tối ưu hóa cách dùng đặc trưng HOG và phân loại SVM cải thiện tốc độ phát người Daimeng Wei [5] (2013) đưa phương pháp cải thiện đặc trưng HOG cách liên kết đặc trưng được tăng cường thêm vào để thu được nhiều thông tin từ đối tượng được gọi là EHOG (Enhanced HOG) Vector đặc trưng được đưa vào HIKSVM (Histogram Intersection Kernel Support Vector Machine) để phân loại 1.3 Mục tiêu nhiệm vụ nghiên cứu 1.3.1 Mục tiêu nghiên cứu Mục tiêu của đề tài là xây dựng mô tả đặc trưng HOG mở rộng (Extended Histogram of Oriented Gradients) sở mô tả đặc trưng HOG gớc, trích rút đặc trưng HOG mở rộng từ đới tượng mẫu; dùng thuật tốn SVM (Support Vector Machines) để thực phân loại, trượt cửa sổ (sliding window) để phát người ảnh tĩnh 1.3.2 Nhiệm vụ nghiên cứu Các nội dung được thực đề tài:  Tìm hiểu lý thuyết trích rút đặc trưng HOG  Xây dựng mô tả đặc trưng HOG mở rộng sở mô tả đặc trưng HOG gốc  Xây dựng chương trình trích rút đặc trưng HOG mở rộng và huấn luyện mẫu SVM  Xây dựng chương trình phát người ảnh tĩnh dựa theo phương pháp trượt cửa sổ  Tóm tắt nội dung và viết báo cáo 1.4 Đối tượng phạm vi nghiên cứu 1.4.1 Đối tượng nghiên cứu Đề tài nghiên cứu mô tả đặc trưng HOG mở rộng giải thuật trích rút đặc trưng HOG mở rộng, huấn luyện mơ hình SVM, phát người ảnh tĩnh 1.4.2 Phạm vi nghiên cứu Đề tài này sử dụng liệu chuẩn của INRIA gồm huấn luyện 2416 mẫu ảnh positive (người) và 2215 mẫu ảnh negative (khơng phải người) cho phân loại SVM tún tính, test 1126 mẫu ảnh positive và 1131 mẫu ảnh negative 1.5 Phương pháp nghiên cứu  Phương pháp phân tích lý thút: Nghiên cứu tài liệu để tìm hiểu tổng quan vấn đề nghiên cứu; tìm hiểu phương pháp trích rút đặc trưng HOG, xây dựng mơ tả đặc trưng HOG mở rộng phương pháp học máy SVM  Phương pháp thực nghiệm: - Xây dựng chương trình phát người đới với ảnh tĩnh dùng mô tả đặc trưng HOG mở rộng và phương pháp học máy SVM, trượt cửa sổ để phát Việc mô xử lý liệu và kết được thực phần mềm Matlab, phiên R2016a 1.6 Đóng góp đề tài Đề tài nghiên cứu xây dựng mô tả đặc trưng HOG mở rộng sở mô tả đặc trưng HOG gốc nhằm tăng tốc độ phát người đối với ảnh tĩnh nhờ phương pháp trượt cửa sổ Bên cạnh đó tác giả giới thiệu ứng dụng của xử lý ảnh ứng dụng giám sát an ninh, lĩnh vực chuyên môn chuyên ngành kỹ thuật điện tử 1.7 Kết cấu đề tài Đề tài được cấu trúc thành chương: Chương 1: Tổng quan Chương 2: Cơ sở lý thuyết Chương 3: Thực nghiệm – Đánh giá Chương 4: Kết luận và hướng phát triển nhiều phát trùng lặp đới tượng, mơ hình trượt window dùng để phát tất đối tượng ảnh là người Hình 2.14 Mơ tả phương pháp trượt window Phương pháp phát người gồm: -Trích đặc trưng window kích thước 64x128 pixel tại vị trí và tỉ lệ -Tính đặc trưng HOG cho window -Xác định hệ số tin cậy phân loại (score) cho window phân loại SVM tún tính -Thực loại bỏ khơng cực đại (Non-Maximum Suppression) để loại bỏ phát trùng lặp có score thấp Hai window phát được gọi là trùng lặp (hai window gần chứa đối tượng) nếu chúng thỏa mãn tiêu chí chồng (overlap) 50% Giả sử có hai window gần a và b hình 2.15 Xác định tỉ sớ vùng giao của hai vùng phát (a b) với hợp của hai vùng phát (loại ‘Union’), tỉ số vùng giao của hai vùng phát với giá trị nhỏ nhất của hai vùng phát (loại ‘Min’) Union : Min : a b a b (2.32) a b min( a, b) (2.33) s(a, b)  s(a, b)  Đề tài này chọn loại ‘Union’, s(a, b)  21 a b  0.5 a b Hình 2.15 Ví dụ hai window phát gần  Hệ số tin cậy phân loại (score): Là khoảng cách từ mẫu được phân loại đến biên quyết định của SVM Hệ số tin cậy chuẩn hóa [12] cho lớp positive “1” theo hàm sigmoid: t (w)  1  ea ( w  c ) (2.34) Trong đó wi là score SVM tún tính śt q trình h́n luyện; tham sớ a và c được đánh giá cho xác śt ước tính là tớt nhất đối với ngõ huấn luyện Hệ số tin cậy chuẩn hóa [12] cho lớp negative “-1”: – t(w) (2.35) Hình 2.16 Ví dụ loại bỏ khơng cực đại (Non-Maximum Suppression) 22 Hình chóp chứa ảnh đa tỉ lệ Bắt đầu với mức (level 1), ảnh là ảnh gớc, sau đó thêm mức tiếp theo hình chop, cho đến kích thước của ảnh tỉ lệ nhỏ nhất lớn window 64x128 (không được nhỏ window) Hệ số tỉ lệ (scale) mức liên tiếp là 1.2 Minh họa hình chóp tỉ lệ [12] hình 2.17 Hình 2.17 Minh họa hình chóp tỉ lệ, mức mô tả tỉ lệ so với ảnh gốc Như đề cập mơ hình trượt window, bước trượt window (khoảng cách mẫu hai window liên tiếp) bất kỳ tỉ lệ nào là pixel Nếu sau điều chỉnh vừa vặn tất window tại mức tỉ lệ mà dư phần biên lấy phần biên đó chia 2, làm trịn bé dịch chuyển toàn lưới window Ví dụ nếu kích thước ảnh mức tại là (75x130), bước trượt là 8, kích thước window là (64x128) biên cịn lại là (3x2), ta dịch chuyển tất window khoảng [ M arg inX M arg inY , ] tức là [ , ] trượt bình thường 2 2 Chiều rộng và chiều cao ảnh [12] được tính công thức: NewWidth  OrigWidth Scale NewHeight  OrigHeight Scale Khi scale =1, ảnh tỉ lệ là ảnh gớc 23 (2.36) (2.37) (a) (b) Hình 2.18 Một vài kết phát trước (a) và sau (b) loại bỏ phát trùng lặp 24 Chương 3: THỰC NGHIỆM - ĐÁNH GIÁ 3.1 Sơ đồ bước thực Ảnh Trích rút đặc trưng HOG mở rộng Bộ phân loại SVM nhị phân Phát người Xác định vị trí người ảnh Hệ thớng phát người ảnh Hình 3.1 Sơ đồ bước thực phát người 3.2 Trích rút đặc trưng HOG mở rộng Trích rút đặc trưng HOG dùng phần mềm matlab, với hàm kèm theo Tính gradient của ảnh ngõ vào theo tọa độ cực hướng từ 00 đến 1800 Nếu ảnh vào là ảnh RGB, gradient được tính cho kênh và trả độ lớn và hướng tương ứng của vector gradient cho pixel Hàm compute_gradient.m – Ngõ vào: ảnh để tính gradient Ngõ ra: hướng và độ lớn của vector gradient cho pixel Chia ảnh ngõ vào thành cell có kích thước cụ thể, tính tọa độ cell Hàm compute_cell_coordinates.m – Ngõ vào: ảnh để tách thành cell, kích thước cell x và kích thước cell y Tính mô tả HOG của ảnh ngõ vào với tham sớ cụ thể Gọi hàm tính gradient và hàm tính tọa độ cell, thực tính histogram và chuẩn hóa block Hàm compute_HOG.m – Ngõ vào: ảnh để trích đặc trưng HOG, kích thước cell theo pixels, kích thước block theo cells và số bin của histogram Ngõ ra: mô tả đặc trưng HOG của ảnh dạng vector cột Trích rút đặc trưng HOG mở rộng dùng phần mềm matlab, với hàm kèm theo 25 Hàm sumHOG.m – Tính bảng tổng tích lũy cho điểm (x,y) theo Bin; Tính gradient cho tất pixel ảnh; Tính tổng tích lũy độ lớn ủng hộ gradient cho điểm (x,y) theo công thức 2.6 Hàm HOGLocal.m – Tính sớ block ngang và sớ block dọc của ảnh, tính tọa độ block ảnh; Tính histogram của block phép truy xuất bảng SATHisBin theo công thức 2.7; Thiết lập vector HOG mở rộng cách ghép khối HOG lại với 3.3 Huấn luyện test phân loại nhị phân  Thư viện libSVM Nhiều gói SVM có sẵn libSVM là gói phổ biến và hoàn chỉnh nhất Nó là thư viện nguồn mở được phát triển tại Đại học quốc gia Đài loan (National Taiwan University), ngôn ngữ C++ và hỗ trợ phân loại Nó là phần mềm miễn phí [13, 14] cho phép sử dụng phạm vi rộng ngôn ngữ và Code được chuyển thành ngôn ngữ matlab cho phân loại tham số và cấu trúc  Dữ liệu huấn luyện test SVM: Phát người hay phát đối tượng nói chung trở thành mục tiêu của lĩnh vực học máy, vài tập liệu có thể được tìm thấy Internet Hai tập liệu nỗi tiếng cho phát người là tập liệu của MIT (Massachusetts Institute of Technology) và của INRIA (French National Institute for Research in Computer Science and Control) Đề tài này sử dụng tập liệu của INRIA [15] Tập liệu này được chia thành hai định dạng: ảnh gốc với file thích tương ứng và ảnh positive định dạng 64x128 chuẩn và ảnh negative gốc  1126 ảnh testing positive 70x134 chuẩn hóa và lấy trung tâm (dùng để test SVM)  2416 ảnh training positive 96x160 chuẩn hóa và lấy trung tâm (dùng để huấn luyện SVM)  1218 ảnh training negative gốc (dùng để huấn luyện SVM)  614 ảnh training positive gốc 26  453 ảnh testing negative gốc (dùng để test SVM)  288 ảnh testing positive gốc (dùng để test detector)  970 Megabytes nén, 1150 Megabytes không nén  Huấn luyện phân loại nhị phân dùng mơ hình libSVM Đề tài dùng 2416 mẫu ảnh positive và 2215 mẫu ảnh negative, dùng hàm nhân ‘linear’ với khoảng cost từ 2-2 đến 28 cho cấu hình tớt nhất có thể với độ xác 97.2792%  Test dùng phân loại SVM nhị phân Để xác định tính hiệu của mơ hình phân loại, cần quan tâm hai yếu tố sau: Thứ nhất và quan trọng nhất là chọn mẫu test không được nằm tập mẫu huấn luyện (training) Để test hiệu suất thực của mơ hình, ta cần biết nó phân loại thế nào với liệu chưa biết, điều này cho ta trực quan khả tổng quát hóa của mơ hình được h́n luyện Thứ hai, thiết lập mới quan hệ số mẫu của lớp, thường dùng số mẫu của lớp là Tuy nhiên số trường hợp đặc biệt cần dùng liệu lệch để phục vụ mục đích đo lường cụ thể Test 1126 mẫu ảnh positive và 1131 mẫu ảnh negative Kết sau: OKs KOs FP FN TP TN 2150 107 100 1119 1031 Trong đó: OKs: số phân loại KOs: số phân loại sai FP: số false positive FN: số false negative TP: số true positive TN: số true negative Vẽ đường cong ROC Hàm plot_ROCcurve.m - Một cửa sổ nhắc nhở cho file mơ hình SVM và thư mục chứa ảnh huấn luyện positive và negative 27 Vẽ đo lường độ xác (accuracy) theo chức ngưỡng phân loại Vẽ đo lường recall, precision F-score Hàm plot_reject_curves.m – Ngõ vào: mơ hình libSVM và thư mục ảnh vào Ngõ ra: bỏ trống 3.4 Xây dựng phát người ảnh tĩnh Dùng hệ thống window trượt kết hợp phân loại nhị phân huấn luyện Cho ảnh, lấy ảnh tỉ lệ của ảnh này tạo thành hình chóp khơng gian tỉ lệ và window phát 64x128 đó người được mơ tả có chiều cao trung bình 100 pixels Trượt window này quét qua tất mức tỉ lệ của hình chóp khơng gian tỉ lệ tất vị trí ảnh So sánh vùng chồng window phát gần để nhóm chúng thành nhóm Cứ hai window có vùng chồng lớn tổng vùng được xem là gần nhau, đó hai window này được xem là phát đối tượng Áp dụng loại bỏ không cực đại đối với window phát lân cận và biểu diễn window phát mạnh nhất Phương pháp trượt window trình bày hình chữ nhật màu đỏ khơng có người bên và hình chữ nhật màu xanh với số tin cậy (percentage of confidence) có người bên Hàm static_detector.m –Ngõ vào: mô hình SVM Ngõ ra: bỏ trớng 28 Hình 3.2 Một vài kết phát người ảnh tĩnh 3.5 Đánh giá  Kết từ phân loại SVM Phân loại nhị phân đó ngõ được gắn nhãn positive (p) negative (n) Có ngõ có thể từ phân loại nhị phân Nếu ngõ từ phân loại dự đoán là p và giá trị thực tế là p nó được gọi là true positive (TP); nhiên nếu giá trị thực tế là n nó được gọi là false positive (FP) Ngược lại, true negative (TN) xảy giá trị dự đoán và giá trị thực tế là n, false negative (FN) ngõ từ phân loại dự đoán là n giá trị thực tế là p Các đo lường kiểm tra hiệu suất của phân loại nhị phân [16, 17] gồm true positive rate (tỉ lệ positive đúng) (hay gọi là recall, probability of detection, sensitivity), false positive rate (tỉ lệ positive sai) (hay gọi là specificity, miss rate), precision F-score true _ positive _ rate  recall  29 TP TP  FN (3.1) false _ positive _ rate  FP FP  TN (3.2) precision  TP TP  FP (3.3) Giá trị precision đo tỉ lệ mẫu positive thực chất phát được toàn số positive ban đầu không đề cập đến mẫu negative được phân loại thành positive Mặt khác, giá trị recall đo tỉ lệ mẫu positive thực chất phát được toàn số positive trả không đề cập đến mẫu positive bị phân loại sai Một loại đo lường kết hợp precision recall gọi là F1score đo lường trung bình, điều hịa của hai đại lượng thường được dùng để so sánh mơ hình khác Giá trị tớt nhất của F1score là 1, giá trị xấu nhất là F1score  precision recall precision  recall (3.4) Theo số liệu thu được của đề tài: recall  positives negatives positives TP=1119 FP=100 negatives TN=1031 FN=7 oks=2150 kos=107 TP 1119   0.993783 TP  FN 1119  precision  TP 1119   0.917965 TP  FP 1119  100 F1score  0.917965 x0.993783  0.95437057 0917965  0.993783  Đường cong ROC (Receiver Operating Characteristic): Trong phân loại nhị phân, dự đốn đới với mẫu dựa vào biến ngẫu nhiên liên tục X gọi là score/confidence được tính mẫu đó Cho trước tham số ngưỡng T, mẫu được phân loại là positive X>T và ngược lại 30 là loại negative Đường cong ROC [16, 17] vẽ TPR với FPR theo tham số đó ngưỡng T là tham số biến đổi (Mỗi điểm đường cong ROC tương ứng với ngưỡng score) Điều chỉnh T dẫn đến điều chỉnh TPR và FPR Khi đường cong ROC là đường chéo dự đốn ngẫu nhiên (khơng phân biệt được mẫu thuộc loại nào), true positive rate false positive rate Đường cong ROC càng gần phía trên, bên trái của mặt phẳng tọa độ càng tớt, đường chéo không có giá trị Đường cong ROC thu được theo sớ liệu của đề tài hình 3.6 Hình 3.3 Đường cong ROC test với tập liệu của INRIA  Kết cải thiện tính thời gian trích đặc trưng HOG Chọn ảnh bất kỳ để tính đặc trưng HOG Tính mơ tả đặc trưng HOG của ảnh theo phương pháp HOG gốc và theo phương pháp cải thiện So sánh thời gian tính mô tả đặc trưng HOG theo Dalal và Trigs của ảnh cho trước phương pháp HOG gốc và phương pháp cải thiện Chọn bước trượt window ảnh lần lượt là 4:4:32, 4:4:64 Kết so sánh thời gian tính đặc trưng HOG của ảnh cho trước hình 3.4 Đường phía (màu xanh) mơ tả thời gian 31 tính đặc trưng HOG của ảnh theo phương pháp HOG gớc Đường phía (màu đỏ) mơ tả thời gian tính đặc trưng HOG của ảnh theo phương pháp cải thiện (a) Bước trượt 4:4:32; (b) Bước trượt 4:4:64 Hình 3.4 So sánh thời gian trích đặc trưng trước và sau cải thiện phương pháp tính vector đặc trưng HOG của ảnh Nhận xét -Thời gian tính đặc trưng HOG cho ảnh theo phương pháp cải thiện giảm nhiều khoảng trượt (stride) nhỏ (phát ảnh với độ xác cao) - Khi khoảng trượt càng lớn thời gian tính đặc trưng HOG theo phương pháp càng tiệm cận với phương pháp tính đặc trưng HOG truyền thống - Khi khoảng trượt lớn chiều rộng window, thời gian tính đặc trưng HOG theo phương pháp có thể lớn phương pháp tính đặc trưng HOG truyền thớng 32 Chương 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận - Trên sở nghiên cứu bài toán phát người, đặc biệt là mô tả đặc trưng HOG mở rộng và mơ hình phân loại SVM, tác giả xây dựng thành cơng chương trình phát người (upright) ảnh tĩnh với hỗ trợ của phần mềm matlab - Đây là bước đầu để phát triển, ứng dụng bài toán phát người (pedestrian detection) với tốc độ phát được cải thiện Mặc dù việc phát người được tích hợp sẵn phát phần mềm matlab phần mềm khác, nhiên trình xây dựng chương trình, tác giả tìm hiểu, xây dựng mơ tả đặc trưng HOG mở rộng để tăng tốc độ phát dùng hàm được matlab hỗ trợ để thực demo chương trình này - Về chương trình demo, độ xác phát cịn là thách thức sớ mẫu h́n luyện cịn so với sớ mẫu dùng ứng dụng thực tế 4.2 Hướng phát triển - Đề tài hoàn thành yêu cầu đề ban đầu Đây là tiền đề để phát triển bài toán phát người (upright) ứng dụng sau này - Có thể nghiên cứu kết hợp mô tả HOG với mô tả khác để cải thiện tốc độ và độ xác phát 33 D.TÀI LIỆU THAM KHẢO [1] Hồ Quốc Thiền, Giám sát an ninh dùng kỹ thuật xử lý hình ảnh, Luận văn thạc sĩ, Trường Đại học sư phạm kỹ thuật TPHCM, 2016 [2] Bill Triggs, Navneet Dalal, "Histograms of Oriented Gradients for Human Detection", 2005 IEEE Conference on Computer Vision and Pattern Recognition, vol 01, no , pp 886-893, 2005 [3] Ning He, J Cao and L Song, "Scale Space Histogram of Oriented Gradients for Human Detection," 2008 International Symposium on Information Science and Engineering, Shanghai, 2008, pp 167-170 [4] G Zhang, F Gao, C Liu, W Liu and Huai Yuan, "A pedestrian detection method based on SVM classifier and optimized Histograms of Oriented Gradients feature," 2010 Sixth International Conference on Natural Computation, Yantai, Shandong, 2010, pp 3257-3260 [5] D Wei, Y Zhao, R Cheng and G Li, "An enhanced Histogram of Oriented Gradient for pedestrian detection," Intelligent Control and Information Processing (ICICIP), 2013 Fourth International Conference on, Beijing, 2013, pp 459-463 [6] Chris McCormick, HOG Person Detector Tutorial, 2013 [7] Van-Dung Hoang, Kang-Hyun Jo, Joint components based pedestrian detection in crowded scenes using extended feature descriptors, Neurocomputing 188 (2016) 139 - 150 [8] Vladimir N Vapnik, Statistical Learning Theory, Copyright © 1998 by John Wiley & Sons, Inc All rights reserved [9] Burges, C J C, A tutorial on support vector machines for pattern recognition Data Mining and Knowledge Discovery, 2, (1998),121–167 [10] Henok Girma, A Tutorial on Support Vector Machine, Center of expermental mechanichs University of Ljubljana, 2009 [11] B Schoelkopf and A.J Smola Learning with Kernels MIT Press, Cambridge, MA,2002 34 [12] Navneet Dalal, Finding People in Images and Videos, thesis, 2006 [13] Chang, C.-C, and Lin, C.-J, LIBSVM: A library for support vector machines, http://www.csie.ntu.edu.tw/∼cjlin/libsvm, 2001 [14] Chih-Wei Hsu, Chih-Chung Chang, and Chih-Jen Lin, A Practical Guide to Support Vector Classification, Department of Computer Science National Taiwan University, Taipei 106, Taiwan, http://www.csie.ntu.edu.tw/~cjlin Initial version: 2003 Last updated: May 19, 2016 [15] INRIA Person Dataset Internet: http://pascal.inrialpes.fr/data/human/, 7/7/2017 [16] Sensitivity and specificity Internet: https://en.wikipedia.org/wiki/Receiver_operating_characteristic, 7/9/2017 [17] Kristen Grauman UT-Austin, Sliding window detection, 2009 35