Bài viết nghiên cứu, xây dựng thuật toán Adaboost và mô hình phân tầng Cascade tự động phát hiện đối tượng trên nền ảnh động để ứng dụng cho các hệ thống giám sát an ninh, cảnh báo, chống đột nhập.
Nghiên cứu khoa học cơng nghệ XÂY DỰNG THUẬT TỐN TỰ ĐỘNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN NỀN ẢNH ĐỘNG CHO BỆ QUAY QUÉT GIÁM SÁT AN NINH Chu Văn Hoạt*, Vũ Minh Khiêm Tóm tắt: Hiện hệ thống an ninh thường sử dụng bệ pan-tilt nhằm tăng cường phạm vi quan sát, nhiên camera chưa tích hợp chức tự động phát mục tiêu ảnh động Trên sở đó, báo nghiên cứu, xây dựng thuật tốn Adaboost mơ hình phân tầng Cascade tự động phát đối tượng ảnh động để ứng dụng cho hệ thống giám sát an ninh, cảnh báo, chống đột nhập Từ khóa: Tự động phát hiện; Hệ thống giám sát an ninh; Bệ pan-tilt; Adaboost ĐẶT VẤN ĐỀ Tự động phát đối tượng lĩnh vực nghiên cứu nhận nhiều quan tâm nhà nghiên cứu, nghiên cứu trước chủ yếu bao gồm thuật toán phát khuôn mặt [1-6], phát phương tiện giao thông [7], phát đối tượng chuyển động [8-9], Nó có vai trò quan trọng hệ thống trinh sát phát mục tiêu, giám sát an ninh, nhận dạng đối tượng hệ thống thị giác máy tính khác Việc sử dụng thị giác máy tính để phát đối tượng giải pháp sử dụng rộng rãi Phương pháp ứng dụng kỹ thuật xử lý ảnh để trích xuất đặc trưng, sau kết hợp với thuật tốn máy học để tìm đối tượng hình ảnh Tuy nhiên, việc phát đối tượng dựa thị giác máy tính vấn đề khó Hệ thống camera giám sát an ninh ngày sử dụng cách rộng rãi với mục đích hỗ trợ bảo vệ cho khu vực quân sự, hải cảng, công ty, ngân hàng, Các camera thường đặt bệ pan-tilt quay quét tự động để tăng phạm vi giám sát, frame ảnh có thay đổi liên tục, gây khó khăn cho nhiệm vụ phát đối tượng Ngồi ra, camera thơng thường hoạt động mơi trường có ánh sáng tốt, khó làm việc hiệu điều kiện thời tiết khắc nghiệt, ánh sáng yếu Tia hồng ngoại phản ánh xác tính chất nhiệt bề mặt vật thể, di chuyển hai quang phổ 3~5 m 8~14 m không bị bầu khí hấp thu [10], camera ảnh nhiệt lợi dụng tia hồng ngoại quang phổ làm việc hiệu điều kiện ánh sáng, sử dụng ngày nhiều hệ thống an ninh Tuy nhiên, chất lượng hình ảnh thu thường khơng tốt camera thường, hình ảnh tồn nhiễu chịu ảnh hưởng lớn nhiệt độ mơi trường, cần phải nghiên cứu thuật toán để tiến hành tự động phát đối tượng Bài báo đề xuất sử dụng thuật tốn Adaboost mơ hình phân tầng Cascade để xây dựng phát đối tượng ảnh động cho bệ quay quét giám sát an ninh sử dụng camera ảnh nhiệt THUẬT TOÁN TỰ ĐỘNG PHÁT HIỆN ĐỐI TƯỢNG 2.1 Lưu đồ thuật tốn Q trình phát đối tượng thực chất trình quét cửa sổ ảnh tiến hành phân loại cửa sổ có chứa đối tượng hay khơng chứa đối tượng Để Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 261 Đo lường & Tin học xây dựng tự động phát đối tượng, báo sử dụng thuật toán Adaboost mơ hình phân tầng Cascade dựa vào đặc trưng Haar Like, bao gồm hai trình: Quá trình huấn luyện phân loại trình phân loại Lưu đồ thuật tốn hình thể hiện: Hình Lưu đồ thuật toán Từ lưu đồ thuật toán cho thấy, trình huấn luyện phân loại bao gồm phận chủ yếu sau: Trích xuất đặc trưng Haar Like, lựa chọn phân loại yếu huấn luyện phân loại phân tầng Adaboost Quá trình phân loại sử dụng phân loại huấn luyện để tiến hành phân loại, phát đối tượng 2.2 Trích xuất đặc trưng Haar Like Lần đầu tiên, đặc trưng Haar Like Papageorgiou [11] ứng dụng tốn phát khn mặt, sử dụng nhiều toán phát đối tượng, theo vết đối tượng Nó phản ánh tình hình thay đổi giá trị xám ảnh xám, thể tri thức đối tượng ảnh thông qua việc phản ánh mối quan hệ giá trị xám phận đối tượng ảnh Mỗi đặc trưng Haar Like chứa 2, miền hình học có màu “trắng” “đen” Giá trị đặc trưng Haar Like đơn giản khác biệt tổng giá trị xám pixel vùng “đen” với tổng giá trị xám pixel vùng “trắng” Để cân tốc độ xử lý độ xác thuật tốn, báo sử dụng mơ hình đặc trưng Haar Like hình Hình Mơ hình đặc trưng Haar Like Ta tính giá trị đặc trưng Haar Like nhanh thông qua cách thức gọi “ảnh tích phân” (Integral Image) Ảnh tích phân vị trí (x, y) có giá trị 262 C V Hoạt, V M Khiêm, “Xây dựng thuật toán tự động phát … giám sát an ninh.” Nghiên cứu khoa học công nghệ tổng giá trị pixel nằm hình chữ nhật xác định góc trái (0, 0) góc phải (x, y) Từ đây, ta tính tổng giá trị pixel hình chữ nhật thơng qua ảnh tích phân đỉnh (hình 3) Tổng giá trị pixel hình chữ nhật D hình 4+1-(2+3) Sau trích xuất đặc trưng, sử dụng đặc trưng để lựa chọn phân loại yếu, sau xây dựng phân loại mạnh có độ xác cao Hình Tính nhanh giá trị hình chữ nhật D 2.3 Ngun lý thuật tốn Adaboost Adaboost thuật toán đưa Freund Schapire [12], sử dụng phổ biến cho toán phát đối tượng Nguyên lý Adaboost gán cho ảnh mẫu trọng số Ở vòng lặp q trình huấn luyện, phân lớp yếu xây dựng, ta tiến hành cập nhật trọng số cho mẫu huấn luyện Việc cập nhật tiến hành sau: Tăng trọng số ảnh mẫu bị phân lớp sai phân lớp yếu giảm trọng số ảnh mẫu phân lớp Bằng cách này, vòng lặp kế tiếp, xây dựng phân lớp yếu theo hướng: Tập trung vào mẫu bị phân lớp sai phân lớp yếu trước Cuối cùng, để có phân lớp mạnh, ta kết hợp tuyến tính phân lớp yếu tìm lại với Mỗi phân lớp yếu đánh trọng số tương ứng với độ tốt phân lớp yếu Giả sử tập liệu bao gồm n ảnh mẫu ( x1 , y1 ), , ( xn , yn ) , yi {0,1} (i=1, 2, , n) biểu thị ảnh mẫu không chứa đối tượng ảnh mẫu chứa đối tượng Mỗi ảnh mẫu bao gồm k đặc trưng, ảnh mẫu thứ i, đặc trưng thứ j f j ( xi ) , (j=1, 2, , k) Để phát đối tượng, ảnh quét cửa sổ chứa đặc trưng Haar Like Ứng với đặc trưng Haar Like fj , phân lớp yếu hj ( x ) cấu tạo bao gồm đặc trưng fj , ngưỡng j , hệ số định chiều phương trình pj , hj ( x ) biểu diễn sau: p j f j x < p j j 1 hj x (1) 0 other Trong đó, x cửa sổ xét Các bước huấn luyện phân loại thuật toán Adaboost sau: 1) Đặt wt ,i trọng số ảnh mẫu thứ i lần lặp thứ t Khởi tạo trọng số ảnh mẫu tập liệu: Đối với ảnh mẫu có yi w1,i Tạp chí Nghiên cứu KH&CN qn sự, Số Đặc san TĐH, 04 - 2019 ; Đối 2m 263 Đo lường & Tin học Trong m, l biểu thị số lượng 2l ảnh mẫu không chứa đối tượng số lượng ảnh mẫu chứa đối tượng 2) Quá trình lặp lại T lần, t=1, …, T: w a) Quy trọng số: wt ,i n t ,i (2) w j 1 t , j với ảnh mẫu có yi w1,i Đối với đặc trưng j, cấu tạo phân loại yếu h j , tìm ngưỡng j , cho tỷ lệ phân loại sai h j nhỏ nhất, tỷ lệ phân loại sai định nghĩa sau: n j wt ,i h j ( xi ) yi (3) i 1 b) Lựa chọn phân loại yếu ht cho t j , j 1, 2, , k t , ảnh mẫu 1 t xi phân loại ei =0, ngược lại ei =1 Như đảm bảo vòng lặp tiếp theo, tập trung vào ảnh mẫu bị phân loại sai 3) Cấu thành phân loại mạnh T T 1 t 1 t ht ( x) t 1 t (4) h( x ) 0 other c) Cập nhật trọng số ảnh mẫu: wt 1,i wt ,i t1ei , t Trong đó, t log t 2.4 Mơ hình phân tầng cascade Dùng thuật toán Adaboost để huấn luyện phân loại mạnh, sau dùng phân loại mạnh quét toàn ảnh đầu vào để phát đối tượng Tuy nhiên, cách làm tốn thời gian xử lý Giả sử, có phân loại mạnh gồm 10 phân loại yếu Nếu làm trên, tất cửa sổ ảnh phải quét qua tất 10 phân loại yếu Nhưng cửa sổ thật chứa đối tượng thường cửa sổ khơng phải đối tượng loại bỏ mà cần dùng phân loại mạnh đơn giản gồm 10 phân loại yếu Vì cần phải huấn luyện nhiều phân loại mạnh, sau sử dụng mơ hình phân tầng Cascade liên kết chúng với nhau, tạo thành phân loại có tính tốt Ngun lý hoạt động mơ hình phân tầng Cascade hình Mỗi tầng phân loại mạnh thuật toán Adaboost huấn luyện ra, số lượng phân loại yếu chứa phân loại mạnh không giống Những phân loại mạnh tầng có kết cấu đơn giản, chứa phân loại yếu, tốc độ xử lý nhanh, nhanh chóng phân loại cửa sổ có khác biệt lớn so với đối tượng Những phân loại mạnh tầng sau có kết cấu phức tạp hơn, có chứa nhiều phân loại yếu hơn, phân loại cửa sổ gần giống với đối tượng, tốc độ xử lý chậm 264 C V Hoạt, V M Khiêm, “Xây dựng thuật toán tự động phát … giám sát an ninh.” Nghiên cứu khoa học công nghệ Những cửa sổ cho qua phân loại đầu xử lý phân loại sau Nếu phân loại định khơng phải đối tượng loại bỏ; Nếu phân loại định đối tượng lại cho qua chuyển đến phân loại phía sau, cửa sổ qua tất phân loại định đối tượng Hình Ngun lý hoạt động mơ hình phân tầng cascade 2.5 Xây dựng tập liệu Hiệu thuật tốn Adaboost định nhiều q trình lựa chọn phân loại yếu huấn luyện, trình phụ thuộc nhiều vào việc xây dựng tập liệu, xây dựng tập liệu để huấn luyện phân loại có vai trò quan trọng, bao gồm tập hợp ảnh chứa đối tượng tập hợp ảnh không chứa đối tượng Tập hợp ảnh chứa đối tượng bao gồm vật thể lạ trôi nổi, người bơi, tàu thuyền, biểu diễn hình Tập hợp ảnh không chứa đối tượng thông qua kiểm tra, xác nhận ảnh mẫu không xuất đối tượng nào, biểu diễn hình Hình Tập hợp ảnh chứa đối tượng Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 265 Đo lường & Tin học Hình Tập hợp ảnh khơng chứa đối tượng Các ảnh tập ảnh chứa đối tượng tiến hành tiền xử lý, quy độ xám nhằm giảm mức độ ảnh hưởng nhiễu Giả sử ảnh xám có số lượng pixel N, ảnh có phương sai độ xám sau: N = xi N i 1 Trong đó, giá trị xám trung bình pixel, xi giá trị xám pixel ảnh ban đầu x Biểu thức quy độ xám biểu diễn: xii i Trong đó, xii giá trị xám pixel ảnh sau tiến hành quy KẾT QUẢ ĐẠT ĐƯỢC Video thử nghiệm quay camera ảnh nhiệt Orchid 640-P-C145 Isarel sản xuất, có độ phân giải 640 480 , độ nhạy nhiệt nhỏ 0.05℃ Bài báo sử dụng thuật toán Adaboost huấn luyện phân loại gồm 15 tầng Thuật toán tự động phát mục tiêu thử nghiệm tảng máy tính hệ điều hành window, Intel i7-6822EQ, 2.0GHz, RAM 8GB, ngơn ngữ lập trình C++, sử dụng thư viện Open CV 2.4.9 Máy tính kết nối với bệ pan-tilt quay quét tích hợp với camera ảnh nhiệt Kết thử nghiệm thể hình Như kết thử nghiệm thể hiện, phân loại phát đối tượng lạ xuất video, Thuật toán báo đề xuất có hiệu tốt nhiệm vụ phát mục tiêu cho bệ pan-tilt quay quét tích hợp camera ảnh nhiệt Thuật tốn có tốc độ xử lý nhanh, ảnh có độ phân giải 640 480 tốc độ xử lý lên tới 12frame/s, thử nghiệm ảnh có độ phân giải 320 240 tốc độ xử lý lên tới 40frame/s, đáp ứng yêu cầu toán 266 C V Hoạt, V M Khiêm, “Xây dựng thuật toán tự động phát … giám sát an ninh.” Nghiên cứu khoa học cơng nghệ Hình Kết thử nghiệm KẾT LUẬN Trong báo chúng tơi xây dựng thuật tốn tự động phát đối tượng ảnh động để ứng dụng cho hệ thống giám sát an ninh, cảnh báo, chống đột nhập Kết thực nghiệm thu chứng minh hiệu thuật toán báo xây dựng nhiệm vụ tự động phát đối tượng, qua làm tiền đề cho việc áp dụng xây dựng hệ thống giám sát an ninh, cảnh báo chống đột nhập Lời cảm ơn: Nhóm tác giả cảm ơn đóng góp ý kiến phòng KHQS, Bộ Tham mưu Hải quân giúp hoàn thiện báo Nghiên cứu hỗ trợ từ đề tài cấp mã số 2016.85.059 TÀI LIỆU THAM KHẢO [1] Viola P, Jones M, "Rapid object detection using a boosted cascade of simple features," Proceedings of the 2001 IEEE Computer Society Conference on IEEE Xplore, vol.1 (2001), pp 511-518 [2] Yang B, Yan J, Lei Z, et al, "Aggregate channel features for multi-view face detection," IEEE International Joint Conference on Biometrics (2014), pp 1-8 [3] Zhu X X, Ramanan D, "Face detection, pose estimation and landmark localization in the wild," IEEE Conference on Computer Vision and Pattern Recognition (2012), pp 2879-2886 [4] Viola P, Jones M, "Robust real time face detection," International Journal of Computer Vision, vol 57, no (2004), pp 137-154 [5] Jones M, Viola P, "Fast Multi-view face detection," Proc of Computer Vision & Pattern Recognition, vol.11, no (2003), pp 276- 286 [6] Zhu X X, Ramanan D, "Face detection, pose estimation and landmark localization in the wild," IEEE Conference on Computer Vision and Pattern Recognition (2012), pp 2879-2886 [7] Malisiewicz T, Gupta A, Efros A A, "Ensemble of exemplar-SVMs for object detection and beyond," IEEE International Conference on Computer Vision (2011), pp 1-8 [8] Barnich O, Droogenbroeck M V, "ViBe: A Universal Background Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san TĐH, 04 - 2019 267 Đo lường & Tin học [9] [10] [11] [12] Subtraction Algorithm for Video Sequences," IEEE Transactions on Image Processing, vol.20, no (2011), pp 1709-1724 Van Droogenbroeck M, Barnich O, "ViBe: A Disruptive Method for Background Subtraction," Background Modeling and Foreground Detection for Video Surveillance (2014) Wallington T J, Sulbaek Andersen M P, Nielsen O J, "Relative integrated IR absorption in the atmospheric window is not the same as relative radiative efficiency," Proceedings of the National Academy of Sciences, vol.107, no 48 (2010), pp E178-E179 Papageorgiou C, Oren M, Poggio T, "A general framework for object detection," International Conference on Computer Vision IEEE Xplore (1998), pp 555-562 Schapire R E, Freund Y, Bartlett P, et al, "Boosting the margin: A new explanation for the effectiveness of voting methods," The Annals of Statistics, Vol 26, no (1998), pp 1651–1686 ABSTRACT BUILDING AUTOMATIC DETECTING OBJECT ON THE ANIMATED BACKGROUND FOR THE TURNING PEDESTAL SECURITY MONITORING ALGORITHM Security systems are often using pan-tilt pedestals to increase the observational scope in these days However, the camera has not integrated the auto-detection function on animated background yet The paper suggests using Adaboost algorithm and Cascade stratified model to build an auto-detection system in order to apply to security monitoring, warning and intrusion Keywords: Auto-detection, security monitoring, pan-tilt, Adaboost algorithm Nhận ngày 21 tháng 01 năm 2019 Hoàn thiện ngày 06 tháng năm 2019 Chấp nhận đăng ngày 15 tháng năm 2019 Địa chỉ: Viện Tự động hóa KTQS * Email: sqchuhoat@gmail.com 268 C V Hoạt, V M Khiêm, “Xây dựng thuật toán tự động phát … giám sát an ninh.” ... tự động phát đối tượng ảnh động để ứng dụng cho hệ thống giám sát an ninh, cảnh báo, chống đột nhập Kết thực nghiệm thu chứng minh hiệu thuật toán báo xây dựng nhiệm vụ tự động phát đối tượng, ... cầu toán 266 C V Hoạt, V M Khiêm, Xây dựng thuật toán tự động phát … giám sát an ninh. ” Nghiên cứu khoa học công nghệ Hình Kết thử nghiệm KẾT LUẬN Trong báo chúng tơi xây dựng thuật tốn tự động. .. sổ gần giống với đối tượng, tốc độ xử lý chậm 264 C V Hoạt, V M Khiêm, Xây dựng thuật toán tự động phát … giám sát an ninh. ” Nghiên cứu khoa học công nghệ Những cửa sổ cho qua phân loại đầu