KHẢO sát một số PHƯƠNG PHÁP PHÁT HIỆN TIỀN CẢNH BẰNG mô HÌNH nền THỐNG kê

Kỷ yếu Hội nghị Quốc gia lần thứ Nghiên cứu ứng dụng Công Nghệ thông tin (FAIR);Thái Nguyên, ngày 20/06/2014 KHẢO SÁT MỘT SỐ PHƯƠNG PHÁP PHÁT HIỆN TIỀN CẢNH BẰNG MƠ HÌNH NỀN THỐNG KÊ Nguyễn Văn Căn Trường Đại học Kỹ thuật - Hậu cần CAND nguyenvancan@gmail.com TĨM TẮT - Mơ hình sử dụng để phát đối tượng chuyển động video thu từ máy camera Nhiều phương pháp phát triển năm gần Mục đích viết cung cấp khảo sát mở rộng cập nhật nghiên cứu gần đây, sáng chế liên quan đến mơ hình thống kê; đưa đánh giá so sánh phương pháp Trước hết phân loại phương pháp thống kê thành chuyên mục Sau đó, phân tích phương pháp ban đầu thảo luận thách thức tiềm ẩn chuỗi video Phân loại cải tiến tương ứng chúng chiến lược sử dụng Đưa tình quan trọng chúng yêu cầu cần xử lý Đưa số hướng nghiên cứu hứa hẹn cho tương lai Từ khóa - GIỚI THIỆU Các ứng dụng khác giám sát video[1], thu nhận chuyển động quang học [2-4] đa phương tiện [5-7] điều cần đến mơ hình sau phát đối tượng chuyển động Cách tốt để thu nhận lưu trữ ảnh khơng có đối tượng chuyển động nào, mơi trường thực khó Hơn nữa, ln ln thay đổi điều kiện thực tế thay đổi ánh sáng, đối tượng đến rời khỏi cảnh Để giải vấn đề này, nhiều phương pháp mơ hình phát triển [8,9] phân loại thành loại sau: Mơ hình bản: sử dụng giá trị trung bình [10] bình quân [11] phân tích lược đồ xám cho tồn thời gian [12] Mơ hình thống kê: sử dụng Gauss đơn[13] hỗn hợp Gauss[14] tính tốn mật độ lõi [15] Các biến thống kê sử dụng để phân loại điểm ảnh điểm tiền cảnh Mơ hình mờ: sử dụng giá trị trung bình mờ[16] hỗn hợp mờ loại Gauss[17] Phát tiền cảnh sử dụng tích hợp Sugeno [18] tích hợp Choquet[19] Phát tiền cảnh thực logic mờ tham khảo [335] Phân cụm nền: điểm ảnh khung hình phân cụm theo thời gian xuất Các điểm ảnh xem xét xếp loại ghép vào cụm theo tiêu chí đặt Cách tiếp cận phân cụm có sử dụng thuật tốn K-mean [361] sử dụng Codebook [362] Mơ hình mạng nơ ron: Mơ hình biểu diễn trị trung bình hệ số mạng nơ ron đào tạo N khung Mạng huấn luyện để phân loại điểm ảnh tiền cảnh Mơ hình Wavelet: Mơ hình định nghĩa vùng thời gian, sử dụng hệ số biến đổi wavelet rời rạc (DWT) [336] Ước tính nền: Nền ước tính cách sử dụng lọc Mỗi điểm ảnh ảnh lệch đáng kể so với giá trị dự đoán khai báo Bộ lọc lọc Wiener [20], lọc Kalman[21] lọc Tchebychev [22] Bảng Tổng quan phương pháp mơ hình Loại Phương pháp Tác giả - năm xuất Mơ hình Trung bình (11) Trung vị (13) Lược đồ xám toàn thời gian (13) Gauss đơn (33) Hỗn hợp Gauss (217) Ước tính mật độ lõi (5) Giá trị trung bình chạy mờ (5) Hỗn hợp Gauss mờ loại (3) K trung bình (11) CodeBook (35) Mạng nơ ron hồi quy tổng hợp (1) Mạng nơ ron tự tổ chức (9) Biến đổi Wavelet rời rạc Lee cộng (2002) [10] Mac Farlane cộng (1995) [11] Zheng cộng (2006) [12] Wren cộng (1997) [13] Stauffer Grimson (1999) [14] Elgammal cộng (2000) [15] Sigari cộng (2008) [16] El Baf cộng (2008) [17] Bultler cộng (2003) [361] Kim cộng (2005) [362] Culibrk cộng (2006)[332] Maddalena Petrosino (2007) [333] Biswas cộng [336] Mô hình thống kê Mơ hình logic mờ Sự phân cụm Mơ hình mạng nơ ron Mơ hình Wavelet KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO Tính tốn Lọc Wiener (1) Lọc Kalman (19) Lọc Tchebychev (3) Toyama cộng (1999) [20] Messelodi cộng (2005) [21] Change cộng (2004)[22] Cột tên loại cột thứ hai tên phương pháp tương ứng với loại, kèm theo số lượng báo ứng với phương pháp ghi ngoặc() Cột thứ ba tên tác giả ngày tháng xuất Các phân loại khác tìm thấy chủ đề dự đốn [23], lặp [1], thích nghi [24], phương thức [25] Tất phương pháp tiếp cận sử dụng cách trừ thông qua bước trường hợp sau: Mơ hình hóa nền, khởi tạo nền, trì nền, phát tiền cảnh, chọn kích thước đặc trưng (điểm ảnh, khối cụm), chọn kiểu đặc trưng (đặc trưng màu sắc, đặc trưng đường biên, đặc trưng stereo, đặc trưng chuyển động đặc trưng đường vân) Phát triển phương pháp trừ nền, tất lựa chọn xác định phương pháp mạnh mẽ tới tình quan trọng dãy video [5,20]: nhiễu ảnh làm chất lượng ảnh nguồn (NI), Camera jitter(CJ), camera tự dịch chuyển (CA), ngụy trang (C), độ (FA), đối tượng chuyển động (MO), chèn thêm vào (IB), đối tượng (WFO), đối tượng ngủ (SFO) bóng (S) Khác đến từ động thay đổi ánh sáng - Các động thường xuất cảnh ngồi trời Hình bốn kiểu ví dụ: Camera jitter, cối cử động, nước gợn sóng bề mặt nước Cột bên trái chứa ảnh gốc cột bên phải chứa mặt nạ thu MOG[14] Trong trường hợp có số lượng lớn phát sai - Ánh sáng thay đổi xuất cảnh nhà ngồi trời Hình 2, cảnh nhà mà quan sát thay đổi ánh sáng Điều gây phát sai MOG[14] Hình 3, ánh sáng trường hợp thay đổi đột ngột tương ứng với đèn on/off Mỗi điểm ảnh ảnh bị ảnh hưởng thay đổi dẫn đến phát sai (xem hình 3c) a) Dãy ảnh camera rung [229] b) Dãy cối [34] c) Dãy nước phun [34] d) Dãy sóng nước [34] Hình Minh họa động cảnh trời Nguyễn Văn Căn Cột chứa cảnh gốc bao gồm động Cột thứ hai chứa mặt nạ tiền cảnh thu MOG[14] Hình Minh họa theo ánh sáng Từ trái qua phải: ảnh diễn tả cảnh nhà với ánh sáng thấp Ảnh thứ hai diễn tả cảnh với ánh sáng trung bình ảnh thứ ba diễn tả cảnh với ánh sáng cao Ánh thứ tư mặt nạ điểm thu với MOG[14] Dãy gọi "Time of Day" lấy từ tập liệu Wallflower [20] Hình Minh họa thay đổi ánh sáng đột ngột Trong hình Từ trái qua phải: ảnh thứ diễn tả cảnh nhà với ánh sáng bật đèn Ảnh thứ hai cảnh với ánh sáng tắt Ảnh thứ ba mặt nạ tiền cảnh thu với MOG[14] Dãy gọi "Chuyển đổi ánh sáng" lấy từ tập liệu Wallflower[20] Các tiêu chuẩn khác tập liệu [26-31] nhằm để đánh giá sức mạnh phương pháp giảm trừ giải tình quan trọng với đặc tính khơng gian, thời gian khác nhằm mục đích thu phân đoạn tốt Thách thức phải thực bối cảnh ứng dụng thời gian thực chạy máy tính hai thơng số cần phải tính đến: thời gian tính tốn nhỏ (CT) u cầu nhớ nhỏ (MR) Thực tính tốn sử dụng phân tích ROC[32] PDR[33] đo tương tự[34] Các phương pháp đánh giá thực khác giả thiết so sánh trong[35, 36] Cần ý điểm sau: (1) Mơ hình thường sử dụng thống kê với sức mạnh giải tình quan trọng (2) Có nhiều phát triển gần liên quan đến mơ hình thống kê mơ hình MOG phát triển nó: GMM[37], TLGMM[38], STGMM[39], SKMGM[40], TAPPMOG[41], S-TAPPMOG[42] Tiếp theo phân loại theo mơ hình thống kê phân loại cải tiến theo chiến lược sử dụng Những thách thức gặp phải dãy video đánh giá vài lĩnh vực chúng cảnh báo sai sót sử dụng tập liệu Walflower [20] Bài báo mở rộng cập nhật khảo sát hỗn hợp Gauss mơ hình [48] học không gian mô hình [334] Phần 2, mơ hình thống kê phân loại Phần 3, khảo sát mơ hình tổng hợp cải tiến liên quan Phần 4, khảo sát phân loại mơ hình thứ Phần 5, khảo sát phân loại thứ ba Phần 6, khảo sát thực môi trường động ánh sáng thay đổi kèm với phức hợp điểm ảnh Sau đó, so sánh đánh giá trình bày phần Cuối cùng, kết luận phát triển tương lai TỔNG QUAN VỀ MÔ HÌNH NỀN THỐNG KÊ Các cơng cụ thống kê cung cấp khung làm việc tốt mơ hình nhiều phương pháp phát triển theo hướng Chúng phân loại thành nhóm sau: - Nhóm thứ nhất: giả thiết q trình diễn biến theo thời gian giá trị mật độ điểm ảnh mơ hình Gauss đơn[13] Tuy nhiên, khơng thể thực mơ hình hóa động mà có cối rung, nước gợn sóng Để giải vấn đề này, hỗn hợp Gauss (MOG) sử dụng để mơ hình hóa động[14] Mơ hình có vài bất lợi Nền có biến đổi nhanh khơng thể tính tốn mơ hình với số Gauss (thường đến 5), gây vấn đề phát nhạy cảm Do vậy, kỹ thuật không tham số phát triển để ước tính xác suất điểm ảnh từ nhiều ví dụ sử dụng ước tính mật độ lõi (KDE) [15] tiêu tốn nhiều thời gian Trong [165], học khơng gian sử dụng phân tích thành phần (SL-PCA) áp dụng N ảnh để xây dựng mơ hình nền, với việc diễn tả ảnh trung bình ma trận chiếu bao gồm p vector riêng quan trọng KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO PCA Bằng cách này, phân khúc trước thực cách tính tốn khác biệt hình ảnh đầu vào tái thiết Bảng Tổng quan mơ hình thống kê tiên tiến Loại Phân loại thứ Phương pháp Gauss đơn ( SG) (33) Hỗn hợp Gauss (MOG) (217) Tác giả - Thời gian Wren (1997) [13] Stauffer, Grimson (1999) [14] - Nhóm thứ hai: sử dụng mơ hình hỗ trợ vector theo nhiều cách khác nhau: Lin cộng [180] sử dụng thuật toán SVM để khởi tạo khung cảnh trời Wang cộng [183, 184] sử dụng SVR trường hợp cảnh sát giao thông, nơi thay đổi chiếu sáng (TD) xuất Tavakkoli cộng [186-189] áp dụng SVDD để đối phó với động (MB) - Nhóm thứ ba: Tổng hợp phát triển mơ hình thuộc nhóm thứ tổng hợp Gaussian đơn (SGG) [190-192], hỗn hợp chung Gaussian (MOGG) [193-195] học khơng gian sử dụng phân tích thành phần độc lập (SL-ICA) [198, 200], gia tăng ma trận hệ số không âm (SL-INMF) [202, 203] gia tăng thứ hạng Tensor-(R1, R2, R3) (SL-IRT) [204, 205] Tổng hợp Gauss đơn (SGG) giảm bớt hạn chế Gauss đơn sau cho hiệu suất tốt trường hợp thay đổi nguồn sáng (TD) bóng tối (S) Các MOGG phát triển để mạnh mẽ hình động (MB) Phương pháp học khơng gian mạnh mẽ thay đổi chiếu sáng (LS) Bảng cho thấy tổng quan mơ hình thống kê Cột biểu thị tổng quan, cột thứ hai tên phương pháp Từ viết tắt tương ứng họ ghi ngoặc đơn số lượng giấy tờ tính cho phương pháp ngoặc đơn thứ hai Cột thứ ba cung cấp cho tên tác giả thực ấn phẩm phương pháp tương ứng ngày cơng bố có liên quan Có thể thấy MOG với 217 báo liên quan sở phát triển thuật toán mạnh mẽ Nội dung phương pháp ban đầu cho nhóm phân loại trình bày bản, cải tiến liên quan chúng nhóm thành: cải tiến nội (khởi tạo, trì phát tiền cảnh) cải tiến bên ngồi(sử dụng cơng cụ bên ngồi để thực hiện) LOẠI THỨ NHẤT 3.1 Gauss đơn (SG) Wren cộng [l3] đề xuất mơ hình độc lập vị trí pixel (i,j) Mơ hình dựa lý tưởng lắp đặt hàm mật độ xác suất Gauss giá trị điểm ảnh cuối n Để tránh lắp đặt pdf từ đầu khung thời gian t +1, trung bình phương sai cập nhật sau: µt+1=(1-α)µt + αXt+1 σ t2+ = (1 − α )σ t2 + α ( X t + − µ t + )( X t + − µ t + )T với Xt+1 giá trị điểm ảnh tại, µ t giá trị trung bình trước đó, σt biến trước α tỷ lệ học Phát tiền cảnh thực hiện: |µt+1-Xt+1| T b ) (4) Các phân bố khác xem xét để diễn tả phân bố tiền cảnh Theo đó, khung hình xuất thời điểm t+1, kiểm tra phù hợp thực cho điểm ảnh Điểm ảnh phù hợp với phân bố Gauss KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO ( ) sqrt ( X t +1 − µ i ,t ) ∑ i ,t ( X t +1 − µ i ,t ) < kσ i ,t T −1 (5) với k ngưỡng theo phương trình 2.5 Tiếp theo, hai trường hợp xảy ra: - Trường hợp 1: Một phù hợp tìm thấy với K Gauss Trong trường hợp này, phân bố Gauss xác định nền, điểm ảnh phân loại nền, ngược lại điểm ảnh phân loại tiền cảnh - Trường hợp 2: Khơng có phù hợp với K Gauss Trong trường hợp này, điểm ảnh phân loại tiền cảnh Ở bước này, mặt nạ nhị phân thiết lập Vì đó, để tạo phát tiền cảnh tiếp theo, tham số phải cập nhật Sử dụng kiểm tra phù hợp (5), hai trường hợp xảy phát tiền cảnh: Trường hợp 1: Sự phù hợp tìm thấy K Gauss - Đối với thành phần phù hợp, cập nhật thực sau: ωi,t+1 = (1-α)ωi,t + α (6) với α tốc độ học µi, t+1 = (1- ρ)µi,t + ρ.Xt+1 (7) σ i2,t + = (1 − ρ )σ i2,t + ρ ( X t + − µ i,t + ).( X t + − µ i,t + )T (8) với ρ = αη(Xt+1, µi, ∑i) - Đối với thành phần khơng phù hợp, µ ∑ không thay dổi, trọng số thay bằng: ωj,t+1 = (1-α)ωj,t (9) Trường hợp 2: Khơng có phù hợp tìm thấy với K Gauss Trong trường hợp phân bố xác suất bé k thay tham số mới: ωk,t+1 = trọng số thấp trước µk,t+1 = Xt+1 σ k2,t + = (10) (11) biến khởi tạo lớn (12) Một việc trì thơng số thực hiện, phát tiền cảnh thực tiếp tục Nghiên cứu đầy đủ ý nghĩa thiết lập thơng số tìm thấy [46, 47] [218] [289] Cải tiến: Các MOG ban đầu thể số lợi Chẳng hạn, làm việc mà khơng cần phải lưu trữ quan trọng liệu đầu vào trình chạy Sự đa dạng mơ hình cho phép đối phó với đa phương thức thay đổi chiếu sáng Mặc dù mơ hình có số nhược điểm: số Gauss phải xác định trước, cần thiết phải khởi tạo tốt, phụ thuộc kết quy luật phân bố thực khơng Gauss phục hồi lỗi chậm Những hạn chế khác cần loạt ảnh đào tạo vắng mặt đối tượng chuyển động số lượng nhớ cần thiết bước Để giảm bớt hạn chế, nhiều cải tiến (217 báo) đề xuất năm gần Tất cải tiến phát triển phân loại theo chiến lược điều tra đầy đủ 100 báo giai đoạn 1999-2007 tìm thấy [48] Sự cải tiến phương pháp phân loại thành: - Cải tiến nội tại: Những chiến lược (Bảng 3) bao gồm chặt chẽ ý nghĩa thống kê để giới thiệu hạn chế không gian / thời gian bước khác mơ hình Ví dụ, số tác giả [49-53] đề xuất để xác định tự động số lượng Gaussian động mạnh mẽ động Cách tiếp cận khác sử dụng thuật toán khác cho việc khởi tạo [54, 55] cho phép diện đối tượng tiền cảnh chuỗi đào tạo [56, 57, 58] Để trì, tỷ lệ học tập hợp tốt [66, 67] thích ứng theo thời gian [60-62, 68-78] Để phát tiền cảnh, cải tiến tìm thấy tài liệu thực cách sử dụng biện pháp khác cho kiểm tra phù hợp [53, 79-82], sử dụng Bản đồ bền bỉ điểm ảnh (PPM) [75, 76, 83], cách sử dụng xác suất [84, 85], sử dụng mơ hình tiền cảnh [61,63,86], sử dụng số kiểm tra so khớp[39,60] sử dụng mơ hình chiếm ưu [87, 88, 89] Đối với kích thước đặc trưng, độ rộng khối [90, 91] dộ rộng cụm [92] phương pháp tiếp cận mạnh mẽ điểm ảnh Đối với loại đặc trưng, số đặc trưng sử dụng thay khơng gian RGB đặc trưng Nguyễn Văn Căn màu sắc khác [93-99], đặc trưng biên[100,101], đặc trưng kết cấu [102], đặc trưng âm [103,104], đặc trưng không gian [105], đặc trưng chuyển động [40] đặc trưng video [106] Zheng cộng [267, 268] kết hợp nhiều đặc tính độ sáng, độ kết tủa màu thông tin lân cận Các sáng chế gần tiếp cận khối quan tâm khôn ngoan [352], đặc trưng kết cấu [353], đặc trưng chuyển động [354] đặc trưng không gian[355] Tổng quan đặc trưng khác sử dụng tài liệu thể Bảng - Cải tiến bên ngoài: Một cách khác để nâng cao hiệu mạnh mẽ GMM ban đầu bao gồm việc sử dụng chiến lược bên (Bảng 4) Một số tác giả sử dụng trường ngẫu nhiên Markov (Markov Random Fields) [107109], phương pháp tiếp cận phân cấp [110-113], phương pháp tiếp cận đa cấp [100, 114-118], phức hợp[119, 121], cắt giảm đồ thị[81], phương pháp tiếp cận nhiều lớp [122, 123], theo dõi thông tin phản hồi [128, 129] đặc tả sau xử lý [130-131] Gần sáng chế quan tâm đến cách tiếp cận cắt giảm đồ thị [3576, 357] - Giảm thời gian tính toán: Tất cải tiến bên bên liên quan đến chất lượng phát tiền cảnh có cách để cải thiện MOG ban đầu bao gồm việc giảm thời gian tính tốn Nó thực cách sử dụng vùng quan tâm [132] [287], sử dụng tỷ lệ biến đổi thích ứng[133], chuyển đổi mơ hình nền[134] [271], sử dụng chiến lược lấy mẫu không gian [135] [216] [238] [272] sử dụng thực phần cứng [136, 137] [271] - Tăng cường phát tiền cảnh: Tất cải tiến trước quan tâm trực tiếp MOG ban đầu kết phát tiền cảnh từ Nói cách khác phương pháp cải thiện nhằm nâng cao kết việc phát tiền cảnh cách sử dụng phối hợp với phương pháp phân đoạn Nó đạt cách hợp tác với kỹ thuật thống kê[138], với phân đoạn màu [139], với phát chuyển động dựa vùng[140] Các tác giả khác sử dụng hợp tác với luồng quang học[217], so khớp khối [247-248], mơ hình dự báo [249], mơ hình kết cấu [251] [303], khác biệt khung liên tiếp [258] [261-262] [279-280] [282] trừ [304-305] [330] Một sáng chế gần quan tâm hợp tác với số liệu thống kê lược đồ xám [358] Bảng Bảng tương ứng tổng quan tình quan trọng hạn chế thời gian thực phiên khác MOG giải chúng tốt so với gốc Bảng Cải tiến nội MOG) Bảng Cải tiến bên MOG KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO Bảng Cải tiến đặc trưng MOG Bảng Những thách thức phiên MOG Nguyễn Văn Căn Bảng Những hạn chế thời gian thực phiên MOG Bàn luận: Các hỗn hợp Gaussian (MOG) thích nghi với cảnh ngồi trời, nơi có biến đổi đa phương thức chậm Đối với động máy ảnh rung, vẫy tay gợn sóng nước, mơ hình gây phát sai 3.3 Ước tính mật độ lõi (KDE) Để đối phó với động máy ảnh bị rung, đung đưa mặt nước gợn sóng, Elgammal cộng [15] đề xuất ước tính hàm mật độ xác suất cho điểm ảnh cách sử dụng ước lượng lõi K N mẫu gần giá trị cường độ {x1, x2, , xN} thực liên tục cửa sổ kích thước thời gian W sau: P( xt ) = N ∑ K ( xt − xi ) N i =1 (13) với K() hàm ước tính lõi sử dụng hàm Normal Gauss N(0,) Hàm xác suất mật độ xác định sau: p( xt ) = N −1 / 2*( xt − xi )T Σ −1 ( xt − xi ) e ∑ / N i=1 ( 2π ) d / Σ (14) Elgammal cộng [15] giả thiết kênh màu khác độc lập với độ rộng băng thông, hàm mật độ lõi là: 10 KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO  σ 12 0    Σ =  σ 22   0 σ 2   (15) Hàm phân xác xuất mật độ viết lại là: P( xt ) = N d −1 / 2*( xt , j − xi , j )T / σ 2j e ∑∏ N i=1 j =1 2πσ 2j (16) Elgammal cộng [15] phát tiền cảnh sử dụng xác xuất ngưỡng T sau: Nếu P(x) < T điểm ảnh phần loại tiền cảnh, ngược lại (17) Trong bước này, mặt nạ nhị phân thu Theo đó, tạo phát tiền cảnh tiếp theo, tham số phải cập nhật Đối với điều này, Elgammal cộng [15] sử dụng hai mơ hình nền: ngắn hạn dài hạn Hai mơ hình đạt mục tiêu khác nhau: - Mơ hình ngắn hạn thích nghi cách nhanh chóng cho phép phát nhạy cảm Mơ hình bao gồm N giá trị mẫu gần Các mẫu cập nhật cách sử dụng chế trì có chọn lọc, nơi mà định dựa việc phân loại tiền cảnh - Mơ hình dài hạn bắt đại diện ổn định cảnh thích nghi với thay đổi từ từ Mơ hình bao gồm N mẫu ảnh lấy từ cửa sổ lớn nhiều thời gian Các mẫu cập nhật cách sử dụng chế bảo trì khơng chọn lọc Vì vậy, để kết hợp lợi mô hình loại bỏ nhược điểm nó, phát tiền cảnh thu cách lấy giao điểm việc phát hai tiền cảnh đến từ mơ hình ngắn hạn mơ hình dài hạn Giao điểm giúp loại bỏ tồn sai tích cực phát từ mơ hình ngắn hạn thêm phát sai tích cực xảy kết mơ hình dài hạn Chỉ tích cực phát sai kiện hoi không đại diện cho hai mô hình Nếu kiện hoi thời gian cảnh sau mơ hình lâu dài thích nghi với nó, bị dập tắt từ kết sau Tham gia giao lộ, khơng may, ngăn chặn tích cực thực mơ hình kết có âm tính giả lần thứ hai, mơ hình dài hạn thích nghi với tiền cảnh họ cố định di chuyển chậm Để giải vấn đề này, tất điểm phát mơ hình ngắn hạn mà tiếp giáp với điểm ảnh phát kết hợp bao gồm việc phát tiền cảnh Cải tiến: KDE ban đầu có số lợi Các mở rộng mơ hình cho phép đối phó với đa phương thức đặc biệt thay đổi nhanh (cây đung đưa, nước gợn sóng ) Mặc dù, mơ hình bộc lộ số nhược điểm: N khung hình cần phải lưu giữ nhớ suốt trình phát chi phí nhớ lớn N lớn Thuật toán tiêu thụ nhiều thời gian phức tạp mức O(N*N) Để giải vấn đề này, cải tiến khác đề xuất: - Cải tiến bên trong: Những chiến lược bao gồm việc thay đổi hàm hạt nhân [141-149] thể Bảng Để huấn luyện, số tác giả đề xuất giảm số lượng mẫu cách xác định kích thước thích hợp đệm khung [143], cách sử dụng chương trình lấy mẫu đa dạng [150,151] cách sử dụng trình tự lấy mẫu lược đồ Monte Carlo [152] Một sáng kiến gần quan tâm đến liên tiếp xấp xỉ mật độ hạt nhân thông qua chế độ truyền thẳng[359] Hơn nữa, trì đệ quy [143-145,153,154,159] áp dụng để giảm thời gian tính tốn Để phát tiền cảnh, lược đồ khác sử dụng [143, 146, 147, 153-155] Đối với kiểu đặc trưng, số đặc trưng sử dụng thay không gian RGB đặc trưng biên[156] đặc trưng chuyển động[157] Để lựa chọn đặc trưng sử dụng, Parag cộng [158] đề xuất khung làm việc để chọn đặc trưng - Cải tiến bên ngoài: Một vài tác giả (bảng 9) sử dụng trường ngẫu nhiên Markov[155,159], cách tiếp cận phân cấp[160], phức hợp[161] cắt khối[162] - Tăng cường phát tiền cảnh: Cách khác để cải tiến phương pháp tăng cường kết phát tiền cảnh việc sử dụng hợp tác với phương pháp phân đoạn khác Nó thực việc kết hợp với khác khung liên tục[ơ163] sử dụng cách tiếp cận học không gian sử dụng PCA [164] Nguyễn Văn Căn 11 Bảng cho biết tồng quan cải tiến nội cải tiến bên Bảng 10 bảng 11 tổng quan tình quan trọng hạn chế thời gian thực phiên KDE khác mà làm cho chúng tốt phiên gốc Bảng Cải tiến nội KDE Bảng Cải tiến bên KDE Phương pháp Tác giả - tài liệu Trường ngẫu nhiên Markov Pahalawatta [159] Cách tiếp cận phân cấp Orten [160] Nền đa phương thức Tanaka [161] Cắt đồ thị Mahamud [162] Bảng 10 Thách thức phiên KDE Tình quan trọng Nhiễu ảnh 2-1 Camera rung (jitter) 2-2 Camera thay đổi phù hợp Thay đổi ánh sáng Thay đổi ánh sáng đột ngột 5-1 Chương trình mồi khởi tạo 5-2 Chương trình mồi trì Sự ngụy trang Bắt giữ tiền cảnh Đối tượng chuyển động Đối tượng thêm vào 10 Nền đa phương thức 11 Đối tượng tiền cảnh 12 Đối tượng tiền cảnh ngủ 13 Phát bóng hình Tác giả - Tham khảo Mao Shi [150, 151] Sheihk Shah [155] Cvetkovic [147], Sung [347], Hwang [348] Sheihk Shah [155] Sung [48], Hwang cs [49] Martel-Brisson Zaccarin [346] Sheihk Shah [155] Tavakkoli [142], Gu [345] Elgammal [15], Cvetkovic [147] Elgammal [15], Cvetkovic [147], Mao Shi [150, 151] Bảng 11 Làm giảm thời gian thực phiên KDE Làm giảm thời gian thực Tác giả - Tham khảo 12 KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO Thời gian tính tốn u cầu nhớ Elgammal [349], Sadeghi CS [350] Elgammal [349], Sadeghi CS [350] Bàn luận: KDE thích hợp cảnh trời mà động xuất hiện, phù hợp với thay đổi ánh sáng 3.4 Học không gian sử dụng PCA (SL-PCA) Học không gian cung cấp khung làm việc tốt để đối phó với thay đổi ánh sáng cho phép tính thơng tin không gian Oliver cộng [165] đề xuất mô hình cho điểm ảnh cách sử dụng mơ hình đặc trưng (eigenbackground) Mơ hình bao gồm việc lấy mẫu N ảnh {I 1, I2, IN) tính tốn ảnh trung bình µ B ma trận hiệp phương sai CB Ma trận hiệp biến sau chéo hóa cách sử dụng phân hủy giá trị đặc trưng (eigenvalue) sau: LB = Φ BCB Φ TB (18) với  ma trận véc tơ đặc trưng hiệp phương sai liệu LB ma trận chéo hóa giá trị đặc trưng Để giảm bớt, số chiều khơng gian, có M vector đặc trưng (M T (21) với T số ngưỡng Cải tiến: Mơ hình eigen (SL- PCA) cung cấp mơ hình hàm phân bố xác suất nền, đối tượng di chuyển chúng khơng có đóng góp đáng kể cho mơ hình Vì vậy, hạn chế mơ hình kích thước đối tượng tiền cảnh phải nhỏ khơng xuất vị trí thời gian dài chuỗi huấn luyện Hạn chế thứ hai xuất để trì Thật vậy, tính tốn chun sâu để thực mơ hình cập nhật cách sử dụng chế độ hàng loạt PCA Hơn khơng có chế phân tích mạnh mẽ, giá trị ngoại lai đối tượng bề mặt hấp thu vào mơ hình Hạn chế thứ ba việc áp dụng mơ hình chủ yếu giới hạn hình ảnh màu xám quy mơ kể từ tích hợp liệu đa kênh khơng đơn giản Nó liên quan đến không gian chiều cao nhiều gây khó khăn thêm để quản lý liệu nói chung Một hạn chế khác đại diện không thay đổi đa phương thức chiếu sáng khác nên khơng thể xử lý cách xác Để giảm bớt hạn chế, nhiều cải tiến (25 báo) đề xuất năm gần Một khảo sát 15 báo giai đoạn 1999-2009 tìm thấy [334] Do đó, cải tiến khác mà cố gắng để giải bốn hạn chế tóm tắt việc phân loại sau với tiến gần đây: - Giảm giới hạn kích thước đối tượng tiền cảnh: Xu cộng [166, 167] đề xuất áp dụng quy trình đệ quy bù lỗi làm giảm ảnh hưởng đối tượng di chuyển mơ hình eigen Một phương pháp ngưỡng thích nghi giới thiệu cho phép trừ nền, ngưỡng xác định cách kết hợp ngưỡng toàn cục cố định ngưỡng cục biến đổi Kết thấy tốt diện đối tượng di chuyển Một cách tiếp cận phát triển Kawabata cộng [168] bao gồm phương pháp lặp tối ưu hình chiếu để ước tính thời gian thực từ cảnh động với tiền cảnh Thứ nhất, hình ảnh thu thập thời gian sau hình ảnh Nguyễn Văn Căn 13 nén cách sử dụng phương pháp không gian riêng để tạo thành sở liệu Sau khởi tạo này, hình ảnh thực chiếu lên không gian riêng để ước tính Như hình ảnh ước tính nhiều bị ảnh hưởng trước, khu vực phía trước tính cách sử dụng trừ với cựu ước tính để loại trừ khu vực từ chiếu Do đó, hình ảnh mà khu vực phía trước thay cũ dự eigenspace sau cập nhật Kawabata cộng [25] chứng minh chu kỳ hội tụ đến hình xác Gần đây, Quivy Kumazawa [351] đề xuất để tạo hình ảnh cách sử dụng Nelder - Mead Simplex thuật toán thủ tục mặt nạ động Bài viết trình bày phương pháp ban đầu thay bước chiếu / tái thiết SLPCA hệ trực tiếp hình ảnh Các thí nghiệm chứng minh phương pháp đề xuất thực tốt sau so với SL-PCA[165], SL-REC[166,167], SL-IOP[168] cho đối tượng lớn di chuyển nhanh - Đối phó với yêu cầu thời gian tốc độ: Đối với việc cải tiến, số tác giả [169-177] đề xuất thuật toán khác PCA gia tăng PCA gia tăng [169] cần tính tốn hình ảnh gây nhiễu đối tượng tiền cảnh Để giải điều này, Li cộng [170, 171] đề xuất PCA gia tăng khắc phục diện bên Tuy nhiên, trì mơ hình cập nhật bước, xác định trọng số với khung hình khác Như vậy, khung khung có chứa đối tượng bề mặt có đóng góp Hậu tình trạng nhiễm tương đối mơ hình Trong bối cảnh này, Skocaj cộng [172, 173] sử dụng trọng số gia tăng mạnh mẽ Trọng số khác khung phương pháp đạt mơ hình tốt Tuy nhiên, trọng số áp dụng cho tồn khung mà khơng xem xét đóng góp phận hình ảnh khác để xây dựng mơ hình Để đạt độ xác pixel khôn ngoan khối lượng, Zhang Zhuang [174] đề xuất lựa chọn trọng thích nghi cho PCA gia tăng Phương pháp thực mơ hình tốt cách định trọng số cho điểm ảnh khung hình cập nhật Thí nghiệm [174] cho thấy phương pháp đạt kết tốt so với SL- IRPCA [170, 171] Wang cộng [175, 176] sử dụng cách tiếp cận tương tự cách sử dụng thuật toán Karhunen - Loeve Gần đây, Zhang cộng [209] cải thiện phương pháp với chương trình thích ứng Tất phương pháp gia tăng tránh phân hủy riêng ma trận hiệp phương sai chiều cao sử dụng xấp xỉ đó, phân hủy thấp cho phép bước bảo trì có tải trọng tính tốn Tuy nhiên, phương pháp gia tăng trì tồn cấu trúc riêng (eigenstructure) bao gồm giá trị riêng xác ma trận ΦM Để giải vấn đề này, Li cộng [177] đề xuất đệ quy mạnh mẽ trì riêng nhanh tránh phân hủy riêng Phương pháp đạt kết tương tự so với SL-IPCA [169] SL-IRPCA [170, 171] tỷ lệ khung tốt Hình cho thấy phân loại thuật tốn mạnh mẽ thích nghi - Đối phó với quy mơ mức xám hạn chế pixel khôn ngoan: Gần đây, Wu cộng [207] đề xuất để kết hợp mơ hình PCA với mơ hình Gaussian đơn PCA cho phép vững mạnh để thay đổi chiếu sáng Gaussian đơn để mô tả thơng tin màu sắc cho điểm ảnh Vì vậy, phát thay đổi sắc độ loại bỏ bóng pixel Một chiến lược thích nghi sử dụng để tích hợp hai mơ hình Cắt biểu đồ nhị phân sử dụng để thực phân đoạn tiền cảnh/nền Theo cách khác, Han Jain [178] đề xuất thuật toán hiệu sử dụng gia tăng trọng số 2-D phân tích thành phần Nó thành phần chủ yếu 2DPCA tính hiệu cách chuyển đổi tiêu chuẩn PCA Thực thời gian tính tốn, Han Jain [178] sử dụng thuật toán gia tăng để cập nhật vector riêng để xử lý biến thời gian Đề xuất thuật toán áp dụng cho liệu kênh (RGB) kênh (RGB + IR) Hình Sự thích nghi thuật tốn SL-PCA Kết cho thấy cải tiến đáng ý diện đa phương thức (MB) bóng tối (S) Để giải hạn chế pixel khôn ngoan, Zhao cộng [206] sử dụng khối khơng-thời gian thay pixel Hơn nữa, phương pháp họ bao gồm việc áp dụng thuật tốn gia tăng phân tích thành phần hiệp phương sai tự (CCIPCA) tốc độ hội tụ nhanh tính tốn phức tạp thuật tốn IPCA cổ điển Kết cho thấy mạnh mẽ với nhiễu thay đổi ánh sáng nhanh chóng - Đối phó với thay đổi ánh sáng đa phương thức: Gần đây, Dong cộng [211] đề xuất sử dụng đa không gian huấn luyện để xử lý thay đổi chiếu sáng khác Không gian đặc trưng tổ chức thành cụm đại diện cho điều kiện ánh sáng khác Chuyển đổi phân tích thành phần cục (LPCA) sử dụng để huấn luyện phân tách không gian riêng cho cụm Khi hình ảnh đến, thuật tốn lựa chọn khơng gian học với chia sẻ điều kiện ánh sáng gần Kết [211] cho thấy thuật toán LPCA nhanh so với thuật toán ban đầu PCA[165] MOG [14] đặc biệt ánh sáng thay đổi đột ngột Một cách tương tự, Kawanishi cộng [213-214] tạo ảnh mà thể thời tiết điều kiện ánh sáng cảnh Phương pháp thu 14 KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO thập số lượng lớn hình ảnh cách giám sát hạn siêu dài, phân loại chúng theo thời gian ngày, áp dụng PCA để tái tạo lại hình ảnh Một mối quan tâm sáng chế gần đây, phương pháp dựa không gian - thời gian khối video không gian học tập trực tuyến [360] Phương pháp cho phép cập nhật gia tăng mạnh mẽ làm giảm bớt hạn chế pixel khôn ngoan Bảng 12, Bảng 13, Bảng 14 Bảng 15 nhóm theo loại cải tiến khác SL- PCA Bảng 12 Ảnh hưởng đối tượng Phương pháp Tác giả - ngày Bù lỗi đệ quy (SL-REC) Xu cộng (2006) [166, 167] Chiếu tương tác tối ưu (SL-IOP) Kawabata cộng (2006) [168] Thuật toán Simplex (SL-SA) Quivy Kumazawa (2011) [351] Bảng 13 Yêu cầu thời gian mức độ mạnh mẽ Phương pháp Gia tăng PCA (SL-IPCA) Gia tăng mạnh mẽ PCA (SL-IRPCA) Gia tăng trọng số mạnh mẽ PCA (SL-AWIRPCA) Thuật toán chuỗi Karrhunen-Loeve (SL-ASKL) Thuật tốn chuỗi Karrhunen-Loeve thích ứng (SL-ASKL) Duy trì đệ quy nhanh (SL-FRM) Tác giả - ngày Rymel cộng (2004) [169] Li cộng (2003) [170,171] Skocaj cộng (2003) [172, 173] Zhang Zhuang (2007) [174] Zhang cộng [209] Li cộng (2006) [177] Bảng 14 Giải với mức xám hạn chế điểm ảnh Phương pháp Tác giả - ngày Gauss đơn PCA (SL-PCA-SG) Wu cộng (2009) [207, 208] Gia tăng trọng số 2PCA (SL-WI2DPCA) Han Jain (2007) [178] Hiệp biến gia tăng thẳng (SL-CCIPCA) Zhao cộng (2008) [206] Bảng 15 Đối phó với thay đổi ánh sáng nhiều mức Phương pháp Phân tích thành phần cục cụm (LPCA-C) Phân tích thành phần cục dãy phân tách (LPCA-SS) 3.5 Bàn luận Tác giả - Ngày Dong cộng (2010) [211,212] Kawanishi cộng (2009) [213214] Trong phần 3, khảo sát mơ hình loại thứ cải tiến liên quan chúng Những cải tiến thực thuật toán ban đầu cho tình quan trọng quy định Tuy nhiên, số tác giả gần đề xuất sử dụng mô hình thống kê tiên tiến mơ hình hỗ trợ véc tơ để giải xác với động LOẠI THỨ HAI Các mơ hình thể loại thứ hai sử dụng mơ hình thống kê phức tạp máy hỗ trợ vector (SVM), hỗ trợ vector hồi quy (SVR) vector hỗ trợ mô tả liệu (SVDD) 4.1 Máy hỗ trợ véc tơ (SVM) Máy hỗ trợ vector giới thiệu Vapnik cộng [179] Để phân loại, SVM làm việc cách xác định siêu phẳng không gian đặc trưng kích thước cao để tách liệu huấn luyện thành hai lớp Các siêu phẳng tốt dẫn suất cách cực tiểu mép thẻ khoảng cách bé từ siêu phẳng tới liệu Sử dụng khía cạnh phân loại này, Lin cộng [180] đề xuất sử dụng SVM cho mơ hình Đặc biệt, Lin cộng [180] sử dụng PSVM với kết đầu theo xác suất SVM cho phép đầu nhị phân Mơ hình sigmoid sử dụng để chuyển đổi điểm số nhị phân SVM sang xác suất hậu: p( y = | f ) = 1 + exp( Af + B) (22) y nhãn lớp nhị phân f điểm đầu hàm định SVM Hai tham số A B trang bị sử dụng ước tính khả tối đa từ tập huấn luyện (fi, yi), dẫn suất cách cực tiểu hàm log khả tiêu cực: Nguyễn Văn Căn 15 − ∑ ti log( pi ) + ( − ti ) log( − pi ) t ti = (23) yi + 1 , pi = + exp( Afi + B ) (24) Để tránh đồng điệu huấn luyện không lệch, tập hold-out tổng hợp từ tập liệu cách chia tập huấn luyện thành phần 80% 20% Tập lớn sử dụng SVM huấn luyện, tập nhỏ sử dụng cho cực tiểu hai tham số Trong bối cảnh này, Lin cộng [180] sử dụng 100 hình ảnh có kích thước 160*120 với biết Mỗi ảnh chia thành khối kích thước 4*4 xem xét hai đặc trưng cho khối: giá trị quang khác biệt hình ảnh liên tiếp Mỗi khối, gan nhãn cho -1 ngược lại Khởi tạo bắt đầu với ảnh khối kiểm tra PSVM Một khối hình phân loại đầu xác suất lớn ngưỡng T: p( bi ) > T (25) Khi khối ảnh p(bi)>T phân loại việc lặp M lần, khoảng cách tuyến tính Fisher sử dụng: d ( bi , bback ( µ i − µ back ) )= (σ i − σ back ) (26) với µ σ2 trung bình phương sai phân bố cường độ khối Khi khoảng cách hai khối lớn, hai điều kiện xuất Khối phần khu vực thống đối tượng di chuyển xuất Xác suất trung bình PSVM khối so với M khung hình trước so sánh với xác suất PSVM Nếu xác suất trung bình PSVM lớn hơn, thay khối Tiếp tục theo cách này, trình khởi tạo chấm dứt kiện thay không xảy dãy M khung hình liên tiếp Khi khởi tạo xong, phát tiền cảnh thực ngưỡng khác biệt mơ hình hình ảnh 4.2 Hỗ trợ véc tơ hồi quy (SVR) Cho tập hợp liệu huấn luyện, SVR phù hợp hàm cách xác định ràng buộc phần nhỏ liệu huấn luyện phép nằm khoảng cách ε từ ước tính hồi quy Đây loại SVR thường gọi ε-SVR không nhạy cảm[181] Đối với điểm ảnh thuộc nền, SVR riêng biệt sử dụng để mơ hình hàm cường độ Để phân loại điểm ảnh hay không, Wang cộng [183] [184] nạp giá trị cường độ cho SVR liên quan ngưỡng đầu SVR Hãy giả sử tập hợp liệu huấn luyện cho số điểm ảnh p thu từ số hình {(x 1, y1), , (xN, yN)}, xi tương ứng với giá trị cường độ điểm ảnh p khung i, y i tương ứng tự tin điểm ảnh p điểm ảnh Một SVR học, tự tin f (xi) điểm ảnh p khung i, tính cách sử dụng hàm hồi quy tuyến tính: f ( xi ) = ∑ ( − a *j )k ( xi , x j ) + ξ N j =1 (27) k(xi, xj) hàm hạt nhân Các tham số a, a* ξ, gọi nhân tử Lagrange, thu cách giải toán tối ưu sử dụng phương pháp nhân tử Lagrange Với mơ hình dựa SVR, cường độ điểm ảnh khung hình làm đầu vào cho SVR Đầu SVR cho khẳng định điểm ảnh thuộc hay không Điểm ảnh dán nhãn đầu SVR ngưỡng thấp ngưỡng cao (S l Sh) Đặc biệt đồ phát tiền cảnh nhị phân hình thành khung t sau: M xt i = Sl < f ( xi ) < Sb M xt i = (28) 16 KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO Với f(xi) đầu SVR {Sl,Sb} ngưỡng khởi tạo Đối với vùng đồ nhị phân, mơ hình dựa SVR cập nhật cách sử dụng thuật toán học SVR online [182] 4.3 Mô tả liệu hỗ trợ véc tơ (SVDD) Tavakkoli cộng [186] đề xuất mơ hình cách sử dụng mô tả liệu hỗ trợ vector (SVDD) video với tĩnh gần đứng yên Mô tả miền liệu liên quan đến đặc tính tập liệu [185] Bao liệu sử dụng để phát liệu giá trị ngoại lai Mô tả liệu thơng thường có ranh giới khép kín xung quanh liệu Ranh giới đơn giản diễn tả siêu hình cầu Thể tích siêu hình cầu với trung tâm a bán kính R cực tiểu chứa tất mẫu huấn luyện x i Để cho phép khả xuất kết tập huấn luyện, biến εi giới thiệu Hàm lỗi cực tiểu thiểu định nghĩa là: F(R,a) =R2 + C ∑εi (29) với ràng buộc: xi − a ≤ R + ε i ∀ i (30) Nhân tử Lagrange: ( ( L( R, a, α i , γ i , ε i ) = R + C ∑ ε i − ∑ α i R + ε i − xi − a i ) −∑γ ε i i i (31) L đạt max nhân tử Lagrange α i>=0 γi >=0 R, a ε i Nhân tử Lagrange γi loại bỏ hạn chế ≤ αi ≤ C áp dụng Sau giải vấn đề tối ưu hóa có: L = ∑ α i ( xi xi ) − ∑ α iα j ( xi x j ) , i i, j ∀α i :0 ≤ α i ≤ C (32) Khi mẫu đáp ứng bất bình đẳng (30), sau nhân tử Lagrange tương ứng α i ≥ 0, khơng khơng Do có: xi − a < R → α i = 0, γ i = xi − a > R → α i = C , γ i > (33) Ở trên, nhận xét có mẫu với giá trị α i không âm cần thiết mô tả liệu, chúng gọi vectơ hỗ trợ mô tả Để kiểm tra mẫu y mới, khoảng cách đến trung tâm siêu hình cầu tính tốn kiểm tra R Tavakkoli cộng [186] sử dụng phương pháp để xây dựng đường biên giới mô tả cho điểm ảnh khung đào tạo tảng để tạo mơ hình cho Sau đó, ranh giới sử dụng để phân loại điểm ảnh tương ứng họ khung hình ảnh trước Trong thực tế, điểm ảnh khung cảnh lớp phân loại đào tạo cách sử dụng giá trị khung đào tạo Phân loại bao gồm ranh giới mô tả vectơ hỗ trợ, ngưỡng sử dụng để mô tả liệu Để phát tiền cảnh, điểm ảnh khung hình phân loại tiền cảnh sử dụng giá trị phân loại tương ứng từ giai đoạn đào tạo Vector x ij sử dụng việc thực x ij=[Cr;Cg], Cr Cg giá trị sắc tố màu đỏ màu xanh cho điểm ảnh (i, j) Cải tiến: Mơ hình trình bày số ưu điểm: Độ xác khơng bị giới hạn tính xác hàm mật độ xác suất ước tính yêu cầu nhớ kỹ thuật phi tham số Vì vector hỗ trợ mô tả liệu cách rõ ràng mô hình đường biên định lớp biết đến, phù hợp cho phát lạ mà khơng cần phải sử dụng ngưỡng Hơn nữa, việc thực phân loại dương tính giả điều khiển cách rõ ràng Những bất lợi việc đào tạo SVDD đòi hỏi tối ưu hóa Lagrange tính tốn chun sâu Để trì, tất SVDD phải tính tốn lại Để thực việc đào tạo, Tavakkoli cộng [187] đề xuất sử dụng phương pháp di truyền để giải tối ưu hóa vấn đề Lagrange Các thuật tốn di truyền (GA) bắt đầu với dự đoán ban đầu giải vấn đề tối ưu hóa lặp Trong [188] [189], Tavakkoli cộng đề xuất sử dụng SVDD gia tăng Bằng cách này, việc trình trì thực Nguyễn Văn Căn 17 4.4 Bàn luận Mơ hình hỗ trợ vector cung cấp khung làm việc tốt cho mơ hình đặc biệt diện thay đổi ánh sáng hình động Một cách khác để mơ hình để thực hạng mục cách sử dụng mơ hình thích nghi PHÂN NHĨM THỨ BA Các mơ hình loại thứ ba tổng hợp mơ hình loại Gauss đơn tổng hợp (SGG), hỗn hợp Gauss tổng hợp (MOGG) học khơng gian sử dụng gia tăng phân tích thành phần (SL-ICA), gia tăng ma trận hệ số không âm (SL-INMF) gia tăng thứ hạng Tensor-(R1, R2, R3) (SL-IRT) 5.1 Tổng hợp Gauss đơn (SGG) Kim cộng [190-192] đề xuất mơ hình cách sử dụng họ mơ hình Gauss tổng qt (GGF) phân phối để đối phó với vấn đề từ thay đổi khác bóng tối Ý tưởng điểm ảnh thay đổi phù hợp với Laplace với Gauss Thật vậy, điểm ảnh biến đổi cảnh tĩnh theo thời gian cảnh nhà chụp máy ảnh gần gũi với phân phối Laplace Gaussian, mơ hình Laplace có hạn chế sử dụng môi trường khác Sự thay đổi điểm ảnh khung cảnh tĩnh theo thời gian định nghĩa là: P( X t ) = p ργ  Γ(3/ ρ )  − (γ p x− µ ) e , γ =   2Γ ( / ρ ) σ  Γ ( / ρ )  (34) với () hàm gamma 2 biến phân bố Trong phương trình (1) 1 diễn tả phân bố Laplace 2 diễn tả phân bố Gauss Các mơ hình mô tả điểm ảnh việc tính tốn xác độ nhọn dư thừa g2 m khung Độ nhọn phân bố Laplace Gauss tương ứng với Các tham số tối ưu mơ hình tính tốn max hàm quan sát giá trị: N g2 = N ∑ ( xi − µ ) i =1 N 2  ∑ ( xi − µ )   i=1  −3 (35) Trong thực tế, Kim cộng [190-192] mơ hình hai phần: thành phần độ sáng thu trung bình có trọng số kênh RGB thành phần màu khơng gian màu HSI Việc trì thực cách sử dụng trung bình chạy chọn lọc [13] Phát tiền cảnh lần thực cách trừ thành phần cường độ khung hình từ mơ hình nền: D(x,y) = |I(x,y)-B(x,y)| (36) với I(x, y) and B(x, y) tương ứng với độ sáng khung hình mơ hình Sau đó, điểm ảnh phân loại thành ba loại sử dụng hai ngưỡng sau: Điểm ảnh D(X,y)< T1k(x,y) Điểm ảnh đáng ngờ T1k(x,y) ≤ D(X,y)< T2k(x,y) Điểm ảnh tiền cảnh T2k(x,y) ≤ D(X,y) (37) với k(x,y) tham số tỷ lệ Các ngưỡng T 1, T2, T3 xác định cách sử dụng khung huấn luyện SGG thực tốt MOG KDE cảnh mơi trường nhà ngồi trời 5.2 Hỗn hợp Gauss tổng quát (MOGG) Allili cộng [193-195] đề xuất mơ hình hỗn hợp hữu hạn Gaussian chung phân khúc mạnh mẽ diện nhiễu chênh lệch Mơ hình có tính linh hoạt để thích ứng với hình dạng liệu nhạy cảm hơn-phù hợp số lớp so với hỗn hợp Gaussian Mỗi điểm ảnh đặc trưng cường độ khơng gian màu RGB Sau đó, xác suất quan sát giá trị điểm ảnh coi cho công thức sau trường hợp đa chiều: 18 KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO K P( X t ) = ∑ ω i ,t η ( X t , µ i ,t , σ i ,t , λ i ) i =1 (38) với tham số: K số lượng phân phối, ωi,t trọng số liên quan đến Gauss thứ i thời điểm t với trung bình µi,t độ lệch chuẩn ∑i,t λ=0 phân phối Gauss λ=3 phân phối Laplace η hàm mật độ xác suất Gauss: d η ( X t , µ i ,t , σ i ,t , λ i ) = ∏ j =1  X −µj A( λ j ) exp − B( λ j ) j  σj  1/ λ ( Γ ( / λ ) / Γ (1 / λ ) ) A( λ ) = , 2σ Γ (1 / λ ) λj  Γ(3/ λ )   B ( λ ) =  ( ) Γ / λ       (39) Số lượng tối ưu Gaussian tính tốn thời điểm t độ dài thông điệp cực tiểu (MML) Nếu số Gaussian thời điểm t +1 nhỏ so với thời điểm t, thông số cập nhật tương tự trong[14] Các kiểm tra phù hợp giống [14] sử dụng để kiểm tra xem điểm ảnh phù hợp với Gaussian Đối với việc ghi nhãn, lược đồ tương tự Stauffer Grimson [14] sử dụng Các MOGG cho thấy hiệu suất tốt so với MOG diện bóng tối (S) 5.3 Học khơng gian Học khơng gian thực cách sử dụng PCA thấy Phần 3.4 Trong tài liệu [196], có phương pháp khác để giảm không gian phương pháp khác phân loại theo Skocaj Leonardis [197] phương pháp tái tạo phương pháp phân biệt đối xử: - Huấn luyện không gian tái tạo: Các phương pháp tái tạo cho phép xấp xỉ liệu tốt cung cấp tái tạo tốt Một lợi phương pháp tái tạo kỹ thuật không giám sát Hơn nữa, phương pháp tái tạo cho phép cập nhật gia tăng mà thích hợp cho ứng dụng thời gian thực Những phương pháp nhiệm vụ độc lập Các phương pháp tái tạo phổ biến như: phân tích thành phần (PCA) [51], phân tích thành phần độc lập (ICA) [52] ma trận phần tử không âm (NMF) [53] PCA biến đổi số liệu liên quan thành số lượng nhỏ liệu không tương quan gọi thành phần chủ yếu ICA biến thể PCA thành phần giả định thống kê độc lập thay đơn khơng tương quan Điều kiện mạnh mẽ cho phép loại bỏ bất biến quay PCA, ICA cung cấp phân hủy nửa tuyến tính có ý nghĩa độc đáo hai chiều liệu coi hỗn hợp tuyến tính số nguồn tín hiệu độc lập Ma trận phần tử khơng âm (NMF) tìm thấy biểu diễn tuyến tính liệu không âm Cho ma trận liệu không âm V, NMF tìm phần tử xấp xỉ V=WH với yếu tố không âm W H Những hạn chế không tiêu cực làm cho biểu diễn hoàn toàn phụ, tức cho phép không trừ, trái ngược với phân tích thành phần (PCA) phân tích thành phần độc lập (ICA) - Học khơng gian phán đốn: Các phương pháp phán đoán kỹ thuật giám sát cho phép tách biệt tốt liệu cung cấp phân loại tốt Hơn nữa, phương pháp phán đốn phân tách tính tốn hiệu Nhiệm vụ phương pháp độc lập Các phương pháp phán đoán phổ biến như: Phán đoán phân tích tuyến tính (LDA)[54] phân tích tương quan kinh điển (CCA) [55] LDA chiếu liệu không gian vector thấp chiều tỷ lệ khoảng cách khoảng cách lớp với khooảng cách lớp tối đa Mục đích để đạt phán đốn tốt Phân tích tương quan kinh điển (CCA) mơ hình thống kê đa biến tạo điều kiện cho nghiên cứu mối tương quan tập nhiều biến phụ thuộc nhiều biến độc lập Tương quan kinh điển đồng thời dự đoán nhiều biến phụ thuộc từ nhiều biến độc lập Tất phương pháp ban đầu thực với thuật tốn thực thi mà u cầu liệu phải có sẵn tính tốn thời gian thực khơng gian thích nghi cho liệu đến Sau khó khăn này, phương pháp tái tạo phù hợp cho mơ hình Hơn nữa, khía cạnh khơng có giám sát họ cho phép tránh can thiệp tay bước học tập Sau đây, khảo sát phương pháp không gian áp dụng gần để mơ hình nền: phân tích thành phần độc lập (ICA), ma trận thành phần không âm (NMF) gia tăng thứ hạng(R1, R2, R3) Tensor 5.3.1 Học không gian sử dụng ICA (SL-ICA) ICA tổng hợp kỹ thuật PCA Khi số hỗn hợp nguồn tín hiệu xác suất độc lập quan sát, ICA phục hồi tín hiệu nguồn gốc từ hỗn hợp quan sát mà làm nguồn trộn lẫn Giả định vector Nguyễn Văn Căn 19 quan sát X=(x1, x2, , xM) biểu diễn thơng qua chồng chất tuyến tính vector độc lập chưa biết S=(S1, S2, , SM)T X = AS (40) với A ma trận hỗn hợp chưa biết ICA tìm ma trận W, vector kết là: Y=WX (41) phục hồi vectơ S độc lập, xác suất hoán vị sửa lại W khoảng ma trận nghịch đảo A Áp dụng để mơ hình nền, mơ hình ICA cho bởi: Y=WXt (42) Xt (xB,xF)T ma trận hỗn hợp liệu kích thước 2*K K=M*N, x1=(x11,x12, ,x1K) khung chứa khơng chúa đối tượng tiền cảnh x2(x21,x22, ,x2K) khung thứ hai có chứa đối tượng tiền cảnh W=(w1,w2)T ma trận không trộn, với wi = (wi1,wi2), i=1,2 Y (y1, y2)T tín hiệu nguồn ước tính yi(yi1,yi2, ,yik) Một số thuật tốn ICA sử dụng để xác định: W Yamazaki cộng [198] sử dụng thuật toán mạng nơ ron [199].Tsai Lai [200] sử dụng thuật toán Particle Swarm (PSO) [201] W xác định lần, có hai cách tài liệu để tổng hợp mặt nạ tiền cảnh ảnh: - Trường hợp mà x chứa đối tượng tiền cảnh Yamazaki cộng [198] Sau đó, mặt nạ tiền cảnh cho khung x1 x2 thu cách ngưỡng tương ứng y1 y2 Hình thu cách thay khu vực biểu diễn đối tượng tiền cảnh x1 khu vực tương ứng đại diện cho x2 - Trường hợp thứ hai mà x1 không chứa đối tượng tiền cảnh Tsai Lai [200] Sau đó, mặt nạ tiền cảnh khung x2 thu ngưỡng y2 Hình y1 Mơ hình ICA thử nghiệm cảnh giao thông Yamazaki cộng [198] cho thấy mạnh mẽ việc thay đổi thay đổi ánh sáng Trong [200], thuật toán thử nghiệm cảnh nhà, nơi thay đổi đột ngột xuất chiếu sáng 5.3.2 Học không gian sử dụng INMF (SL-INMF) Ma trận thừa số không âm (NMF), với xếp hạng r, phân rã ma trận liệu V pxqthành ma trận W Rpxq gọi ma trận trộn, HRrxq gọi ma trận mã hóa: V ≈ WH (43) Vì vậy, NMF nhằm tìm thừa số gần giảm thiểu lỗi tái thiết Hàm chi phí khác dựa lỗi tái thiết xác định tài liệu, tính đơn giản hiệu nó, lỗi bình phương sử dụng nhiều nhất: F = V − WH = ∑∑ (Vij − ( H p q i =1 j =1 ) ij ) (44) th với ij giải thích mục vào ma trận thứ ij Áp dụng vào mơ hình nền, Bucak cộng [202, 203] đề xuất thuật toán gia tăng NMF Việc khởi tạo thực cách sử dụng N khung huấn luyện Vì vậy, V vector cột tương ứng với ma trận kích thước (p x q) x N Các ma trận W H cập nhật bước Phát tiền cảnh thực ngưỡng lỗi lại tương ứng với độ lệch mơ hình hình chiếu khung hình vào mơ hình Các INMF có hiệu suất tương tự động thay đổi ánh sáng so với IRPCA Li cộng đề xuất [170] 5.3.3 Học không gian sử dụng gia tăng thứ hạng Tensor(R 1,R2,R3) Các trường hợp khác học không gian trước xem xét ảnh vector Do vậy, thông tin không gian cục dường bị Li cộng [204, 205] đề nghị sử dụng thuật toán học tensor thứ tự cao tensor gọi gia thứ hạng (R 1,R2,R3) dựa học không gian để can thiệp vào thông tin khơng gian Thuật tốn online xây dựng mơ hình khơng gian đặc trưng tensor thứ tự thấp với trung bình mẫu đặc trưng cập nhật thích nghi Biểu diễn G={BMq∈RMxN }q=1,2, ,t dãy quang cảnh với khung qth BMq Biểu diễn Pxy điểm ảnh thứ x y cảnh Mơ { A = BM qxy ∈ R I1×I2×t } q =1, , , t hình khơng gian đặc trưng dựa tensor (I1=I2=5 tương ứng K lân cận p m với K=I1I2-1=24) bao gồm kích thước khơng gian riêng trì (R 1,R2,R3) liên quan tới chế độ tensor diễn ra, ma trận 20 KHẢO SÁT TỔNG QUAN VỀ PHƯƠNG PHÁP TRỪ NỀN ĐỂ PHÁT HIỆN ĐỐI TƯỢNG TRONG VIDIEO I n × Rn (n) (1) ( 2) U ∈ R L L chiếu mode-n cột , cột có nghĩa mode-(1,2) mở ma trận A nghĩa L ( 3) mở ma trận A(3) Cho vùng ảnh K-láng giềng y, pxy khung I txy+ I t + ∈ R M × N ×1 I tm+ ∈ R I1× I2× t (1) A(2) dòng có trung tâm điểm ảnh thứ x thứ , khoảng cách RMxy (xác định dạng lỗi xây dựng lại chế độ) mơ hình học khơng gian riêng dựa tensor tính tốn Phát tiền cảnh định nghĩa sau: Pxy phân loại  RM xy2  >T exp −  2σ    , ngược lại tiền cảnh (45) với σ yếu tố nhân rộng T biểu thị ngưỡng Như vậy, mơ hình BM t+1(x,y) thời điểm t+1 xác định là: BMt+1(x,y) = Hxy Nếu Pxy phân loại tiền cảnh BMt+1(x,y) = It+1(x,y) ngược lại (46) với Hxy = (1-α)MB1:t thời điểm t α yếu tố tốc độ học Tiếp đến, mơ hình khơng gian riêng tensor cập nhật bước tiếp tục IRT cho thấy mạnh mẽ với việc nhiễu so với IRPCA đề xuất Li cộng [170] Bảng 16 Đánh giá thực động thay đổi độ sáng Bảng 17 Độ phức tạp tính tốn ĐÁNH GIÁ SỰ THỰC HIỆN Trước hết đánh giá phương pháp để đối phó với động thay đổi chiếu sáng Sau đó, đánh giá thực tính tốn phức tạp u cầu nhớ cho điểm ảnh Nguyễn Văn Căn 21 6.1 Những thách thức Bảng 16 nhóm khả phương pháp để đối phó với động thay đổi chiếu sáng Cột thứ ba cho biết thể thích hợp với thay đổi ánh sáng Các ứng dụng có liên quan nêu cột thứ tư 6.2 Độ phức tạp tính tốn SG phương pháp nhanh phân loại thực cách sử dụng ngưỡng trì thích nghi trung bình phương sai Độ phức tạp phụ thuộc vào N khởi tạo Phương pháp MOG có độ phức tạp O(NK) với K số lượng phân phối Gauss sử dụng, thường từ đến Để trì, KDE tính giá trị hạt nhân Gaussian tập trung vào n khung khứ, độ phức tạp O(n), với n thường 100 Đối với học không gian tái tạo, độ phức tạp tính tốn liên quan đến hoạt động cần thiết để tính tốn yếu tố lưu trữ cập nhật, tức ma trận cấu trúc riêng Ví dụ, học không gian gia tăng tensor yêu cầu thực độ phức tạp O(I 1I2(R1+R2+R3))[205] Để phát tiền cảnh, phương pháp học tập không gian tái tạo có độ phức tạp ước tính cho điểm ảnh O(P), P số vector riêng tốt Để trì nền, độ phức tạp chúng có liên quan đến M số mẫu sử dụng để cập nhật mơ hình M = mơ hình cập nhật khung Bảng 17 cho thấy phức tạp tính tốn cho điểm ảnh thuật toán giai đoạn Xem chi tiết thêm phức tạp thuật tốn tìm thấy báo tương ứng 6.3 Yêu cầu nhớ Đối với phương pháp thống kê, phức tạp nhớ cho điểm ảnh giống độ phức tạp tính tốn Vào thời điểm phân loại, phương pháp tiếp cận tái tạo phức tạp đòi hỏi phải có nhớ cho điểm ảnh O(P), với P số vector riêng tốt Tuy nhiên, thời điểm huấn luyện, phương pháp yêu cầu cấp phát cho tất N ảnh huấn luyện, với độ phức tạp O(N) Đối với học không gian tái tạo, yêu cầu nhớ có liên quan đến yếu tố lưu trữ cập nhật, tức ma trận thành phần cấu trúc riêng Ví dụ, học khơng gian gia tăng tensor yêu cầu O(I1R1+I2R2+(I1I2)R3) đơn vị nhớ [205] SO SÁNH Lựa chọn để so sánh cải tiến khác MOG cho hình động mơ hình học tập khơng gian (SL-PCA, ICA SL, SL-INMF SL-IRT) cho thay đổi chiếu sáng Kết liệu cung cấp Wallflower Toyama cộng [20] trình bày Chúng tơi thu thập kết tổng hợp chúng thường xuyên sử dụng lĩnh vực này, đặc biệt lĩnh vực giám sát video thời gian thực Hơn nữa, bao gồm chuỗi video, chuỗi trình bày khó khăn thực tế gặp phải (ví dụ, thay đổi ánh sáng, hình động) Kích thước hình ảnh 160*120 pixel Một mô tả ngắn gọn chuỗi hình ảnh Wallflower thực sau: - Đối tượng chuyển (MO): Một người vào phòng, gọi điện thoại rời khỏi Điện thoại ghế lại vị trí khác Video chứa 1747 hình ảnh - Thời gian ngày (TOD): Ánh sáng phòng thay đổi từ tối sang sáng Sau đó, người bước vào phòng ngồi xuống Video chứa 5890 hình ảnh - Chuyển đổi nhẹ (LS): Một cảnh phòng bắt đầu với đèn sáng Sau đó, người bước vào phòng tắt đèn thời gian dài Sau đó, người bước vào phòng, thiết bị chuyển mạch ánh sáng, di chuyển ghế, cánh cửa đóng lại Video chứa 2.715 hình ảnh - Cây đung đưa (WT): Một lắc lư người phía trước Video chứa 287 hình ảnh - Ngụy trang (C): Một người phía trước hình, có can thiệp hình Bao gồm màu sắc tương tự quần áo người Video chứa 353 hình ảnh - Bootstrap (B): Các chuỗi hình ảnh cho thấy quán cà phê bận rộn khung chứa người Video chứa 3055 hình ảnh - Foreground Aperture (FA): Một người với áo sơ mi đồng phục màu tỉnh dậy bắt đầu di chuyển từ từ Video chứa 2.113 hình ảnh Đối với dãy, thực cung cấp hình ảnh thuật tốn chậm chạp với thay đổi mạnh mẽ cảnh Như vậy, việc thực đánh giá phân đoạn tay thực Ba thuật ngữ sử dụng đánh giá: Sai tích cực (FP) số điểm đánh dấu sai tiền cảnh; Lỗi tiêu cực (FN) số lượng điểm ảnh tiền cảnh đánh dấu sai nền; Tổng lỗi (TE) tổng FP FN 7.1 MOG cải tiến Đối với nhóm thứ nhất, so sánh MOG với cải tiến Bảng 18 Hình (5) nhóm kết thự nghiệm tìm thấy tài liệu thuật toán lựa chọn là: ... nhật khảo sát hỗn hợp Gauss mơ hình [48] học khơng gian mơ hình [334] Phần 2, mơ hình thống kê phân loại Phần 3, khảo sát mơ hình tổng hợp cải tiến liên quan Phần 4, khảo sát phân loại mơ hình. .. đầu kết phát tiền cảnh từ Nói cách khác phương pháp cải thiện nhằm nâng cao kết việc phát tiền cảnh cách sử dụng phối hợp với phương pháp phân đoạn Nó đạt cách hợp tác với kỹ thuật thống kê[ 138],... lợi mơ hình loại bỏ nhược điểm nó, phát tiền cảnh thu cách lấy giao điểm việc phát hai tiền cảnh đến từ mô hình ngắn hạn mơ hình dài hạn Giao điểm giúp loại bỏ tồn sai tích cực phát từ mơ hình