Phát hiện tai nạn và các tình huống bất thường trong video giao thông

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ———————————– ĐOÀN THÀNH KHANG PHÁT HIỆN TAI NẠN VÀ CÁC TÌNH HUỐNG BẤT THƯỜNG TRONG VIDEO GIAO THƠNG Chun ngành: Khoa Học Máy Tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 02 năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG-HCM Cán hướng dẫn khoa học: TS Lê Thành Sách Cán chấm nhận xét 1: TS Nguyễn Đức Dũng Cán chấm nhận xét 2: PGS.TS Huỳnh Trung Hiếu Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM, ngày 08 tháng 02 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ tịch: PGS.TS Trần Văn Hoài Thư ký: TS Nguyễn Tiến Thịnh Phản biện 1: TS Nguyễn Đức Dũng Phản biện 2: PGS.TS Huỳnh Trung Hiếu Uỷ viên: PGS.TS Huỳng Tường Nguyên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự Do - Hạnh Phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đoàn Thành Khang MSHV: 1970217 Ngày, tháng năm sinh: 21/09/1996 Nơi sinh: Bến Tre Ngành: Khoa Học Máy Tính Mã số: 8480101 I TÊN ĐỀ TÀI: Phát tai nạn tình bất thường video giao thông - Detection of traffic accident and abnormal situation from surveillance cameras II NHIỆM VỤ VÀ NỘI DUNG: Khảo sát cơng trình nghiên cứu liên quan phát bất thường cho video Kế thừa xây dựng mơ hình phát tai nạn tình bất thường video giao thơng III NGÀY GIAO NHIỆM VỤ: 14/02/2022 IV NGÀY HỒN THÀNH NHIỆM VỤ: 08/02/2023 V CÁN BỘ HƯỚNG DẪN: TS Lê Thành Sách Tp HCM, ngày tháng năm 2023 CÁN BỘ HƯỚNG DẪN HỘI ĐỒNG NGÀNH TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH Lời cảm ơn Để hoàn thành luận văn thạc sĩ này, tơi xin bày tỏ cảm kích đặc biệt tới thầy hướng dẫn khoa học tôi, Tiến sĩ Lê Thành Sách Người định hướng, trực tiếp dẫn dắt cố vấn suốt thời gian thực đề tài luận văn tốt nghiệp Những lời nhận xét, góp ý hướng dẫn Thầy giúp tơi tiếp cận hướng q trình thực luận văn, giúp thấy ưu điểm khuyết điểm phương pháp tiếp cận khác bước khắc phục để có kết ngày tốt Hơn tơi cịn học Thầy phương pháp luận tư q trình nghiên cứu khoa học Đây bàn đạp vững giúp tơi hồn thành luận văn cách hồn chỉnh Sau cùng, tơi xin cảm ơn Thầy, Cô cán khoa Khoa học Kỹ Thuật Máy Tính hỗ trợ cung cấp kiến thức khoa học Những kiến thức không dừng việc hồn thành luận văn mà cịn tảng khoa học giúp phát triển tương lai Trong luận văn, hẳn tránh khỏi hạn chế thiếu sót Tơi hy vọng nhận nhiều đóng góp quý báu từ quý thầy cô, hội đồng bạn đọc để đề tài hồn thiện có ý nghĩa thiết thực áp dụng thực tiễn sống Chân thành cảm ơn TP Hồ Chí Minh, Ngày .Tháng Năm 2023 Đồn Thành Khang i Tóm tắt Phát nạn bất thường video giao thông đề tài hẹp dựa nhánh nhóm đề tài phát bất thường video Mục đích đề tài phát tình bất thường tai nạn video giao thông cho camera giám sát Thách thức toán việc phát bất thường gặp khó khăn khác với tốn truyền thống, giao thơng bao gồm yếu tốt hình ảnh chuyển động ràng buộc với theo quan hệ không gian thời gian Ngoài việc phát đối tượng chuyển động bất thường đối tượng, toàn giao thơng cịn bao gồm ràng buộc luật di chuyển phương tiện Chính lý dẫn đến phương pháp phát bất thường chung cho video bị giảm hiệu phát bất thường video giao thông Trong luận văn kế thừa kết nghiên cứu từ báo [1] cho phát bất thường video sử dụng phương pháp dự đốn hình ảnh tương lai với luồng quang làm điều kiện Luận văn kế thừa phát triển mơ hình dự đốn bất thường việc sinh ảnh tương lai với hai điều kiện luồng quang mặt nạ phân đoạn đối tượng Kết thí nghiệm liệu Ped2, Avenue, Shanghaitech với số AUC 99.82%, 91.26% 79,68% Bên cạnh với video tai nạn UCF-Crime luận văn đạt AUC 78.02% kết thực nghiệm thành công video giao thơng Việt Nam hứa hẹn ứng dụng vào thực tế cho lượng lớn camera giao thông triển khai đường phố nước ta ii Abstract Accident and anomaly detection in traffic video is a narrow topic based on a branch of the video anomaly detection group The purpose of the thesis is to detect anomaly situations and accidents in traffic video for surveillance cameras The challenges are that detecting anomalies is problematic because, in traffic, both image and motion factors are tied together according to space and time relationships In addition to detecting objects and anomaly movements of traffic objects, the traffic problem also includes constraints on the laws of vehicle movement It is for this reason that the general anomaly detection methods for video are less effective in detecting traffic video anomalies In the thesis, inheriting the research results from the research paper[1] for anomaly detection in video using the method of predicting future images with the optical flow as a condition We inherit and develop an anomaly prediction model by future frame prediction with two conditions: optical flow and segment mask of the object Experiment results on the datasets Ped2, Avenue, and ShanghaiTech with AUC index of 99.82%, 91.26%, and 79.68%, respectively Besides, with the accident videos on UCF-Crime, the thesis achieved 78.02% AUC, and the successful experimental results on traffic videos in Vietnam promise to be able to be applied in practice to a large number of traffic cameras being deployed on the streets iii Lời cam đoan Tôi Đoàn Thành Khang học viên cao học khoa Khoa Học Kỹ thuật Máy Tính, đại học Bách Khoa TP.HCM, MSHV 1970217 Tôi xin cam đoan luận văn thạc sĩ “Phát tai nạn tình bất thường video giao thơng” kết tìm hiểu, nghiên cứu độc lập thân hướng dẫn trực tiếp TS Lê Thành Sách Tôi xin cam đoan: Luận văn thực cho mục đích tìm hiểu nghiên cứu bậc cao học Các cơng trình, báo tham khảo để xây dựng nên luận văn trích dẫn, tham khảo Những công cụ, phần mềm cho trình thực luận văn phần mềm mã nguồn mở Hình ảnh số liệu trích dẫn nguồn tham khảo rõ ràng Kết nghiên cứu trình bày trung thực dựa số liệu thực tế chạy chương trình TP Hồ Chí Minh, Ngày Tháng Năm 2023 Học viên Đoàn Thành Khang iv Mục lục Giới thiệu đề tài 1.1 Đặt vấn đề 1.2 Mục tiêu nghiên cứu 1.3 Ý nghĩa đề tài 1.4 Kết đạt 1.5 Cấu trúc luận văn Cơ sở lý thuyết 2.1 Bất thường phát bất thường 2.1.1 Bất thường 2.1.2 Phát bất thường 2.1.3 Phát bất thường cho video 2.1.4 Nhận xét 2.2 Mạng Mã hoá tự động 2.2.1 Nhận xét 2.3 Mạng mã hoá tự động biến thể 2.3.1 Nhận xét 2.4 Mạng Đối kháng tạo sinh 2.4.1 Nhận xét 2.5 Mạng nhớ 2.5.1 Nhận xét 2.6 Kiến trúc mạng cho video 2.6.1 Nhận xét 1 4 5 7 10 13 13 15 16 20 20 23 24 25 25 28 Tổng quan tình hình nghiên cứu 3.1 Tổng quan liệu 3.1.1 UCSD dataset 3.1.2 Avenue dataset 3.1.3 ShanghaiTechCampus dataset 3.1.4 Belleview-Train 3.1.5 UCF-Crime 3.2 Phát tai nạn cho góc nhìn thứ Camera 30 30 30 31 32 33 33 34 v MỤC LỤC 3.3 3.4 3.5 3.6 3.7 3.8 Phát tai nạn cho góc nhìn thứ ba Camera Phát bất thường dựa vào Autoencoder OCSVM Khai thác mạng sinh kết hợp hình ảnh vào luồng quang học Khai thác mạng tái tạo kết hợp khối nhớ Phương pháp kết hợp mạng nhớ tái tạo dự đoán Tổng kết khảo sát phương pháp kế thừa 3.8.1 Thử nghiệm so sánh hoạt động loại mô-đun nhớ 3.8.2 Thử nghiệm việc dự đoán chuỗi luồng quang 3.8.3 Thử nghiệm tác động khối điều kiện với mạng tạo sinh hình ảnh 3.8.4 Thử nghiệm tắt nối tắt mạng sinh hình ảnh 3.8.5 Tổng kết chương Phương pháp nghiên cứu 4.1 Ý tưởng thiết kế thử nghiệm 4.2 Thiết kế thử nghiệm 4.2.1 Kiến trúc tổng quát 4.2.2 Mơ hình chi tiết 4.2.3 Hàm mục tiêu 4.2.4 Chiến lược huấn luyện 4.2.5 Các thử nghiệm triển khai Kết thực nghiệm 5.1 Dữ liệu tiền xử lý liệu 5.1.1 Dữ liệu 5.1.2 Phân tích liệu 5.1.3 Tiền xử lý liệu 5.2 Các tiêu chí đánh giá 5.3 Mơi trường thực nghiệm 5.4 Kết 5.4.1 Thử nghiệm số 5.4.2 Thử nghiệm số 5.4.3 Thử nghiệm số 5.4.4 Thử nghiệm số 37 37 44 50 54 57 58 61 65 67 69 71 71 72 72 75 78 79 80 81 81 81 82 86 87 89 89 90 94 104 105 Kết Luận 112 6.1 Kết đạt 112 6.2 Hướng nghiên cứu 112 Tài liệu tham khảo 114 A Bảng đối chiếu thuật ngữ Anh - Việt 118 vi Danh sách hình vẽ 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 3.1 3.2 3.3 3.4 3.5 3.6 Minh hoạ điểm bất thường màu cam nằm xa cụm phân bố Ảnh minh hoạ số bất thường video cho số mẫu liệu Trong hàng biểu diễn khung hình bình thường hàng biều diễn khung hình bất thường Ví dụ mạng tự động mã hố Mơ hình đồ họa liên quan đến Bộ mã tự động biến thể Các đường liền nét biểu thị phân bố sinh pθ (.) đường đứt nét biểu thị phân bố gần qϕ (z|x) với phân bố hậu nghiệm pθ (z|x) KL thuận nghịch khác tính chất đo khoảng cách phân bố Minh họa cách thủ thuật tham số hoá lại giúp cho q trình lấy mẫu đào tạo Minh họa mơ hình tự động mã hóa biến thiên với giả định Gaussian đa biến Minh họa đơn giản mạng GAN Minh hoạ tốt lên việc tạo sinh khuôn mặt qua năm Sinh ảnh mặt dự vào độ tuổi Sinh ảnh đồ vật vật Cấu tạo mạng nhớ Minh hoạ cách hoạt động mạng tích chập chiều chiều Khung đại diện cho tập liệu UCSD Peds1 Peds2 Hàng hiển thị khung hình bình thường hàng thứ hai hiển thị khung hình bất thường Hai cột từ Peds1 cột cuối từ chuỗi Peds2 Khung đại diện tập liệu AVENUE Hàng hiển thị khung hình bình thường hàng thứ hai hiển thị khung hình bất thường Khung đại diện cho tập liệu ShanghaiTech Hàng hiển thị khung hình bình thường hàng thứ hai hiển thị khung hình bất thường Kiến trúc mạng Traffic Accident Detection in First-Person Videos [2] Kiến trúc mạng Future vehicle localization [3] Kiến trúc mạng Autoencoder vii 10 15 17 18 19 20 21 23 23 23 24 26 31 32 34 35 36 38 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Method GMFC-VAE [23] MemAE [5] MNAD-R [4] Frame-Pred [24] Conv-VRNN [11] MNAD-P [4] VEC [25] ST-AE [26] AMC [27] AnoPCN [28] HF -VAD w/o FP [1] HF -VAD w/o FR [1] HF -VAD [1] CVAE-OriFLow-MSE&SSIM CVAE-Pred-MaskFlow-MSE&SSIM Ped2 Avenue SHTech 92.20 94.10 90.20 95.40 96.10 97.00 97.30 91.20 96.20 96.80 98.80 94.50 99.30 99.80 91.26 − 71.20 69.80 72.80 − 70.50 74.80 − − 73.60 73.10 76.00 76.15 78.90 99.82 90.72 79.68 83.40 83.30 82.80 85.10 85.80 88.50 90.20 80.90 86.90 86.20 86.80 90.20 91.15 Bảng 5.4: Bảng so sánh kết luận văn với cơng trình liên quan với kết cải tiến liệu Method HF -VAD only Frame Prediction [1] CVAE-Pred-MaskFlow only Frame Prediction Ped2 Avenue SHTech 94.50 90.20 76.00 96.00 89.54 79.00 Bảng 5.5: Bảng so sánh kết luận văn với phương pháp gốc dùng dự đốn hình ảnh để phát bất thường với bên phương pháp mô hình gốc bên mơ hình đề xuất 100 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.24: Hình minh hoạ đoạn video bất thường Shanghaitech với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t , cột ảnh thật ngõ xt+1 , cột ảnh dự đoán xˆt+1 , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t , từ cột 15 đến 19 chuỗi mặt nạ m1:t+1 , chuỗi 19 đến 24 chuỗi mặt nạ dự đốn m ˆ 1:t+1 Hình 5.25: Hình minh hoạ đoạn video bất thường Shanghaitech với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t , cột ảnh thật ngõ xt+1 , cột ảnh dự đoán xˆt+1 , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t , từ cột 15 đến 19 chuỗi mặt nạ m1:t+1 , chuỗi 19 đến 24 chuỗi mặt nạ dự đoán m ˆ 1:t+1 101 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.26: Hình minh hoạ đoạn video bất thường Avenue với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t , cột ảnh thật ngõ xt+1 , cột ảnh dự đoán xˆt+1 , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t , từ cột 15 đến 19 chuỗi mặt nạ m1:t+1 , chuỗi 19 đến 24 chuỗi mặt nạ dự đoán m ˆ 1:t+1 thể phân đoạn vật thể mơ hình dự đốn mặt nạ bắt vật thể cách mơ hồ luồng quang sai số lớn dẫn đến khơng thể đốn dự đốn hình ảnh đối tượng Ở Ped2 5.28,5.29 thấy luồng quang học chưa thật tốt với chuyển động yếu bị học thành màu xanh Nhưng mục tiêu mơ hình tạo phân tách mẫu bất thường khỏi phân bố bình thường nên khơng phải trọng tới việc học thật tốt tất đối tượng Chúng ta thấy đối tượng bất thường xe đạp, xe tơ bị dự đốn sai hình dạng luồng quang mặt nạ Bên cạnh hình cảnh bị mờ dẫn tới điểm bất thường tăng rõ rệt đồ thị hình Như chọn phương pháp đề xuất kết so sánh với phương pháp nghiên cứu trước bảng 5.4 Trong cho kết cải thiện liệu Mặc dù cải thiện chưa đáng kể mang lại hiểu biết sâu sắc mô hình để tiếp tục thử nghiệm liệu tai nạn bên dứới 102 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.27: Hình minh hoạ đoạn video bất thường Avenue với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t , cột ảnh thật ngõ xt+1 , cột ảnh dự đoán xˆt+1 , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t , từ cột 15 đến 19 chuỗi mặt nạ m1:t+1 , chuỗi 19 đến 24 chuỗi mặt nạ dự đoán m ˆ 1:t+1 Hình 5.28: Hình minh hoạ đoạn video bất thường Ped2 với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t , cột ảnh thật ngõ xt+1 , cột ảnh dự đoán xˆt+1 , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t , từ cột 15 đến 19 chuỗi mặt nạ m1:t+1 , chuỗi 19 đến 24 chuỗi mặt nạ dự đoán m ˆ 1:t+1 103 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.29: Hình minh hoạ đoạn video bất thường Ped2 với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t , cột ảnh thật ngõ xt+1 , cột ảnh dự đoán xˆt+1 , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t , từ cột 15 đến 19 chuỗi mặt nạ m1:t+1 , chuỗi 19 đến 24 chuỗi mặt nạ dự đoán m ˆ 1:t+1 5.4.3 Thử nghiệm số Thử nghiệm số cho video tai nạn giao thông tập liệu UCF-Crime bảng 5.6 Có thể thấy kết không chênh lệch nhiều hai phương pháp Lý tăng 0.52% giải thích bỡi lý do huấn luyện liệu đa dạng Shanghaitech nên kết tái tạo luồng quang gần tốt bất thường hình hoạ 5.31 với kết bên kết từ dự đoán luồng quang bên tái tạo luồng quang từ mơ hình gốc Chúng ta thấy việc tái tạo luồng quang gần tốt hình dạng, phướng chuyển động bất thường xảy Đối với kết sinh từ dự đoán luồng quang gây sai số cao luồng quang có chuyển động phức tạp chuyển động giao thơng bình thường đối tượng bao gồm chuyển động đơn lẻ Bên cạnh bỡi có nhiều video với chất lượng khác nên video có chuyển động khơng liên tục hình 5.30, luồng quang lúc có lúc lại khơng nhiều chất lượng camera không tốt nên gây sai số dự đoán chuỗi luồng quang mơ hình 104 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Method HF -VAD [1] CVAE-OriFLow-MSE UCF-Crime accident 77.48 78.02 Bảng 5.6: Bảng so sánh kết video tai nạn UCF-Crime Ở hình 5.32 ta thấy mũi tên điểm bất thường tăng lên nhanh có xe chuyển động đột ngột thấy mơ hình nhạy cảm với chuyển động mạnh, đồng thời thấy đặc trưng liệu video bình thường có chuyển động chậm video tai nạn có chuyển động nhanh bất ngờ đột ngột Điều dẫn đến việc phát dương tính giả video bình thường kiểm tra có chuyển động nhanh Cách khắc phục vấn đề đề cập đến thí nghiệm sau với liệu thực tế Việt Nam Với ý tưởng, chất lượng camera giao thông thực tế không tốt nên việc ràng buộc tồn thơng tin hình ảnh khung ảnh liên tiếp miền ẩn z khơng hợp lý Thay vào chỉnh cần chuyển đổi mơ hình thành mơ hình tái dựng thay dự đốn Dự đốn khung ảnh xt dựa vào điều kiện luồng quang mang lại ràng buộc yếu giảm thiểu dương tính giả cho mơ hình Bên cạnh việc điều chỉnh khối nhớ để thắt chặc điều kiện luồng quang tái tạo dựa đoán giúp mơ hình tránh âm tính giả cho va chạm nhẹ nhẹ có chuyển động giản 5.4.4 Thử nghiệm số Thử nghiệm với số liệu thật Việt Nam, liệu thật Việt Nam thử nghiệm hai mô hình với mơ hình ML-MemAE-SC sử dụng mơ-đun nhớ lớp cổ chay thay mơ hình gốc, bên cạnh liệu thu thập từ camera với khung ảnh di chuyển không chuyển động nhanh làm nội dung ảnh bị thay đổi mạnh nên mơ hình CVAE sử dụng hai cấu hình bao gồm: dự đốn khung ảnh xt+1 từ chuỗi khung ảnh x1:t dùng chuỗi luồng quang làm điều kiện mơ hình gốc, tái dựng khung ảnh xt với luồng quang làm điều kiện Kết định lượng bảng 5.7 Chúng 105 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.30: Kết phát bất thường số khung video liệu UCF-Crime với bên kết mơ hình dự đốn chuyển động kèm luồng quang gốc làm điều kiện, bên mơ hình gốc 106 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.31: Kết phát bất thường số khung video liệu UCF-Crime với bên kết mơ hình dự đốn chuyển động kèm luồng quang gốc làm điều kiện, bên mơ hình gốc 107 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.32: Bên ảnh khung video thứ 369, mô tả điểm bất thường toàn video nhãn Method UCF-Crime accident HF -VAD onlyF lowReconstruction[1] HF -VAD [1] CVAE-FrameReconstruction 81.73 81.85 84.04 Bảng 5.7: Bảng so sánh kết liệu giao thông Đà Nẵng ta thấy việc tái dựng khung ảnh đem lại kết vượt 3% so với phương pháp gốc Phần lớn đóng góp vào việc phát bất thường luồng quang định với 81.73% Giải thích cho việc thấy hình 5.34, 5.35 luồng quang chuyển chủ yếu theo hai hướng hồng xanh Khi bất thường xảy ra, luồng quang bất thường người té ngã theo hướng khác hình 5.33 gây sai số luồng quang tái dựng luồng quang dự đoán cao dẫn tới cảnh báo bất thường Bên cạnh hình 5.35 chúng tả thấy số bình thường với sai số cao mẫu tơ xuất tập huấn luyện đồng tời với tốc độ di chuyển cao gây sai số lớn cho mơ hình điều cải thiện thêm chuẩn hoá độ ảnh hưởng sai số theo tường vị trí hướng đường để sai số 108 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.33: Một khung video tai nạn camera 130 Quang Trung với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t+1 , cột ảnh tái tạo xˆt , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đốn yˆ1:t Hình 5.34: Một khung video bình thường camera 130 Quang Trung với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t+1 , cột ảnh tái tạo xˆt , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t 109 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.35: Các khung video bình thường có sai số cao với khung ảnh bên trái khung bao có điểm bất thường cao từ đậm tới nhạt tương ứng, ô bên phải từ xuống biểu diễn tiền cảnh có điểm bất thường từ cao xuống thấp, cột đầu chuỗi ảnh thật đầu vào x1:t+1 , cột ảnh tái tạo xˆt , từ cột đến 10 chuỗi luồng quang gốc y1:t , chuỗi 11 đến 14 chuỗi luồng quang dự đoán yˆ1:t 110 CHƯƠNG KẾT QUẢ THỰC NGHIỆM gần xa có tác động Bên cạnh thú vị ở khung 5.35 ảnh bên với vật thể thứ xe ô tô màu vàng quay đầu đẩy lên sai số đứng thứ khung ảnh chuyển động bất thường với tập huấn luyện bao gồm chiều chuyển động chủ yếu Qua thí nghiệm thấy mơ hình học khơng giám sát hồn tồn ứng dụng vị trí đường di chuyển quỹ đạo di chuyển đơn giản yếu tố tác động cao tốc, tuyến đường chiều Việc áp dụng học không giám sát vào giúp cho giảm thiểu lớn thời gian đánh nhãn liệu Ngoài cần chia nhỏ mốc thời gian ban ngày ban đêm vị trí ánh nắng mặt trời khác để mơ hình dễ học tăng độ khớp hố mơ hình với liệu huấn luyện 111 Chương Kết Luận 6.1 Kết đạt Qua nghiên cứu này, chúng tơi khẳng định rằng: – Xây dựng thành cơng mơ hình kết hợp nhiều điều kiện khác CVAE kết hợp dự đoán điều kiện cho toán phát bất thường video – Xây dựng thành cơng mơ hình phát tai nạn bất thường video giao thông – Kết hứa hẹn triển khai thực tế với điều kiện giao thông phù hợp 6.2 Hướng nghiên cứu Trong trình thử nghiệm quan sát thấy có số hướng nghiệm cứu cải thiện cho mơ hình phát sau: – Thử nghiệm thêm nhiều điều kiện khác có tính ràng buộc với hình ảnh tìm phương pháp kết hợp tự động chúng – Tìm cách kiểm sốt giới hạn lượng thơng tin hình ảnh qua nối tắt CVAE để làm tăng độ phát bất thường đướng yên chuyển động yếu 112 CHƯƠNG KẾT LUẬN – Thử nghiệm kiến trúc mang tính ràng buộc khơng thời gian khối tập trung hố mơ hình ViT video – Tìm cách kết hợp mơ hình dự đốn tái tạo hình ảnh với cách hợp lý 113 Tài liệu tham khảo [1] Z Liu, Y Nie, C Long, Q Zhang, and G Li, “A hybrid video anomaly detection framework via memory-augmented flow reconstruction and flow-guided frame prediction,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp 13 588–13 597 [2] Y Yao, M Xu, Y Wang, D J Crandall, and E M Atkins, “Unsupervised traffic accident detection in first-person videos,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) IEEE, 2019, pp 273–280 [3] Y Yao, M Xu, C Choi, D J Crandall, E M Atkins, and B Dariush, “Egocentric vision-based future vehicle localization for intelligent driving assistance systems,” in 2019 International Conference on Robotics and Automation (ICRA) IEEE, 2019, pp 9711–9717 [4] H Park, J Noh, and B Ham, “Learning memory-guided normality for anomaly detection,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp 14 372–14 381 [5] D Gong, L Liu, V Le, B Saha, M R Mansour, S Venkatesh, and A v d Hengel, “Memorizing normality to detect anomaly: Memory-augmented deep autoencoder for unsupervised anomaly detection,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp 1705–1714 [6] Y Yu, M Xu, and J Gu, “Vision-based traffic accident detection using sparse spatio-temporal features and weighted extreme learning machine,” IET Intelligent Transport Systems, vol 13, no 9, pp 1417–1428, 2019 114