Lời đầu tiên, em xin gửi lời cảm ơn chân thành nhất đến TS. Lê Văn Quốc Anh. Trong quá trình học tập và tìm hiểu bộ môn Hệ thống giao thông thông minh (ITS), em đã nhận được sự quan tâm giúp đỡ, hướng dẫn rất tận tình, tâm huyết của Thầy. Thầy đã giúp em tích lũy thêm nhiều kiến thức để có cái nhìn sâu sắc và hoàn thiện hơn về hệ thống giao thông thông minh (ITS). Từ những kiến thức mà Thầy truyền tải, em đã dần hiểu hơn về các hệ thống giao thông thông minh. Trong bài tiểu luận này, em xin trình bày lại những gì mà mình đã tìm hiểu về công nghệ “ An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems” gửi đến Thầy.Có lẽ kiến thức là vô hạn mà sự tiếp nhận kiến thức cả bản thân mỗi người luôn tồn tại những hạn chế nhất định. Do đó, trong quá trình hoàn thành bài tiểu luận, chắc chắn không tránh khỏi những thiếu sót. Bản thân em rất mong nhận được những góp ý đến từ thầy để bài tiệu luận của em được hoàn thiện hơn.Kính chúc Thầy sức khỏe, hạnh phúc thành công trên con đường sự nghiệp giảng dạy.LỜI MỞ ĐẦU2CHƯƠNG 1: TỔNG QUAN VỀ PHƯƠNG PHÁP PHÂN TÍCH VIDEO THÔNG MINH CHO PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG TRONG HỆ THỐNG GIAO THÔNG51.1 Hệ thống giao thông thông minh (ITS):51.2 Giới thiệu về phương pháp phân tích video thông minh để phát hiện sự kiện bất thường trong hệ thống giao thông:71.3 Kiến thức nền tảng:11CHƯƠNG 2: XÂY DỰNG PHƯƠNG PHÁP PHÂN TÍCH VIDEO THÔNG MINH CHO PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG TRONG HỆ THỐNG GIAO THÔNG142.1. Phát hiện các khung hình dư thừa trong một đoạn video dài (Detection of Redundant Frames in a Long Video):142.2. Trích suất SOS dựa trên phân đoạn siêu khung (Extraction of SOI Based on Superframe Segmentation):152.3. Trích xuất các đặc điểm hình ảnh (Extraction of Visual Features):172.4. Biến đổi véc tơ từ của văn bản câu hỏi (Word Vector Transformation of Question Text):192.5. Kết hợp các tính năng trực quan và véc tơ căn bản (Combination of Visual Features and Text Vectors):20CHƯƠNG 3: NHẬN ĐỊNH VÀ LIÊN HỆ THỰC TIỄN CÔNG NGHỆ22“An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems”223.1. Tại sao phải áp dụng Giải pháp phân tích video để phát hiện sự kiện bất thường trong giao thông :223.2. Những vị trí cần lắp camera để giám sát giao thông và ứng dụng phương pháp phân tích video thông minh để phát hiện sự cố :233.3. Cải thiện hiệu quả hoạt động phân tích đối tượng khả nghi dựa trên phương pháp phân tích video thông minh :24KẾT LUẬN33TÀI LIỆU THAM KHẢO34
TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP.HCM TIỂU LUẬN MÔN HỆ THỐNG GIAO THÔNG THÔNG MINH Đề tài: An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems Người thực hiện: Nguyễn Duy Quốc Thái Tên lớp: TD2201 Giảng viên hướng dẫn: TS LÊ VĂN QUỐC ANH TP Hồ Chí Minh, Năm 2022 LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời cảm ơn chân thành đến TS Lê Văn Quốc Anh Trong trình học tập tìm hiểu mơn Hệ thống giao thông thông minh (ITS), em nhận quan tâm giúp đỡ, hướng dẫn tận tình, tâm huyết Thầy Thầy giúp em tích lũy thêm nhiều kiến thức để có nhìn sâu sắc hồn thiện hệ thống giao thơng thơng minh (ITS) Từ kiến thức mà Thầy truyền tải, em dần hiểu hệ thống giao thông thơng minh Trong tiểu luận này, em xin trình bày lại mà tìm hiểu công nghệ “ An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems” gửi đến Thầy Có lẽ kiến thức vô hạn mà tiếp nhận kiến thức thân người tồn hạn chế định Do đó, q trình hồn thành tiểu luận, chắn khơng tránh khỏi thiếu sót Bản thân em mong nhận góp ý đến từ thầy để tiệu luận em hồn thiện Kính chúc Thầy sức khỏe, hạnh phúc thành công đường nghiệp giảng dạy NGUYỄN DUY QUỐC THÁI MÔN: ITS MỤC LỤC LỜI MỞ ĐẦU .2 CHƯƠNG 1: TỔNG QUAN VỀ PHƯƠNG PHÁP PHÂN TÍCH VIDEO THƠNG MINH CHO PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG TRONG HỆ THỐNG GIAO THÔNG 1.1 Hệ thống giao thông thông minh (ITS): 1.2 Giới thiệu phương pháp phân tích video thơng minh để phát kiện bất thường hệ thống giao thông: 1.3 Kiến thức tảng: 11 CHƯƠNG 2: XÂY DỰNG PHƯƠNG PHÁP PHÂN TÍCH VIDEO THƠNG MINH CHO PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG TRONG HỆ THỐNG GIAO THÔNG .14 2.1 Phát khung hình dư thừa đoạn video dài (Detection of Redundant Frames in a Long Video): .14 2.2 Trích suất SOS dựa phân đoạn siêu khung (Extraction of SOI Based on Superframe Segmentation): .15 2.3 Trích xuất đặc điểm hình ảnh (Extraction of Visual Features): 17 2.4 Biến đổi véc tơ từ văn câu hỏi (Word Vector Transformation of Question Text): 19 2.5 Kết hợp tính trực quan véc tơ (Combination of Visual Features and Text Vectors): .20 CHƯƠNG 3: NHẬN ĐỊNH VÀ LIÊN HỆ THỰC TIỄN CÔNG NGHỆ 22 “An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems” .22 3.1 Tại phải áp dụng Giải pháp phân tích video để phát kiện bất thường giao thông : .22 3.2 Những vị trí cần lắp camera để giám sát giao thông ứng dụng phương pháp phân tích video thơng minh để phát cố : .23 3.3 Cải thiện hiệu hoạt động phân tích đối tượng khả nghi dựa phương pháp phân tích video thơng minh : 24 KẾT LUẬN 33 TÀI LIỆU THAM KHẢO 34 NGUYỄN DUY QUỐC THÁI MÔN: ITS DANH SÁCH HÌNH ẢNH Hình 1.1: Hệ thống kết nối phương tiện tham gia giao thơng Hình 1.2: Phân đoạn video dài truy suất kiện cụ thể Hình 2.1: Phân đoạn video dài thành phân đoạn thuật tốn phân đoạn siêu khung Hình 2.2: Hệ thống mơ hình trả lời câu hỏi trực quan Hình 3.1: Hình ảnh tình hình kẹt xe TP Hồ Chí Minh Hình 3.2: Nhận dạng ghi nhớ biển số xe Hình 3.3: Đo tốc độ xe hỗ trợ xử phạt vi phạm Hình 3.4: Phát lấn làn, sai Hình 3.5: Phát dừng đỗ trái phép Hình 3.6: Phát tai nạn giao thơng Hình 3.7: Phát ùn tắt giao thơng Hình 3.8: Phân loại phương tiện Hình 3.9: Cảnh báo nhanh chóng để xử lý kịp thời Hình 3.10: Thơng tin bối cảnh xảy vụ tai nạn giao thông LỜI MỞ ĐẦU Tính cấp thiết đề tài Xã hội phát triển, kéo theo lưu lượng giao thông ngày cao Nhằm đảm bảo việc quản lý dễ dàng theo dõi sát tình hình giao thông địa điểm, nhà quản lý nhà nước không ngừng xây dựng nhiều hạng mục lắp đặt camera giao thông Giải pháp Camera giám sát giao thông đảm nhiệm vụ quan sát, theo dõi tồn thành phố Hoạt động đóng góp phần không nhỏ vào an ninh, trật tự thành phố đồng thời giúp nhà chức trách giảm chi phí cho nhân Ngay địa điểm bạn theo dõi quản lý từng phút, dù ngày hay đêm đặc biệt loại điều kiện thời tiết khắc nghiệt hay số kiện bất thường Khi nhanh chóng theo dõi hoạt động bạn giảm thiểu tối đa hoạt động xấu, bất ngờ ảnh hưởng đến an ninh giao thông trật tự thành phố Với số lượng ngày tăng camera triển khai thành phố, nhà khai thác ngày có q nhiều thơng tin để xử lý Công nghệ “An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems” giúp phát phân loại nhiều loại đối tượng khác Bao gồm người, phương tiện, khuôn mặt biển số xe Người vận hành nhanh chóng tìm kiếm đối tượng khả nghi dựa thuộc tính đồ vật người Chẳng hạn nhóm tuổi, giới tính màu quần áo mà camera ghi lại Ngồi hệ thống cịn cung cấp khả giám sát, tự động thu thập xử lý thông tin phương tiện chạy qua Hệ thống sử dụng rộng rãi đường cao tốc để giám sát, ghi hình, dị tìm biển số,… Đặt biệt áp dụng cơng nghệ AI để phân tích liệu video nhằm phát vi phạm giao thông Ví dụ như: chạy tốt độ, lấn làn, vượt xe trái phép, đỗ xe sai qui định,… tai nạn giao thơng xảy Hệ thống chuyển giao cho cảnh sát giao thông, cung cấp video, thông tin thiết bị cho ứng dụng quản lý Các hệ thống giao thông thông minh triển khai hàng nghìn máy quay video cách phổ biến Việc phân tích luồng video trực tiếp từ camera có tầm quan trọng đáng kể an tồn cơng cộng Hệ thống giao thơng thơng minh, truy xuất kiện video dài, phân đoạn quan tâm, phân đoạn siêu khung, trả lời câu hỏi Sau đó, NGUYỄN DUY QUỐC THÁI MÔN: ITS cách sử dụng thuật toán phân đoạn siêu khung dựa kết hợp tính năng, video dài cịn lại chia thành nhiều Phân đoạn quan tâm (SOI) bao gồm kiện video Cuối cùng, mơ hình ngữ nghĩa đào tạo sử dụng để khớp câu trả lời câu hỏi văn tạo kết có giá trị khớp cao coi phân đoạn video tương ứng với câu hỏi Phương pháp mô tả truy xuất kiện video dài giúp cải thiện đáng kể hiệu độ xác mơ tả ngữ nghĩa, đồng thời giảm đáng kể thời gian truy xuất Khi truyền phát video ngày nhiều, việc người điều khiển ngồi trước hàng trăm hình để nắm bắt hoạt động đáng ngờ phát đối tượng quan tâm thời gian thực trở nên bất khả thi Trên thực tế, với hàng triệu camera giám sát giao thông lắp đặt, việc truy xuất video trở nên quan trọng hết Cuối cùng, Công nghệ “An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems” đề xuất thuật toán truy xuất kiện video dài dựa phân đoạn siêu khung Bằng cách phát biên độ chuyển động video dài, số lượng lớn khung hình dư thừa loại bỏ cách hiệu khỏi video dài, giảm số lượng khung hình cần tính tốn sau Các phương pháp nghiên cứu Đề tài sử dụng phương pháp phương pháp phân tích, phương pháp mơ hình hóa, phương pháp chuyên gia phương pháp thực nghiệm để kiểm chứng kết Cấu trúc Với đề tài “An Intelligent Video Analysis Method for Abnormal Event Detection in Intelligent Transportation Systems” TS Lê Văn Quốc Anh đưa ra, em thực sau: Nội dung đề tài: Lời mở đầu Chương Tổng quan Phương pháp phân tích video thơng minh cho phát kiện bất thường hệ thống giao thông Chương Xây dựng Phương pháp phân tích video thông minh cho phát kiện bất thường hệ thống giao thông Chương Nhận định liên hệ thực tiễn Kết luận Tài liệu tham khảo NGUYỄN DUY QUỐC THÁI MÔN: ITS CHƯƠNG 1: TỔNG QUAN VỀ PHƯƠNG PHÁP PHÂN TÍCH VIDEO THƠNG MINH CHO PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG TRONG HỆ THỐNG GIAO THÔNG 1.1 Hệ thống giao thông thông minh (ITS): Hệ thống Giao thông thông minh (lntelligent Transport System - ITS) việc ứng dụng kỹ thuật công nghệ, bao gồm thiết bị cảm biến, điều khiển, điện tử, công nghệ thông tin viễn thông lĩnh vực giao thông để điều hành quản lý hệ thống giao thông vận tải Hình 1.1: Hệ thống kết nối phương tiện tham gia giao thông ITS công nghệ phát triển giới, sử dụng để giải vấn đề giao thông, bao gồm tai nạn, ùn tắc giao thông, thông tin giao thông ITS sử dụng tiến công nghệ thông tin viễn thông để liên kết người, hệ thống đường giao thông phương tiện giao thông lưu thông đường thành mạng lưới thông tin viễn thông phục vụ cho việc lưu thông tối ưu đường Các cảm biến lắp đặt mặt đường để thu thập thơng tin luồng giao thơng, khí hậu, thời tiết,… Các thơng tin hệ thống máy tính phân tích xử lý, sau cung cấp trở lại cho tài xế tình hình giao thơng đường (tai nạn, ùn tắc giao thông, thời tiết…) để tài xế chọn giải pháp giao thông tối ưu, giúp hạn chế tối đa tai nạn ùn tắc giao thông, đảm bảo thời gian lại ngắn an tồn cho phương tiện lưu thơng đường Các thành phần ITS bao gồm người, phương tiện tham gia giao thông, sở hạ tầng giao thông Các thành phần liên kết chặt chẽ với nhằm bảo đảm cho hệ thống giao thông đạt mục tiêu sau: Giúp hoàn thiện kết cấu hạ tầng đường xử lý khẩn cấp cố giao thông Hiện đại hố trạm thu phí tự động trạm cân điện tử… Giảm tai nạn, ùn tắc giao thông giảm ô nhiễm môi trường… Tiết kiệm thời gian, tiền bạc nhiên liệu, tạo điều kiện thuận lợi tối đa cho việc lại vận chuyển hàng hóa Quản lý đường trục giao thơng chính, điều tiết việc lại phương tiện đường biển báo điện tử Tạo hệ thống thông tin cho người đường, phổ cập văn hố giao thơng hỗ trợ q trình khai thác, điều hành hệ thống giao thông công cộng, chống kẹt xe Góp phần việc sản xuất phương tiện thông minh, nâng cao hiệu thiết bị an tồn giao thơng NGUYỄN DUY QUỐC THÁI MƠN: ITS ... người ln tồn hạn chế định Do đó, q trình hồn thành tiểu luận, chắn khơng tránh khỏi thiếu sót Bản thân em mong nhận góp ý đến từ thầy để tiệu luận em hồn thiện Kính chúc Thầy sức khỏe, hạnh phúc... minh (ITS) Từ kiến thức mà Thầy truyền tải, em dần hiểu hệ thống giao thông thông minh Trong tiểu luận này, em xin trình bày lại mà tìm hiểu cơng nghệ “ An Intelligent Video Analysis Method for... thông minh (ITS) , em nhận quan tâm giúp đỡ, hướng dẫn tận tình, tâm huyết Thầy Thầy giúp em tích lũy thêm nhiều kiến thức để có nhìn sâu sắc hoàn thiện hệ thống giao thông thông minh (ITS) Từ kiến