Tổng quan về bài toán đo tốc độ phương tiện giao thông

Tổng quan về bài toán đo tốc độ phương tiện giao thông

BÁO CÁO: TỔNG QUAN VỀ BÀI TOÁN ĐO TỐC ĐỘ PHƯƠNG TIỆN GIAO THÔNG I, Giới thiệu Hiện nay, giới hệ thống giám sát hình ảnh phát triển chứng minh hiệu định số lĩnh vực giám sát hoạt động người , giám sát giao thông, Song hệ thống gặp phải số tồn hiệu việc quan sát phụ thuộc vào điệu kiện môi trường quan sát, kiểu chuyển động đối tượng hay lý khách quan khác Chính mà việc nghiên cứu phát triển giải pháp, công nghệ tiến hành nhằm đáp ứng yêu cầu hệ thống giám sát thông minh hoàn thiện Các toán cần giải Một hệ thống đo tốc độ phương tiện giao thông tập hợp toán nhỏ Nhìn cách tổng quan: - Đầu vào hệ thống hình ảnh thu điểm quan sát - Đầu hệ thống thông tin chuyển động, hành vi, lớp… phương tiện giám sát Việc xử lý hệ thống giám sát hình ảnh tóm lại hiểu việc phân tích xử lý hình ảnh video qua việc giải toán sau: Bài toán 1: Phát phương tiện chuyển động bước toán phân tích hình ảnh video, công việc khái quát lại việc tách các phương tiện chuyển động từ hình ảnh đối tượng Phương pháp thường sử dụng toán là: phương pháp trừ ảnh nền, phương pháp dựa thống kê, phương pháp chênh lệch tạm thời, phương pháp dựa luồng thị giác Bài toán 2: Phân lớp đối tượng công việc phân loại lớp đối tượng tìm theo lớp định nghĩa trước lớp phương tiện,,… Đây bước cần thiết để tiếp tục phân tích hoạt động chúng Hiện có hai hướng tiếp cận để giải toán là: Hướng tiếp cận dựa hình dáng vết hướng tiếp cận dựa chuyển động đối tượng Hướng tiếp cận dựa hình dáng đối tượng hoàn toàn dựa vào tính chất 2D vết tìm được, hương tiếp cận dựa chuyển động đối tượng dựa tính chất chuyển động đối tượng theo thời gian Bài toán 3: Theo dõi phương tiện công việc đưa chuỗi hành vi phương tiện chuyển động thời gian từ khung hình thu Thủ tục đưa thông tin phương tiện theo dõi đường phương tiện, hướng chuyển động phương tiện để thực tính tốc độ Đầu vào trình đầu trình tìm phân lớp phương tiện chuyển động Mô hình khái quát chung PHÁT HIỆN PHƯƠNG TIỆN THÔNG TIN PHƯƠNG TIỆN CHUYỂN ĐỘNG PHÂN LỚP ĐỐI TƯỢNG THEO DÕI PHƯƠNG TIỆN Đầu vào toán khung hình video thu Qua trình xử lý phát đối tượng chuyển động (Object Detection ) đưa đối tượng chuyển động khung hình video Các đối tượng phát (cụ thể vết chuyển động) qua trình phân lớp đối tượng (Object Classification ) để phân lớp đối tượng thuộc lớp nào, vật Và cuối trình xử lý để theo dõi đối tượng (Object Tracking) việc tìm đường chuyển động đối tượng, dự đoán chuyển động, việc xử lý nhập nhằng chuyển động nhiều đối tượng khác đoạn video Từ khung hình thu nơi quan sát, qua khối xử lý phát đối tượng chuyển động xác định đâu đối tượng chuyển động Cụ thể hơn, đối tượng chuyển động đoạn video thu cách trực quan Đầu trình vết, hình dạng đối tượng chuyển động để làm đầu vào khối phân loại đối tượng chuyển động Khối xử lý phát đối tượng chuyển động coi khối xử lý đâu tiên hệ thống giám sát hình ảnh Vì hiệu quả, tính xác khối xử lý ảnh hưởng đến đầu vào đầu khối xử lý Chính ảnh hưởng lớn đến hiệu tính tin cậy toàn hệ thống giám sát Phân loại khâu trung gian đóng vai trò quan trọng toàn hệ thống, đầu vào khối theo vết đối tượng đầu toàn hệ thống Bởi phần thiếu toàn hệ thống Khối xử lý theo vết khối xử lý thiếu hệ thống giám sát thông minh hiệu khối xử lý ảnh hưởng trực tiếp đến đầu toàn hệ thống Do giải tốt vấn đề theo vết đối tượng đưa lại tính xác độ tin cậy cho hệ thống giám sát Vấn đề nghiên cứu phát triển nhiều năm, song hướng phát triển hoàn thiện khối xử lý phát hiện, phân loại theo dõi đối tượng chuyển động quan tâm Các hướng tiếp cận nhằm phát hiện, phân loại theo dõi đối tượng cách hiệu quả, tính xác cao với điều kiện môi trường, hoàn cảnh giám sát khác Tổng quan toán phát hiện, phân loại, theo dõi đối tượng chuyển động Bài toán xử lý video việc xử lý toán độc lập Các toán là: I, Bài toán phát đối tượng chuyển động Đầu vào toán phát đối tượng chuyển động trình bày khung hình video [1] thu từ điểm quan sát, theo dõi Như để giải toán phát đối tượng chuyển động ta cần nghiên cứu số đặc điểm video (đầu vào toán) Các khái niệm video Video tập hợp khung hình, khung hình ảnh Shot (lia) đơn vị sở video Một lia đơn vị vật lý dòng video, gồm chuỗi khung hình liên tiếp, chia nhỏ hơn, ứng với thao tác camera đơn Scene (cảnh) đơn vị logic dòng video, cảnh gồm lia liên quan không gian liền kề thời gian, mô tả nội dung ngữ nghĩa tình tiết Hình 1: Cấu trúc phân đoạn video Khi phim chiếu, khung hình hiển thị tốc độ định Tốc độ thường thấy định dạng video khác 30 25 hình/s Như video có số khung hình tương ứng 108000 90000 Dù video định dạng có dung lượng lớn xử lý với tất khung hình thật không hiệu Phân đoạn trình phân tích chia nội dung hình ảnh video thành đơn vị sở gọi lia (shot) Việc lấy mẫu chọn gần khung video đại diện cho lia (hoặc nhiều tùy theo mức độ phức tạp nội dung hình ảnh lia) gọi khung-khóa [1] Khung – khóa khung hình đại diện mô tả nội dung shot Quá trình phân đoạn liệu video tiến hành phân tích, phát chuyển đổi từ lia sang lia khác phát ranh giới lia (đó đo khác khung hình liền kề) Trong hình ví dụ chuyển đổi lia: Hình 2: Chuyển đổi Lia khung hình thứ thứ Một số thuộc tính đặc trưng video: Video có đặc trưng là: Color (màu), Texture (kết cấu), Shape(hình dạng), Motion (chuyển động) 1.1 Màu ( Color) Màu thuộc tính quan trọng ảnh Biểu đồ màu, biểu diến phân bố màu, đặc trưng màu phổ biến Biểu đồ màu không phụ thuộc vào quay, dịch chuyển ảnh chiều nhìn ảnh Tính hiệu lại phụ thuộc vào hệ màu phương pháp định lượng dùng Có vấn đề với biểu đồ màu không biểu diễn thông tin không gian phân bố điểm ảnh, hai ảnh có biểu đồ màu có nội dung khác 1.2 Texture Đây đặc trưng quan trọng bề mặt, nơi xảy việc lặp lại mẫu Có hai dạng biểu diễn texture phổ biến: biểu diễn dạng ma trận đồng thời biểu diễn Tamura Ma trận đồng thời mô tả hướng khoảng cách điểm ảnh, nhờ thống kê có nghĩa trích chọn Ngược lại, người ta thấy entropi mô men chênh lệch nghịch đảo lại có khả phân biệt tốt Biểu diễn Tamura thúc đẩy nhờ nghiên cứu tâm lý việc thu nhận trực giác người bao gồm đại lượng đo tính thô, độ tương phản, hướng, tính trơn, tính cân đối độ ráp Các đặc trưng Tamura hấp dẫn việc hiểu nội dung ảnh biểu đạt trực quan Ngoài có số dạng biểu diễn khác trường ngẫu nhiên Markov, biến đổi Gabor, biến đổi gợn sóng, 1.3 Shape Các đặc trưng hình dáng biểu diễn sử dụng phân tích hình dáng truyền thống bất biến mô men, mô tả Fourier, mô hình học tự động quay lui thuộc tính hình học Các đặc trưng phân chia thành đặc trưng toàn cục đặc trưng cục Đặc trưng toàn cục đặc trưng thuộc tính thu từ toàn hình dáng ảnh, chẳng hạn chu vi, tính tròn, mô men trung tâm, hướng trục Đặc trưng cục đặc trưng thu từ việc thao tác với phần ảnh, không phụ thuộc vào toàn ảnh 1.4 Motion Motion thuộc tính quan trọng video Thông tin chuyển động sinh kỹ thuật ghép khối luồng ánh sáng Các đặc trưng chuyển động mô men trường chuyển động, biểu đồ chuyển động tham số chuyển động toàn cục trích chọn từ vectơ chuyển động Các đặc trưng mức cao phản ánh di chuyển camera quét camera (pan), nghiêng (tilt), phóng to (zoom out), thu nhỏ (zoom in) trích chọn Phát đối tương chuyển động gì? Đó trình đưa vết đối tượng chuyển động từ khung hình video [4.2] Quá trình thực chất trình xử lý chuỗi ảnh liên tiếp đoạn video để phát đối tượng chuyển động đoạn hình ảnh theo mô hình đây: Các khung hình video Các đối tượng chuyển động, tính chất chúng PHÁT HIỆN CÁC VÙNG ẢNH NỔI (FOREGROUND DETECTION) XỬ LÝ CÁC VÙNG Ả (FOREGROUND PRO Hình 3: Tổng quan khối xử lý toán phát đối tượng 2.1 Phát vùng ảnh Phát vùng ảnh module thiết yếu toán phát đối tượng chuyển động qua khung hình video Module đóng vai trò xử lý khung hình video để đưa vùng ảnh lên khung hình Để minh họa cho chức module ta nhìn hình đây: Hình 4: Phát vùng ảnh Các khung hình bên trái thu xử lý để đưa vùng ảnh lên (Vết đối tượng chuyển động ảnh ) minh họa hình phía bên phải Vùng ảnh thu quan sát, nhiều nhiễu, đối tượng chuyển động chưa có hình dạng rõ ràng phải xử lý module sau để đưa đối tượng chuyển đông với tính chất chúng 2.2 Xử lý vùng ảnh Các vùng ảnh lên thực tế nhiều nhiễu, để lọc nhiễu, xử lý ghép mảnh, loại bỏ vết không liên quan cần phải sử dụng module xử lý vùng ảnh để đưa đối tượng chuyển động rõ ràng để từ xác đinh tính chất chúng Chức module minh hoạ hình vẽ Hình 5: Xử lý vùng ảnh (Foreground Processing) Hình bên trái kết thu sau module phát vùng ảnh lên từ khung hình video Như quan sát kết thực nhiều nhiễu, vết không liên quan đến đối tượng cần phát Ảnh bên phải kết đầu trình xử lý vùng ảnh Từ kết đầu ta đưa xác đối tượng chuyển động khung hình tính chất hình dạng, vị trí, …là đầu vào trình phân loại đối tượng hệ thống theo dõi giám sát Các vấn đề phải giải 3.1 Phát vùng ảnh Hình ảnh video chuỗi khung hình liên tiếp thể thời gian Phát vùng ảnh chất việc so sánh khung hình liên tiếp đoạn video để từ đưa vùng ảnh khác khung hình liên tiếp Đây nguyên lý để bắt vết đối tượng chuyển động, có đối tượng chuyển động khung hình có khác khung hình liên tiếp từ thu vết chuyển động vật thể Đã có nhiều phương pháp đưa để giải vấn đề này, phương pháp giải có ưu nhược điểm riêng phù hợp với điều kiện hoàn cảnh giám sát khác Song khái quát lại phân thành loại phương pháp sau [2][3]: - Các phương pháp trừ ảnh (Background Subtraction) - Các phương pháp dựa thông kê (Statistical Methods) - Các phương pháp dựa chênh lệnh tạm thời khung hình (Temporal Differencing) Dưới số khái quát phương pháp trình bày 3.1.1 Các phương pháp trừ ảnh (Background subtraction) Phương pháp trừ ảnh phương pháp phổ biến hiệu việc giải phân đoạn với đoạn hình ảnh có khung cảnh tĩnh Có nhiều kỹ thuật trừ ảnh [1][4], việc sử dụng phép trừ ảnh mức điểm ảnh, khung hình so sánh với hình để từ đưa vùng điểm ảnh khác khung hình ảnh Các điểm ảnh khác hiểu điểm ảnh 10 phân lại dựa toán tử độ đo phân loại giả thuyết phân loại X (i ) ID (x) kết ghi lại cho vùng: X (i ) = {ID ( Pn (i ))} (2.6) Mỗi vùng mục tiêu tiềm phải quan sát khung hình đến sau để định tồn hay không, để tiếp tục phân loại chúng Vì cho khung hình mới, vùng chuyển động trước Pn−1 (i ) đối sánh với Rn ( j ) vùng không gian chuyển động gần dựa quy tắc trạng thái gần qua lại( mutual proximity) Sau tiến trình này, mục tiêu tiềm trước Pn−1 (i ) mà không phù hợp( đối sánh) với vùng coi Rn khoảng đệm bị loại bỏ khỏi danh sách, vùng chuyển động mà không đối sánh coi mục tiêu tiềm Tại khung hình, phân loại chúng( dựa toán tử độ đo) dùng để cập nhật giả thuyết phân loại: X (i ) = { X (i )} ∪ {ID ( Pn (i ))} (2.7) Theo cách này, thống kê mục tiêu tiềm tạo khoảng thời gian định phân loại xác 2.1.4 Độ đo phân loại Để phân loại mục tiêu ứng dụng theo dõi đối tượng cần thiết tìm độ đo phân loại mà không đòi hỏi tính toán nhiều, có hiệu đáng kể cho số lượng nhỏ điểm ảnh mục tiêu, bất biến với điều kiện ánh sáng điểm nhìn Bởi mục tiêu cần ý người phương tiện, nên phân loại cần dò tìm hai nhóm đối tượng Độ đo dựa tri thức là: người thường nhỏ phương tiện, có hình dạng phức tạp Một cách tiếp cận bi-variate dùng, với diện tích tổng mục tiêu( đối tượng) trục, độ phân tán trục khác Độ phân tán( dispersedness) dựa tham số hình dạng mục tiêu đơn giản cho bởi: 20 Perimeter Dispersedn ess = Area (2.8) Trong Dispersedness độ phân tán, Perimeter độ dài, Area diện tích tổng đối tượng Một cách rõ ràng, người, với hình dạng phức tạp nó, có độ phân tán lớn phương tiện( xem hình 2-10) Hình 2-11 phân bố mẫu học( training sample) 400 mục tiêu Ngoài ra, phân đoạn tuyến tính( linear segmentation) phân đoạn dựa khoảng cách Mahalanobis( Mahalanobis distance- based segmentation)- mà cung cấp phương pháp phân đoạn tốt cho mục đích phân loại Hình2-10: Các giá trị thông thường độ phân tán cho người xe cộ Hình 2-11: Dữ liệu phân loại bi- viriate mẫu training qua 400 ảnh Cả phân cụm tuyến tính Mahalanobis biểu diễn 2.1.5 Phân loại mục tiêu Trong thực thi này, ứng dụng đơn giản MLE áp dụng để phân loại mục tiêu Một lưu đồ phân loại( classification histogram) tính toán cho 21 vùng chuyển động thời điểm mục tiêu tồn cho thời gian , đỉnh lưu đồ dùng để phân loại mục tiêu Hơn nữa, thời điểm thời gian sau t class , đối tượng phân loại lại Một lợi ích phương pháp đối tượng bị chồng chéo tạm thời, không ảnh hưởng bất lợi tới kết phân loại cuối Hình 2-12 tình đối đối tượng bị phân loại sai bị chồng chéo phần, sau qua khoảng thời gian, số liệu thống kê phân loại phân loại lại cách xác Một lợi ích xa phương pháp hiệu với hỗn loạn( background clutter) thổi gió Những tác động xuất chuyển động ngắn ngủi không bền vững Dường chuyển động đủ lâu đề phân loại Nếu tiếp tục tồn tại, không bị phân loại sai cách quán cho khoảng thời gian dài 22 Hình 2-12: Quá trình phân loại, phải sau vài khung hình đối tượng xác định 2.2 Phương pháp phân loại dựa chuyển động Hình 2-13: Các đường viền mục tiêu dụng cho việc trích rút đặc trưng chuyển động Hệ thống trích rút đặc trưng chuyển động từ đường viền đích( Hình 213) Có hai phương pháp cho việc thu đường viền từ ảnh đen trắng Phương pháp đo đạc đường viền hoạt động, đường viền mục tiêu tìm kiếm đường cong C, mà làm giảm tối thiểu hàm số: S [δ ] = L (δ ) ∫ g (δ )ds + α ∫δ da (2.9) Trong số hạng hàm số hình học, số hạng thứ hai số hạng làm tối thiểu hoá diện tích, biết lực baloon Hàm g() hàm thị cạnh dương phụ thuộc vào ảnh, lấy giá trị nhỏ dọc cạnh giá trị lớn nơi khác Trong phương pháp thứ hai áp dụng dò tìm cạnh Canny Các cạnh thừa thu từ dò tìm cạnh Canny sau loại trừ lọc hình thái học( morphological filter) Các thực nghiệm cho thấy đường viền thu từ thuật toán thứ thu từ phương pháp thứ hai, trích rút chúng đòi hỏi thời gian xử lý lớn Khi sử dụng phương pháp thứ hai số hệ thống, kết thực nghiệm cho thấy việc phân loại mục tiêu không hiệu 23 Các đặc trưng phục thuộc thời gian tác động đáng kể tới lượng thông tin cho toàn vẹn đối tượng Ví dụ tính chu kỳ dáng người hữu ích cho việc phân biệt người với ô tô chuyển động Tuy nhiên, ràng buộc thời gian thực cho phép làm việc hơn, đơn giản hơn, đặc trưng phụ thuộc thời gian Sử dụng tìm kiếm toàn diện tìm tập tối ưu tám đặc trưng dựa thuộc tính hình học hình elip đều( Hình 2-14 (a)) khung hình ( Hình 2-14 (b)) tạo cách kết nối trung điểm khối đối tượng chuyển động với điểm đường viền tương ứng với cực đại cục hàm đo khoảng cách đường viền với tâm khối Các chức sử dụng cho mô tả đặc tính thời gian chuyển động bao gồm, ví dụ: độ nghiêng trục nằm ngang elip( ví dụ: góc [...]... trò quan trọng trong theo vết đối tượng cũng như trong hệ thống giám sát thông minh 1.3 Dự đo n chuyển động Hơn thế nữa mục đích của hệ thống giám sát là dự đo n chuyển động của đối tượng được giám sát dựa vào các trạng thái trước đó và quan sát hiện tại để đưa ra các thông tin dự đo n tạm thời như đường đi, vận tốc, góc quay, hướng chuyển động Có thể nói đây là module quan trọng nhất trong bài toán. .. đề đối tượng tương đối khó Mỗi phương pháp có ưu và nhược điểm riêng phù hợp với từng hoàn cảnh, bài toán khác nhau Để đạt được hiệu quả tốt, ta cần phân tích bài toán, hoàn 16 cảnh cụ thể và lựa chọn phương pháp thích hợp Trong bài toán theo dõi giám sát giao thông chúng tôi lựa chọn phương pháp phân loại dựa trên hình chiếu 2 Một số phương pháp phân loại phổ biến 2.1 Phương pháp dựa trên hình dạng(... ảnh nổi II Bài toán phân loại đối tượng Đầu vào của bài toán phân loại đối tượng chuyển động là các vết đối tượng, các đặc trưng của đối tượng đã được phát hiện thông qua khối xử lý phát hiện đối tượng Cụ thể là hình bao, diện tích, trọng tâm, biểu đồ màu của vùng đối tượng chuyển động được phát hiện 14 Đầu ra của bài toán phân loại đối tượng chuyển động là thông tin về lớp đối tượng chuyển động được... hình liên tiếp từ đó dự đo n đường đi, vận tốc, hướng chuyển động của các đối tượng 1 Theo vết đối tượng là gì? Theo vết đối tượng là quá trình chính xác hóa đối tượng trong các khung hình liên tiếp để từ đó đưa ra các thông tin về chuyển động của đối tượng như đường đi, tốc độ và huớng chuyển động [2] Như đã đề cập ở phần trên, theo vết đối tượng là bước cuối cùng của bài toán phát hiện, phân loại,... triển mang tính chu kỳ của chuyển động, các độ đo sự tự tương đồng của nó cũng chỉ ra một chuyển động mang tính chu kỳ Phương pháp khai thác đầu mối này để phân loại đối tượng chuyển động sử dụng tính chu kỳ Sự phân tích luồng quang học cũng có ích để phân biệt các đối tượng linh động và không linh động( rigid và non-rigid) A.J.Lipton đề xuất một phương pháp sử dụng luồng quang học cục bộ phân tích các... điểm nhìn Bởi vì các mục tiêu cần chú ý nhất là người và phương tiện, nên bộ phân loại cần dò tìm hai nhóm đối tượng này Độ đo được dựa trên tri thức là: người thường nhỏ hơn phương tiện, và có hình dạng phức tạp hơn Một cách tiếp cận bi-variate được dùng, với diện tích tổng của mục tiêu( đối tượng) trên 1 trục, và độ phân tán của nó trên trục khác Độ phân tán( dispersedness) dựa trên các tham số hình... phân tích hành động của nó một cách chính xác là rất quan trọng Module này là phần thứ hai trong mô hình xử lý hình ảnh Hiện tại, có hai cách tiếp cận chủ yếu: - Phương pháp dựa trên hình dạng( shape) - Phương pháp dựa trên sự chuyển động( motion) Các phương pháp dựa trên hình dạng sử dụng thông tin không gian hai chiều của đối tượng trong khi đó các phương pháp dựa trên sự chuyển động sử dụng các... ĐƯỜNG ĐI CỦA ĐỐI TƯỢNG ĐÃ ĐƯỢC DỰ ĐO N Cập nhật đồ thị đối tượng phù hợp tương ứng PHÁT HIỆN ĐỐI TƯỢNG RỜI KHỎI CẢNH THÔNG TIN ĐƯỜNG ĐI CỦA ĐỐI TƯỢNG Hình 2-15: Tổng quan các khối xử lý trong bài toán theo vết đối tượng 1.1 Chính xác hoá đối tượng tương ứng( Object matching) Chính xác hoá đối tượng tương ứng là module đầu tiên trong bài toán theo vết đối tượng chuyển động qua các khung hình video Module... Tổng quan của một hệ thống xác định và theo dõi Đối tượng chuyển động được dò tìm trong một luồng video sự dụng phương pháp chênh lệch thời gian Các mục tiêu sau đó được phân loại bằng một độ đo phân loại Sau đó các mục tiêu này được theo dõi bằng một thuật toán theo dõi( trình bày ở phần theo dõi) 2.1.2 Phân loại đối tượng Có hai thành phần chính cho việc phân loại các mục tiêu: toán tử xác định độ. .. tôi áp dụng phương pháp dựa vào khoảng cách để giải quyết module này 31 +) Đề xuất phương pháp giải quyết Trên thế giới đã có nhiều hướng tiếp cận để giải quyết bài toán phát hiện, phân loại, theo dõi đối tượng chuyển động [16][17] Như trình bày ở trên, bài toán phát hiện, phân loại, theo dõi đối tượng chuyển động đã được phân tích và thiết kế thành các khối xử lý rõ ràng cùng với các thuật toán xử lý ... hình thu Thủ tục đưa thông tin phương tiện theo dõi đường phương tiện, hướng chuyển động phương tiện để thực tính tốc độ Đầu vào trình đầu trình tìm phân lớp phương tiện chuyển động Mô hình khái... sát khác Tổng quan toán phát hiện, phân loại, theo dõi đối tượng chuyển động Bài toán xử lý video việc xử lý toán độc lập Các toán là: I, Bài toán phát đối tượng chuyển động Đầu vào toán phát... chung PHÁT HIỆN PHƯƠNG TIỆN THÔNG TIN PHƯƠNG TIỆN CHUYỂN ĐỘNG PHÂN LỚP ĐỐI TƯỢNG THEO DÕI PHƯƠNG TIỆN Đầu vào toán khung hình video thu Qua trình xử lý phát đối tượng chuyển động (Object Detection