3.3.1. Công thức đánh giá thực nghiệm
Phần này sẽ đƣa ra cơ sở về số liệu và công thức để phân tích và đánh giá hiệu quả của thuật toán phát hiện và theo vết đối tƣợng. Kỹ thuật đánh giá thực nghiệm đƣợc trích rút từ tài liệu tham khảo [2]. Trƣớc hết ta cần biết hai định nghĩa sau:
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
objectBox là khung chứa đối tƣợng theo dõi ở mỗi khung hình.
Kết quả thuật toán là vị trí đối tƣợng cần theo dõi ở mỗi khung hình. Để thực hiện đánh giá ta cần xác định mức độ chồng lấp giữa objectBox và kết quả của thuật toán. Trong đó cách đơn giản nhất là xem xét nếu trọng tâm của một trong hai khung nằm trong khung còn lại; từ đó các giá trị sau đƣợc xác định:
TN (True Negative): Số lƣợng khung đối tƣợng không xuất hiện.
TP (True Positive): Số lƣợng khung đối tƣợng xuất hiện, objectBox theo vết đúng đối tƣợng.
FN (False Negative): Số lƣợng khung đối tƣợng xuất hiện, còn objectBox theo vết sai đối tƣợng.
TF (Total frame): Tổng số khung của chuỗi video. Công thức đánh giá: Detection Rate = TP TP + FN 𝐀𝐜𝐜𝐮𝐫𝐚𝐜𝐲 = 𝐓𝐏 + 𝐓𝐍 𝐓𝐅 Negative Prediction = TN FN + TN
False Negative Rate = FN
FN + TP
Trong các giá trị trên thì giá trị Accuracy (độ chính xác) là chỉ số cần quan tâm hơn cả. Trong các phần đánh giá thực nghiệm tiếp theo chúng tôi chỉ sử dụng chỉ số Accuracy (độ chính xác) để thể hiện cho kết quả của mỗi dữ liệu (video). Một thực nghiệm theo vết tốt là thực nghiệm có độ chính xác cao > 80%.
Việc đánh giá một hệ thống theo dõi dựa trên đo lƣờng hiệu suất của thuật toán theo dõi liên quan đến các đặc điểm của hệ thống. Các nguyên tắc
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
đạo đối tƣợng trong một cảnh quay video. Đối với một thuật toán theo dõi để giám sát, xuất đƣờng quỹ đạo của nhiều đối tƣợng, các thuật toán theo dõi có thể phân biệt giữa các đối tƣợng.
Các tiêu chuẩn để đánh giá thế nào một thuật toán theo vết tốt:
Thuật toán theo vết phát hiện đƣợc tất cả vào và ra chuyển trong cảnh.
Thuật toán theo vết phân biệt giữa các đối tƣợng hiển thị trong một cảnh tại một thởi điểm.
Theo dõi và trích xuất các quỹ đạo của tất cả các đối tƣợng, đƣợc gán cho từng đối tƣợng phải đƣợc duy trì cho tất cả các đối tƣợng theo dõi.
Sự chuyển động hoặc ngƣng sự chuyển động của đối tƣợng không làm mất dấu đối tƣợng.
Có sự chồng chéo và tiếp xúc nhau giữa các đối tƣợng mà vẫn giữ đƣợc dấu của đối tƣợng.
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Bộ cơ sở dữ liệu
IMG1 IMG2 IMG3
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Hình 3-2 IMG1: Đối tƣợng ảnh số 1 đƣợc theo dõi qua các khuôn hình từ 3-16
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Hình 3-3 IMG2: Đối tƣợng ảnh số 14 đƣợc theo dõi qua các khuôn hình 85-88, bị khuất trong khuôn hình 89, xuất hiện lại trong hình 90 với mã số mới 16
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Hình 3-4 IMG2: Đối tƣợng ảnh số 16 đƣợc theo dõi tiếp qua các khuôn hình 140-154
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ (adsbygoogle = window.adsbygoogle || []).push({});
Hình 3-5 IMG2: Đối tƣợng ảnh số 16 đƣợc theo dõi tiếp trong mã số 29 qua các khuôn hình 195-210. Có một số đỗi tƣợng mới xuất hiện, tuy
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Hình 3-6 IMG3: Có 2 đối tƣợng ảnh trong khuôn hình 666-680. Do kích thƣớc của đối tƣợng nhỏ hơn ngƣỡng đặt trƣớc nên mã số không hiển thị
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Hình 3-7 IMG3: Đối tƣợng ảnh số 89 đƣợc teo dõi trong các khuôn hình 780-800. Một đối tƣợng ảnh đi cùng không đƣợc hiển thị mã số do kích
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Bộ hình ảnh TF TN TP FN
Img1 80 24 57 23
Img2 120 36 74 12
Img3 100 32 67 24
3.3.3. Đánh giá so sánh kết quả thực nghiệm.
Dựa trên công thức đánh giá thực nghiệm ở trên ta có bảng đánh giá thực nghiệm. Trong bảng các thực nghiệm có độ chính xác cao > 80% đƣợc bôi đen.
Kết quả bộ cơ sở dữ liệu
Bảng 3. 2. Bảng đánh giá kết quả thực nghiệm bộ cơ sở dữ liệu
Bộ hình ảnh Detection Rate Negative
Prediction False Negative Rate Accuracy
Img1 71.25% 51.06% 28.75% 71.25%
Img2 86.05% 75.00% 13.95% 86.05%
Img3 73.63% 57.14% 26.37% 73.63%
Đánh giá cơ sở dữ liệu thực nghiệm.
Dƣa trên các yêu cầu về cơ sở dữ liệu thực nghiệm ta có thể rút ra các đặc tính của một cơ sở dữ liệu thƣờng có nhƣ:
Change Motion (CM): Có sự thay đổi trong chuyển động camera.
Objects Disappeared (OD): Đối tƣợng biến mất.
Change Move Speed (CMS): Đối tƣợng thay đổi tốc độ di chuyển.
Change Scale (CS): Quy mô đối tƣợng thay đổi.
Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/
Similar Colors (SC): Màu sắc của đối tƣợng và nền tƣơng tự nhau.
Objects Overlapping (OO): Các đối tƣợng chồng chéo lên nhau.
Objects Contect (OC): Các đối tƣợng tiếp xúc với nhau.
Bảng 3. 3. Bảng đánh giá độ phức tạp của cơ sở dữ liệu thực nghiệm. (adsbygoogle = window.adsbygoogle || []).push({});
Bộ hình ảnh CM OD CMS CS CB SC OO OC
Img1 X X
Img2 X X X X X X
Img3 X X X X X X X
Dựa vào bảng đánh giá độ phức tạp cơ sở dữ liệu thử nghiệm trên, đối chiếu với kết quả độ chính xác của thực nghiệm theo dõi đối tƣợng. Ta có thể rút ra một số nhận xét nhƣ sau:
Thuật toán theo dõi nén hoạt động hiệu quả đối trên những điều kiện nhƣ: Có sự thay đổi trong chuyển động camera, đối tƣợng thay đổi tốc độ di chuyển, Quy mô đối tƣợng thay đổi, nền và điều kiện chiếu sáng thay đổi.
Thuật toán theo dõi sẽ hoạt động kém hiệu quả trong những điều kiện nhƣ: Khi màu sắc của đối tƣợng và nền tƣơng tự nhau, có sự chồng chéo và tiếp xúc giữa các đối tƣợng với nhau.