Có tổng cộng 10 điểm dữ liệu. Chúng ta xét ma trận tạo bởi các giá trị tại vùng 3x3 trung tâm của bảng.
Ma trận thu được gọi là confusion matrix. Nó là một ma trận vng với kích thước mỗi chiều bằng số lượng lớp dữ liệu. Giá trị tại hàng thứ i, cột thứ j là số lượng điểm lẽ ra thuộc vào class i nhưng lại được dự đoán là thuộc vào class j. Như vậy, nhìn vào hàng thứ nhất (0), ta có thể thấy được rằng trong số bốn điểm thực sự thuộc lớp 0, chỉ có hai điểm được phân loại đúng, hai điểm còn lại bị phân loại nhầm vào lớp 1 và lớp 2.
5.4.1.5. Tỉ lệ báo động nhầm, tỉ lệ bỏ sót (FPR và FNR)
FPR và FNR dựa vào bốn yếu tố: the false positive (FP), the true positive (TP), the false positive (FP) the false negative (FN). TP và FP lần lượt là số lần phát hiện biển báo chích xác và khơng chính xác của từng loại biển báo. TN và FN lần lượt là số lần phát hiện biển báo không phải là loại cần quan tâm chích xác và khơng chính xác. Cơng thức tính FPR và FNR như bên dưới:
FPR = 𝐹𝑃
𝐹𝑃+𝑇𝑁 (25)
FNR = 𝐹𝑁
58
5.4.2. Kết quả On-road
Để đánh giá hiệu suất của phát hiện làn đường, nhóm sử dụng các chỉ số: mean intersection over union (mean IU), mean accuracy (ACC), giga floating point operations (GFLOPs), và frames per second (FPS).
Trong bảng 5.1, nhóm thể hiện hiệu suất của mơ hình với nhiều kích thước đầu vào của bộ dữ liệu CamVid. Kết quả cho thấy hiệu quả tốt hơn khi mơ hình sử dụng kích thước đầu vào là 720x1280 hoặc 360x640. Với kích thước đầu vào lớn hơn là 720x1280, mặc dù hiệu suất có tăng lên một ít nhưng tốc độ lại giảm đi 4 lần so với 360x640, như được thể hiện ở bảng 5.2. Ngồi ra ở bảng 5.1, nhóm cũng so sánh hiệu suất mơ hình được đề xuất với việc huấn luyện có multi-scale (MS) và khơng có. Khi huấn luyện có MS, hiệu suất được tăng lên trên dưới 1% trên Mean IU và 1% đến 2% trên Mean ACC.
Cũng trên bộ dữ liệu CamVid đó nhóm cũng đã so sánh phương pháp đề xuất với mạng SkipNet [37], cũng là một mạng nhẹ cho phân đoạn làn đường. Kết quả ở bảng 5.3 cho thấy hiệu suất của phương pháp được đề xuất tốt hơn SkipNet và tốc độ tính tốn cũng ít hơn nhiều.
Bảng 5. 1 HIỆU SUẤT QUÁ TRÌNH PHÂN ĐOẠN
Input size MS Mean IU, % Mean ACC, %
360x640 Yes 73.71 94.1 No 72.01 92.5 720x1280 Yes 78.08 97.9 No 77.5 96.02 512x1024 Yes 68.44 87.1 No 67.77 85.56 480x640 Yes 62.38 80.9 No 59.03 76.1
59
Cuối cùng để đánh giá mơ hình phát hiện chướng ngại, nhóm sử dụng true positive rate (TPR) và false positive rate (FPR) thể hiện ở bảng 5.4. Kết quả cho thấy thuật toán phát hiện chướng ngại vật của chúng tôi đạt kết quả tốt ở khoảng cách nhỏ hơn 6m.
Bảng 5. 2 SỐ PHẦN TỬ ĐIỂM NỔI VÀ TỐC ĐỘ FPS
Input size GFLOPS FPS
360x640 2.18 14.5
720x1280 8.56 3.54
Bảng 5. 3 BẢNG SO SÁNH GIỮA MÔ-ĐUN CẢI TIẾN VỚI SKIPNET
Method Input size GFLOP S
Mean IU, % Mean ACC, %
SkipNet [37] 360x640 6.2 57.02 80.05
Proposed method
360x640 2.18 73.71 94.1
Bảng 5. 4 HIỆU SUÂT CỦA PHÁT HIỆN LÀN ĐƯỜNG VỚI NHỮNG KHOẢNG CÁCH
KHÁC NHAU
Distance from camera to obstacle, meter TPR, % FPR, %
< 6 99.96 0.009
6 - 7 62.56 0.01
60
5.4.3. Kết quả Off-road