3.3.4.2. Mean Average Precision – mAP
AP chỉ có thể đánh giá độ chính xác của mơ hình phân loại cho một lớp duy nhất, do vậy, với những bài tốn phân lớp có nhiều lớp, người ta tính trung bình giá trị AP của tất cả các lớp trong bài toán để đánh giá cả mơ hình, giá trị trung bình này được gọi là mAP
3.3.4.3. AP của COCO API
Thực nghiệm được đánh giá trên độ đo Average Precision (AP) theo tiêu chuẩn của COCO API. Cụ thể, chúng tơi tính giá trị AP trung bình của 10 IoU từ 0.5 đến 0.95 với bước nhảy là 0.05. Mặt khác, chúng tôi đánh giá độ chính xác trên một giá trị IoU xác định (AP tại IoU = 0.5 và AP tại IoU = 0.75).
3.4. Kết quả 3.4.1. Kết quả 3.4.1. Kết quả
3.4.1.1. Kết quả mơ hình D2Det với backbone ResNet50 kết hợp FPN AP AP@0.5 AP@0.75
61
daylight 14.6 23.0 17.1
lowalt 43.7 59.6 53.6
birdview 11.1 17.8 12.0
daylight – lowalt – birdview 57.4 76.9 75.0
Bảng 3.2 Kết quả dự đoán của D2Det sử dụng backbone ResNet50 kết hợp FPN trên bộ dữ liệu UAVDT-benchmark-M
Mơ hình D2Det sử dụng backbone ResNet50 kết hợp với FPN được huấn luyện trong khoảng 28 giờ. Mô hình đạt kết quả tốt đối với trường hợp ảnh có cả 3 thuộc tính daylight, low-alt, bird-view và tập low-alt. Còn lại, kết quả dự đoán của mơ hình trên tập test và các trường hợp khác đều khơng cao.
3.4.1.2. Kết quả mơ hình D2Det với backbone ResNet101 kết hợp FPN AP AP@0.5 AP@0.75
test 12.3 23.2 11.8
daylight 12.0 22.1 11.9
lowalt 21.4 35.4 24.3
birdview 12.6 24.3 12.0
daylight – lowalt – birdview 45.5 71.1 55.3
Bảng 3.3 Kết quả dự đoán của D2Det sử dụng backbone ResNet101 kết hợp FPN trên bộ dữ liệu UAVDT-benchmark-M
Mơ hình D2Det sử dụng backbone ResNet101 kết hợp với FPN được huấn luyện trong khoảng 34 giờ. Mô hình đạt kết quả tốt đối với trường hợp ảnh có cả 3 thuộc tính daylight, low-alt, bird-view. Mơ hình khơng hiệu quả đới với các trường hợp cịn lại.
62
3.4.2. Hình ảnh minh họa
test – ResNet50 test – ResNet101
daylight – ResNet50 daylight – ResNet101
lowalt – ResNet50 lowalt – ResNet101
63
daylight - lowalt - birdview – ResNet50 daylight - lowalt - birdview – ResNet101