5. Ý nghĩa khoa học và thực tiễn của đề tài
2.4. Một số độ đo đánh giá kết quả phát hiện vùng bất thƣờng
phân loại vùng bất thƣờng đó dự báo loại bệnh hay nguy cơ gì của phổi nhƣ viêm phổi hoặc ung thƣ.
2.4. MỘT SỐ ĐỘ ĐO ĐÁNH GIÁ KẾT QUẢ PHÁT HIỆN VÙNG BẤT THƢỜNG THƢỜNG
DICE
Hệ số Dice lần đầu tiên đƣợc giới thiệu bởi Dice [54] cho các nghiên cứu trong lĩnh vực sinh thái học. Hệ số Dice (còn đƣợc viết tắt là DSC - Dice similarity coefficient) là một trong những loại độ đo đƣợc sử dụng nhiều trong các bài toán phân đoạn ảnh, trong đó có các bài toán phân đoạn ảnh y tế. Công thức tính nhƣ sau:
Trong đó, X và Y là hai tập đầu vào, cụ thể với bài toán phân đoạn nhị phân ảnh (phân loại các điểm ảnh ra các điểm nền và các điểm đối tƣợng) thì X và Y là 2 tập điểm đối tƣợng. |X| là lực lƣợng của tập X, cụ thể trong bài toán phân đoạn nhị phân ảnh thì |X| là số lƣợng các điểm đối tƣợng trong tập X. Tƣơng tự cho ký hiệu lực lƣợng các tập còn lại.
JACCARD (IoU)
Hệ số Jaccard (còn đƣợc viết tắt là JSC - Jaccard similarity coefficient) là một chỉ số đƣợc sử dụng để đánh giá mức độ tƣơng tự cũng nhƣ mức độ phân tán các tập mẫu. Hệ số Jaccard đƣợc phát triển bởi Paul Jaccard [55], ban đầu lấy tên tiếng Pháp là hệ số de Communauté, sau đó hệ số đƣợc T. Tanimoto [56] xây dựng công thức một cách độc lập một lần nữa. Về mặt tính toán, hệ số Jaccard ƣớc lƣợng sự tƣơng đồng giữa hai tập hữu hạn bằng cách tính tỉ số giữa lực lƣợng của giao hai tập hợp và lực lƣợng của hợp hai tập hợp, cụ thể:
Trong đó, A và B là hai tập hợp đầu vào cần tính, cụ thể với bài toán phân đoạn nhị phân ảnh (phân loại các điểm ảnh ra các điểm nền và các điểm đối tƣợng) thì A và B là 2 tập điểm đối tƣợng. |A| là lực lƣợng của tập A, cụ thể trong bài toán phân đoạn nhị phân ảnh thì |A| là số lƣợng các điểm đối tƣợng trong tập A. Tƣơng tự cho ký hiệu lực lƣợng các tập còn lại.
Hệ số JACCARD, còn đƣợc biết đến với cái tên độ đo IoU
(Intersection Over Union) là độ đo đƣợc sử dụng để đánh giá các thuật toán,
mô hình nhận diện vật thể, thƣờng dùng để đánh giá một số mô hình nổi tiếng trong bài toán này nhƣ RCNN, Fast-RCNN, Faster-RCNN hay YOLO [58].
(a)Minh họa cách tính IoU (b)Minh họa IoU
Hình 2.25: Độ đo IoU
VOE
VOE (viết tắt của Volumetric overlap error) là một chỉ số đánh giá mức độ sai số đƣợc tính dựa trên phần giao và phần hợp của hai vùng phân đoạn đầu vào. VOE đƣợc trình bày nhƣ một loại khoảng cách tƣơng ứng với hệ số tƣơng tự Jaccard [57]. Công thức nhƣ sau:
Trong đó, cụ thể với bài toán phân đoạn nhị phân ảnh (phân loại các điểm ảnh ra các điểm nền và các điểm đối tƣợng) thì A và B là 2 tập điểm đối tƣợng. |A| là số lƣợng các điểm đối tƣợng trong tập A. Tƣơng tự cho ký hiệu lực lƣợng các tập còn lại.
RVD
RVD (viết tắt của Relative volume difference, thỉnh thoảng còn đƣợc viết là relative absolute volume difference) là một chỉ số đánh giá mức độ sai lệch đƣợc tính dựa trên tỉ số giữa giá trị tuyệt đối của độ lệch giữa lực lƣợng của hai vùng phân đoạn đầu vào với lực lƣợng của một vùng chỉ định, thƣờng sẽ là vùng đƣợc đánh dấu bởi chuyên gia [57]. Công thức nhƣ sau:
Trong đó, cụ thể với bài toán phân đoạn nhị phân ảnh (phân loại các điểm ảnh ra các điểm nền và các điểm đối tƣợng) thì M và G là 2 tập điểm đối tƣợng. Thông thƣờng thì M là kết quả của chƣơng trình máy tính dự báo đƣợc còn G là kết quả đánh dấu bởi chuyên gia. là số lƣợng các điểm đối tƣợng trong tập M. Tƣơng tự cho ký hiệu lực lƣợng tập G
mAP
Để tìm hiểu về mAP, trƣớc tiên ta review lại khái niệm về Precision, Recall và IoU
- Precision: Đánh giá độ tin cậy của kết luận đƣa ra (bao nhiêu % lời kết luận của mô hình là chính xác).
- Recall: Đánh giá khả năng tìm kiếm toàn bộ các ground truth của mô hình (bao nhiêu % positive samples mà mô hình nhận diện đƣợc)
- IoU (Intersection over Unit): Đo độ overlap giữa ground truth bouding box với bounding box mà mô hình dự đoán.
Trong một vài trƣờng hợp, ta tính trung bình AP cho tất cả các lớp. Trong một vài trƣờng hợp khác, mAP chính là AP.
Mối quan hệ giữa precision – recall giúp mAP đánh giá đƣợc về độ chính xác của classification task.
Do precision – recall thay đổi khi ngƣỡng IoU thay đổi (ngƣỡng để predict một bbox là class nào). Do đó, tại một giá trị IoU xác định, có thể đo / so sánh độ tốt của các mô hình (ví dụ: mAP@0.5 = 70 –> tại IoU = 0.5, AP của mô hình là 70%).