Chương 3 THỰC NGHIỆM VÀ ĐÁNH GIÁ
3.2. Phương pháp đánh giá
3.2.1 Bước nhận dạng và phân loại thông tin
3.2.1.1. Confusion matrix
Confusion Matrix (Hình 3-4. Confusion Matrix) cung cấp một cách chi tiết để đánh giá kết quả của một thuật tốn phân loại có giám sát (supervised learning). Một đánh giá kết quả của một thuật tốn phân loại có giám sát (supervised learning). Một ma trận nhầm lẫn chia kết quả thành hai loại: giá trị (nhãn) dự đoán và giá trị (nhãn) thực tế của các điểm dữ liệu.
Hình 3-4. Confusion Matrix Trong đó:
− True Positive (TP): trường hợp dương tính và được dự đốn dương tính.
− True Negative (TN): trường hợp âm tính và được dự đốn âm tính.
− False Positive (FP): trường hợp âm tính và được dự đốn dương tính.
− False Negative (FN): trường hợp dương tính và được dự đốn âm tính.
3.2.1.2. Precison and Recall
Precision được định nghĩa là tỉ lệ số điểm True Positive trong tổng số những điểm được phân loại là Positive (TP + FP).
44
Precision = TP TP + FN
Recall được định nghĩa là tỉ lệ số điểm True Positive trong số những điểm thật sự là Positive (TP +FN).
Recall = TP TP + FN
3.2.1.3. Intersection ove Union (IoU)
Intersection over Union (IoU) được đùng làm tiêu chuẩn để đánh giá cho bài toán phát hiện đối tượng trên ảnh, bằng cách đánh giá mức độ overlap (trùng lắp) giữa 2 bounding boxes. Kết quả IoU được cho là tốt khi >=0.5.
3.2.1.4. Average Precision (AP)
Giả sử có N ngưỡng để tính precision và recall, mỗi ngưỡng có 1 cặp giá trị
(𝑃𝑛, 𝑅𝑛) với 𝑛 = 1, 2, . . . , 𝑁. Precision-Recall curve được vẽ bằng cách vẽ từng điểm
có toạ độ (𝑃𝑛, 𝑅𝑛) trên trục toạ độ và nối chúng với nhau.
Hình 3-5. Đồ thị mối quan hệ của precision, recall (Precision-Recall curve)1
45
Average precision được định nghĩa là diện tích phần phía dưới đường biểu diễn mối quan hệ của precision và recall. AP thường được tính xấp xỉ bằng cơng thức như sau:
𝐴𝑃 = ∑(𝑅𝑛 − 𝑅𝑛 − 1)
𝑛
𝑃𝑛
Trong đó: (𝑅𝑛 − 𝑅𝑛 − 1)𝑃𝑛 là diện tính hình chữ nhật có chiều rộng (𝑅𝑛 − 𝑅𝑛 − 1) và chiều cao 𝑃𝑛.
3.2.1.5. Mean Average Precision (mAP)
Mean Average Precision được tính bằng cách lấy trung bình AP của tất cả các lớp.
3.2.2 Bước ánh xạ thông tin ra dạng text
3.2.2.1. Khoảng cách Levenshtein
Levenshtein là khoảng cách khác biệt giữa 2 chuỗi ký tự, khoảng cách này được đặt tên theo Vladimir Levenshtein – người đề ra khái niệm này vào năm 1965. Khoảng cách Levenshtein giữa chuỗi S và chuỗi T là số bước ít nhất biến chuỗi S thành chuỗi T thông qua 3 phép biến đổi:
− Xoá 1 ký tự: “steam” → “team”.
− Thêm 1 ký tự: “steam” → “stream”.
46
Hình 3-6. Ảnh minh họa 3 phép biến đổi thêm, sửa, xóa1.
Ví dụ, khoảng cách Levenshtein giữa chuỗi “sitting” và “kitten” là 3 vì “sitting” cần ít nhất 3 bước biến đổi để trở thành “kitten”:
− Bước 1: “sitting” → “kitting” (thay thế).
− Bước 2: “kitting” → “kitteng” (thay thế).
− Bước 3: “kitteng” → “kitten” (xóa).
3.2.2.2. Độ đo CER
Trong cuộc thi RIVF2021 MC-OCR, độ đo CER được sử dụng để đánh giá kết quả được các thí sinh nộp lên.
CER được xây dựng dựa trên khoảng cách Levenshtein với công thức như sau:
𝐶𝐸𝑅 = 𝑖 + 𝑠 + 𝑑 𝑛
Trong đó:
− 𝑖 + 𝑠 + 𝑑 là số bước biến đổi ít nhất để chuyển kết quả dự đoán được
thành đáp án thực tế (groundtruth).
− 𝑛 là số ký tự trong đáp án thực tế.
1 https://towardsdatascience.com/evaluating-ocr-output-quality-with-character-error-rate-cer-and-word-error- rate-wer-853175297510
47