Chương 3 THỰC NGHIỆM VÀ ĐÁNH GIÁ
3.3. Quy trình thực nghiệm và đánh giá
3.3.1 Dữ liệu
Dữ liệu trong quá trình thực nghiệm được lấy từ cuộc thi RIVF2021 MC-OCR. Trong đó:
− Tập train của cuộc thi được dùng để huấn luyện các model object detection ở giai đoạn 1.
− Tập private test của cuộc thi được dùng để model dự đoán kết quả và submit kết quả lên server của cuộc thi để nhận được đánh giá.
3.3.2 Cài đặt môi trường
− Link reference: https://github.com/open-mmlab/mmdetection
− Yêu cầu cài đặt:
− Chuẩn bị:
+ config_faster_rcnn.py: file dùng để thiết lập cấu hình cho
phương pháp Faster RCNN.
+ config_yolov3.py: file dùng để thiết lập cấu hình cho phương
pháp YOLOv3.
+ config_yolof.py: file dùng để thiết lập cấu hình cho phương
pháp YOLOF. Python v3.7.10 PyTorch: 1.7.0 CUDA >= v10.0 MMCV >= 1.3.8
48
3.3.3 Tiến hành thực nghiệm
3.3.3.1. Huấn luyên model
(a) Phương pháp Faster R-CNN:
− Chạy huấn luyện bằng command:
(b) Phương pháp YOLOv3:
− Chạy huấn luyện bằng command:
(c) Phương pháp YOLOF:
− Chạy huấn luyện bằng command:
3.3.3.2. Nhận diện và rút trích thơng tin:
Sau khi huấn luyện các model để nhận diện và phân loại thơng tin cần trích xuất, nhóm sử dụng các model này để dự đốn bounding box của các thơng tin trong từng hóa đơn và lưu trữ thông tin của các bounding box này dưới dạng file json (COCO format) (Giai đoạn 1).
File json này sau đó sẽ được đưa qua model pretrained TransformerOCR của Phạm Quốc được nhắc đến ở phần 2.2.2.2. Kết quả đầu ra của model là phần thông tin trong các bounding box dưới dạng text được nhóm chuyển vào file csv theo đúng format quy định của cuộc thi RIVF2021 MC-OCR để submit lên trang web cuộc thi (https://aihub.vn/competitions/1?fbclid=IwAR38wwnawFQDJbCLzOiVEG5sSYE OshGfisF4xjePXZK6Irlv2482aAIarsY#participate-submit_results) và được chấm điểm tự động dựa trên độ đo CER.
!python tools/train.py config_faster_rcnn.py
!python tools/train.py config_yolov3.py
49
Hình 3-7. Ảnh format file csv dùng để submit cho cuộc thi RIVF2021 MC-OCR. Do nhãn tập private test của cuộc thi RIVF2021 MC-OCR không được công Do nhãn tập private test của cuộc thi RIVF2021 MC-OCR không được công bố và kết quả trả về sau khi submit lên trang web cuộc thi chỉ có điểm CER để đánh giá kết quả cuối cùng của bài tốn, nhóm chỉ có thể đánh giá các phương pháp dựa trên điểm CER nhận được khi submit kết quả trong cuộc thi.
3.3.4 Kết quả 3.3.4.1. Kết quả thực nghiệm 3.3.4.1. Kết quả thực nghiệm CER Faster R-CNN 0.454742 YOLOv3 0.439313 YOLOF 0.545651
Bảng 3-1. Bảng kết quả thực nghiệm 3 phương pháp Faster R-CNN, YOLOv3 và YOLOF khi submit kết quả lên cuộc thi MC-OCR.
50
Hình 3-8. Ảnh kết quả từ cuộc thi MC-OCR.
3.3.4.2. Đánh giá kết quả
Dựa vào kết quả thực nghiệm, nhóm nhận thấy rằng:
− YOLOv3 có điểm CER thấp nhất nghĩa là đây là model thể hiện tốt nhất trong việc thực hiện giai đoạn 1 của bài tốn rút trích thơng tin hóa đơn giữa 3 model được thực nghiệm.
− Kết quả của Faster R-CNN có thấp hơn YOLOv3 đôi chút, tuy nhiên, CER là dự đoán chung trên cả 4 loại đối tượng, do vậy, với kết quả không mấy chênh lệch, có khả năng Faster R-CNN sẽ có dự đốn tốt hơn YOLOv3 ở một vài loại đối tượng.
51