8 Tổng kết
7.2 Trực quan hóa kết quả quá trình Nhận diện ký tự quang học theo từng dòng (line)
7.2.3 Trích xuất thông tin
Với mô-đun Trích xuất thông tin chúng tôi thực hiện thí nghiệm và đánh giá với các mô hình như sau:
• GraphSAGE - Max Pooling: Mô hình GraphSAGE với bộ tổ hợp Max Pooling.
• GraphSAGE - Mean: Mô hình GraphSAGE với bộ tổ hợp Mean.
• GraphSAGE - GCN: Mô hình GraphSAGE với bộ tổ hợp GCN.
• GraphSAGE - LSTM: Mô hình GraphSAGE với bộ tổ hợp LSTM.
Hình 7.3: Trực quan hóa kết quả quá trình Nhận diện quang học một văn bản hành chính hoàn chỉnh. Ảnh bên trái là văn bản gốc. Ảnh bên phải là kết quả của quá trình nhận diện (có sử dụng kết quả của quá trình Phát hiện vùng văn bản) được khôi phục về kích thước và vị trí ban đầu.
Bảng 7.3: Kiến trúc mô hình các thí nghiệm.
Thí nghiệm Kiến trúc mô hình Đồ thị Hàm lỗi Số lượng tham số
1 GraphSAGE - Max Pooling Vô hướng Cross Entropy Loss 1.236M
2 GraphSAGE - Mean Vô hướng Cross Entropy Loss 1.141M
3 GraphSAGE - GCN Vô hướng Cross Entropy Loss 1.096M
4 GraphSAGE - LSTM Vô hướng Cross Entropy Loss 1.243M
Bảng 7.3 miêu tả kiến trúc mô hình cũng như thông số của các thí nghiệm. Trong đó:
• Thí nghiệm 1-4: Chúng tôi hiện thực lại quá trình trích xuất đặc trưng theo mô hình
GraphSAGE với các bộ lọc lần lượt là Max Pooling, Mean, GCN và LSTM.
• Thí nghiệm 5: Chúng tôi hiện thực việc tổ hợp thông tin dựa trên cơ chế Attention, giúp
các nút chú trọng hơn vào các nút thực sự quan trọng trong các nút lân cận với nó.
• Tất cả các mô hình đều được hiện thực trên đồ thị vô hướng, dùng hàm lỗi là Cross Entropy
Loss.
Bảng 7.4: Kết quả đánh giá thí nghiệm mô-đun Trích xuất thông tin.
Thí nghiệm Mô hình Loss Accuracy Precision Recall F1-Score
1 GraphSAGE - Max Pooling 0.0659 0.9836 0.9749 0.9663 0.9658
2 GraphSAGE - Mean 0.0445 0.9873 0.9654 0.9825 0.9696
3 GraphSAGE - GCN 0.2378 0.9317 0.8926 0.8548 0.8602
4 GraphSAGE - LSTM 0.0544 0.9868 0.9797 0.9718 0.9735
5 GAT 0.1218 0.9635 0.9176 0.9222 0.9127
Nhìn chung, các mô hình được đề xuất đều cho kết quả khá ấn tượng như được thể hiện trong Bảng 7.4. Trong đó, mô hình GraphSAGE với bộ tổ hợp Mean cho kết quả tốt nhất, đạt 0.9696 F1-Score với 1.141M tham số. Do đó, chúng tôi đề xuất dùng mô hình này để phát triển cho mô-đun Trích xuất thông tin.
Các thí nghiệm dựa trên kiến trúc GraphSAGE cho kết quả tốt hơn và ổn định hơn kiến trúc GAT. Điều này có thể được giải thích do cấu trúc của văn bản hành chính là dạng văn bản có thứ tự, sắp xếp từ trên xuống dưới. Chính cấu trúc này ảnh hưởng đến cấu trúc của đồ thị, khiến cho các nút chỉ có tối đa 4 nút lân cận, đa số chỉ là 2 nút. Do số nút lân cận rất nhỏ nên việc gán trọng số đã làm giảm khả năng tổ hợp đặc trưng của bộ lọc GAT.
Trong thí nghiệm này chúng tôi huấn luyện mô hình với 200 epoch và mô hình thường hội tụ tại epoch thứ 40, chi tiết được đánh giá bên trong quá trình huấn luyện mô hình của mô hình GraphSAGE - Mean được thể hiện qua Hình 7.4 .Kết quả đánh giá GraphSAGE - Mean trên từng trường thông tin được thể hiện như trong Bảng 7.5.
Nhìn chung, các trường thông tin đều có độ chính xác cao và như nhau, chỉ một vài trường như V_SIGN_NAME và NOTE cho kết quả thấp. Điều này có thể lý giải do số lượng mẫu cho trường thông tin này quá ít, cộng thêm thông tin đa dạng khiến mô hình khó thể hiện được tính tổng quát.