a. Cài đặt thƣ viện
4.5 Kết quả thực nghiệm
a. Đánh giá thực nghiệm patch model
Dựa vào các confusion matrix của 3 patch model, nhìn chung các mô hình phân loại vùng ảnh có độ chính xác chƣa cao. Nhãn background dễ phân loại nhất trong khi lành tính(benign) thì khó nhất.
Bảng độ chính xác các mô hình:
Bảng 1: Độ chính xác patch model
Nếu nhƣ dùng kiến trúc hiện đại của Efficientnet ta có bảng sau:
Bảng 2: Độ chính xác của Efficientnet
Theo bảng có 2 mô hình có accuracy cao nhất là: EfficientnetB2 (0.7314) và
EfficientnetB3 (0.7294). Ta sẽ chọn 2 mô hình này và VGG16, Resnet50 và để thử
nghiệm huấn luyện mô hình phân loại toàn ảnh nhũ đƣợc chuyển đổi từ patch
model
Mô hình Pre-trained Accuracy
VGG16 ImageNet 0.7089
Resnet50 ImageNet 0.7092
Mô hình Pre-trained Accuracy
EfficientnetB1 ImageNet 0.7171
EfficientnetB2 ImageNet 0.7314
EfficientnetB3 ImageNet 0.7294
EfficientnetB4 ImageNet 0.7034
(a) (b) (c)
Hình 17: Confusion Matrix phân loại ảnh patch 3 lớp cho Resnet50 (a) VGG16 (b) và EfficientNetB3 (c) trên bộ kiểm tra độc lập đã đƣợc chuẩn hóa trên mỗi dòng
b. Đánh giá thực nghiệm whole image model
Nghiên cứu này đã tiến hành các thực nghiệm whole image model sử dụng VGG16, ResNet50 và EfficientnetB2, EfficientNetB3, làm patch model và VGG block làm top layer.
Bảng kết quả
Bảng 3: Độ chính xác của whole image model trên bộ kiểm tra độc lập
Từ kết quả bảng 3, cho thấy việc thay đổi cấu hình VGG block khi thêm vào top layer của whole image model ảnh hƣởng nhiều đến độ tin cậy của mô hình. Đối với 2 mô hình ResNet50 và VGG16, 2 mô hình này đạt độ chính xác cao nhất khi dùng 2 VGG block [512 x 1] và [512 x 1] làm top layer. Trong khi đó, mô hình
Block 1 Block 2 Accuracy VGG16 Accuracy ResNet50 Accuracy EfficientNetB2 Accuracy EfficientNetB3 512×1 512×1 0.7209 0.7558 0.5411 0.6723 512×1 256×1 0.7034 0.7354 0.4261 0.4547 256×1 128×1 0.7180 0.7383 0.5294 0.5141 128×1 64×1 0.6802 0.6511 0.5828 0.5970 64×1 32×1 0.6831 0.6569 0.4018 0.8089
EfficientNetB2 thì phù hợp với 2 VGG block [128 × 1] và [64 × 1], mô hình
EfficientNetB3 thì phù hợp với 2 VGG block [64 × 1] và [32 × 1]. Điều này chứng
tỏ, mỗi mô hình phân loại sẽ phù hợp với mỗi cấu hình block khác nhau.
Bên cạnh đó, trong các thực nghiệm của 2 mô hình EfficientNetB2 và EfficientNetB3, Accuracy có xu hƣớng giảm khi đƣợc giảm độ sâu và số lớp Conv của VGG block. Tuy nhiên, khi giảm từ cặp 256 - 128 sang cặp 128 - 64, Accuracy bắt đầu tăng, kết quả này chứng tỏ độ sâu của VGG block không liên quan đến hiệu suất của mô hình. Từ đó, cho thấy để một whole image model đạt đƣợc hiệu suất cao, cần phải kiểm soát cấu hình của các block. Việc kiểm soát cấu hình nàygiúp cho mô hình đủ khả năng học đƣợc những đặc trƣng không gian cần thiết mà không bị hiện tƣợng “overfitting” cũng nhƣ “underfitting”.