Trong nghiên cứu này, luận án đã đề xuất áp dụng phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội bằng mạng tái tạo ảnh và chuyển giao trọng số của mạng tái tạo ảnh đã huấn luyện trước cho tác vụ phân vùng polyp trên ảnh nội soi đại tràng. Mạng UNet cho phân vùng ảnh được huấn luyện tinh chỉnh sử dụng bộ dữ liệu ảnh nội soi được gán nhãn phân vùng polyp CVC-ColonDB, bộ dữ liệu này gồm 300 ảnh nội soi đại tràng và các ảnh nhãn phân vùng polyp mask. Bộ dữ liệu được chia theo tỉ lệ 80/10/10 cho huấn luyện, xác thực và kiểm thử mạng phân vùng polyp. Các mô hình được huấn luyện 5 lần với 200 epoch mỗi lần và kết quả được lấy trung bình của 5 lần chạy. Các độ đo đánh giá độ chính xác của mô hình phân vùng polyp là: Điểm số Dice, IoU, Recall (ký hiệu Re), Precision (ký hiệu Prec). Chi tiết về các độ đo này đã được trình bày trong Phần 1.3.5 của Chương 1.
Đầu tiên, luận án đã thực hiện các thử nghiệm học chuyển giao mạng UNet phân vùng ảnh từ các mạng tái tạo ảnh được huấn luyện trước với đầu vào được biến đổi theo tỉ lệ nhiễu khác nhau để đánh giá ảnh hưởng độ phức tạp của tác vụ giả định tái tạo ảnh nội soi lên kết quả phân vùng polyp. Bảng 3.2 trình bày các kết quả thu được. Bảng này cho thấy với tỉ lệ nhiễu là 50% mạng phân vùng polyp đạt độ chính xác cao nhất.
Bảng 3.2. Độ chính xác của mạng phân vùng polyp học chuyển giao từ mạng tái tạo ảnh với tỉ lệ nhiễu khác nhau
Tỉ lệ nhiễu Dice (%) IoU (%) Re (%) Pre (%)
20% 81,84 71,42 76,76 90,98 30% 83,45 74,70 83,62 87,86 40% 85,91 77,10 83,85 87,16 50% 89,33 81,99 86,05 94,65 60% 82,86 72,30 78,32 90,39 70% 81,16 71,83 84,48 82,45 80% 77,16 64,02 76,73 79,68
Tiếp theo, luận án thực hiện đánh giá độ chính xác của mạng UNet phân vùng polyp với các phương pháp học chuyển giao khác nhau đã được trình bày trong phần 4.2.3 từ mạng tái tạo ảnh nội soi với tỉ lệ nhiễu 50%, bao gồm: tinh chỉnh lớp cuối, tinh chỉnh mạng giải mã, tinh chỉnh toàn bộ mạng sử dụng trọng số của mạng tái tạo ảnh làm trọng số khởi tạo. Ngoài ra luận án đã thực hiện cài đặt, kiểm thử UNet phân vùng polyp, huấn luyện mạng này từ đầu bằng bộ dữ liệu CVC-ColonDB và không sử dụng phương pháp học chuyển giao từ mạng tái tạo ảnh đã huấn luyện trước (UNet base line) và huấn luyện mạng UNet sử dụng trọng số pretrained trên bộ ImageNet của bộ giải mã làm trọng số khởi tạo (UNet with pre-trained ImageNet). Sau đó so sánh kết quả đạt được của các mạng để đánh giá hiệu quả của phương pháp đề xuất. Bảng 3.3 là các kết quả thu được.
Bảng 3.3. Độ chính xác của mạng phân vùng polyp với phương pháp học chuyển giao khác nhau
Phương pháp chuyển giao Dice (%) IoU (%) Re (%) Pre (%)
UNet baseline 86,61 76,87 86,12 87,71
UNet with pre-trained
ImageNet 87,28 78,35 84,93 90,97
Tinh chỉnh lớp cuối 79,15 70,63 82,19 86,43
Tinh chỉnh bộ giải mã 86,87 77,45 79,17 92,70
Tinh chỉnh toàn bộ mạng 89,33 81,99 86,05 94,65
Từ bảng 3.3 chúng ta thấy độ chính xác của mạng UNet phân vùng polyp đạt được lớn nhất với phương pháp học chuyển giao theo phương thức tinh chỉnh lại toàn bộ mạng phân vùng sử dụng các trọng số của mạng tái tạo ảnh đã được huấn luyện trước làm trọng số khởi tạo. Độ chính xác phân vùng polyp của phương pháp học tự giám sát các đặc trưng thị giác từ tập ảnh nội soi không gán nhãn đã đề xuất vượt trội so với độ chính xác phân vùng polyp của mạng UNet baselline. Cụ thể là cả hai độ đo đánh giá phân vùng polyp IoU và Dice để vượt trội với 5.12% IoU và 2.72% Dice. Thậm chí ngay cả khi đóng băng bộ mã hóa chỉ tinh chỉnh trên bộ giải mã thì các độ đo đánh giá phân vùng polyp
của phương pháp đề xuất vẫn cao hơn mạng UNet baseline. Điều này chứng tỏ mô hình học tự giám sát các đặc trưng thị giác của ảnh nội soi đã học được các đặc trưng tốt cho tác vụ phân vùng polyp trên ảnh nội soi. Hình 3.6 là một số ví dụ về các dự đoán phân vùng poly của các mạng phân vùng được huấn luyện theo phương pháp học chuyển giao khác nhau. Hình này cũng cho thấy mạng phân vùng học chuyển giao từ mạng tái tạo ảnh nội soi với phương pháp huấn luyện tinh chỉnh toàn bộ mạng cho kết quả phân vùng polyp tốt nhất.
(Các kết quả của phần này được công bố trong công trình CT5)