Chương 3 của luận án đã đề xuất một phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng từ tập dữ liệu ảnh nội soi đại tràng
ảnh nội soi đại tràng với số liệu dữ liệu huấn được gán nhãn phân vùng polyp rất ít. Phương pháp tự học đề xuất có tác vụ giả định là tái tạo ảnh nội soi đại tràng, tác vụ mục tiêu là phân vùng polyp. Kiến trúc UNet cải tiến với bộ mã hóa là các mạng CNN pretrained, được sử dụng cho cả hai tác vụ tái tạo ảnh nội soi đại tràng và phân vùng polyp.
Học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng được thực hiện bằng tác vụ giả định tái tạo ảnh nội soi đại tràng. Tác vụ tái tạo ảnh được đề xuất như sau: ảnh ban đầu từ tập dữ liệu không gán nhãn qua một số phép biển đổi để làm đầu vào cho mạng tái tạo ảnh, đầu ra của mạng này chính là ảnh ban đầu chưa qua phép biến đổi. Bộ dữ liệu không gán nhãn bao gồm các dữ liệu được thu thập từ hệ thống PACS của Bệnh viện 103 kết hợp với các dữ liệu ảnh nội soi của các bộ dữ liệu chuẩn đã được công bố, tổng số ảnh nội soi sử dụng cho huấn luyện mạng tái tạo ảnh là 10.068 ảnh.
Các trọng số của mạng tái tạo ảnh sau khi đã huấn luyện được chuyển giao sang mạng phân vùng polyp theo phương pháp học chuyển giao nhằm nâng cao độ chính xác phân vùng polyp của mạng trong trường hợp dữ liệu huấn luyện được gán nhãn phân vùng polyp có rất ít. Điểm nổi bật của phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng từ tập dữ liệu không gán nhãn đã đề xuất là : quá trình huấn luyện tác vụ giả định cho phép huấn luyện đồng thời cả bộ giải mã và bộ mã hóa trên dữ liệu ảnh nội soi đại tràng, sau đó các trọng số học được của cả hai bộ này, được chuyển giao cho tác vụ phân vùng polyp trên ảnh nội soi đại tràng, do đó kết quả phân vùng polyp được cải thiện đáng kể.
Luận án cũng đã thực hiện các thử nghiệm đánh giá tác động của độ phức tạp của tác vụ tái tạo ảnh và các phương pháp chuyển giao trọng số mạng tái tạo ảnh nội soi đại tràng khác nhau đến hiệu năng của mạng phân vùng polyp. Các kết quả thử nghiệm cho thấy phương pháp đề xuất đạt được độ chính xác phân vùng polyp cao hơn rất nhiều so với mạng UNet baseline được huấn luyện từ đầu không sử dụng phương pháp chuyển giao tri thức từ mạng học tự giám sát các đặc trưng thị giác của ảnh nội soi. Cụ thể là với bộ dữ liệu huấn luyện CVC-ColonDB chỉ gồm 300 ảnh nội đại tràng có gán nhãn phân vùng polyp,
phương pháp đề xuất đã làm tăng chỉ số IoU từ 76,87% lên 81,99% và tăng điểm số Dice từ 86,61 lên 89,33%. Hơn thế nữa các số liệu so sánh điểm số Dice trên các bộ dữ liệu thử nghiệm độc lập với bộ dữ liệu huấn luyện mạng phân vùng polyp cho thấy phương pháp đề xuất cho điểm số Dice vượt trội so với các phương pháp mới công bố hiện nay trên tất cả các bộ dữ liệu thử nghiệm. Điều này chứng tỏ phương pháp đề xuất có hiệu quả tốt trong việc nâng cao độ chính xác của mô hình phân vùng polyp.
Tóm lại những đóng góp chính của chương 3 bao gồm :
1. Đề xuất một phương pháp học tự giám sát các đặc trưng thị giác từ tập dữ liệu ảnh nội soi không được gán nhãn dùng cho phân vùng polyp trên ảnh nội soi đại tràng với tác vụ giả định là tác vụ tái tạo ảnh nội soi, tác vụ mục tiêu là tác vụ phân vùng ảnh nội soi.
2. Tiến hành cài đặt thử nghiệm phương pháp đề xuất với bộ dữ liệu không gán nhãn thu thập từ hệ thống PACS của bệnh viện 103 và bộ dữ liệu ảnh nội soi gán nhãn phân vùng polyp chuẩn CVC-ColonDB. Các thử nghiệm cho thấy phương pháp đề xuất có thể cải thiện một cách đáng kể độ chính xác của mạng phân vùng polyp.
Kết quả nghiên cứu trong chương này đã được công bố tại công trình [CT4], [CT5].
CHƯƠNG 4
PHƯƠNG PHÁP SINH DỮ LIỆU ẢNH NỘI SOI ĐẠI TRÀNG
CÓ NHÃN PHÂN VÙNG POLYP
Trong mỗi bộ dữ liệu huấn luyện chuẩn được công bố cho các mô hình học máy thì hình dạng của các polyp trên ảnh nội thường không đa dạng vì các ảnh này được cắt từ một số ít các video nội soi, mỗi video chỉ chứa một vài polyp được quay ở các góc khác nhau. Ngoài ra trong các bộ dữ liệu chuẩn không có các trường hợp ảnh nội soi chứa polyp bị mờ, bị che khuất một phần bởi các dụng cụ phẫu thuật. Để khắc phục các khó khăn trong việc thu thập mẫu dữ liệu ảnh nội soi đại tràng có chứa polyp đa dạng, được gán nhãn phân vùng polyp dùng cho huấn luyện mô hình học sâu phân vùng polyp, Chương 4 của luận án đề xuất một phương pháp sinh ảnh nội soi giả lập có chứa polyp nhằm tăng cường dữ liệu ảnh nội soi đại tràng có gán nhãn phân đoạn polyp cho huấn luyện các mô hình học sâu phân vùng polyp. Phương pháp đề xuất có thể tạo ra nhiều ảnh nội soi chứa polyp khác nhau từ các ảnh nội soi đại tràng bình thường không chứa polyp. Các dữ liệu giả lập được sinh ra dùng để tăng cường dữ liệu huấn luyện cho mô hình học sâu phân vùng polyp nhằm cải thiện độ chính xác của mô hình phân vùng.