Chương 3 của luận án đã đề xuất một phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng từ tập dữ liệu ảnh nội soi đại tràng không được gán nhãn để nâng cao hiệu năng của mạng phân vùng polyp trên
87
ảnh nội soi đại tràng với số liệu dữ liệu huấn được gán nhãn phân vùng polyp rất ít. Phương pháp tự học đề xuất có tác vụ giả định là tái tạo ảnh nội soi đại tràng, tác vụ mục tiêu là phân vùng polyp. Kiến trúc UNet cải tiến với bộ mã hóa là các mạng CNN pretrained, được sử dụng cho cả hai tác vụ tái tạo ảnh nội soi đại tràng và phân vùng polyp.
Học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng được thực hiện bằng tác vụ giả định tái tạo ảnh nội soi đại tràng. Tác vụ tái tạo ảnh được đề xuất như sau: ảnh ban đầu từ tập dữ liệu không gán nhãn qua một số phép biển đổi để làm đầu vào cho mạng tái tạo ảnh, đầu ra của mạng này chính là ảnh ban đầu chưa qua phép biến đổi. Bộ dữ liệu không gán nhãn bao gồm các dữ liệu được thu thập từ hệ thống PACS của Bệnh viện 103 kết hợp với các dữ liệu ảnh nội soi của các bộ dữ liệu chuẩn đã được công bố, tổng số ảnh nội soi sử dụng cho huấn luyện mạng tái tạo ảnh là 10.068 ảnh.
Các trọng số của mạng tái tạo ảnh sau khi đã huấn luyện được chuyển giao sang mạng phân vùng polyp theo phương pháp học chuyển giao nhằm nâng cao độ chính xác phân vùng polyp của mạng trong trường hợp dữ liệu huấn luyện được gán nhãn phân vùng polyp có rất ít. Điểm nổi bật của phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng từ tập dữ liệu không gán nhãn đã đề xuất là : quá trình huấn luyện tác vụ giả định cho phép huấn luyện đồng thời cả bộ giải mã và bộ mã hóa trên dữ liệu ảnh nội soi đại tràng, sau đó các trọng số học được của cả hai bộ này, được chuyển giao cho tác vụ phân vùng polyp trên ảnh nội soi đại tràng, do đó kết quả phân vùng polyp được cải thiện đáng kể.
Luận án cũng đã thực hiện các thử nghiệm đánh giá tác động của độ phức tạp của tác vụ tái tạo ảnh và các phương pháp chuyển giao trọng số mạng tái tạo ảnh nội soi đại tràng khác nhau đến hiệu năng của mạng phân vùng polyp. Các kết quả thử nghiệm cho thấy phương pháp đề xuất đạt được độ chính xác phân vùng polyp cao hơn rất nhiều so với mạng UNet baseline được huấn luyện từ đầu không sử dụng phương pháp chuyển giao tri thức từ mạng học tự giám sát các đặc trưng thị giác của ảnh nội soi. Cụ thể là với bộ dữ liệu huấn luyện CVC- ColonDB chỉ gồm 300 ảnh nội đại tràng có gán nhãn phân vùng polyp,
phương pháp đề xuất đã làm tăng chỉ số IoU từ 76,87% lên 81,99% và tăng điểm số Dice từ 86,61 lên 89,33%. Hơn thế nữa các số liệu so sánh điểm số Dice trên các bộ dữ liệu thử nghiệm độc lập với bộ dữ liệu huấn luyện mạng phân vùng polyp cho thấy phương pháp đề xuất cho điểm số Dice vượt trội so với các phương pháp mới công bố hiện nay trên tất cả các bộ dữ liệu thử nghiệm. Điều này chứng tỏ phương pháp đề xuất có hiệu quả tốt trong việc nâng cao độ chính xác của mô hình phân vùng polyp.
Tóm lại những đóng góp chính của chương 3 bao gồm :
1. Đề xuất một phương pháp học tự giám sát các đặc trưng thị giác từ tập dữ liệu ảnh nội soi không được gán nhãn dùng cho phân vùng polyp trên ảnh nội soi đại tràng với tác vụ giả định là tác vụ tái tạo ảnh nội soi, tác vụ mục tiêu là tác vụ phân vùng ảnh nội soi.
2. Tiến hành cài đặt thử nghiệm phương pháp đề xuất với bộ dữ liệu không gán nhãn thu thập từ hệ thống PACS của bệnh viện 103 và bộ dữ liệu ảnh nội soi gán nhãn phân vùng polyp chuẩn CVC-ColonDB. Các thử nghiệm cho thấy phương pháp đề xuất có thể cải thiện một cách đáng kể độ chính xác của mạng phân vùng polyp.
Kết quả nghiên cứu trong chương này đã được công bố tại công trình [CT4], [CT5].
89
CHƯƠNG 4
PHƯƠNG PHÁP SINH DỮ LIỆU ẢNH NỘI SOI ĐẠI TRÀNG CÓ NHÃN PHÂN VÙNG POLYP
Trong mỗi bộ dữ liệu huấn luyện chuẩn được công bố cho các mô hình học máy thì hình dạng của các polyp trên ảnh nội thường không đa dạng vì các ảnh này được cắt từ một số ít các video nội soi, mỗi video chỉ chứa một vài polyp được quay ở các góc khác nhau. Ngoài ra trong các bộ dữ liệu chuẩn không có các trường hợp ảnh nội soi chứa polyp bị mờ, bị che khuất một phần bởi các dụng cụ phẫu thuật. Để khắc phục các khó khăn trong việc thu thập mẫu dữ liệu ảnh nội soi đại tràng có chứa polyp đa dạng, được gán nhãn phân vùng polyp dùng cho huấn luyện mô hình học sâu phân vùng polyp, Chương 4 của luận án đề xuất một phương pháp sinh ảnh nội soi giả lập có chứa polyp nhằm tăng cường dữ liệu ảnh nội soi đại tràng có gán nhãn phân đoạn polyp cho huấn luyện các mô hình học sâu phân vùng polyp. Phương pháp đề xuất có thể tạo ra nhiều ảnh nội soi chứa polyp khác nhau từ các ảnh nội soi đại tràng bình thường không chứa polyp. Các dữ liệu giả lập được sinh ra dùng để tăng cường dữ liệu huấn luyện cho mô hình học sâu phân vùng polyp nhằm cải thiện độ chính xác của mô hình phân vùng.
4.1. Đặt vấn đề
Các bộ dữ liệu ảnh soi đại tràng có gán nhãn phân vùng polyp chuẩn được công bố dùng cho các mô hình học máy đã tạo điều kiện để các nghiên cứu sử dụng kỹ thuật học sâu phân vùng polyp phát triển hơn. Như đã trình bày trong phần 1.1.3 của Chương 1, hiện tại có 4 bộ dữ liệu ảnh nội soi được gán nhãn phân vùng polyp chuẩn phổ biến là: CVC-ClinicDB có 612 ảnh, Kvasir-SEG dataset gồm 1000 ảnh, CVC-ColonDB gồm 300 ảnh, ETIS-Larib gồm 196 ảnh. Các bộ dữ liệu này có kích thước khá bé do việc gán nhãn phân vùng polyp trên ảnh nội soi đại tràng phải được thực hiện bởi các bác sĩ chuẩn đoán hình ảnh nội soi có chuyên môn cao và tốn nhiều thời gian, công sức. Hơn nữa, trong mỗi bộ dữ liệu thì các mẫu dữ liệu không đa dạng, mặc dù bộ dữ liệu có thể có nhiều ảnh nhưng các ảnh này lại được cắt ra từ số lượng nhỏ video nội soi, mỗi video nội soi chỉ chứa một loại polyp được quay ở các góc nhìn khác nhau.
Do đó, nghiên cứu các kỹ thuật cải tiến các mô hình học sâu phân vùng polyp cho độ chính xác tốt với ít dữ liệu được gán nhãn đang thu hút được sự chú ý của nhiều nhà nghiên cứu. Các hướng nghiên cứu chính bao gồm: sử dụng học chuyển giao, học bán giám sát và tăng cường dữ liệu huấn luyện. Học chuyển giao sử dụng các mạng nơ ron tích chập huấn luyện trước (CNN pretrained) được huấn luyện trên các bộ ảnh tự nhiên có sẵn kích thước lớn ví dụ ImageNet để dùng các tri thức trích rút được từ các bộ dữ liệu này áp dụng cho tác vụ phân vùng polyp. Học bán giám sát sử dụng chỉ một lượng nhỏ dữ liệu có gán nhãn và một lượng lớn các dữ liệu chưa được gán nhãn để huấn luyện mô hình học sâu. Tăng cường dữ liệu (Data Augmentation) là một kỹ thuật được sử dụng để mở rộng kích thước của tập huấn luyện bằng cách tạo thêm dữ liệu đã được sửa đổi từ dữ liệu ban đầu.
Tăng cường dữ liệu là một hướng có triển vọng để khắc phục trở ngại thiếu dữ liệu huấn luyện cho các mô hình học sâu và nâng cao độ chính xác của mô hình. Thông thường các phép biến đổi ảnh đơn giản như xoay (rotating) và lật (flipting), phóng to thu nhỏ (scaling), thay đổi độ sáng, làm mờ (blurring), thay đổi độ tương phản các ảnh gốc được sử dụng để tăng cường dữ liệu cho các mô hình học sâu trong thị giác máy tính. Tuy nhiên, do các polyp trên ảnh nội soi có sự biên thiên về hình dạng, tỷ lệ và màu sắc rất lớn nên việc áp dụng các phép biến đổi ảnh đơn giản này chỉ có hiệu quả hạn chế đối với tăng độ chính xác của mô hình vì các phép biến đổi này không thay đổi được các đặc điểm của các polyp và sự cân bằng của nó với nền.
Một trong những phương pháp có hiệu quả để tăng cường dữ liệu cho các hệ thống học sâu là sử dụng các mạng sinh dữ liệu đối nghịch (GAN-Generative Adversarial Networks) [23] trong đó có mạng mạng sinh dữ liệu đối nghịch có điều kiện [47] (CGAN- Conditional GAN) là một dạng GAN trong đó có kiểm soát Generator sinh ảnh theo điều kiện đầu vào nhất định. Thúc đẩy bởi sự thành công của mạng CGAN trong việc sinh ảnh tổng hợp, Chương 4 của luận án đề xuất phương pháp sinh dữ liệu ảnh nội soi dựa trên mạng CGAN để tăng cường dữ liệu cho mô hình học sâu phân vùng các polyp trên ảnh nội soi đại tràng. Mô hình sinh ảnh nội soi giả lập có chứa polyp đề xuất sử dụng mạng Pix2Pix [29] là một mạng CGAN. Để tạo ra ảnh nội soi có chứa polyp trong đó polyp và nền ảnh nội soi hài hòa một cách tự nhiên, luận án đã đề xuất sử dụng kết hợp lọc cạnh của ảnh nội soi đại tràng bình thường và ảnh nhị phân thể hiện hình dạng polyp (polyp mask) để tạo đầu vào điều kiện cho mạng sinh
91
ảnh nội soi đại tràng giả lập chứa polyp. Phương pháp đề xuất được sử dụng để khắc phục khó khăn trong việc thu thập mẫu dữ liệu ảnh nội soi đại tràng có chứa polyp và được gán nhãn phân vùng polyp dùng cho huấn luyện mô hình học sâu phân vùng polyp. Phần thực nghiệm cho thấy ảnh nội soi đại tràng giả lập được tạo bởi phương pháp đề xuất khá giống ảnh nội soi chứa polyp thực. Khi sử dụng các ảnh giả lập này để tăng số lượng dữ liệu ảnh huấn luyện cho mô hình học sâu phân vùng polyp thì độ chính xác mô hình tăng lên đáng kể.
4.2. Phương pháp đề xuất