Luận án đã thử nghiệm cài đặt mô hình sinh ảnh nội soi đại tràng có chứa polyp và huấn luyện mô hình này bằng bộ dữ liệu CVC-ClinicDB gồm 612 ảnh nội soi đại tràng được gán nhãn polyp mask. Các ảnh nội soi và ảnh lọc cạnh kết hợp với polyp mask tương ứng của bộ CVC-ClinicDB được sử dụng làm ảnh nguồn và ảnh đích của mô hình sinh ảnh. Sau khi được huấn luyện mô hình sinh ảnh được sử dụng để sinh ảnh nội soi giả lập chứa polyp tăng cường dữ liệu huấn luyện cho mô hình học sau phân vùng polyp. Các ảnh nội soi đại tràng bình thường không chứa polyp dùng để tạo đầu vào cho mạng
PolypGenPix2Pix được lấy từ bộ Kvasir v2-Aditional Set. Các ảnh polyp mask để sinh điều kiện đầu vào cho mô hình sinh ảnh được lấy từ tập nhãn polyp mask của bộ dữ liệu ‘CVC-ClinicDB’.
Hình 4.7. Một số ảnh nội soi chứa polyp sinh ra bởi mô hình sinh ảnh nội soi đại tràng có chứa polyp: (a) là ảnh nội không chứa polyp, (b) đầu vào cho mô
hình sinh ảnh, (c) là ảnh giả lập được sinh ra bởi mô hình sinh ảnh.
99
Hình 4.7 là một số ví dụ ảnh nội soi chứa polyp được sinh ra từ mô hình
sinh ảnh, trong đó (a) là ảnh nội soi bình thường không chứa polyp được sử dụng
để tạo ra điều kiện đầu vào (b) cho mô hình sinh ảnh, (c) là ảnh giả lập được sinh ra bởi mô hình sinh ảnh. Từ Hình 4.7 có thể thấy ảnh nội soi giả lập chứa polyp được tạo đã duy trì được cấu trúc và kết cấu tổng thể của nền từ ảnh nội soi bình thường ban đầu và ảnh nội soi chứa polyp rất giống ảnh thực.
Tuy nhiên, như chúng ta thấy trên Hình 4.7, không có sự khác biệt nhiều về màu sắc và kết cấu của các polyp được tạo ra trên các ảnh nội soi giả lập. Điều này có thể là do trong tập dữ liệu huấn luyện các loại polyp là có giới hạn. Luận án đã sử dụng bộ CVC-ClinicDB gồm 612 ảnh nội soi có chứa polyp để huấn luyện mô hình sinh ảnh, các ảnh này được thu được từ 31 chuỗi video nội soi đại trực tràng được lấy từ 23 bệnh nhân khác nhau do đó các loại polyp khác nhau khá ít và các nhãn là các polyp mask do các chuyên gia gán nhãn có hình dạng khá đơn giản. Do đó, trong giai đoạn huấn luyện, bộ sinh chỉ được thực thi để đánh lừa bộ phân biệt và không tạo ra nhiều loại polyp khác nhau. Vấn đề này có thể được giải quyết bằng cách phân loại các loại polyp khác nhau và thêm điều kiện loại polyp cho các đầu vào của mạng sinh ảnh. Để thực hiện việc này, chúng ta cần hợp tác với các bác sỹ để phân loại polyp và cần phải có bộ dữ liệu bao gồm các ảnh nội soi chứa nhiều loại polyp khác nhau.