Luận án đã sử dụng các bộ dữ liệu chuẩn đã công bố được phép sử dụng công khai cho các mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng để huấn luyện và đánh giá phương pháp đã đề xuất Các bộ dữ liệu sử dụng bao
gồm: CVC-ClinicDB có 612 ảnh, CVC-ColonDB gồm 300 ảnh, ETIS-Larib gồm 196 ảnh Đây là các bộ dữ liệu ảnh nội soi có gán nhãn phân vùng polyp được thu thập từ các hệ thống nội soi khác nhau Ngoài ra luận án còn sử dụng các dữ liệu ảnh nội soi bình thường không chứa polyp được lấy từ bộ dữ liệu Kvasir v2-Aditional Set [53] Chi tiết về các bộ dữ liệu đã được trình bày trong phần 1 1 3 của Chương 1
Thông thường, để huấn luyện các mạng học sâu cần một số lượng lớn các mẫu huấn luyện, do đó các phép biến đổi ảnh để tăng số lượng mẫu huấn luyện cho cả mô hình sinh ảnh nội soi chứa polyp PolypGenPix2Pix và mô hình học sâu phân vùng polyp đã được sử dụng Các phép biến đổi ảnh chính bao gồm: các phép quay ảnh với góc quay ngẫu nhiên và các phép lật ảnh theo chiều dọc/chiều ngang, phóng to thu nhỏ với tỉ lệ khác nhau, đổi độ sáng của ảnh, làm mờ (blurring) ảnh, thay đổi độ tương phản của ảnh
4 3 2 Môi trường cài đặt huấn luyện mô hình và các độ đo đánh giá mô hình
Để huấn luyện mô hình sinh ảnh nội soi chứa polyp luận án đã sử dụng hàm tối ưu Adam với momentum = 0,5, tốc độ học λ= 0,0001, batch_size = 2 Trong bộ sinh, các lớp ở phần encode dropout =0,5 được áp dụng sau các lớp tích chập 2D Với mô hình học sâu phân vùng polyp luận án dùng trọng số huấn luyện trước bằng bộ dữ liệu ảnh tự nhiên ImageNet của bộ mã hóa làm tham số khởi tạo Sau đó huấn luyện để tinh chỉnh toàn bộ tham số của mô hình trên dữ liệu ảnh nội soi sử dụng hàm tối ưu Adam với tham số momentum=0 5 và tốc độ học λ=0 0002 Mô hình cuối cùng là mô hình có đạt hệ số dice lớn nhất trên tập validation Tất cả các mô hình và thuật toán đều được lập trình và huấn luyện sử dụng thư viện Keras Tensorflow backend trên máy tính với card đồ họa GeForce GTX 1080 Ti GPU Các mô hình được huấn luyện 5 lần với 200 epoch mỗi lần và kết quả được lấy trung bình của 5 lần chạy
Để đánh giá hiệu quả của việc tạo các ảnh nội soi chứa polyp như một công cụ tăng cường dữ liệu cho hệ thống học sâu phân vùng polyp trên ảnh nội soi luận án thực hiện so sánh độ chính xác của mô hình học sâu phân vùng polyp được huấn luyện bằng hai bộ dữ liệu huấn luyện khác nhau: một là bộ dữ liệu huấn luyện gồm các mẫu ban đầu thu thập do các chuyên gia y tế gán nhãn
hai là bộ dữ liệu huấn luyện mới bao gồm các các mẫu dữ liệu ban đầu và các ảnh nội soi có polyps tổng hợp do mạng sinh dữ liệu tạo ra Luận án đã sử dụng các độ đo đánh giá độ chính xác của mô hình phân vùng polyp là: Điểm số Dice, IoU, Recall (ký hiệu Re), Precision (ký hiệu Prec) Chi tiết về các độ đo này đã được trình bày trong phần 1 3 5 của Chương 1
4 3 3 Kết quả sinh ảnh nội soi chứa polyp của mô hình PolypGenPix2Pix
Luận án đã thử nghiệm cài đặt mô hình sinh ảnh nội soi đại tràng có chứa polyp và huấn luyện mô hình này bằng bộ dữ liệu CVC-ClinicDB gồm 612 ảnh nội soi đại tràng được gán nhãn polyp mask Các ảnh nội soi và ảnh lọc cạnh kết hợp với polyp mask tương ứng của bộ CVC-ClinicDB được sử dụng làm ảnh nguồn và ảnh đích của mô hình sinh ảnh Sau khi được huấn luyện mô hình sinh ảnh được sử dụng để sinh ảnh nội soi giả lập chứa polyp tăng cường dữ liệu huấn luyện cho mô hình học sau phân vùng polyp Các ảnh nội soi đại tràng bình thường không chứa polyp dùng để tạo đầu vào cho mạng
PolypGenPix2Pix được lấy từ bộ Kvasir v2-Aditional Set Các ảnh polyp mask
để sinh điều kiện đầu vào cho mô hình sinh ảnh được lấy từ tập nhãn polyp mask của bộ dữ liệu ‘CVC-ClinicDB’
Hình 4 7 Một số ảnh nội soi chứa polyp sinh ra bởi mô hình sinh ảnh nội soi đại tràng có chứa polyp: (a) là ảnh nội không chứa polyp, (b) đầu vào cho mô
Hình 4 7 là một số ví dụ ảnh nội soi chứa polyp được sinh ra từ mô hình sinh ảnh, trong đó (a) là ảnh nội soi bình thường không chứa polyp được sử dụng để tạo ra điều kiện đầu vào (b) cho mô hình sinh ảnh, (c) là ảnh giả lập được sinh ra bởi mô hình sinh ảnh Từ Hình 4 7 có thể thấy ảnh nội soi giả lập chứa polyp được tạo đã duy trì được cấu trúc và kết cấu tổng thể của nền từ ảnh nội soi bình thường ban đầu và ảnh nội soi chứa polyp rất giống ảnh thực
Tuy nhiên, như chúng ta thấy trên Hình 4 7, không có sự khác biệt nhiều về màu sắc và kết cấu của các polyp được tạo ra trên các ảnh nội soi giả lập Điều này có thể là do trong tập dữ liệu huấn luyện các loại polyp là có giới hạn Luận án đã sử dụng bộ CVC-ClinicDB gồm 612 ảnh nội soi có chứa polyp để huấn luyện mô hình sinh ảnh, các ảnh này được thu được từ 31 chuỗi video nội soi đại trực tràng được lấy từ 23 bệnh nhân khác nhau do đó các loại polyp khác nhau khá ít và các nhãn là các polyp mask do các chuyên gia gán nhãn có hình dạng khá đơn giản Do đó, trong giai đoạn huấn luyện, bộ sinh chỉ được thực thi để đánh lừa bộ phân biệt và không tạo ra nhiều loại polyp khác nhau Vấn đề này có thể được giải quyết bằng cách phân loại các loại polyp khác nhau và thêm điều kiện loại polyp cho các đầu vào của mạng sinh ảnh Để thực hiện việc này, chúng ta cần hợp tác với các bác sỹ để phân loại polyp và cần phải có bộ dữ liệu bao gồm các ảnh nội soi chứa nhiều loại polyp khác nhau
4 3 4 Đánh giá hiệu quả của kỹ thuật sinh điều kiện đầu vào cho mạng sinh ảnh nội soi
Luận án đã sử dụng kỹ thuật sinh điều kiện đầu vào cho mạng sinh ảnh nội soi đại tràng chứa polyp là kết hợp lọc cạnh của ảnh nội soi bình thường và polyp mask Để đánh giá hiệu quả của kỹ thuật này, luận án tiến hành hai thí nghiệm như sau: Huấn luyện mô hình sinh ảnh và sinh ảnh giả lập với điều kiện đầu vào được khác nhau: một là điều kiện đầu vào được tạo ra theo kỹ thuật sinh điều kiện đầu vào đã đề xuất sử dụng, hai là sử dụng các polyp mask làm điều kiện đầu vào, các polyp mask này cũng chính là các polyp mask được sử dụng để tạo điều kiện đầu vào theo kỹ thuật trên Tất cả các tham số huấn luyện và dự đoán kết quả được sử dụng như nhau Sau đó so sánh các kết quả đạt được
Hình 4 8 là một số ví dụ các so sánh sự khác nhau của ảnh nội soi đại tràng được sinh ra do điều kiện đầu vào của mô hình sinh khác nhau Trong Hình 4 8,
dòng trên là ảnh điều kiện đầu vào cho mô hình sinh ảnh, dòng dưới tương ứng là các ảnh được sinh ra bởi mô hình sinh ảnh, cột (1) điều kiện đầu vào được sinh theo phương pháp đề xuất, cột (2) điều kiện đầu vào là ảnh polyp mask Từ hình này có thể thấy với đầu vào là polyp mask, mặc dù mô hình sinh ảnh đã tạo ra các ảnh với polyp khá giống thực nhưng các nền của ảnh không giống như các ảnh nội soi thực sự so với các ảnh được tạo ra với điều kiện đầu vào được sinh bởi phương pháp đề xuất Điều này chứng tỏ việc kết hợp các thông tin cạnh của các ảnh nội soi thực và polyp mask để sinh điều kiện đầu vào cho mô hình sinh ảnh theo kỹ thuật đề xuất, đã hướng dẫn mô hình tạo ra cấu trúc tổng thể cho ảnh nội soi giả lập một cách hiệu quả
Hình 4 8 Sự khác nhau của ảnh nội soi đại tràng chứa polyp sinh ra do điều kiện đầu vào mô hình sinh ảnh khác nhau
4 3 5 So sánh độ chính xác của mô hình học sâu phân vùng polyp được tăng cường dữ liệu bởi mô hình sinh ảnh
Để đánh giá hiệu quả của việc tạo các ảnh nội soi giả lập có chứa polyp như một công cụ tăng cường dữ liệu cho hệ thống học sâu phân vùng polyp, luận án đã thực hiện cài đặt mô hình học sâu phân vùng polyp, huấn luyện mô hình với bộ dữ liệu nội soi chuẩn được gán nhãn phân vùng polyp bởi các chuyên gia chẩn đoán hình ảnh nội soi và bộ dữ liệu bao gồm các các mẫu dữ liệu của bộ dữ liệu ảnh nội soi chuẩn và các ảnh nội soi giả lập có polyps được tạo ra bởi phương pháp sinh dữ liệu ảnh nội soi đã đề xuất Sau đó so sánh các kết quả đạt được Mô hình học sâu phân vùng polyp trên ảnh nội soi sử dụng phương pháp
học chuyển giao (Transfer learning) và sử dụng kiến trúc mạng UNet [59] điều chỉnh với bộ mã hóa là mạng ResNet101 [25] được huấn luyện trước bằng bộ dữ liệu ảnh tự nhiên ImageNet Hình 4 9 biểu diễn mô hình học sâu phân vùng polyp dựa trên ảnh nội soi đại tràng được sử dụng trong nghiên cứu
Hình 4 9 Mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng Mô hình phân vùng polyp được huấn luyện sử dụng hai bộ dữ liệu huấn luyện khác nhau: một là sử dụng bộ CVC-ClinicDB, hai là sử dụng bộ dữ liệu huấn luyện mới bao gồm các mẫu trong bộ CVC-ClinicDB và các ảnh nội soi giả lập có polyp do mô hình sinh ảnh nội soi đại tràng chứa polyp tạo ra Bộ dữ liệu huấn luyện được chia theo tỉ lệ 8:2 cho tập huấn luyện (train set) và tập validation Sau khi huấn luyện thu được 2 bộ tham số tối ưu khác nhau của mô hình Luận án đã đánh giá kết quả phân vùng polyp của mô hình với từng bộ tham số đó trên 2 bộ dữ liệu kiểm thử: ETIS-LaribPolypDB, bộ CVC-ColonDB và so sánh kết quả đạt được Các mô hình được huấn luyện 5 lần mỗi lần 200 epoch và kết quả đánh giá được lấy trung bình của 5 lần
Bảng 4 1 trình bày kết quả đánh giá độ chính xác trên bộ dữ liệu kiểm thử CVC-ColonDB Bảng 4 2 trình bày kết quả đánh giá độ chính xác trên bộ dữ liệu kiểm thử ETIS-Larib Các bảng kết quả này cho thấy điểm số Dice và IoU của mô hình phân vùng polyp được cải thiện khi dữ liệu huấn luyện được tăng cường thêm các ảnh nội soi giả lập Kết quả trên bộ CVC-ColonDB chỉ số tăng lên là 2,1% với hệ số Dice và 3,0% với IoU Trong khi đó, kết quả trên bộ ETIS-Larib đạt được tăng 1,19% điểm số Dice và 2,69% với IoU
Bảng 4 1 Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử CVC-ColonDB
Bảng 4 2 Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử ETIS-Larib
Bảng 4 3 So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng cường khác nhau trên bộ dữ liệu kiểm thử CVC-ColonDB
Dữ liệu huấn luyện Dice (%) IoU (%) Re (%) Prec (%)
CVC-ClinicDB 77,67 63,67 78,03 77,8
CVC-ClinicDB+
Ảnh giả lập 78,86 66,39 82,67 77,27
Dữ liệu huấn luyện Dice (%) IoU (%) Re (%) Prec (%)
CVC-ClinicDB 84,07 73,1 79,92 89,56
CVC-ClinicDB+ 100 ảnh giả lập 85,3 75,02 83,64 87,94 CVC-ClinicDB+ 200 ảnh giả lập 85,6 75,74 84,77 87,7 CVC-ClinicDB+ 300 ảnh giả lập 86,17 76,1 84,8 88,14
Dữ liệu huấn
luyện Dice (%) IoU (%) Re (%) Prec (%)
CVC-ClinicDB 84,07 73,1 79,92 89,56
CVC-ClinicDB+
Bảng 4 4 So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng cường khác nhau trên bộ dữ liệu kiểm thử ETIS-Larib
Trong thí nghiệm trên 300 ảnh tổng hợp được sinh bởi mô hình sinh ảnh nội soi đại tràng chứa polyp được sử dụng để tăng cường dữ liệu cho mô hình học sâu phân vùng polyp Để đánh giá ảnh hưởng của số lượng ảnh giả lập tăng cường tới độ chính xác của mô hình phân vùng polyp, mô hình phân vùng polyp được huấn luyện với các tập dữ liệu khác nhau như sau: Bộ dữ liệu 1 gồm 612 ảnh nội soi đại tràng có gán nhãn polyp mask của bộ CVC-ClinicDB, Bộ dữ liệu 2 gồm CVC-ClinicDB và 100 ảnh giả lập, Bộ dữ liệu 3 gồm CVC-
ClinicDB và 200 ảnh giả lập, Bộ dữ liệu 4 gồm CVC-ClinicDB và 300 ảnh giả lập Các mô hình sau khi huấn luyện được kiểm thử trên các bộ dữ liệu ETIS- LaribPolypDB và CVC-ColonDB
Bảng 4 3 trình bày các kết quả kiểm thử trên bộ dữ liệu ETIS- LaribPolypDB Bảng 4 4 trình bày các kết quả kiểm thử trên bộ CVC- ColonDB Từ kết quả này có thể rút ra kết luận nhìn chung khi số lượng ảnh giả lập đưa vào huấn luyện tăng thì các độ đo Dice và IoU của mô hình phân vùng tăng lên, tức là độ chính xác của hệ thống phân vùng tốt lên
4 4 Kết luận Chương 4
Chương 4 của luận án đã đề xuất một phương pháp học sâu tự động sinh ảnh nội soi giả lập chứa polyp sử dụng mạng sinh dữ liệu có điều, nhằm tăng
Dữ liệu huấn luyện Dice (%) IoU (%) Re (%) Prec (%)
CVC-ClinicDB 77,67 63,67 78,03 77,8
CVC-ClinicDB+ 100 Ảnh giả lập 78,35 65,69 78,86 82,17 CVC-ClinicDB+ 200 Ảnh giả lập 78,8 66,64 80,33 79,83 CVC-ClinicDB+ 300 Ảnh giả lập 78,86 66,39 82,67 77,27
cường dữ liệu cho hệ thống học sâu phân vùng polyp trên ảnh nội soi đại tràng Phương pháp đề xuất có thể tạo ra nhiều hình ảnh nội soi chứa polyp khác nhau từ các ảnh nội soi đại tràng bình thường không chứa polyp Phương pháp này được sử dụng để khắc phục khó khăn trong việc thu thập mẫu dữ liệu được gán nhãn phân vùng polyp đa dạng dùng cho huấn luyện mô hình học sâu phân vùng polyp và khắc phục các khó khăn do ảnh nội soi chứa polyp, polyp bị mờ, bị che khuất một phần bởi các dụng cụ phẫu thuật
Các đóng góp chính của Chương 4 của luận án bao gồm:
1 Đề xuất sử dụng mô hình Pix2Pix để sinh ảnh nội soi đại tràng giả lập có chứa polyp từ các ảnh nội soi bình thường, nhằm tăng cường dữ liệu huấn luyện cho các mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng
2 Đề xuất sử dụng kỹ thuật sinh các điều kiện đầu vào cho mạng sinh ảnh nội soi giả lập có chứa polyp là kết hợp ảnh nhị phân lọc cạnh của ảnh nội soi đại tràng bình thường và polyp mask Kỹ thuật sinh điều kiện đầu vào này có tác dụng làm cho ảnh nội soi giả lập chứa polyp được tạo ra từ mô hình sinh ảnh duy trì được cấu trúc và kết cấu tổng thể của ảnh nội soi chứa polyp thực tế
3 Cài đặt thử nghiệm phương pháp đề xuất để sinh ảnh nội soi chứa polyp và huấn luyện mạng sử dụng bộ dữ liệu CVC-ClinicDB Đánh giá định lượng chất lượng tăng cường dữ liệu của phương pháp đề xuất bằng độ chính xác của mạng phân vùng polyp được tăng cường dữ liệu Kết quả thực nghiệm cho thấy độ chính xác của mô hình học sâu phân vùng polyp tăng đáng kể khi được tăng cường dữ liệu bằng phương pháp sinh ảnh nội soi đã đề xuất
KẾT LUẬN 1 Các kết quả nghiên cứu của luận án
Trí tuệ nhân tạo (AI) đã và đang trở thành xu hướng tất yếu trong giải quyết các bài toán thực tiễn và ngày càng được nhiều ngành, nhiều nhà khoa học quan tâm, đầu tư nghiên cứu, trong đó có các nghiên cứu áp dụng AI trong lĩnh vực y tế Một trong những lĩnh vực ứng dụng trí tuệ nhân tạo trong y tế là phát triển các công nghệ thị giác máy tính trong tự động phân tích ảnh y tế, hỗ