Chương 4 của luận án đã đề xuất một phương pháp học sâu tự động sinh ảnh nội soi giả lập chứa polyp sử dụng mạng sinh dữ liệu có điều, nhằm tăng
104
cường dữ liệu cho hệ thống học sâu phân vùng polyp trên ảnh nội soi đại tràng. Phương pháp đề xuất có thể tạo ra nhiều hình ảnh nội soi chứa polyp khác nhau từ các ảnh nội soi đại tràng bình thường không chứa polyp. Phương pháp này được sử dụng để khắc phục khó khăn trong việc thu thập mẫu dữ liệu được gán nhãn phân vùng polyp đa dạng dùng cho huấn luyện mô hình học sâu phân vùng polyp và khắc phục các khó khăn do ảnh nội soi chứa polyp, polyp bị mờ, bị che khuất một phần bởi các dụng cụ phẫu thuật.
Các đóng góp chính của Chương 4 của luận án bao gồm:
1. Đề xuất sử dụng mô hình Pix2Pix để sinh ảnh nội soi đại tràng giả lập có chứa polyp từ các ảnh nội soi bình thường, nhằm tăng cường dữ liệu huấn luyện cho các mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng.
2. Đề xuất sử dụng kỹ thuật sinh các điều kiện đầu vào cho mạng sinh
ảnh nội soi giả lập có chứa polyp là kết hợp ảnh nhị phân lọc cạnh của ảnh nội soi đại tràng bình thường và polyp mask. Kỹ thuật sinh điều kiện đầu vào này có tác dụng làm cho ảnh nội soi giả lập chứa polyp được tạo ra từ mô hình sinh ảnh duy trì được cấu trúc và kết cấu tổng thể của ảnh nội soi chứa polyp thực tế.
3. Cài đặt thử nghiệm phương pháp đề xuất để sinh ảnh nội soi chứa polyp và huấn luyện mạng sử dụng bộ dữ liệu CVC-ClinicDB. Đánh giá định lượng chất lượng tăng cường dữ liệu của phương pháp đề xuất bằng độ chính xác của mạng phân vùng polyp được tăng cường dữ liệu. Kết quả thực nghiệm cho thấy độ chính xác của mô hình học sâu phân vùng polyp tăng đáng kể khi được tăng cường dữ liệu bằng phương pháp sinh ảnh nội soi đã đề xuất.
105
KẾT LUẬN 1. Các kết quả nghiên cứu của luận án
Trí tuệ nhân tạo (AI) đã và đang trở thành xu hướng tất yếu trong giải quyết các bài toán thực tiễn và ngày càng được nhiều ngành, nhiều nhà khoa học quan tâm, đầu tư nghiên cứu, trong đó có các nghiên cứu áp dụng AI trong lĩnh vực y tế. Một trong những lĩnh vực ứng dụng trí tuệ nhân tạo trong y tế là phát triển các công nghệ thị giác máy tính trong tự động phân tích ảnh y tế, hỗ trợ các bác sỹ trong chẩn đoán hình ảnh. Trong những năm gần đây, nghiên cứu phát triển các mô hình học sâu, kỹ thuật thị giác máy tính tiên tiến để phân tích ảnh nội soi đại tràng tự động phát, phân vùng các polyp trên ảnh nội soi đại tràng hỗ trợ các bác sỹ trong chẩn đoán nội soi đại tràng, sàng lọc phát sớm ung thư đại tràng là một trong những chủ đề nghiên cứu thu hút rât nhiều nhóm nhiên cứu trên thế giới. Luận án này tập trung vào giải quyết bài toán phân vùng polyp trên ảnh nội soi đại tràng sử dụng các mô hình học sâu và kỹ thuật thị giác máy tính tiên tiến. Các kết quả chính của luận án bao gồm:
(i) Nghiên cứu, phân tích, đánh giá các mô hình học sâu phân vùng đối tượng trên ảnh; Nghiên cứu các đặc trưng của các bộ dữ liệu ảnh nội soi; Khảo sát, phân tích, đánh giá các bộ dữ liệu ảnh nội soi đại tràng chuẩn đã được công bố cho hiện nay và các dữ liệu ảnh nội soi thu thập được từ hệ thống PACS của Bệnh viện Quân y 103. Từ đó đề xuất các phương pháp phân vùng polyp trên ảnh nội soi đại tràng có độ chính xác và tính tổng quát hóa tốt, có thể làm nền tảng cho các ứng dụng triển khai trên thực tế với các dữ liệu rất đa dạng
(ii) Nghiên cứu kỹ thuật học chuyển giao để chuyển giao các tri thức học được của các mạng đã huấn luyện sẵn trên các bộ dữ liệu lớn vào giải quyết bài toán trên lĩnh vực ảnh nội soi đại tràng với dữ liệu huấn luyện có gán nhãn ít hơn rất nhiều
(iii) Nghiên cứu các mô hình học tự giám sát nhằm khai thác kho dữ liệu không được gán nhãn thu thập được từ các hệ thống PACS của các bệnh viện để nâng cao độ chính xác của hệ thống học sâu phân vùng polyp trên ảnh nội soi tràng. Từ đó đề xuất một phương pháp học tự giám sát các đặc trưng thị giác với tác vụ giả định là tác vụ tái tạo ảnh nội soi, tác vụ mục tiêu là tác vụ phân vùng ảnh nội soi.
(iv) Nghiên cứu các phương pháp tăng cường dữ liệu cho hệ thống học sâu, từ đó đề xuất phương pháp sinh dữ liệu ảnh nội soi có chứa polyp tổng hợp để tăng cường dữ liệu cho mô hình học sâu phân vùng polyp.
2. Những đóng góp mới của luận án
Luận án có các đóng góp mới như sau:
1. Đề xuất mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng CRF-EfficientUNet. Mô hình này được mở rộng từ mạng UNet với bộ mã hóa EfficientNet tích hợp lớp CRF-RNN ở trên cùng và sử dụng hàm mất mát bất đối xứng kết hợp AsymCE do luận án đề xuất.
2. Đề xuất một phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng cho phân vùng polyp dựa trên tác vụ tái tạo ảnh nội soi.
3. Đề xuất một phương pháp sinh ảnh nội soi đại tràng giả lập có nhãn phân vùng polyp sử dụng mạng sinh dữ liệu đối nghịch có điều kiện, nhằm tăng cường dữ liệu huấn luyện cho các mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng.
3. Hướng nghiên cứu tiếp theo
Hướng nghiên cứu tiếp theo của luận án nhằm để phát triển công trình để có thể đưa vào ứng dụng trong thực tiễn như sau:
1. Tiếp tục nghiên cứu các mô hình học sâu cho phân vùng polyp để có thể xây dựng được mô hình có hiệu năng đủ tốt và có chi phí tính toán vừa phải phù hợp với hệ thống phần cứng thực tế khi triển khai ứng dụng.
2. Nghiên cứu cải tiến phương pháp xác định siêu tham số tối ưu của hàm mất mát không đối xứng kết hợp để giảm thiểu công sức cho huấn luyện mô hình tìm kiếm siêu tham số tối ưu.
3. Nghiên cứu, thử nghiệm các bộ mã hóa khác cho mạng UNet trong mô hình học tự giám sát, từ đó đưa ra bộ mã hóa phù hợp cho độ chính xác phân vùng polyp cao hơn.
107
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ
[CT1]. Le Thi Thu Hong, Nguyen Chi Thanh, and Tran Quoc Long, “Polyp segmentation in colonoscopy images using ensembles of u-nets with efficientnet and asymmetric similarity loss function,” in 2020 RIVF International Conference on Computing and Communication Technologies (RIVF), IEEE, pp.1–6, 2020.
[CT2]. Lê Thị Thu Hồng, Nguyễn Chí Thành, Phạm Thu Hương, Nguyễn Sinh Huy, Nguyễn Văn Đức, Nguyễn Thành Trung, “Tăng cường dữ liệu huấn luyện cho hệ thống học sâu phân vùng polyp trên ảnh nội soi đại tràng”, Tạp chí Nghiên cứu Khoa học và Công nghệ quân sự, số Đặc san Hội thảo Quốc gia FEE, tr. 447-454, 10-2020.
[CT3]. Le Thi Thu Hong, Nguyen Chi Thanh, and Tran Quoc Long, "CRF- EfficientUNet: an improved UNet framework for polyp segmentation in colonoscopy images with combined asymmetric loss function and CRF-RNN layer,” IEEE Access, vol. 9, pp. 156987 - 157001, 2021 (SCIE Q1, IF: 3,367).
[CT4]. Lê Thị Thu Hồng, Nguyễn Chí Thành, Nguyễn Đức Hạnh, Trịnh Tiến Lương, Phạm Duy Thái, Ngô Văn Quân “Colonoscopy Image Classification Using Self-Supervised Visual Feature Learning”. Section on Computer Science and Control Engineering, Journal of Military science and technology, Sepecial Issue No.5, pp. 3-13, 12-2021.
[CT5]. Le Thi Thu Hong, Nguyen Chi Thanh and Tran Quoc Long, "Self-supervised Visual Feature Learning for Polyp Segmentation in Colonoscopy Images Using Image Reconstruction as Pretext Task" 2021 8th NAFOSTED Conference on Information and Computer Science (NICS), 2021, pp. 254-259, doi: 10.1109/NICS54270.2021.9701580.
TÀI LIỆU THAM KHẢO Tiếng Anh
1.Afify, H. M., Mohammed, K. K., & Hassanien, A. E. (2021). An improved framework for polyp image segmentation based on SegNet
architecture. International Journal of Imaging Systems and Technology.
2.Ali, S., Ghatwary, N., Braden, B., Lamarque, D., Bailey, A., Realdon,
S., Cannizzaro, R., Rittscher, J., Daul, C., & East, J. (2020). Endoscopy
disease detection challenge 2020. ArXiv Preprint ArXiv:2003.03376.
3.Ali, S., Zhou, F., Daul, C., Braden, B., Bailey, A., Realdon, S., East, J., Wagnieres, G., Loschenov, V., Grisan, E., & others. (2019). Endoscopy artifact detection (EAD 2019) challenge dataset. ArXiv Preprint ArXiv:1905.03209.
4.Anh-Cang, P., Thuong-Cang, P., & others. (2019). Detection and Classification of Brain Hemorrhage Based on Hounsfield Values and Convolution Neural Network Technique. 2019 IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), 1–7.
5.Ba, H. N., Thanh, D. N., Van, C. T., & Viet, S. D. (2021). Polyp segmentation in colonoscopy images using ensembles of u-nets with efficientnet and asymmetric similarity loss function. 2021 IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), 1–6.
6.Badrinarayanan, V., Kendall, A., & Cipolla, R. (2017). Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12), 2481–2495.
7.Berman, M., Triki, A. R., & Blaschko, M. B. (2018). The lovász- softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 4413– 4421.
8.Bernal, J., Sánchez, J., & Vilarino, F. (2012). Towards automatic polyp detection with a polyp appearance model. Pattern Recognition,
45(9), 3166–3182.
9.Bernal, J., Tajkbaksh, N., Sanchez, F. J., Matuszewski, B. J., Chen, H., Yu, L., Angermann, Q., Romain, O., Rustad, B., Balasingham, I., & others. (2017). Comparative validation of polyp detection methods in video colonoscopy: results from the MICCAI 2015 endoscopic vision challenge. IEEE Transactions on Medical Imaging, 36(6), 1231–1249.
109
10. Borgli, H., Thambawita, V., Smedsrud, P. H., Hicks, S., Jha, D., Eskeland, S. L., Randel, K. R., Pogorelov, K., Lux, M., Nguyen, D. T. D., & others. (2020). HyperKvasir, a comprehensive multi-class image and video dataset for gastrointestinal endoscopy. Scientific Data, 7(1), 1–14.
11. Brandao, P., Mazomenos, E., Ciuti, G., Caliò, R., Bianchi, F., Menciassi, A., Dario, P., Koulaouzidis, A., Arezzo, A., & Stoyanov, D. (2017). Fully convolutional neural networks for polyp segmentation in colonoscopy. Medical Imaging 2017: Computer-Aided Diagnosis,
10134, 101340F.
12. Brent H.Taylor, M. (n.d.). Endoscopy/Colonoscopy. https://brenttaylormd.com/endoscopy-colonoscopy/
13. Browet, A., Absil, P.-A., & van Dooren, P. (2011). Community detection for hierarchical image segmentation. International Workshop on Combinatorial Image Analysis, 358–371.
14. Chen, L., Bentley, P., Mori, K., Misawa, K., Fujiwara, M., &
Rueckert, D. (2019). Self-supervised learning for medical image analysis
using image context restoration. Medical Image Analysis, 58, 101539.
15. Chen, L.-C., Papandreou, G., Kokkinos, I., Murphy, K., & Yuille,
A. L. (2017). Deeplab: Semantic image segmentation with deep
convolutional nets, atrous convolution, and fully connected crfs. IEEE
Transactions on Pattern Analysis and Machine Intelligence, 40(4), 834–
848.
16. CVC-Colon team. (2017, November 15). Building up Intelligent
Systems for Colonoscopy. http://www.cvc.uab.es/CVC- Colon/index.php/our-mission/
17. Endoscopy-vision challenge. (2014). Sub-challenge Automatic dection polyp in colonoscopy Videos.
18. Fan, D.-P., Ji, G.-P., Zhou, T., Chen, G., Fu, H., Shen, J., & Shao, L. (2020). Pranet: Parallel reverse attention network for polyp segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention, 263–273.
19. Fang, Y., Chen, C., Yuan, Y., & Tong, K. (2019). Selective feature aggregation network with area-boundary constraints for polyp segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention, 302–310.
20. Ganz, M., Yang, X., & Slabaugh, G. (2012). Automatic segmentation of polyps in colonoscopic narrow-band imaging data.
110
21. Geetha, K., & Rajan, C. (2016). Automatic colorectal polyp detection in colonoscopy video frames. Asian Pacific Journal of Cancer Prevention: APJCP, 17(11), 4869.
22. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press.
23. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-
Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative
adversarial nets. Advances in Neural Information Processing Systems, 27.
24. Hashemi, S. R., Salehi, S. S. M., Erdogmus, D., Prabhu, S. P., Warfield, S. K., & Gholipour, A. (2018). Asymmetric loss functions and deep densely-connected networks for highly-imbalanced medical image segmentation: Application to multiple sclerosis lesion detection.
IEEE Access, 7, 1721–1735.
25. He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask r-cnn. Proceedings of the IEEE International Conference on Computer Vision,2961–2969.
26. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 770–778.
27. Hsu, C.-M., Hsu, C.-C., Hsu, Z.-M., Shih, F.-Y., Chang, M.-L.,
& Chen, T.-H. (2021). Colorectal Polyp Image Detection and Classification through Grayscale Images and Deep Learning. Sensors,
21(18), 5995.
28. Huynh, H. T., & Anh, V. N. N. (2019). A deep learning method for lung segmentation on large size chest X-ray image. 2019 IEEE- RIVF International Conference on Computing and Communication Technologies (RIVF), 1–5.
29. Isola, P., Zhu, J.-Y., Zhou, T., & Efros, A. A. (2017). Image-to- image translation with conditional adversarial networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1125– 1134.
30. Jha, D., Ali, S., Emanuelsen, K., Hicks, S. A., Thambawita, V., Garcia-Ceja, E., Riegler, M. A., de Lange, T., Schmidt, P. T., Johansen, H. D., & others. (2021). Kvasir-instrument: Diagnostic and therapeutic tool segmentation dataset in gastrointestinal endoscopy. International Conference on Multimedia Modeling, 218–229.
31. Jha, D., Riegler, M. A., Johansen, D., Halvorsen, P., & Johansen, H. D. (2020). Doubleu-net: A deep convolutional neural network for medical image segmentation. 2020 IEEE 33rd International Symposium on Computer-Based Medical Systems (CBMS), 558–564.
111
32. Jha, D., Smedsrud, P. H., Johansen, D., de Lange, T., Johansen, H. D., Halvorsen, P., & Riegler, M. A. (2021). A comprehensive study on colorectal polyp segmentation with ResUNet+ +, conditional random field and test-time augmentation. IEEE Journal of Biomedical and Health Informatics, 25(6), 2029–2040.
33. Jha, D., Smedsrud, P. H., Riegler, M. A., Halvorsen, P., de Lange, T., Johansen, D., & Johansen, H. D. (2020). Kvasir-seg: A
segmented polyp dataset. International Conference on Multimedia
Modeling, 451–462.
34. Jha, D., Smedsrud, P. H., Riegler, M. A., Johansen, D., de Lange, T., Halvorsen, P., & Johansen, H. D. (2019a). Resunet++: An advanced architecture for medical image segmentation. 2019 IEEE International Symposium on Multimedia (ISM), 225–2255.
35. Jha, D., Smedsrud, P. H., Riegler, M. A., Johansen, D., de Lange, T., Halvorsen, P., & Johansen, H. D. (2019b). Resunet++: An advanced architecture for medical image segmentation. 2019 IEEE International Symposium on Multimedia (ISM), 225–2255.
36. Jing, L., & Tian, Y. (2020). Self-supervised visual feature learning with deep neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence.
37. Kang, J., & Gwak, J. (2019). Ensemble of instance segmentation models for polyp segmentation in colonoscopy images.
IEEE Access, 7, 26440– 26447.
38. Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. ArXiv Preprint ArXiv:1412.6980.
39. Krähenbühl, P., & Koltun, V. (2011). Efficient inference in fully connected crfs with gaussian edge potentials. Advances in Neural Information Processing Systems, 24, 109–117.
40. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks.
Advances in Neural Information Processing Systems, 25, 1097–1105.
41. LeCun, Y., Haffner, P., Bottou, L., & Bengio, Y. (1999). Object recognition with gradient-based learning. In Shape, contour and grouping in computer vision (pp. 319–345). Springer.
42. Leufkens, A. M., van Oijen, M. G. H., Vleggaar, F. P., & Siersema, P. D. (2012). Factors influencing the miss rate of polyps in a back-to-back colonoscopy study. Endoscopy, 44(05), 470–475.
43. Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 3431– 3440.
112
44. Mahmud, T., Paul, B., & Fattah, S. A. (2021). PolypSegNet: A
modified encoder-decoder architecture for automated polyp segmentation from colonoscopy images. Computers in Biology and Medicine, 128, 104119.
45. Mesejo, P., Pizarro, D., Abergel, A., Rouquette, O., Beorchia, S., Poincloux, L., & Bartoli, A. (2016). Computer-aided classification of gastrointestinal lesions in regular colonoscopy. IEEE Transactions on Medical Imaging, 35(9), 2051–2063.
46. Milletari, F., Navab, N., & Ahmadi, S.-A. (2016). V-net: Fully convolutional neural networks for volumetric medical image segmentation. 2016 Fourth International Conference on 3D Vision