Bài viết đề xuất một phương pháp sinh ảnh nội soi đại tràng có chứa các polyp sử dụng mạng sinh dữ liệu có điều kiện (CGAN) nhằm tăng số lượng mẫu huấn luyện cho hệ thống học sâu. Đề xuất sử dụng ảnh nhị phân thể hiện hình dạng polyp kết hợp với ảnh lọc cạnh của ảnh nội soi đại tràng bình thường làm điều kiện cho việc sinh ảnh nội soi có chứa polyp.
Nghiên cứu khoa học công nghệ TĂNG CƯỜNG DỮ LIỆU HUẤN LUYỆN CHO HỆ THỐNG HỌC SÂU PHÂN VÙNG CÁC POLYP TRÊN ẢNH NỘI SOI ĐẠI TRÀNG SỬ DỤNG MẠNG SINH DỮ LIỆU CÓ ĐIỀU KIỆN Lê Thị Thu Hồng1*, Nguyễn Chí Thành1, Phạm Thu Hương1, Nguyễn Sinh Huy1, Nguyễn Văn Đức2, Nguyễn Thành Trung2 Tóm tắt: Một trở ngại hệ thống học sâu phân tích ảnh y tế nói chung tự động phân vùng polyp ảnh nội soi đại tràng hỗ trợ bác sỹ trong trình nội soi nói riêng thiếu hụt liệu ảnh dùng để huấn luyện gán nhãn chuyên gia y tế Trong báo này, đề xuất phương pháp sinh ảnh nội soi đại tràng có chứa polyp sử dụng mạng sinh liệu có điều kiện (CGAN) nhằm tăng số lượng mẫu huấn luyện cho hệ thống học sâu Chúng đề xuất sử dụng ảnh nhị phân thể hình dạng polyp kết hợp với ảnh lọc cạnh ảnh nội soi đại tràng bình thường làm điều kiện cho việc sinh ảnh nội soi có chứa polyp Theo cách này, chúng tơi tạo nhiều ảnh chứa polyp khác trì nội dung tổng thể ảnh nội soi Phần thực nghiệm cho thấy rằng, ảnh polyp tổng hợp tạo khơng giống ảnh thực mà cịn giúp nâng cao hiệu suất hệ thống học sâu phát phân vùng polyp ảnh nội soi Từ khóa: Mạng sinh liệu; Tăng cường liệu; Học chuyển giao; Phân vùng polyp GIỚI THIỆU Ung thư đại trực tràng (CRC) nguyên nhân phổ biến thứ ba gây tử vong liên quan đến ung thư giới cho nam nữ, với 551.269 ca tử vong (chiếm 5,8% tổng số ca tử vong ung thư) toàn giới vào năm 2018 [1] CRC thường phát sinh từ polyp tăng trưởng bất thường bên đại tràng, nội soi đại tràng thủ thuật phổ biến để phát polyp từ sàng lọc, phát sớm CRC Trong thủ thuật nội soi, ống dài linh hoạt (colonoscope) đầu có gắn máy quay phim nhỏ đèn soi đưa vào quét đại tràng thu hình ảnh niêm mạc đại tràng hình ảnh phóng đại hình màu có độ nét cao, cho phép bác sĩ xem xét bên toàn đại tràng Chất lượng thủ thuật nội soi đại tràng phụ thuộc vào tay nghề, kinh nghiệm tập trung bác sĩ nội soi, nghiên cứu gần 22% đến 28% polyp bệnh nhân trình nội soi [2] Các ứng dụng tự động phân vùng polyp ảnh nội soi hỗ trợ bác sĩ nội soi cải thiện độ xác giảm thiểu việc bỏ sót polyp q trình nội soi Hiện có nghiên cứu sử dụng mơ hình học sâu cho tác vụ phân vùng polyp ảnh nội soi Tuy nhiên, trở ngại việc sử dụng học sâu cho tác vụ không đủ liệu nội soi gán nhãn ảnh nhị phân thể hình dạng polyp (polyp mask) xác dùng để huấn luyện mơ hình học sâu, cần có phương pháp tăng số lượng mẫu liệu học có gán nhãn cho huấn luyện mơ hình học sâu từ nâng cao hiệu mơ hình Thơng thường, kỹ thuật tăng cường liệu (data augmentation) đơn giản xoay (rotating) lật (flipting), phóng to thu nhỏ (scaling), thay đổi độ sáng, làm mờ (blurring), thay đổi độ tương phản ảnh gốc thường sử dụng để tăng số lượng mẫu học cho mơ hình học sâu Tuy nhiên, polyp ảnh nội soi có biên thiên hình dạng, tỷ lệ màu sắc lớn nên việc áp dụng kỹ thuật tăng cường ảnh đơn giản có hiệu hạn chế hiệu hệ thống khơng thay đổi đặc điểm polyp cân với Mạng sinh liệu đối nghịch (GAN- Generative Adversarial Networks) [3] mơ hình mạng nơ ron có khả tạo ảnh tổng hợp cách sử dụng cạnh tranh hai mạng nơ-ron: Bộ sinh (Generator) dùng để sinh ảnh Bộ phân biệt (Discriminator) để Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san Hội thảo Quốc gia FEE, 10 - 2020 447 Tốn học – Cơng nghệ thơng tin phân biệt ảnh thật ảnh liệu thực ảnh giả ảnh Generator tạo GAN phương pháp có hiệu để tăng cường liệu cho hệ thống học sâu Mạng sinh liệu có điều kiện [4] (CGAN- Conditional GAN) dạng GAN có kiểm sốt Generator sinh ảnh theo điều kiện đầu vào định Trong nghiên cứu này, chúng tơi sử dụng mơ hình Pix2Pix [5] mạng CGAN để sinh ảnh nội soi đại tràng có chứa polyp nhằm tăng số lượng mẫu huấn luyện từ tăng hiệu hệ thống phân vùng polyp ảnh nội soi Ngoài ra, để tạo ảnh nội soi có chứa polyp với polyp hài hịa tự nhiên, chúng tơi đề xuất kết hợp lọc cạnh ảnh nội soi đại tràng bình thường ảnh nhị phân thể hình dạng polyp (polyp mask) tạo nên đầu vào cho mơ hình Pix2Pix Hình biểu diễn mơ hình sinh ảnh nội soi đại tràng chứa polyp mà đề xuất, đó, G sinh (Generator), D phân biệt (Discriminator) Đầu vào G ảnh điều kiện x tạo kết hợp lọc cạnh ảnh nội soi polyp mask, đầu G ảnh nội soi tổng hợp G(x) Đầu vào D gồm ảnh: ảnh điều kiện x (đầu vào generator) ảnh nội soi chứa polyp G(x) (đầu generator) ảnh nội soi thực liệu y có nhãn polyp mask sử dụng để tạo ảnh điều kiện đầu vào x Đầu D giá trị nhị phân thể ảnh thật (real) ảnh liệu thực ảnh giả (fake) ảnh G tạo Hình Mơ hình Pix2Pix sinh ảnh nội soi chứa polyp Với mơ hình sinh ảnh nội soi chứa polyp từ hình ảnh nội soi bình thường, chúng tơi tạo nhiều hình ảnh nội soi chứa polyp khác nhau, điều nhằm khắc phục khó khăn việc thu thập mẫu liệu trường hợp nội soi có polyp gặp trường hợp nội soi bình thường thực tế Ngồi ra, chúng tơi đánh giá định lượng chất lượng tăng cường liệu mơ hình sinh ảnh nội soi chứa polyp thông qua đánh giá hiệu mơ hình học sâu phân vùng polyp ảnh nội soi huấn luyện với liệu ảnh nội soi tổng hợp sinh Phần lại báo tổ chức sau: Phần mô tả phương pháp mà sử dụng nghiên cứu bao gồm: mơ hình sinh liệu ảnh nội soi có chứa polyp đề xuất, phương pháp tạo ảnh điều kiện đầu vào, giới thiệu tóm tắt mơ hình tự động phân vùng polyp ảnh nội soi cách đánh giá khả cải thiện hiệu năọc cạnh ảnh nội soi bình thường polyp mask Để đánh giá hiệu phương pháp này, chúng tơi thực thí nghiệm sử dụng polyp mask làm ảnh đầu vào cho huấn luyện sinh ảnh tổng hợp, tất mô Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san Hội thảo Quốc gia FEE, 10 - 2020 451 Toán học – Cơng nghệ thơng tin hình tham số huấn luyện sử dụng nhau, hình trình bày kết ảnh sinh Chúng ta thấy hình 7, mạng tạo polyp giống thực khơng giống ảnh nội soi thực Qua cho thấy, phương pháp tạo ảnh nhị phân đầu vào cho mạng Pix2Pix kết hợp lọc cạnh ảnh nội soi polyp mask mà đề xuất có hiệu tốt việc hướng dẫn Generator mạng GAN sinh cấu trúc tổng thể ảnh nội soi đại tràng Hình Kết sinh ảnh nội soi chứa polyp mạng Pix2Pix Hình Ảnh nội soi tổng hợp sinh từ polyp mask 3.4 So sánh hiệu phân vùng polyp ảnh nội soi Chúng thực huấn luyện mơ hình phân vùng polyp sử dụng hai liệu huấn luyện khác nhau: sử dụng CVC-ClinicDB, hai sử dụng liệu huấn luyện bao gồm mẫu CVC-ClinicDB ảnh nội soi có polyps tổng hợp mạng GAN Pix2Pix tạo Sau huấn luyện thu tham số tối ưu khác mơ hình Chúng tơi đánh giá kết phân vùng polyp mơ hình với tham số hai liệu kiểm thử so sánh kết đạt được, bảng bảng trình bày kết thử nghiệm đạt Từ bảng này, thấy hiệu hệ thống phân vùng polyp cải thiện số liệu thử nghiệm, thể việc tất độ đo đánh giá phân vùng tăng tốt lên Tuy nhiên, kết tăng ETIS-Larib tốt hơn, đạt tăng 2,48% hệ số Dice 3,55% với IoU đó, với CVC-ColonDB số tăng lên 1,24% với hệ số Dice 1,77% với IoU Bảng So sánh kết liệu CVC-ColonDB Dữ liệu huấn luyện CVC-ClinicDB Dice IoU Sen Prec F1 0.8407 0.731 0.7992 0.8956 0.8437 CVC-ClinicDB+ Ảnh tổng hợp 0.8617 0.761 0.848 0.8814 Spec 0.995 0.864 0.9938 Bảng So sánh kết liệu ETIS-Larib Dữ liệu huấn luyện CVC-ClinicDB Dice IoU Sen 0.7767 0.6367 0.7803 Prec F1 0.778 0.7768 Spec 0.989 CVC-ClinicDB+ Ảnh tổng hợp 0.7886 0.6639 0.8267 0.7727 0.7966 0.9888 Trong thí nghiệm chúng tơi sử dụng tồn 300 ảnh tổng hợp sinh mạng sinh có điều kiện, nhiên, số lượng chưa phải tối ưu cho mơ hình phân vùng polyp chúng tơi tiến hành đánh giá hiệu mơ hình phân vùng thay đổi số lượng ảnh tổng hợp đưa vào huấn luyện Chúng tơi huấn luyện mơ hình phân vùng polyp với tập liệu khác sau: Dataset1 gồm 612 ảnh CVC-ClinicDB ký hiệu C, Dataset1 gồm C 100 ảnh tổng hợp, Dataset2 gồm C 200 ảnh tổng hợp, 452 L T T Hồng, …, N T Trung, “Tăng cường liệu huấn luyện … có điều kiện.” Nghiên cứu khoa học công nghệ Dataset3 gồm C 300 ảnh tổng hợp Bảng bảng trình bày kết thử nghiệm liệu kiểm thử ETIS-LaribPolypDB CVC-ColonDB Từ kết rút kết luận nhìn chung số lượng ảnh tổng hợp đưa vào huấn luyện tăng độ đo đánh giá phân vùng tăng, tức hiệu hệ thống phân vùng tốt lên Bảng So sánh kết liệu CVC-ColonDB Dữ liệu huấn luyện Dice IoU Sen Prec F1 Spec CVC-ClinicDB 0.8407 0.731 0.7992 0.8956 0.8437 0.995 CVC-ClinicDB+ 100 0.8530 0.7502 0.8364 0.8794 0.8566 0.9938 CVC-ClinicDB+ 200 0.856 0.7574 0.8477 0.877 0.8613 0.9936 CVC-ClinicDB+ 300 0.8617 0.761 0.848 0.8814 0.864 0.9938 Bảng So sánh kết liệu ETIS-Larib Dữ liệu huấn luyện CVC-ClinicDB CVC-ClinicDB+ 100 CVC-ClinicDB+ 200 CVC-ClinicDB+ 300 Dice 0.7767 0.7835 0.7880 0.7886 IoU 0.6367 0.6569 0.6664 0.6639 Sen Prec F1 Spec 0.7803 0.778 0.7768 0.989 0.7886 0.8217 0.7915 0.9923 0.8033 0.7983 0.7986 0.9907 0.8267 0.7727 0.7966 0.9888 KẾT LUẬN Trong nghiên cứu này, đề xuất mơ hình sinh ảnh nội soi chứa polyp tổng hợp sử dụng mạng sinh liệu có điều nhằm tăng cường liệu cho hệ thống học sâu phân vùng polyp ảnh nội soi đại tràng Mơ hình mạng sinh liệu có điều kiện mà chúng tơi sử dụng mơ hình Pix2Pix mơ hình xây dựng cho mục đích dịch ảnh sang ảnh Để sinh ảnh nội soi chứa polyp giống ảnh thực đề xuất sử dụng điều kiện đầu vào cho mạng sinh liệu kết hợp lọc cạnh ảnh nội soi bình thường polyp mask tổng hợp, điều kiện đầu vào hướng dẫn việc tạo cấu trúc hiệu hài hòa với polyp ảnh tổng hợp tạo Chúng cài đặt thử nghiệm mơ hình sinh liệu để tạo ảnh nội soi chứa polyps tổng hợp sử dụng ảnh tăng số lượng mẫu huấn luyện cho mơ hình học sâu cho phân vùng polyp ảnh nội soi Số liệu thực nghiệm cho thấy, ảnh polyp tạo sử dụng để tăng cường liệu nhằm cải thiện hiệu hệ thống phân vùng polyp ảnh nội soi đại tràng sử dụng kỹ thuật học sâu Tuy nhiên, kết cải thiện đạt chưa cao polyp tạo chưa có đa dạng màu sắc kết cấu Để khắc phục vấn đề hướng giải xây dựng liệu bao gồm ảnh nội soi chứa nhiều loại polyp khác phân loại loại polyp sau thêm điều kiện loại polyp cho đầu vào mạng sinh ảnh Do đó, tương lai để nâng cao kết dự định tiếp tục hợp tác với bác sỹ để xây dựng liệu huấn luyện với ảnh nội soi chứa nhiều loại polyp khác cải tiến mơ hình sinh ảnh nội soi chứa polyps với hiệu tốt TÀI LIỆU THAM KHẢO [1] Bray, Freddie, et al "Global cancer statistics 2018: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries." CA: a cancer journal for clinicians 68.6 (2018): 394-424 [2] M Gschwantler, S Kriwanek, E Langner, B Goritzer, C SchrutkaKolbl, E Brownstone, H Feichtinger, and W Weiss “High-grade dysplasia and invasive carcinoma in colorectal adenomas: a multivariate analysis of the impact of adenoma Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san Hội thảo Quốc gia FEE, 10 - 2020 453 Tốn học – Cơng nghệ thơng tin and patient characteristics,” European journal of gastroenterology hepatology, 14(2):183188, 2002 [3] Goodfellow, Ian, et al "Generative adversarial nets." Advances in neural information processing systems 2014 [4] Mirza, Mehdi, and Simon Osindero "Conditional generative adversarial nets." arXiv preprint arXiv:1411.1784 (2014) [5] Isola, Phillip, et al "Image-to-image translation with conditional adversarial networks." Proceedings of the IEEE conference on computer vision and pattern recognition 2017 [6] He, Kaiming, et al "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition 2016 [7] Bernal, J., Sánchez, F J., Fernández-Esparrach, G., Gil, D., Rodríguez, C., & Vilariđo, F “WM-DOVA maps for accurate polyp highlighting in colonoscopy: Validation vs saliency maps from physicians” Computerized Medical Imaging and Graphics, 43, 99-111,2015 [8] Juan S Silva, Aymeric Histace, Olivier Romain, Xavier Dray, Bertrand Granado, “Towards embedded detection of polyps in WCE images for early diagnosis of colorectal cancer”, International Journal of Computer Assisted Radiology and Surgery, Springer Verlag (Germany), 2014, (2), pp 283-293 [9] Jorge Bernal, F Javier Sanchez, & Fernando Vilariño “Towards Automatic Polyp Detection with a Polyp Appearance Model” Pattern Recognition, 45(9), 3166– 3182, 2012 [10] Konstantin Pogorelov, Kristin Ranheim Randel, Carsten Griwodz, Sigrun Losada Eskeland, Thomas de Lange, Dag Johansen, Concetto Spampinato, Duc-Tien DangNguyen, Mathias Lux, Peter Thelin Schmidt, Michael Riegler, Pål Halvorsen, Kvasir “A Multi-Class Image Dataset for Computer Aided Gastrointestinal Disease Detection”, MMSys'17 Proceedings of the 8th ACM on Multimedia Systems Conference (MMSYS), Pages 164-169 Taipei, Taiwan, June 20-23, 2017 ABSTRACT DATA AGUMENTATION FOR DEEP LEARNING SYSTEM OF POLYP SEGMENTION ON COLONOSCOPY IMAGES USING CONDITIONAL GENARATIVE ADVERSARIAL NETWORKS One of the major obstacles in automatic polyp segmentation during colonoscopy is the lack of labeled polyp training images In this paper, a framework of conditional genarativ adversarial networks to increase the number of training samples by generating synthetic polyp images is proposed An edge filtering-based combined input conditioned image to train our proposed networks is proposed This enables realistic polyp image generations while maintaining the original structures of the colonoscopy image frames Our experiment shows that the generated polyp images are not only qualitatively realistic, but also help to improve polyp segmentation performance Keywords: CGAN; Data Agumentation; Transfer learning; Polyp Segmentation Nhận ngày 03 tháng năm 2020 Hoàn thiện ngày 05 tháng 10 năm 2020 Chấp nhận đăng ngày 05 tháng 10 năm 2020 Địa chỉ: 1Viện Công nghệ thông tin/Viện Khoa học Công nghệ quân sự; Bệnh viện Trung ương Quân đội 108 *Email: lethithuhong1302@gmail.com 454 L T T Hồng, …, N T Trung, “Tăng cường liệu huấn luyện … có điều kiện.” ... mơ hình sinh ảnh nội soi chứa polyp tổng hợp sử dụng mạng sinh liệu có điều nhằm tăng cường liệu cho hệ thống học sâu phân vùng polyp ảnh nội soi đại tràng Mơ hình mạng sinh liệu có điều kiện mà... soi chứa polyps tổng hợp sử dụng ảnh tăng số lượng mẫu huấn luyện cho mơ hình học sâu cho phân vùng polyp ảnh nội soi Số liệu thực nghiệm cho thấy, ảnh polyp tạo sử dụng để tăng cường liệu nhằm... sinh ảnh nội soi chứa polyp mạng Pix2Pix Hình Ảnh nội soi tổng hợp sinh từ polyp mask 3.4 So sánh hiệu phân vùng polyp ảnh nội soi Chúng thực huấn luyện mơ hình phân vùng polyp sử dụng hai liệu huấn