Nghiên cứu, phát triển một số kỹ thuật học sâu áp dụng cho phân vùng polyp trên ảnh nội soi đại tràng

1 BỘGIÁO DỤCVÀĐÀOTẠO BỘQUỐCPHỊNG VIỆNKHOAHỌCVÀCƠNGNGHỆQNSỰ LỜI CAMĐOAN Tơixincamđoan,đâylàcơngtrìnhnghiêncứucủariêngtơi.Nhữngnộidung,sốliệuv àkếtquảtrìnhbàytrongluậnánlàhồntồntrungthựcvàchưatừng cơng bố cơng trìnhnàokhác.Cácdữliệuthamkhảođượctríchdẫnđầyđủ HàHỒNG Nội,ngàyt h n g n ă m 2022 LÊTHỊTHU Tácgiả LêThị SỐThuHồng KỸ NGHIÊN CỨU, PHÁT RIỂN MỘT THỌCSÂUÁPDỤNGCHO THUẬTPHÂNVÙNGPOLYP ẢNHNỘISOIĐẠITRÀNG LUẬNÁNTIẾNSĨTỐNHỌC HàNội– 2022 BỘGIÁO DỤCVÀĐÀOTẠO LỜICẢMƠN BỘQUỐCPHỊNG VIỆNKHOAHỌCVÀCƠNGNGHỆQNSỰ LuậnánnàyđượcthựchiệntạiViệnKhoahọcvàCơngnghệqnsự/BộQuốc phịng Lời đầutiên,nghiêncứusinhxinbàytỏlịngcảmơnsâusắctớiTS Nguyễn Chí Thành TS Trần Quốc Long, thầy tận tình giúp đỡ,trang bị cho NCS phương pháp nghiên cứu, kinh nghiệm, kiến thức khoa họcvàkiểmtra,đánhgiácác kếtquảnghiêncứu củanghiên cứusinh LÊTHỊTHU HỒNG Nghiên cứu sinh xin chân thành cảm ơn Thủ trưởng Viện KH-CN quânsự, Thủ trưởng cán Phịng Đào tạo, Viện Cơng nghệ thông tin/ ViệnKHCNQS tạo điều kiện, hỗ trợ, giúp đỡ NCS trình học tập,nghiên cứu NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ KỸ NCS xin bày tỏ lờiSÂU cảm ơn thànhCHO tới thầy, cô giáo THUẬTHỌC ÁPchân DỤNG PHÂN VÙNG ViệnCơngnghệthơngtin,cácđồngnghiệpphịngCơngnghệtrithứcvàphịngPhầnmềm POLYP TRÊNẢNHNỘISOIĐẠITRÀNG chundụngthuộcViệnCơngnghệthơngtin/ViệnKHCNQSđãlnđộng viên, chia sẻ, giúp đỡ NCS suốt thời gian qua Bên cạnh đó, NCScũng xin gửi lời cảm ơn thầy Chunngành: sở trongnhómnghiêncứuthịgiácmáytínhtại tốn học cho tin cơ, đồng nghiệp bạn sinh Cơ viên họcMãsố: 9460110 PhịngthínghiệmmụctiêuTrítuệnhântạo(UETAILAB)thuộcTrườngĐạihọcCơngnghệ,ĐạihọcQuốcgiaHànội,đãnhiệttìnhđónggópcácýkiến qbáutrongqtrìnhhọctập,nghiêncứucủaNCS Nghiên cứu sinh ln ghi nhớ cơng ơn bố mẹ gia đình, LUẬNÁNTIẾNSĨTỐNHỌC nhữngngườiđãlnởbêncạnh,độngviênvàlàchỗdựavềmọimặtgiúpnghiêncứusinhvư ợtquakhó khănđể hồn thànhluậnán Tácgiảluậnán NGƯỜIHƯỚNG DẪNKHOAHỌC: LêThị ThuHồng TSNguyễnChíThành TSTrầnQuốcLong HàNội– 2022 MỤCLỤC Trang DANHM Ụ C C Á C K Ý H I Ệ U , C H Ữ V I Ế T T Ắ T , T H U Ậ T N G Ữ DANHM Ụ C B Ả N G B I Ể U DANHM Ụ C C Á C H Ì N H V Ẽ MỞĐ Ầ U CHƯƠNG1TỔNGQUANVỀBÀITOÁNPHÂNVÙNGPOLYPT R Ê N Ả N H N Ộ I S O I Đ Ạ I T R À N G 1.1.Bàitoántựđộngphânvùngpolyptrênảnhnộisoiđạitràng 1.1.1.Giớithiệubàitoán 1.1.2.Cácbộdữliệuảnhnộisoiđạitràngchuẩnđãđượccôngbố 1.2 Kỹthuậthọcsâu chophânvùngđốitượngtrênảnh 1.2.1.Kỹthuậthọcsâu 1.2.2.Kỹthuậthọcchuyểngiao 1.2.3 Mạnghọcsâuphânvùngđốitượngtrênảnh 1.2.4 Đánhgiáphươngphápphânvùngđốitượngtrênảnh 1.2.5.Tăngcườngdữliệuchohệthốnghọcsâu 1.2.6.MạngsinhdữliệucóđiềukiệnCGAN 1.2.7.Phươngpháphọctựgiámsátcácđặctrưngthịgiáccủaảnh 1.3.Tìnhhìnhnghiêncứubàitốnphântíchảnhnộisoiđạitràng 1.3.1.Tìnhhìnhnghiêncứutrênthếgiới 1.3.2.Tìnhhìnhnghiêncứutrongnước 1.3.3.Nhữngvấnđềcòntồntại 1.3.4.Nhữngvấnđềluậnántậptrunggiảiquyết 1.4.KếtluậnChương1 CHƯƠNG MÔ HÌNH PHÂN VÙNG POLYP ĐẠI TRÀNGDỰATRÊNMẠNGUNETCẢITIẾNVÀHÀMMẤTMÁTBẤT ĐỐIX Ứ N G K Ế T H Ợ P 2.1.Đặtvấnđề 2.2.Phươngphápđềxuất vi viii x 7 12 16 16 19 21 23 26 26 27 28 28 35 37 38 39 41 41 41 2.2.1 Kiếntrúcmơhìnhhọcsâuđềxuấtchophânvùngpolyptrênảnhnội soiđạitràng 2.2.2 Mạng UNet điều chỉnh cho phân vùng polyp ảnh nội soiđạitràng 2.2.3.TíchhợplớpCRF-RNNvàomạng UNet 2.2.4 HàmmấtmátbấtđốixứngkếthợpAsymCE 2.2.5 Phươngp h p h ọ c c h u y ể n g i a o c h o h u ấ n l u y ệ n m h ì n h đềxuất 2.3.Thửnghiệmvàđánhgiácáckếtquả 2.3.1 Cácbộdữliệuthửnghiệmvàcácphươngpháptăngcườngdữliệuhuấnlu yện 2.3.2 Mơitrườngcàiđặthuấnluyệnmơhìnhvàcácđộđođánhgiámơhình 2.3.3 Đánhgiáhiệuquảcủatừngkỹthuậttrongphươngphápđềxuất(Abla tionstudy) 2.3.4.Đánhgiáđộphứctạpcủamơhìnhđềxuất 2.3.5.Sosánh,đánhgiákếtquảcủaphươngphápđềxuấtvớicácphươn gphápmớiđượccơngbốgầnđây 2.4.KếtluậnChương2 CHƯƠNG3PHƯƠNGPHÁPHỌCTỰGIÁMSÁTĐẶCTRƯNG THỊ GIÁC CỦA ẢNH NỘI SOI ĐẠI TRÀNG CHOPHÂNVÙNG 3.1.Đặtvấnđề 3.2.Phươngphápđềxuất 3.2.1 Mô hình hệ thống học tự giám sát đặc trưng thị giác chophânvùngpolyptrênảnhnộisoiđạitràng 3.2.2.Mạngtáitạo ảnhnộisoiđạitràng 3.2.3.Phânvùngpolypsửdụngchuyểngiaotrithứcđãhọctừmạngtáitạoảnhnộ isoiđạitràng 3.3.Thửnghiệmvàđánhgiácáckếtquả 3.3.1.Cácbộdữliệuthửnghiệm 42 43 46 48 54 55 55 56 56 64 65 71 73 73 75 75 75 79 80 80 81 3.3.2.Càiđặtcácmơhình 3.3.3.Kếtquảtáitạoảnh 3.3.4.Kếtquảphânvùngpolyp 3.3.5.Sosánhđộchínhxácphânvùngpolypcủaphươngphápđềxuấtvớicác phương phápmớihiện 3.4.KếtluậnChương3 CHƯƠNG4 P H Ư Ơ N G P H Á P S I N H D Ữ L I Ệ U Ả N H N Ộ I S O I ĐẠITRÀNGCÓNHÃNPHÂNVÙNGPOLYP 4.1.Đặtvấnđề 4.2.Phươngphápđềxuất 4.2.1 MạngsinhảnhnộisoiđạitràngchứapolypPolypGenPix2Pix 4.2.2 Kỹthuậtsinhđiềukiệnđầuvàochomạngsinhảnh 4.3.Thửnghiệmvàđánhgiácáckếtquả 4.3.1.Cácbộdữliệuthửnghiệm 4.3.2 Mơitrườngcàiđặthuấnluyệnmơhìnhvàcácđộđođánhgiámơhình 4.3.3 Kết sinh ảnh nội soi chứa polyp mơ hìnhPolypGenPix2Pix 4.3.4 Đánhgiáhiệuquảcủakỹthuậtsinhđiềukiệnđầuvàochomạngsinhả nhnộisoi 4.3.5 Sosánhđộchínhxáccủamơhìnhhọcsâuphânvùngpolypđượct ăngcườngdữliệubởimơhìnhsinhảnh 4.4.KếtluậnChương4 KẾTL U Ậ N 1.Cáckếtquảnghiêncứucủaluậnán 2.Nhữngđónggópmớicủaluậnán 3.Hướngnghiêncứutiếptheo DANHM Ụ C C Á C C Ơ N G T R Ì N H K H O A H Ọ C Đ Ã C Ô N G B Ố TÀILIỆUTHAMKHẢO 81 83 86 86 89 89 91 91 95 96 96 97 98 99 100 103 105 105 106 106 107 108 DANHM Ụ C C Á C K Ý H I Ệ U , C H Ữ V I Ế T T Ắ T Kýhiệu,chữviếttắt Ýnghĩa ℝ𝒏 |𝐷| X𝖴Y X∩Y 𝑓(∙) log (∙) exp (∙) (∙)𝑇 ‖∙‖𝑝 Tập cácvectorsốthựcnchiều ‖∙‖ 𝑃(∙) 𝑧~𝑃 𝑃(𝑋|𝑌) 𝔼𝑥[𝑓(𝑥)] Dạngchuẩn2 Phânphốixácsuất Biến ngẫu nhiênzvớiphânphối xácsuấtP XácsuấtcóđiềukiệnX|Y Kỳvọngcủahàmf(x) Baseline CE CGAN CV Cơsở Cross-Entropy Mạngsinhdữliệuđốinghịchcó điềukiện (ConditionalGAN) Mạngnơ-rontíchchập Tíchchập Ungthưđạitràng(ColoRectalCancer) Mơhìnhxácsuấttrường ngẫunhiên cóđiều kiện (ConditionalRandomField) Thịgiácmáytính(ComputerVision) DataAugumentation Decoder Deconvolution Discriminativemodel Tăngcườngdữliệu Bộ giải mã Giảitíchchập Mơ hìnhphânbiệt Encoder Bộmãhóa CNN Convolution CRC CRF Số lượngcácphầntửcủatậphợp𝒟 Hợp củahaitậphợpXvàY Giao củahaitập hợpXvàY Hàmsố Logarittựnhiên Hàmmũ Chuyểnvị củamatrận hoặcvector Dạngchuẩnp GAN GD Generativemodel Imageclassification KnowlegdeTransfer Lossfunction MSE NCS PACS Polyp Polypclassification Polypdetection Polypmask Polypsegmentation Regularization RNN Self-supervisedlearning Self-supervisedvisual featurelearning Semi-suppervisedlearning SSIM Supervisedlearning Testingset Trainingset Transferlearning Unsupervisedlearning Validingset Mạngsinhdữliệuđốinghịch (GAN-Generative AdversarialNetworks) Thuậttốnhạgradient(GradientDescent) Mơhìnhsinh Phânloạiảnh Chuyểngiaokiếnthức Hàmmất mát Trungbìnhbìnhphươnglỗi(MeanSquared Error) Nghiêncứusinh Hệthống lưu trữvàtruyềndữliệuhìnhảnh (PictureArchivingandCommunicationSystems) Đốitượngbấtthườngtrongđạitràngcónguycơ pháttriểnthànhung thưđạitràng Phânloạipolyp Pháthiệnpolyp Ảnhnhịphân thểhiện hìnhdạngpolyp Phânvùngpolyp Điềuchuẩn Mạngnơ-ronhồi quy(RecurrentNeural Network) Họctựgiámsát Họctựgiámsát cácđặctrưng thị giác Họcbángiámsát Độtươngtựvề mặtcấutrúc(Structure SimilarityIndexMeasure) Họccógiám sát Tập dữliệu kiểmtra Tậpdữliệuhuấnluyện Họcchuyểngiao Họckhônggiámsát Tậpdữliệu xácthực DANHM Ụ C C Á C B Ả N G Trang Bảng 1.1 Các liệu ảnh nội soi đại tràng chuẩn cơng bố chocácmơhìnhhọcmáy Bảng1.2 Cáccơngtrìnhnghiêncứu phântíchảnhnộisoiđạitràng Bảng 2.1 Các hàm mát sử dụng cho huấn luyện mơ hình phân 14 31 vùngpolyptrênảnhnộisoiđạitràng Bảng 2.2 Độ xác mạng UNet điều chỉnh với mã hóa 52 khácnhau 57 Bảng 2.3 Độ xác mơ mơ hình UNet có tích hợp 59 lớpCRF-RNNvàkhi khơngcótíchhợplớpCRF-RNN Bảng2.4Độchínhxác phânvùngpolypcủamạngUNetđượchuấnluyệnbằngcáchàmmấtmátkhácn 60 hau Bảng 2.5 So sánh độ xác mơ hình huấn luyện sử dụng phươngpháphọcchuyểngiao 64 65 Bảng 2.6 Độ phức tạp mạng Unet cải tiến với mã hóa 66 khácnhauchophânvùngpolyp Bảng 2.7 So sánh độ xác mơ hình huấn luyện đánh 67 68 giátrêncùngbộdữliệuCVC-ClinicDB Bảng 2.8 So sánh độ xác mơ hình huấn luyện đánh 68 giátrêncùngbộdữliệuKvarsir-SEG Bảng2.9.Sosánhđộchínhxáccủacácmơhìnhđượchuấnluyệnbằng liệu CVC-ClinicDB, kiểm thử hai liệuETIS-Larib CVCColonDB Bảng2.10 SosánhđiểmsốDicevàIoUcủamơhìnhhuấnluyệnbằngbộKvasir-SEG, kiểmthửtrênhaibộdữliệuETIS-LaribvàCVCColonDB Bảng2.11 SosánhđiểmsốDicevàIoUcủamơhìnhhuấnluyệnbằngdữliệutrộngiữa2 bộKvasir-SEGvàClinicDB,kiểmthửtrênhaibộdữliệuETIS-LaribvàCVCColonDB Bảng3.1 Độchínhxáccủamạngtáitạoảnhvớitỉlệnhiễukhácnhau Bảng 3.2 Độ xác mạng phân vùng polyp học chuyển giao từmạngtáitạoảnhvớitỉlệnhiễukhácnhau 69 70 82 83 Bảng 3.3 Độ xác mạng phân vùng polyp với phương pháp họcchuyểngiaokhácnhau 84 Bảng 3.4 So sánh điểm số Dice phương pháp phân vùngpolyp 86 Bảng 4.1 Kết tăng cường liệu huấn luyện liệu kiểm thửCVC- 102 ColonDB Bảng 4.2 Kết tăng cường liệu huấn luyện liệu kiểm thửETIS- 102 Larib Bảng 4.3 So sánh kết tăng cường liệu với số lượng liệu tăngcườngk h c n h a u t r ê n b ộ d ữ l i ệ u k i ể m t h C V C C o l o n D B Bảng4.4 Sosánh kết quảtăngcườngdữliệu vớisốlượngdữliệutăng cườngk h c n h a u t r ê n b ộ d ữ l i ệ u k i ể m t h E T I S - L a r i b 102 103 DANHM Ụ C C Á C H Ì N H V Ẽ Trang Hình1.1.Minhhọathủthuậtnộisoiđạitràng Hình1 H ệ t h ố n g C A D x h ỗ t rợ c h u ẩ n đo n n ộ is o i đ it rà n g Hình 1.3.Phân vùng polyp ảnh nộisoiđạitràng Hình1.4.Cáctrườnghợpkhóphânvùngpolyp Hình1.5.Vídụminhhọadữliệukhơngcânbằng Hình 1.6.Vídụ minhhọabộdữliệuCVC-ClinicDB Hình1.7.VídụminhhọabộdữliệuKvasir-Seg Hình1 K i ế n t r ú c m h ì n h h ọ c s â u p h â n v ù n g ả n h Hình1.9.KiếntrúcmạngUNet Hình1.10.MinhhọađiểmsốDice Hình1.11.MinhhọachỉsốIoU Hình1.12 Ph ươ n g pháp họctự giám sát cácđặctrưngthịgiác m áy tính Hình2.1.Tổngquankiếntrúcmơhìnhphânvùngpolyptrênảnhnộisoiđạitràng Hình2.2.MạngUNetchophânvùngpolyptrênảnhnộisoiđạitràng Hình2.3.KiếntrúcbộmãhóaEfficientB7 Hình2.4.KhốiUpsample2Dcủabộgiảimã Hình2.5.CấutrúclớpCRFRNNtíchhợptrongmơhìnhphânvùngpolyp Hình2.6.Cácphươngthứchọcchuyển giao Hình2.7.V ídụcácp h é p b iến đổiả n h dù ngchotăngcường d ữ liệ u Hình2 B i ể u đ đ ộ c h í n h x c c ủ a m n g U N e t đ i ề u c h ỉ n h Hình2.9.BiểuđồsosánhđiểmsốDicecủamơhìnhcóvàkhơngcótíchhợpl p C R F R N N Hình2.10.BiểuđồsosánhđiểmsốDicecủamơhìnhđượchuấnluyệnbằng cáchàmmấtmátkhácnhau Hình2 1 Ả n h h ưở n g c ủ a c c h m m ấ t m t t r o n g q u t r ì n h h ọ c Hình2.12.Phânvùngpolypđượctạorabởicáctùybiếncủamơhìnhđềxuất Hình3.1.Tổn gquankiếntrúchệthốnghọctựgiámsátcácđặctrưngthịgiácchophânvùngpo lyptrênảnhnộisoiđạitràng Hình3.2 Vídụcácphépbiếnđổi ảnhtạo đầu vàochomạngtáitạoảnh Hình3 M h ì n h m n g t i t o ả n h n ộ i s o i đ i t r n g 10 11 12 13 22 23 24 24 27 42 44 45 45 47 54 56 58 59 61 62 62 76 77 78