Phân đoạn ảnh võng mạc hỗ trợ chẩn đoán bệnh

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ——————– * ——————— LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC PHÂN ĐOẠN ẢNH VÕNG MẠC HỖ TRỢ CHẨN ĐỐN BỆNH NGÀNH: KHOA HỌC MÁY TÍNH HỘI ĐỒNG: Khoa học máy tính GVHD: TS Nguyễn Đức Dũng GVPB: ThS Lưu Quang Huân —o0o— SVTH 1: Nguyễn Trần Minh Đăng (1711014) SVTH 2: Đặng Hoàng Kiều Hưng (1711622) TP HỒ CHÍ MINH, 8/2021 Lời cam đoan Chúng tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn TS Nguyễn Đức Dũng Nội dung nghiên cứu kết trung thực chưa công bố trước Các số liệu sử dụng cho trình phân tích, nhận xét chúng tơi thu thập từ nhiều nguồn khác ghi rõ phần tài liệu tham khảo Ngồi ra, chúng tơi có sử dụng số nhận xét, đánh giá số liệu tác giả khác, quan tổ chức khác Tất có trích dẫn thích nguồn gốc Nếu phát có gian lận nào, chúng tơi xin hồn tồn chịu trách nhiệm nội dung luận văn tốt nghiệp Trường đại học Bách Khoa thành phố Hồ Chí Minh không liên quan đến vi phạm tác quyền, quyền chúng tơi gây q trình thực Lời cảm ơn Lời đầu tiên, chúng em xin gửi lời cảm ơn chân thành đến Trường Đại học Bách khoa TP.HCM tạo điều kiện sở vật chất với hệ thống thư viện đại, đa dạng loại sách, tài liệu thuận lợi cho việc tìm kiếm, nghiên cứu thơng tin Đặt biệt, chúng em xin gửi lời cảm ơn sâu sắc đến giáo viên hướng dẫn - TS Nguyễn Đức Dũng dạy tận tình, truyền đạt kiến thức quý báu cho chúng em suốt thời gian thực đề cương vừa qua Chúng em xin cảm ơn cha mẹ, người thân bạn bè, người đồng hành, giúp đỡ, truyền động lực suốt quãng đường vừa qua Có lẽ kiến thức vô hạn, mà tiếp nhận kiến thức thân người tồn hạn chế định Do đó, q trình thực luận văn khơng thể tránh khỏi thiếu sót Chúng em mong muốn nhận góp ý đến từ thầy để báo cáo chúng em tốt Kính chúc thầy nhiều sức khỏe, thành công đường nghiệp giảng dạy sống Tóm tắt nội dung Trong năm gần khoa học kĩ thuật phát triển, thành tựu khoa học công nghệ áp dụng vào hầu hết lĩnh vực đời sống, có y học Việc quan sát hình ảnh y khoa để chẩn đốn bệnh ngồi việc địi hỏi chun mơn cao, cịn địi hỏi bác sĩ có kinh nghiệm Trên thể người, phận dễ bị tổn thương mắt Bên mắt có phận võng mạc Nó nơi chuyển thơng tin ánh sáng ngược não thông qua dây thần kinh thị giác Nó giúp nhận biết ánh sáng vật thể xung quanh Bệnh võng mạc mắt đứng thứ hai, sau đục thủy tinh thể nhóm bệnh gây mù Võng mạc nơi thể cho phép quan sát nghiên cứu hệ thống mạch máu, từ sơ đánh giá tiên lượng tình trạng hệ mạch máu tồn thân có cấu tạo giải phẫu chức sinh lý Để giúp y bác sĩ dễ dàng việc quan sát ảnh võng mạc, cần phải tách mạch máu từ hình ảnh phức tạp võng mạc Trong luận văn này, nhóm tập trung tìm hiểu sở lý thyết xử lý ảnh, thảo luận phương pháp phân đoạn ảnh võng mạc Từ đó, đề xuất phương pháp để phân đoạn ảnh võng mạc Mục lục Mục lục i Danh sách hình vẽ v Giới thiệu 1.1 Giới thiệu toán 1.2 Mục tiêu nội dung đề tài 1.3 Cấu trúc luận văn Cơ sở lý thuyết nghiên cứu liên quan 2.1 Cơ sở lý thuyết 2.1.1 Võng mạc mắt bệnh võng mạc mắt: 2.1.2 Tổng quan ảnh y khoa ảnh võng mạc mắt 2.1.3 Lý thuyết xử lý ảnh 10 2.1.3.1 Một số khái niệm liên quan đến xử lý ảnh 10 2.1.3.2 Tổng quan trình xử lý ảnh 11 Các nghiên cứu liên quan 13 2.2.1 Phương pháp giám sát (supervised method) 13 2.2.2 Phương pháp không giám sát (unsupervised method) 18 2.2.3 Tổng kết 22 2.2.4 Giới thiệu mạng nơ-ron thị giác máy tính 23 2.2.4.1 Mạng nơ-ron tích chập (Convolutional neural network) 23 2.2.4.2 Lớp tích chập: 24 2.2.4.3 Lớp pooling: 25 2.2.5 Giới thiệu phương pháp liên quan tới phương pháp đề xuất 25 2.2.6 Mơ hình W-net 27 2.2.7 Phương pháp Domain Adaptation 28 2.2 i MỤC LỤC Tổng quan transfer learning 28 2.2.7.2 Tìm hiểu Unsupervised Domain adaptation 29 Phương pháp đề xuất 33 3.1 Hướng cải tiến mơ hình W-net 33 3.1.1 Kiến trúc RAW-Net 33 3.1.2 Residual Convolutional Block 35 3.1.3 Residual Spatial Attention Convolutional Block 36 3.1.4 Skip Attention Gate Connection 37 Phương pháp sử dụng adversarial training cho mô hình RAW-Net 38 3.2.1 Kiến trúc: 39 3.2.2 Bộ phân đoạn 39 3.2.3 Bộ phân lớp miền 39 3.2.4 Lớp Gradient Reversal 40 3.3 Phương pháp đánh giá 40 3.4 Tập liệu 41 3.2 2.2.7.1 Thử nghiệm phương pháp đề xuất 43 4.1 Mô hình RAW-net 43 4.1.1 Thử nghiệm 43 4.1.1.1 Tập liệu 43 4.1.1.2 Phương thức đánh giá 43 4.1.1.3 Chi tiết thực 43 Đánh giá kết 44 Domain adaptation 47 4.2.1 Thử nghiệm 47 4.2.1.1 Tập liệu 47 4.2.1.2 Quá trình thử nghiệm 47 4.2.1.3 Phương thức đánh giá 48 4.2.1.4 Chi tiết thực 48 Đánh giá kết 49 Demo ứng dụng tạo ảnh phân đoạn 50 4.1.2 4.2 4.2.2 4.3 ii MỤC LỤC Tổng kết 54 5.1 Kết đạt 54 5.2 Hạn chế khó khăn 54 iii Danh sách hình vẽ 2.1 Cấu tạo mắt người 2.2 Ảnh chụp X-quang 2.3 Ảnh chụp MRI sọ não 2.4 Ảnh chụp võng mạc mắt 2.5 Các bước xử lý ảnh 11 2.6 Hai loại phân đoạn 12 2.7 SVM Based Method 14 2.8 Neural Network Based Method 16 2.9 Miscellaneous Method 17 2.10 Matched Filtered Method 19 2.11 Mathematical Morphology Method 20 2.12 Model Based Method 21 2.13 Mạng CNN 24 2.14 Kiến trúc Unet 26 2.15 Kiến trúc W-net 28 2.16 Transfer learning 29 3.1 Kiến trúc RAW-Net đề xuất 34 3.2 Residual Convolutional Block 35 3.3 Residual Spatial Attention Convolutional Block 36 3.4 Lược đồ Spatial Attention Module 37 3.5 Lược đồ Attention Gate 38 3.6 Adversarial training 39 3.7 Domain Classifier 40 4.1 Hình ảnh phân đoạn mạch máu DRIVE 45 iv DANH SÁCH HÌNH VẼ 4.2 Hình ảnh màu phân đoạn mạch máu DRIVE 46 4.3 Hình ảnh phân đoạn mạch máu đánh giá tập CHASEDB 50 4.4 Demo bước 51 4.5 Demo bước 52 4.6 Demo bước 52 4.7 Demo bước 53 v THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT (a) Ground truth (b) W-net (c) RAW-net Hình 4.1: Hình ảnh phân đoạn mạch máu DRIVE 45 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT Sau hình ảnh có minh họa thêm tất thơng số có Confusion Matrix, gồm TP, TN, FP, FN tương ứng với màu trắng, đen, đỏ, vàng (a) W-net (b) RAW-net Hình 4.2: Hình ảnh màu phân đoạn mạch máu DRIVE 46 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT Ta thấy phần màu đỏ (TP) thường nằm rìa mạch máu mạch máu bị phân loại nhầm, phần màu vàng (FN) thường nằm mạch máu có kích thước nhỏ 4.2 Domain adaptation 4.2.1 Thử nghiệm 4.2.1.1 Tập liệu Phương pháp thử nghiệm tập liệu ảnh võng mạc mắt sử dụng phổ biến thường nằm đánh giá phương pháp unsupervised domain adaptation toán phân đoạn ảnh võng mạc tập liệu gồm DRIVE, STARE, CHASEDB1 Sau bảng tổng quan thông tin tập liệu cho thấy có xuất domain shift tập liệu, chúng khác FOV(field-of-view), cách thức chụp ảnh, độ phân giải cường độ ánh sáng Dataset Số lượng ảnh Thông tin ảnh 40 ảnh DRIVE(D) FOV 45o 20 ảnh STARE(S) 700x605 FOV 35o 28 ảnh CHASE-DB1(C) 584x565 999x960 FOV 30o Bảng 4.2: Bảng tổng quan tập liệu Ta thử nghiệm sử dụng phương pháp đề xuất tập liệu Mỗi lần thực tập liệu đóng vai trò tập liệu nguồn (source domain dataset) tập cịn lại tập liệu đích (target domain dataset) Ví dụ thử nghiệm S→D nghĩa ta thực phương pháp đề xuất với tập DRIVE tập nguồn tập STARE tập đích 4.2.1.2 Q trình thử nghiệm Ngồi việc trình bày kết thử nghiệm phương pháp đề xuất, ta trình bày thêm kết mơ hình source-only Oracle để đánh giá cách xác Mơ hình 47 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT source-only mơ hình dùng W-net huấn luyện tập nguồn, đánh giá tập đích, mơ hình xem kết cận Mơ hình Oracle mơ hình dùng W-net huấn luyện tập đích, đánh giá tập đích, xem kết cận Mục tiêu tốt phương pháp unsupervised domain adaptation có kết với kết mơ hình Oracle 4.2.1.3 Phương thức đánh giá Đánh giá kết phương pháp dựa thông số AUC, F1 score MCC đánh giá tập liệu DRIVE, STARE CHASEDB1 4.2.1.4 Chi tiết thực Tập liệu đầu vào chia làm tập training set, validation set, test set Gọi Xs Ys ảnh võng mạc ảnh ground truth (label) thuộc tập liệu nguồn, Xt ảnh võng mạc thuộc tập liệu đích, tập liệu đích khơng chứa ảnh ground truth Gọi phân đoạn U() Cho Xs Xt vào phân đoạn, kết đầu U(Xs ) U(Xt ) Tính hàm mát phân đoạn lossseg (Xs , Ys ) Ghép kết phân đoạn tập liệu nguồn đích, với nhãn lớp Vậy ta có đầu vào lớp Gradient reversal phân lớp {U(Xs ), 0}, {U(Xt ), 1} Lớp Gradient reversal có ảnh hưởng q trình lan truyền ngược tính đạo hàm hàm mát, cịn q trình forward khơng có ảnh hưởng Bộ phân lớp C nhận vào {U(Xx ), 0}, {U(Xt ), 1}, hàm mát phân lớp lossclass (U(Xs ), (Xt )) Hàm mát mơ hình là: lossagg = lossseg + lossclass Phương thức đề xuất nhóm thực Pytorch, huấn luyện mơ hình với Adam Optimizer, tốc độ học (learning rate) điều chỉnh theo Cosine Annealing Scheduler với tốc độ học lớn 0.01 nhỏ 10−8 Dữ liệu đầu vào với kích cỡ batch Khi huấn luyện liệu thay đổi kích cỡ (resize) 512, cịn đánh giá đánh giá độ phân giải (resolution) tự nhiên 48 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT 4.2.2 Đánh giá kết Từ bảng 4.3, nhìn vào số phương pháp source-only nghĩa ta đánh giá mơ hình tập liệu khác với tập liệu mà huấn luyện, ta thấy xảy tượng domain shift nặng Metric AUC F1-score MCC Phương pháp S→D C→D Source-only 0.9675 0.9616 Our method 0.9770 0.9738 Oracle 0.9827 0.9847 Source-only 0.7689 0.7419 Our method 0.8083 0.7686 Oracle 0.8263 0.8153 Source-only 0.7497 0.7131 Our method 0.7865 0.7425 Oracle 0.8058 0.7958 Bảng 4.3: Bảng so sánh kết phương pháp Từ hình 4.3, ta thấy mạch máu phương pháp đề xuất mờ so với mục tiêu Oracle, thiện nhiều so với phương pháp Source-only, đoạn mạch máu nhỏ phương pháp đề xuất có kết tốt rõ so với phương pháp source-only 49 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT (a) Oracle (b) Source-only (c) Our method Hình 4.3: Hình ảnh phân đoạn mạch máu đánh giá tập CHASEDB 4.3 Demo ứng dụng tạo ảnh phân đoạn Vì khơng có thiết bị nên nhóm làm phần mềm nhỏ framework Tkinkter Python để tạo ảnh phân đoạn mạch máu ứng với đầu vào ảnh võng mạc fundus Bước 1, ta khởi đầu ứng dụng nhấn vào nút "Run" có hình 4.4 để chạy phân đoạn 50 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT Hình 4.4: Demo bước Bước 2, ta nhấn vào nút "Create segmented retinal image" hình 4.5 để nhập ảnh võng mạc fundus đầu vào muốn phân đoạn Sau thực bước ta có cửa sổ thư mục lên để nhập ảnh vào hình 4.6 51 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT Hình 4.5: Demo bước Hình 4.6: Demo bước 52 THỬ NGHIỆM PHƯƠNG PHÁP ĐỀ XUẤT Cuối cùng, ta có kết ảnh phân đoạn hình 4.7 Hình 4.7: Demo bước 53 Chương Tổng kết 5.1 Kết đạt Sau trình thực luận văn tốt nghiệp, đạt kết sau đây: • Khảo sát tốn, nhận thấy tầm quan trọng thách thức thực tế tốn • Tìm hiểu kiến thức liên quan đến xử lý ảnh, kiến thức liên quan đến học sâu phương pháp phân đoạn ảnh • Thu thập tập liệu ảnh võng mạc toán DRIVE, STARE, CHASEDB HRF • Thử nghiệm mơ hình RAW-net RAW-net kết hợp với adversarial cho domain adaptation đạt kết khả quan • Nhóm dùng kết đạt luận văn áp dụng vào thực tế, đề cập mục tiêu nhóm muốn đề xuất mơ hình nhỏ, nhẹ làm việc tốt thiết bị nhúng hay di động phù hợp cho vấn đề thực tế y tế Vì vậy, tương lai nhóm thực trực tiếp thiết bị thực tế 5.2 Hạn chế khó khăn Trong giai đoạn làm luận văn, hạn chế mặt kiến thức, thời gian tài nguyên nên tồn đọng số hạn chế cần khắc phục: • Các tập liệu ảnh võng mạc có sở hữu ảnh, khó khăn việc huấn luyện đánh giá, làm kết phương pháp đề xuất bị ảnh hưởng 54 TỔNG KẾT • Bởi thuộc lĩnh vực y tế nên bị hạn chế thiết bị y tế, nhóm khơng tìm thiết bị chụp ảnh võng mạc để dễ liệu khơng áp dụng mơ hình vào trực tiếp • Bài tốn có nhiều kiến thức mới, khó, địi hỏi nhóm phải tìm hiểu 55 Tài liệu tham khảo [1] Michael Abràmoff and Christine N Kay “Image Processing” In : Retina (Fifth Edition) (2013) [2] Nguyễn Quang Hoan “Xử lý ảnh” In : Học viện cơng nghệ bưu viễn thơng (2006) [3] Olaf Ronneberger, Philipp Fischer, and Thomas Brox “U-Net: Convolutional Networks for Biomedical Image Segmentation” (2015) [4] Lili Xu Shuqian Luo “A novel method for blood vessel detection from retinal images” In : Biomed Eng Online, vol 9, no 1, pp 14 (2010) [5] Y.-B.Wang, C.-Z.Zhu, Q.-F.Yan and L.-Q.Liu “A novel vessel segmentation in fundus images based on SVM” In : Proc Int Conf Inf Syst Artif Intell (ISAI), pp 390-394 (June - 2016) [6] Z.Yan, X Yang and K.-T.Cheng “A three-stage deep learning model for accurate retinal vessel segmentation” In : IEEE J Biomed Health Inform., vol 23, no 4, pp 1427-1436 (Septemper - 2018) [7] Q.Jin, Z.Meng, T.D.Pham, Q.Chen, L.Wei and R.Su “DUNet: A deformable network for retinal vessel segmentation” In : Knowl.-Based Syst., vol 178, pp 149-162 (August - 2019) [8] J.V.B.Soares, J.J.G.Leandro, R.M.Cesar, H.F.Jelinek and M.J.Cree “Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification” In : IEEE Trans 56 TÀI LIỆU THAM KHẢO Med Imag., vol 25, no 9, pp 1214-1222 (September - 2006) [9] M.M.Fraz, P.Remagnino, A.Hoppe, S.Velastin, B.Uyyanonvara and S.A.Barman “A supervised method for retinal blood vessel segmentation using line strength multiscale Gabor and morphological features” In : Proc IEEE Int Conf Signal Image Process Appl (ICSIPA), pp 410-415 (November - 2011) [10] IEEE “Comparative Analysis of Vessel Segmentation Techniques in Retinal Images” [11] D D Kumar, A Pramanik, S S Kar and S P Maity “Retinal blood vessel segmentation using matched filter and laplacian of Gaussian” In : Proc Int Conf Signal Process Commun (SPCOM), pp 1-5 (2016) [12] L Gang, O Chutatape and S M Krishnan “Detection and measurement of retinal vessels in fundus images using amplitude modified second-order Gaussian filter” In : IEEE Trans Biomed Eng., vol 49, no 2, pp 168-172 (2002) [13] M M Fraz, A Basit, P Remagnino, A Hoppe and S A Barman “Retinal vasculature segmentation by morphological curvature reconstruction and adapted hysteresis thresholding” In : Proc 7th Int Conf Emerg Technol (ICET), pp 1-6 (2011) [14] J Rodrigues and N Bezerra “Retinal vessel segmentation using parallel grayscale skeletonization algorithm and mathematical morphology” In : Proc 29th SIBGRAPI Conf Graph Patterns Images (SIBGRAPI), pp 17-24 (2016) [15] B S Y Lam and H Yan “A novel vessel segmentation algorithm for pathological retina images based on the divergence of vector fields” In : IEEE Trans Med Imag., vol 27, no 2, pp 237-246 (2008) [16] B Al-Diri, A Hunter and D Steel “An active contour model for segmenting and measuring retinal vessels” In : IEEE Trans Med Imag., vol 28, no 9, pp 1488-1497 57 TÀI LIỆU THAM KHẢO (2009) [17] Y A Tolias and S M Panas “A fuzzy vessel tracking algorithm for retinal images based on fuzzy clustering” In : IEEE Trans Med Imag., vol 17, no 2, pp 263-273 (1998) [18] Changlu Guo, Márton Szemenyei, Yugen Yi, Wenle Wang, Buer Chen and Changqi Fan “SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation” In : Budapest University of Technology and Economics, Budapest, Hungary (2020) [19] Md Zahangir Alom, Mahmudul Hasan, Chris Yakopcic, Tarek M Taha and Vijayan K Asari “Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation” (Feb - 2018) [20] Adrian Galdran, André Anjos, José Dolz, Hadi Chakor, Hervé Lombaert and Ismail Ben Ayed “The little w-net that could: State-Of-The-Art retinal vessel segmentation with minimalistic models” (July - 2018) [21] Sanghyun Woo, Jongchan Park, Joon-Young Lee, In So Kweon “CBAM: Convolutional Block Attention Module” (July - 2018) [22] Ozan Oktay, Jo Schlemper, Loic Le Folgoc, Matthew Lee, Mattias Heinrich, Kazunari Misawa, Kensaku Mori, Steven McDonagh, Nils Y Hammerla, Bernhard Kainz, Ben Glocker and Daniel Rueckert “Attention U-Net: Learning Where to Look for the Pancreas” (May 2018) [23] Mei Wang and Weihong Deng “Deep Visual Domain Adaptation: A Survey” (May 2018) [24] Garret Wilson and Diane J.Cook “A Survey of Unsupervised Deep Domain Adaptation” (March - 2019) 58 TÀI LIỆU THAM KHẢO [25] M Long, H Zhu, J Wang, and M I Jordan “Deep transfer learning with joint adaptation network In Thirty-fourth International Conference on Machine Learning” (2017) 59 ... y học: Phân đoạn ứng dụng nhiều y học để hỗ trợ việc chẩn đốn bệnh Ví dụ phân tích ảnh X-quang d Biểu diễn ảnh (Image Representation) Ảnh sau phân đoạn chứa điểm ảnh vùng ảnh (ảnh phân đoạn) cộng... Khi nói tốn phân đoạn mạch máu võng mạc mắt, toán quan trọng tiền đề hỗ trợ to lớn cho việc chẩn đoán bệnh võng mạc mắt Các phương pháp phân đoạn mạch máu chia làm hai nhóm chính, phân đoạn tay... là: phân đoạn (segmentor) phân lớp miền (domain classifier) Bộ phân đoạn mạng nơ-ron dùng để phân đoạn ảnh mạch máu, cụ thể ta chọn mạng RAW-Net để làm phân đoạn Sau ảnh đầu vào qua phân đoạn ảnh