Phân đoạn chứng phình mạch máy não trên ảnh MRI3D

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ SINH VIÊN NĂM 2021 Tên đề tài tiếng Việt: PHÂN ĐOẠN CHỨNG PHÌNH MẠCH MÁY NÃO TRÊN ẢNH MRI 3D Tên đề tài tiếng Anh: SEGMENTATION ANEURYSM FOR 3D MRI IMAGE Khoa/ Bộ môn: Công nghệ phần mềm Thời gian thực hiện: 06 tháng Cán hướng dẫn: TS Lê Mình Hưng Tham gia thực TT Họ tên, MSSV Chịu trách nhiệm Điện thoại Email Đỗ Ngọc Cường Chủ nhiệm 0355766760 18520542@gm.uit.edu.vn Thành phố Hồ Chí Minh – Tháng 10 /2021 ĐẠI HỌC QUỐC GIA TP HCM Ngày nhận hồ sơ TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Mã số đề tài (Do CQ quản lý ghi) BÁO CÁO TỔNG KẾT Tên đề tài tiếng Việt: PHÂN ĐOẠN CHỨNG PHÌNH MẠCH MÁY NÃO TRÊN ẢNH MRI 3D Tên đề tài tiếng Anh: SEGMENTATION ANEURYSM FOR 3D MRI IMAGE Ngày tháng năm Ngày tháng năm Cán hướng dẫn Sinh viên chủ nhiệm đề tài (Họ tên chữ ký) (Họ tên chữ ký) THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: PHÂN ĐOẠN CHỨNG PHÌNH MẠCH MÁY NÃO TRÊN ẢNH MRI 3D - Chủ nhiệm: Đỗ Ngọc Cường - Thành viên tham gia: Khơng - Cơ quan chủ trì: Trường Đại học Công nghệ Thông tin - Thời gian thực hiện: 06 tháng Mục tiêu: Trong phạm vi đề tài này, chúng tơi sẽ: - Tìm hiểu tổng quan kỹ thuật học sâu, toán phân đoạn đối tượng ảnh, các phương pháp phân đoạn đối tượng ảnh y sinh tìm thơng tin dựa nghiên cứu có sẵn - Tìm hiểu liệu có để ứng dụng vào tốn - Tiến hành cài đặt thử các phương pháp dựa nghiên cứu có đánh giá Tính ứng dụng: Với bệnh nhân cần chuẩn đoán khám kịp thời để lên chiến lược điều trị phương pháp phẫu thuật Phương pháp điều trị chủ yếu mổ kẹp túi phình (clipping the neck of an aneurysm) định việc đặt tư phẫu thuật vị trí bác sĩ phụ thuộc vào phán đoán lâm sàng dựa kinh nghiệm bác sĩ Chúng tập trung vào việc phát túi phình vị trí phương pháp học sâu Chúng tơi kết hợp hàm mát với để tăng độ hiệu cho việc phát túi phình mạch máu não Tóm tắt kết nghiên cứu: báo cáo lần nhóm em tìm hiểu đề xuất thêm vào phần backbone các module để cải thiện hiệu suất liệu não 3D Đạt hiệu suất Dice similarity coefficient: 0.38, Hausdorff distance (modified, 95th percentile): 16.36, Volumetric Similarity: 0.49 Tên sản phẩm: Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: Do toán hạn chế mặt liệu, thực biện pháp tăng cường chất liệu thực tế khơng có bổ sung thêm, nên việc bổ sung liệu thật điều cần thiết Tìm hiểu thêm các phương pháp xử lý cân liệu, xử lý ảnh y khoa não MRI 3D, tìm cách giảm bớt lượng tài ngun chi phí tính tốn lần huấn luyện kiểm thử Thay đổi can thiệp vào hàm mát để tăng khả giám sát quá trình huấn luyện kiến trúc mạng Nhằm đưa các thuật toán vào hệ thống hỗ trợ phát chẩn đoán bệnh, giúp nâng cao độ xác việc chẩn đoán mà khơng gây các phản ứng xấu lên thể bệnh nhân kèm theo giảm bớt khối lượng công việc thời gian các bác sĩ, chuyên gia Nó bước đệm phóng cho nghiên cứu để cải thiện phát triển Hình ảnh, sơ đồ minh họa Cơ quan Chủ trì Chủ nhiệm đề tài (ký, họ tên, đóng dấu) (ký, họ tên) MỤC LỤC MỤC LỤC DANH MỤC HÌNH DANH MỤC BẢNG TỔNG QUAN 1.1 Giới thiệu chung .9 1.2 Động lực nghiên cứu .10 1.2.1 Tính khoa học 10 1.2.2 Tính ứng dụng 10 1.3 Phát biểu toán 10 1.4 Phạm vi toán 10 1.5 Thách thức toán .11 1.6 Đóng góp nghiên cứu .11 1.7 Cấu trúc báo cáo 12 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 12 2.1 Dữ liệu 3D 13 2.2 Cấu trúc hình học 14 2.2.1 Depth images 14 2.2.2 Point cloud 14 2.2.3 Voxel 15 2.2.4 Polygon Mesh 16 2.3 3D deeplearning 18 2.4 Classification 19 2.5 Object detection 21 2.6 Segmentation 25 2.7 Framework thực 26 THỰC NGHIỆM VÀ ĐÁNH GIÁ 28 3.1 Dữ liệu 29 3.2 Phương pháp đánh giá 30 3.3 Chiến lược thực nghiệm kết 31 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 36 4.1 Kết luận 36 4.2 Hướng phát triển 37 LỜI CẢM ƠN 38 TÀI LIỆU THAM KHẢO 39 DANH MỤC HÌNH Hình Mơ tả tổng quan phương pháp 10 Hình Tổng quan nhận dạng đối tượng 13 Hình Ví dụ depth image 14 Hình Ví dụ point cloud 15 Hình Ví dụ Sparse voxel (Độ thưa thớt giảm dần từ trái qua phải) 16 Hình Ví dụ Mesh 17 Hình Các ứng dụng mơ hình trí tuệ nhân tạo 3D 18 Hinh Tần suất xuất từ khóa 3D báo hội nghị CVPR 2019 19 Hình 9: Faster RCNN 23 Hình 10 Khác biệt object detection object segmentation .25 Hình 11 Ảnh X-quang phân đoạn 26 Hình 12 Mất cân nhãn .29 Hình 13 Trực quan hóa lớp ảnh lấy từ liệu 30 Hình 14 Lần huấn luyện thứ nhất, Smooth loss không tiền xử lý liệu 32 Hình 15 Lần huấn luyện thứ hai, No smooth loss không tiền xử lý liệu 33 Hình 16 No Smooth Loss, tiền xử lý liệu, cải tiến thêm phần backbone .34 Hình 17 Trực quan hóa kết 36 Hình 18 Trực quan hóa kết 37 DANH MỤC BẢNG Bảng 1: kết 35 TỞNG QUAN Trong chương này, chúng tơi giới thiệu chung khóa luận, động lực nghiên cứu, xác định tốn phạm vi tương ứng, từ nêu lên đóng góp khóa luận Phần tóm tắt chương khóa luận trình bày cuối chương 1.1 Giới thiệu chung Phình mạch máu não di chứng gây nguy hiểm đến tính mạng, và theo bệnh các phương pháp xử lý triệu chứng phức tạp Việc chuẩn đoán thường xuyên kiểm nghiệm tiền phẫu thuật tiền đề cho các phương pháp chữa trị phẫu thuật sau Và phương pháp chủ yếu để thực việc chữa trị kẹp nơi bị phình mạch để ngăn cho mạch khơng bị vỡ Quyết định vị trí hướng kẹp phải phụ thuộc phần lớn vào kinh nghiệm người điều trị Với nghiên cứu tập trung vào phát triển phân đoạn vị trí túi phình phương pháp học sâu, xác quan tâm phần quan trọng sử dụng để lấy cổ túi phình Dự án tiền đề để đóng góp cho các nghiên cứu sau Qua đóng góp tiếp cận tới các toán như: đưa vị trí kẹp túi phình, … Hình Mơ tả tổng quan phương pháp 1.2 Động lực nghiên cứu 1.2.1 Tính khoa học Bài tốn phát đánh dấu nơi phình mạch hỗ trợ cho việc chuẩn đoán chưa trị cho bệnh nhân bị phình mạch Từ liệu các y khoa, bác sĩ đánh giá đưa phương hướng điều trị tốt cho tình hình bệnh nhân 1.2.2 Tính ứng dụng ● Cần chuẩn đoán khám kịp thời để lên chiến lược điều trị phương pháp phẫu thuật Phương pháp điều trị chủ yếu mổ kẹp túi phình (clipping the neck of an aneurysm) định việc đặt tư phẫu thuật vị trí bác sĩ phụ thuộc vào phán đoán lâm sàng dựa kinh nghiệm bác sĩ ● Phân đoạn ngữ nghĩa biến đổi liệu ảnh y sinh thô thành các thơng tin có ý nghĩa có cấu trúc khơng gian đóng vai trị thiết yếu việc phân tích khoa học Tạo nhiều ứng dụng hỗ trợ khám bệnh lâm sàng, lập kế hoạch trị liệu, phẫu thuật theo dõi phát triển chỗ phình mạch Sự quan tâm phương pháp phát phân đoạn tự động bối cảnh nghiên cứu ngày phát triển mạnh 1.3 Phát biểu toán Báo cáo trình bày hai nội dung liên quan đến lĩnh vực thị giác máy tính hỗ trợ chuẩn đoán cho bệnh nhân: • Input tốn: Đầu vào ảnh chụp mri não 3D • Output tốn: các nhãn phân đoạn phình mạch • Class: – background, – túi phình chưa điều trị chưa bị vỡ, – túi phình điều trị 1.4 Phạm vi tốn - Tìm hiểu toán phân đoạn ảnh, 10 nnUNet[20] thay đổi bổ sung thành phần cấu tạo kiến trúc mạng kỹ thuật module nêu nhằm mục đích tăng cường hiệu tính tốn, nâng cao hiệu suất đạt Bởi mơ hình mạng 3D nên đầu vào mạng tensor có kích thước lớn điều dẫn tới phải sử dụng batch size nhỏ để phù hợp với tài ngun tính tốn chi phí khác Tuy nhiên việc sử dụng Batch Normalization[21] tính toán kích thước lơ, việc sử dụng batch size (lơ) nhỏ gây kết tệ, để tránh trường hợp xấu thay đổi tất phép batch normalization instance normalization[22] Instance nomalization thực phép tính điểm liệu điều tránh nhiễu sử dụng batch size nhỏ Loss function Chúng định nghĩa S output dự đoán model gồm có thành phần 𝑆 𝑐 độ tin cậy chức phân lớp, 𝑆 𝑠 tọa độ các nhãn phân lớp, G ground truth ảnh I gồm hai thành phần tọa độ nhãn phân lớp 𝐺 𝑠 độ tin cậy nhãn phân lớp 𝐺 𝑐 𝑁 𝐿𝑜𝑠𝑠 = −𝛼 ∑ 𝐺𝑖𝑐 𝑙𝑜𝑔(𝑆𝑖𝑐 ) − 𝛽 𝑖=1 𝑠 𝑠 ∑𝑁 𝑖 𝑆𝑖 𝐺𝑖 𝑠2 𝑁 𝑠2 ∑𝑁 𝑖 𝑆𝑖 + ∑𝑖 𝐺𝑖 Trong với 𝛼 𝛽 siêu tham số, phần số hạng hàm mát dùng để giám sát việc phân lớp, số hạng dùng để giám sát vùng thể tích giao giữ phần dự đoán nhãn THỰC NGHIỆM VÀ ĐÁNH GIÁ Trong phần chúng tơi trình bày liệu dùng để huấn luyện kiểm thử, các độ đo, chi tiết các cài đặt, bảng kết thực nghiệm 28 3.1 Dữ liệu Bộ liệu thi ADAM MICAI 2020 công bố bao gồm 113 trường hợp, tập nhãn liệu có class (0-background), (1-Untreated, unruptured aneurysm), (2-Treated aneurysms or artefacts resulting from treated aneurysms) Trong có 93 trường hợp có túi phình chưa điều trị, 20 trường hợp có background Hình 12 Mất cân nhãn Tập liệu công bố chứa ảnh có kích thước đa dạng từ từ 256 × 256 × 100 đến 1024 × 1024 × 160, liệu bị cân tỉ lệ lớp tiền cảnh hậu cảnh 8.3 × 10−6 Tiếp theo túi phình điều trị thường có kích thước lớn so với túi phình chưa điều trị khơng vỡ, điều làm cho model sau huấn luyện bị lệch qua các nhãn điều trị 29 Hình 13 Trực quan hóa lớp ảnh lấy từ liệu 3.2 Phương pháp đánh giá Dice Similarity Coefficient: Là độ đo dùng để đánh giá giống giữ hai mẫu, sử dụng nhiều toán phân đoạn ảnh y tế, độ đo để xuất Thorvald Sørensen Lee Raymond Dice, độ đọ kí hiệu DICE xác định công thức: Hausdorff distance (modified, 95th percentile): Đây độ đo khoảng cách khơng gian, có nhiều độ đo loại khoảng cách Hausdorff distance, the Average distance and the Mahalanobis distance Nhưng báo cáo sử dụng Hausdorff Hausdorff distance định nghĩa sau: 30 Volumetric Similarity: Độ đo cho ta thấy tương đồng thể tích ground truth predict Và xác định sau: 3.3 Chiến lược thực nghiệm kết Chúng thực chiến lược training sau: tăng cường liệu tăng cường onl với các phương pháp scaling, constrast, rotations, Gaussian blur, Gaussian noise, gamma correction and mirroring Chúng huấn luyện batch size sử dụng SGD with Nesterov momentum 𝜇 = 0.99 Sử dụng learning rate giảm sau epoch theo chiến lược 𝑙𝑟 = 𝑙𝑟 × (1 − 𝑒𝑝𝑜𝑐ℎ 𝑒𝑝𝑜𝑐ℎ𝑚𝑎𝑥 ) 0.9 Mỗi epoch gồm 250 iteration 1000 epoch Chúng sử dụng Pytorch để cài đặt GPU RTX2080 cho training testing Thời gian huấn luyện tuần, epoch sấp xỉ 700s 31 Hình 14 Lần huấn luyện thứ nhất, Smooth loss khơng tiền xử lý liệu 32 Hình 15 Lần huấn luyện thứ hai, No smooth loss khơng tiền xử lý liệu 33 Hình 16 No Smooth Loss, tiền xử lý liệu, cải tiến thêm phần backbone 34 Ở bảng kết dịng thứ chúng tơi giả định việc cân liệu khiến mơ hình học thiên nhãn thứ background Nên thêm lượng 1𝑒 − 07 vào mẫu tử phần số hạng hai hàm mát để giảm bớt ngưỡng dự đoán cho nhãn Tuy nhiên việc sử dụng oversampling lại khiến cho mẫu tạo epoch theo iteration ln ln có phần nhãn số vị trí cần phân đoạn phình mạch vào mẫu tạo điều khiến cho việc sử dụng oversampling thiên nhiều vào nhãn dẫn đến overfiting Sau chúng tơi loại bỏ smooth khỏi hàm loss kết có cải thiện Tiếp theo tiền xử lý liệu kết nối thêm module vào backbone, điều giúp cho mơ hình học tốt hơn, loại bỏ kiện khơng cần thiết cho tốn ảnh 3D não này, tập trung vào phần phình mạch cần phát Smooth Loss, chưa tiền xử lý DSC MHD VS Overfiting Overfiting Overfiting 0.32 20.30 0.45 0.38 16.36 0.49 liệu No Smooth Loss, chưa tiền xử lý liệu No Smooth Loss, tiền xử lý liệu, cải tiến thêm phần backbone Bảng 1: Kết 35 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận Hình 17 Trực quan hóa kết Do hạn chế tài ngun chi phí huấn luyện liệu 3D lớn thời gian lâu, việc thay đổi trình huấn luyện thời gian, nên báo cáo lần nhóm em tìm hiểu đề xuất thêm vào phần backbone module để cải thiện hiệu suất liệu não 3D Đạt hiệu suất Dice similarity coefficient: 0.38, Hausdorff distance (modified, 95th percentile): 16.36, Volumetric Similarity: 0.49 Ta thấy phần dự đoán nhãn khá giống vị trí phát khớp với Tuy nhiên chi tiết hình dáng, độ lồi lõm chưa đạt độ hồn chỉnh cần thiết Vì vấn đề y đức, để ứng dụng vào thực tế nhiều thách thức cần phát triền thêm 36 Hình 18 Trực quan hóa kết 4.2 Hướng phát triển Do toán hạn chế mặt liệu, thực biện pháp tăng cường chất liệu thực tế khơng có bổ sung thêm, nên việc bổ sung liệu thật điều cần thiết Tìm hiểu thêm các phương pháp xử lý cân liệu, xử lý ảnh y khoa não MRI 3D, tìm cách giảm bớt lượng tài ngun chi phí tính tốn lần huấn luyện kiểm thử Thay đổi can thiệp vào hàm mát để tăng khả giám sát trình huấn luyện kiến trúc mạng Nhằm đưa các thuật toán vào hệ thống hỗ trợ phát chẩn đoán bệnh, giúp nâng cao độ xác việc chẩn đoán mà không gây các phản ứng xấu lên thể 37 bệnh nhân kèm theo giảm bớt khối lượng công việc thời gian bác sĩ, chuyên gia LỜI CẢM ƠN Em xin cảm ơn thầy Lê Minh Hưng giúp đỡ em nhiều q trình hồn thành đề tài nghiên cứu khoa học 38 TÀI LIỆU THAM KHẢO [1] Fausto Milletari, Nassir Navab, and Seyed-Ahmad Ahmadi V-net: Fully convolutional neural networks for volumetric medical image segmentation In 2016 fourth international conference on 3D vision (3DV), pages 565– 571 IEEE, 2016 [2] Xudong Wang, Shizhong Han, Yunqiang Chen, Dashan Gao, and Nuno Vasconcelos Volumetric attention for 3d medical image segmentation and detection In International conference on medical image computing and computer-assisted intervention, pages 175–184 Springer, 2019 [3] Benjamin Graham and Laurens van der Maaten Submanifold sparse convolutional networks arXiv preprint arXiv:1706.01307, 2017 [4] Zhuotun Zhu, Yingda Xia, Wei Shen, Elliot Fishman, and Alan Yuille A 3d coarseto-fine framework for volumetric medical image segmentation In 2018 International conference on 3D vision (3DV), pages 682–690 IEEE, 2018 [5] Lyne Tchapmi, Christopher Choy, Iro Armeni, JunYoung Gwak, and Silvio Savarese Segcloud: Semantic segmentation of 3d point clouds In 2017 international conference on 3D vision (3DV), pages 537–547 IEEE, 2017 [6] Hung-Yueh Chiang, Yen-Liang Lin, Yueh-Cheng Liu, and Winston H Hsu A unified point-based framework for 3d segmentation In 2019 International Conference on 3D Vision (3DV), pages 155–163 IEEE, 2019 39 [7] Loic Landrieu and Martin Simonovsky Large-scale point cloud semantic segmentation with superpoint graphs In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 4558–4567, 2018 [8] Chenfeng Xu, Bichen Wu, Zining Wang, Wei Zhan, Peter Vajda, Kurt Keutzer, and Masayoshi Tomizuka Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation In European Conference on Computer Vision, pages 1–19 Springer, 2020 [9] Gusi Te, Wei Hu, Amin Zheng, and Zongming Guo Rgcnn: Regularized graph cnn for point cloud segmentation In Proceedings of the 26th ACM international conference on Multimedia, pages 746–754, 2018 [10] David George, Xianghua Xie, and Gary KL Tam 3d mesh segmentation via multibranch 1d convolutional neural networks Graphical Models, 96:1–10, 2018 [11] Truc Le, Giang Bui, and Ye Duan A multi-view recurrent neural network for 3d mesh segmentation Computers & Graphics, 66:103–112, 2017 [12] Rony Kalfarisi, Zheng Yi Wu, and Ken Soh Crack detection and segmentation using deep learning with 3d reality mesh model for 40 quantitative assessment and integrated visualization Journal of Computing in Civil Engineering, 34(3):04020010, 2020 [13] Rui Li and Qingjin Peng Deep learning-based optimal segmentation of 3d printed product for surface quality improvement and support structure reduction Journal of Manufacturing Systems, 60:252–264, 2021 [14] KRIZHEVSKY, Alex; SUTSKEVER, Ilya; HINTON, Geoffrey E Imagenet classification with deep convolutional neural networks Advances in neural information processing systems, 2012, 25 [15] GIRSHICK, Ross, et al Rich feature hierarchies for accurate object detection and semantic segmentation In: Proceedings of the IEEE conference on computer vision and pattern recognition 2014 p 580-587 [16] GIRSHICK, Ross Fast r-cnn In: Proceedings of the IEEE international conference on computer vision 2015 p 1440-1448 [17] REN, Shaoqing, et al Faster r-cnn: Towards real-time object detection with region proposal networks Advances in neural information processing systems, 2015, 28 [18] BOCHKOVSKIY, Alexey; WANG, Chien-Yao; LIAO, Hong-Yuan Mark Yolov4: Optimal speed and accuracy of object detection arXiv preprint arXiv:2004.10934, 2020 [19] RONNEBERGER, Olaf; FISCHER, Philipp; BROX, Thomas U-net: Convolutional networks for biomedical image segmentation In: International 41 Conference on Medical image computing and computer-assisted intervention Springer, Cham, 2015 p 234-241 [20] ISENSEE, Fabian, et al nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation Nature methods, 2021, 18.2: 203-211 [21] IOFFE, Sergey; SZEGEDY, Christian Batch normalization: Accelerating deep network training by reducing internal covariate shift In: International conference on machine learning PMLR, 2015 p 448-456 [22] ULYANOV, Dmitry; VEDALDI, Andrea; LEMPITSKY, Victor Instance normalization: The missing ingredient for fast stylization arXiv preprint arXiv:1607.08022, 2016 [23] VASWANI, Ashish, et al Attention is all you need Advances in neural information processing systems, 2017, 30 [24] HUANG, Gao, et al Densely connected convolutional networks In: Proceedings of the IEEE conference on computer vision and pattern recognition 2017 p 4700-4708 [25] YU, Fisher; KOLTUN, Vladlen Multi-scale context aggregation by dilated convolutions arXiv preprint arXiv:1511.07122, 2015 42 ... TIN Mã số đề tài (Do CQ quản lý ghi) BÁO CÁO TỔNG KẾT Tên đề tài tiếng Việt: PHÂN ĐOẠN CHỨNG PHÌNH MẠCH MÁY NÃO TRÊN ẢNH MRI 3D Tên đề tài tiếng Anh: SEGMENTATION ANEURYSM FOR 3D MRI IMAGE Ngày... (Họ tên chữ ký) THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: PHÂN ĐOẠN CHỨNG PHÌNH MẠCH MÁY NÃO TRÊN ẢNH MRI 3D - Chủ nhiệm: Đỗ Ngọc Cường - Thành viên tham gia: Không - Cơ quan... phần mở rộng cho phân tích nhiệm vụ thị giác máy tính phân đoạn đối tượng (object segmentation), gọi ? ?phân đoạn thể đối tượng” ? ?phân đoạn ngữ nghĩa”, các đối tượng nhận dạng cách phân loại pixel