Nghiên cứu ứng dụng trí tuệ nhân tạo vào bài toán phân vùng tâm thất trong ảnh cộng hưởng từ

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu ứng dụng trí tuệ nhân tạo vào toán phân vùng tâm thất ảnh cộng hưởng từ LÊ KHẮC HƯNG Hung.LK202725M@sis.hust.edu.vn Ngành Kỹ thuật điều khiển tự động hóa Giảng viên hướng dẫn: TS Trần Thị Thảo Viện: Điện HÀ NỘI, 10/2022 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Lê Khắc Hưng Đề tài luận văn: Nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn phân vùng tâm thất ảnh cộng hưởng từ Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số SV: 20202725M Tác giả, Người hướng dẫn khoa học Hội đồng chấ m luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 29/10/2022 với nội dung sau: - Thêm danh mục từ viết tắt - Chỉnh sửa tiêu đề hình ảnh, bảng biểu sửa lỗi tả - Sắp xếp thứ tự nguồn tài liệu tham khảo trích dẫn nguồn tài liệu - Bổ xung giải thích chi tiết tham số huấn luyện sử dụng mơ Learning rate, Loss Function, Callback EarlyStopping - Phân tích ưu điểm mơ hình đề xuất giúp phân vùng hiệu - Phân tích, đánh giá q trình thử nghiệm tham số mơ hình để chọn tham số tối ưu đạt hiệu cao bổ xung kết đạt Ngày 14 tháng 11 năm 2022 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Tên đề tài tiếng việt: Nghiên cứu ứng dụng trí tuệ nhân tạo vào toán phân vùng tâm thất ảnh cộng hưởng từ Tên đề tài tiếng anh: Research on Artificial Intelligence techniques for automatic ventricle segmentation from cardiac magnetic resonance images Giảng viên hướng dẫn TÓM TẮT NỘI DUNG Luận văn thạc sĩ với đề tài “Nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn phân vùng tâm thất ảnh cộng hưởng từ” Hiện xu hướng trí tuệ nhân tạo xuất hiệ n hầu hết lĩnh vực, nhu cầu ứng dụng thuật toán thông minh y tế ngày tăng cao Xuất phát từ nhu cầu thực tiễn, cần thiết phải xây dựng công cụ hỗ trợ bác sĩ nhân viên y tế việc chẩn đoán bệnh, quản lý hồ sơ bệnh án dựa việc phân tích xử lý ảnh y tế Đặc biệt bệnh tim mạch phát qua tâm thất chụp ảnh cộng hưởng từ Như vậy, mục tiêu quan trọng đề tài đặt tìm hiểu phương pháp Segmentation ảnh tim hiệu dựa thuật toán học máy/học sâu giúp phân vùng tự động tâm thất Từ nghiên cứu, đề xuất cải tiến để nâng cao hiệu mơ hình q trình huấn luyện Trong trình nghiên cứu, học viên nhóm nghiên cứu triển khai mơ hình dựa kiến trúc Unet thực huấn luyện, đánh giá thử nghiệm tập liệu tim SunnyBrook Cardiac Data 2009 Automated Cardiac Diagnosis Challenge (ACDC) 2017 Công vi ệc triển khai phần mềm Google Colab ngơn ngữ lập trình Python, Framework Keras Bước đầu đạt kết khả quan, nhận thấy mơ hình có điểm mạnh riêng nên nhóm nghiên cứu đề xuất cải tiến mơ hình đặt tên DR-Unet++ phát triển từ mơ hình DR-Unet DC-Unet Thử nghiệm hai tập liệu SunnyBrook ACDC cho thấy mô hình đạt kết tốt hai tiêu chí đánh giá (IoU DSC) Có thể thấy, hướng nghiên cứu phù hợp, làm tiền đề cho việc phân vùng ảnh hiệu tương lai Học viên LỜI CẢM ƠN Trước tiên, em xin cảm ơn Ban giám hiệu Viện Sau đại học, Trường đại học Bách Khoa Hà nội tạo điều kiện để em tham gia chương trình cao học Thạc sĩ khoa học khóa 2020B Trong q trình xây dựng đề cương, nghiên cứu hoàn thành luận văn thạc sĩ, em nhận nhiều trợ giúp hỗ trợ kiến thức chuyên môn đến từ thầ y, cô Viện Điện Đặc biệt, cho phép em bày tỏ trân quý biết ơn tới giảng viên hướng dẫn - TS Trần Thị Thảo, dạy nhiệt tình đóng góp ý kiến bổ ích suốt q trình thực đề tài Qua đây, em xin gửi lời cảm ơn chân thành đến bạn học viên khóa em nhóm nghiên cứu Thảo nhiệt tình giúp đỡ, hỗ trợ em trình học tập, trình nghiên cứu hồn thành đề tài luận văn thạc sĩ Xin chân thành cảm ơn! MỤC LỤC DANH MỤC HÌNH ẢNH DANH MỤC BẢNG DANH MỤC TỪ VIẾT TẮT 10 CHƯƠNG ĐẶT VẤN ĐỀ 11 1.1 Khó khăn thách thức 11 1.2 Hướng giải 14 CHƯƠNG BÀI TOÁN PHÂN VÙNG ẢNH 16 2.1 Bài toán phân vùng ảnh 16 2.1.1Phân vùng ảnh 16 2.1.2 Ứng dụng phân vùng ảnh 18 2.2 Các phương pháp phân vùng ảnh cổ điển 22 2.2.1 Phân vùng dựa ngưỡng 22 2.2.2 Phân vùng dựa cạnh 23 2.2.3 Phân vùng dựa khu vực 24 2.2.4 Phân vùng dựa kỹ thuật phân cụm 26 2.3 Các phương pháp phân vùng ảnh dựa AI 28 2.3.1 FCN (Fully Convolutional Network) 33 2.3.2 Unet 34 2.3.3 Gated-SCNN 36 2.3.4 DeepLab 37 2.3.5 Mask R-CNN 38 CHƯƠNG XÂY DỰNG MƠ HÌNH 40 3.1 Chuẩn bị công cụ 40 3.1.1 Yêu cầu liệu 40 3.1.2 Công cụ hỗ trợ 42 3.1.3 Các bước triển khai 44 3.1.4 Các tham số huấn luyện 45 3.2 Lựa chọn mơ hình 49 3.2.1 Mô hình Double Unet 49 3.2.2 Mơ hình ResUnet++ 51 3.2.3 Mơ hình DC-Unet 52 3.2.4 Mơ hình DR-Unet 53 3.2.5 Mơ hình DR-Unet++ 54 CHƯƠNG KẾT QUẢ ĐẠT ĐƯỢC 61 4.1 Kết thử nghiệm mơ hình 61 4.2 Kết huấn luyện dự đoán 63 4.3 Đánh giá so sánh 66 KẾT LUẬN 69 TÀI LIỆU THAM KHẢO 71 PHỤ LỤC 73 DANH MỤC HÌNH ẢNH Hình 1 Ảnh tim chụp phương pháp MRI, CT Scan, siêu âm [6] 12 Hình Hình ảnh tâm thất lắt cắt theo chu kì 13 Hình Tổng hợp nghiên cứu liên quan DL phân vùng ảnh tim [12] 15 Hình Phân vùng ảnh tách đối tượng [17] 16 Hình 2 Phân đoạn ảnh Semantic Instance [18] 17 Hình Cấu trúc tổng quát toán phân vùng ảnh 18 Hình Ứng dụng phân vùng ảnh não, tâm thất tim, vú, phổi, ung thư da, tế bào 19 [19,20,21] Hình Ứng dụng phân vùng ảnh xe tự hành [22] 20 Hình Ứng dụng xử lý ảnh vệ tinh [23] 21 Hình Ứng dụng nông nghiệp 22 Hình Ảnh gốc ảnh phân vùng Threshold [24] 22 Hình Các loại cạnh ảnh 23 Hình 10 Kết phân vùng ảnh dựa cạnh [25] 24 Hình 11 Phân vùng khu vực, (a) Region growth, (b) Region splitting and merging [26] 25 Hình 12 Phân cụm K-means clustering [27] 26 Hình 13 Ảnh gốc ảnh lọc K-Mean clustering [28] 27 Hình 14 Tổng hợp phân vùng ảnh tâm thất LV ngưỡng Edged-Sobel 27 Hình 15 Cấu trúc mạng CNN classification 29 Hình 16 Mơ tả hoạt động lớp Convolution 29 Hình 17 Các hàm phi tuyến thường dùng 30 Hình 18 Sử dụng Max pooling Average pooling 30 Hình 19 Cấu trúc lớp Fully Connected CNN 31 Hình 20 Hình ảnh so sánh ConvNet DeconvNet 31 Hình 21 Hoạt động Upsampling 31 Hình 22 Phép tích chập chuyển vị 32 Hình 23 Phép tích chập giãn nở 32 Hình 24 Kiến trúc mạng FCN phân vùng ảnh [8] 34 Hình 25 Kiến trúc mạng Unet [9] 35 Hình 26 Biểu đồ tỷ lệ nghiên cứu mơ hình mạng DL Segmentation từ 2016 - 36 2022 [14] Hình 27 Kiến trúc Gated – SCNN – Towaki Takikawa [29] 37 Hình 28 Kiến trúc DeepLab – L Chen [27] 38 Hình 29 Kết mơ hình áp dụng CRF 38 Hình 30 Kiến trúc mạng Faster R-CNN 39 Hình 31 Kiến trúc mạng Mask R-CNN 39 Hình Các phân vùng ảnh tim MRI [38] 40 Hình Dữ liệu ảnh gốc nhãn SCD 41 Hình 3 Dữ liệu ảnh gốc nhãn nội tâm mạc Endo ngoại tâm mạc Epi ACDC 42 Hình Ngơn ngữ Python Framework Keras, Tensorflow 43 Hình Các CPU, GPU, TPU miễn phí Google Colab 44 Hình Các bước triển khai mơ hình AI 45 Hình Bảng ma trận Confusion Matrix 48 Hình Kiến trúc Double Unet 50 Hình Cấu trúc khối ASPP 50 Hình 10 Mơ hình Res Unet++ 51 Hình 11 Kiến trúc DC-Unet 52 Hình 12 Cấu trúc khối DC Block 52 Hình 13 Mơ hình DR-Unet 53 Hình 14 Mơ hình DR-Unet++ 54 Hình 15 MultiRes block MultiResUNet 55 Hình 16 Khối DC-Block đề xuất 56 Hình 17 Tích chập thường tích chập Atrous 56 Hình 18 Cấu trúc ASPP 57 Hình 19 Cấu trúc PASPP 58 Hình 20 Cấu trúc ResPath 58 Hình 21 Cấu trúc SE Block 59 Hình Đồ thị Dice Val_Dice đánh giá Epoch 62 Hình Đồ thị Loss Val_Loss đánh giá learning rate 63 Hình Đồ thị learning curve Endocardium 64 Hình 4 Đồ thị learning curve Epicardium 64 Hình Kết phân vùng ảnh mơ hình DR-Unet++ 65 Hình So sánh kết phân vùng nội tâm mạc Endocardium 67 Hình So sánh kết phân vùng ngoại tâm mạc Epicardium 68 DANH MỤC BẢNG Bảng Bảng Thống kê tham số mơ hình số mơ hình 47 Bảng Bộ tham số huấn luyện mơ hình 61 Bảng Bảng kết đánh giá mơ hình theo Epoch 62 Bảng Bảng kết đán giá mơ hình theo batch size 62 Bảng 4 Bảng tổng hợp kết mơ hình DR-Unet++ Epicardium 65 Bảng Bộ tham số huấn luyện đánh giá mơ hình 66 Bảng Kết định lượng tập liệu ACDC 66 Bảng Kết định lượng tập liệu SunnyBrook 67