Nghiên cứu ứng dụng trí tuệ nhân tạo vào bài toán phân vùng tâm thất trong ảnh cộng hưởng từ

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu ứng dụng trí tuệ nhân tạo vào toán phân vùng tâm thất ảnh cộng hưởng từ LÊ KHẮC HƯNG Hung.LK202725M@sis.hust.edu.vn Ngành Kỹ thuật điều khiển tự động hóa Giảng viên hướng dẫn: TS Trần Thị Thảo Viện: Điện HÀ NỘI, 10/2022 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Lê Khắc Hưng Đề tài luận văn: Nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn phân vùng tâm thất ảnh cộng hưởng từ Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số SV: 20202725M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 29/10/2022 với nội dung sau: - Thêm danh mục từ viết tắt - Chỉnh sửa tiêu đề hình ảnh, bảng biểu sửa lỗi tả - Sắp xếp thứ tự nguồn tài liệu tham khảo trích dẫn nguồn tài liệu - Bổ xung giải thích chi tiết tham số huấn luyện sử dụng mơ Learning rate, Loss Function, Callback EarlyStopping - Phân tích ưu điểm mơ hình đề xuất giúp phân vùng hiệu - Phân tích, đánh giá q trình thử nghiệm tham số mơ hình để chọn tham số tối ưu đạt hiệu cao bổ xung kết đạt Ngày 14 tháng 11 năm 2022 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Tên đề tài tiếng việt: Nghiên cứu ứng dụng trí tuệ nhân tạo vào toán phân vùng tâm thất ảnh cộng hưởng từ Tên đề tài tiếng anh: Research on Artificial Intelligence techniques for automatic ventricle segmentation from cardiac magnetic resonance images Giảng viên hướng dẫn TÓM TẮT NỘI DUNG Luận văn thạc sĩ với đề tài “Nghiên cứu ứng dụng trí tuệ nhân tạo vào toán phân vùng tâm thất ảnh cộng hưởng từ” Hiện xu hướng trí tuệ nhân tạo xuất hầu hết lĩnh vực, nhu cầu ứng dụng thuật tốn thơng minh y tế ngày tăng cao Xuất phát từ nhu cầu thực tiễn, cần thiết phải xây dựng công cụ hỗ trợ bác sĩ nhân viên y tế việc chẩn đoán bệnh, quản lý hồ sơ bệnh án dựa việc phân tích xử lý ảnh y tế Đặc biệt bệnh tim mạch phát qua tâm thất chụp ảnh cộng hưởng từ Như vậy, mục tiêu quan trọng đề tài đặt tìm hiểu phương pháp Segmentation ảnh tim hiệu dựa thuật toán học máy/học sâu giúp phân vùng tự động tâm thất Từ nghiên cứu, đề xuất cải tiến để nâng cao hiệu mơ hình q trình huấn luyện Trong q trình nghiên cứu, học viên nhóm nghiên cứu triển khai mơ hình dựa kiến trúc Unet thực huấn luyện, đánh giá thử nghiệm tập liệu tim SunnyBrook Cardiac Data 2009 Automated Cardiac Diagnosis Challenge (ACDC) 2017 Công việc triển khai phần mềm Google Colab ngôn ngữ lập trình Python, Framework Keras Bước đầu đạt kết khả quan, nhận thấy mơ hình có điểm mạnh riêng nên nhóm nghiên cứu đề xuất cải tiến mơ hình đặt tên DRUnet++ phát triển từ mơ hình DR-Unet DC-Unet Thử nghiệm hai tập liệu SunnyBrook ACDC cho thấy mơ hình đạt kết tốt hai tiêu chí đánh giá (IoU DSC) Có thể thấy, hướng nghiên cứu phù hợp, làm tiền đề cho việc phân vùng ảnh hiệu tương lai Học viên LỜI CẢM ƠN Trước tiên, em xin cảm ơn Ban giám hiệu Viện Sau đại học, Trường đại học Bách Khoa Hà nội tạo điều kiện để em tham gia chương trình cao học Thạc sĩ khoa học khóa 2020B Trong q trình xây dựng đề cương, nghiên cứu hoàn thành luận văn thạc sĩ, em nhận nhiều trợ giúp hỗ trợ kiến thức chuyên môn đến từ thầy, cô Viện Điện Đặc biệt, cho phép em bày tỏ trân quý biết ơn tới giảng viên hướng dẫn - TS Trần Thị Thảo, dạy nhiệt tình đóng góp ý kiến bổ ích suốt q trình thực đề tài Qua đây, em xin gửi lời cảm ơn chân thành đến bạn học viên khóa em nhóm nghiên cứu Thảo nhiệt tình giúp đỡ, hỗ trợ em trình học tập, q trình nghiên cứu hồn thành đề tài luận văn thạc sĩ Xin chân thành cảm ơn! MỤC LỤC DANH MỤC HÌNH ẢNH .7 DANH MỤC BẢNG .9 DANH MỤC TỪ VIẾT TẮT 10 CHƯƠNG ĐẶT VẤN ĐỀ 11 1.1 Khó khăn thách thức 11 1.2 Hướng giải 14 CHƯƠNG BÀI TOÁN PHÂN VÙNG ẢNH 16 2.1 Bài toán phân vùng ảnh 16 2.1.1 Phân vùng ảnh 16 2.1.2 Ứng dụng phân vùng ảnh 18 2.2 Các phương pháp phân vùng ảnh cổ điển 22 2.2.1 Phân vùng dựa ngưỡng 22 2.2.2 Phân vùng dựa cạnh 23 2.2.3 Phân vùng dựa khu vực .24 2.2.4 Phân vùng dựa kỹ thuật phân cụm .26 2.3 Các phương pháp phân vùng ảnh dựa AI .28 2.3.1 FCN (Fully Convolutional Network) 33 2.3.2 Unet .34 2.3.3 Gated-SCNN 36 2.3.4 DeepLab 37 2.3.5 Mask R-CNN .38 CHƯƠNG XÂY DỰNG MƠ HÌNH 40 3.1 Chuẩn bị công cụ 40 3.1.1 Yêu cầu liệu 40 3.1.2 Công cụ hỗ trợ 42 3.1.3 Các bước triển khai .44 3.1.4 Các tham số huấn luyện 45 3.2 Lựa chọn mơ hình 49 3.2.1 Mơ hình Double Unet 49 3.2.2 Mơ hình ResUnet++ 51 3.2.3 Mơ hình DC-Unet 52 3.2.4 Mơ hình DR-Unet 53 3.2.5 Mơ hình DR-Unet++ 54 CHƯƠNG KẾT QUẢ ĐẠT ĐƯỢC 61 4.1 Kết thử nghiệm mơ hình 61 4.2 Kết huấn luyện dự đoán 63 4.3 Đánh giá so sánh 66 KẾT LUẬN 69 TÀI LIỆU THAM KHẢO 71 PHỤ LỤC 73 DANH MỤC HÌNH ẢNH Hình 1 Ảnh tim chụp phương pháp MRI, CT Scan, siêu âm [6] 12 Hình Hình ảnh tâm thất lắt cắt theo chu kì 13 Hình Tổng hợp nghiên cứu liên quan DL phân vùng ảnh tim [12] 15 Hình Phân vùng ảnh tách đối tượng [17] 16 Hình 2 Phân đoạn ảnh Semantic Instance [18] 17 Hình Cấu trúc tổng quát toán phân vùng ảnh 18 Hình Ứng dụng phân vùng ảnh não, tâm thất tim, vú, phổi, ung thư da, tế bào [19,20,21] 19 Hình Ứng dụng phân vùng ảnh xe tự hành [22] 20 Hình Ứng dụng xử lý ảnh vệ tinh [23] 21 Hình Ứng dụng nông nghiệp 22 Hình Ảnh gốc ảnh phân vùng Threshold [24] 22 Hình Các loại cạnh ảnh 23 Hình 10 Kết phân vùng ảnh dựa cạnh [25] 24 Hình 11 Phân vùng khu vực, (a) Region growth, (b) Region splitting and merging [26] 25 Hình 12 Phân cụm K-means clustering [27] 26 Hình 13 Ảnh gốc ảnh lọc K-Mean clustering [28] 27 Hình 14 Tổng hợp phân vùng ảnh tâm thất LV ngưỡng Edged-Sobel 27 Hình 15 Cấu trúc mạng CNN classification 29 Hình 16 Mô tả hoạt động lớp Convolution 29 Hình 17 Các hàm phi tuyến thường dùng 30 Hình 18 Sử dụng Max pooling Average pooling 30 Hình 19 Cấu trúc lớp Fully Connected CNN 31 Hình 20 Hình ảnh so sánh ConvNet DeconvNet 31 Hình 21 Hoạt động Upsampling 31 Hình 22 Phép tích chập chuyển vị 32 Hình 23 Phép tích chập giãn nở 32 Hình 24 Kiến trúc mạng FCN phân vùng ảnh [8] 34 Hình 25 Kiến trúc mạng Unet [9] 35 Hình 26 Biểu đồ tỷ lệ nghiên cứu mơ hình mạng DL Segmentation từ 2016 2022 [14] 36 Hình 27 Kiến trúc Gated – SCNN – Towaki Takikawa [29] 37 Hình 28 Kiến trúc DeepLab – L Chen [27] 38 Hình 29 Kết mơ hình áp dụng CRF 38 Hình 30 Kiến trúc mạng Faster R-CNN 39 Hình 31 Kiến trúc mạng Mask R-CNN 39 Hình Các phân vùng ảnh tim MRI [38] 40 Hình Dữ liệu ảnh gốc nhãn SCD 41 Hình 3 Dữ liệu ảnh gốc nhãn nội tâm mạc Endo ngoại tâm mạc Epi ACDC 42 Hình Ngôn ngữ Python Framework Keras, Tensorflow 43 Hình Các CPU, GPU, TPU miễn phí Google Colab 44 Hình Các bước triển khai mơ hình AI 45 Hình Bảng ma trận Confusion Matrix 48 Hình Kiến trúc Double Unet 50 Hình Cấu trúc khối ASPP 50 Hình 10 Mơ hình Res Unet++ 51 Hình 11 Kiến trúc DC-Unet 52 Hình 12 Cấu trúc khối DC Block 52 Hình 13 Mơ hình DR-Unet 53 Hình 14 Mơ hình DR-Unet++ 54 Hình 15 MultiRes block MultiResUNet 55 Hình 16 Khối DC-Block đề xuất 56 Hình 17 Tích chập thường tích chập Atrous 56 Hình 18 Cấu trúc ASPP 57 Hình 19 Cấu trúc PASPP 58 Hình 20 Cấu trúc ResPath 58 Hình 21 Cấu trúc SE Block 59 Hình Đồ thị Dice Val_Dice đánh giá Epoch 62 Hình Đồ thị Loss Val_Loss đánh giá learning rate 63 Hình Đồ thị learning curve Endocardium 64 Hình 4 Đồ thị learning curve Epicardium 64 Hình Kết phân vùng ảnh mơ hình DR-Unet++ 65 Hình So sánh kết phân vùng nội tâm mạc Endocardium 67 Hình So sánh kết phân vùng ngoại tâm mạc Epicardium 68 DANH MỤC BẢNG Bảng Bảng Thống kê tham số mơ hình số mơ hình 47 Bảng Bộ tham số huấn luyện mơ hình 61 Bảng Bảng kết đánh giá mơ hình theo Epoch 62 Bảng Bảng kết đán giá mơ hình theo batch size 62 Bảng 4 Bảng tổng hợp kết mơ hình DR-Unet++ Epicardium 65 Bảng Bộ tham số huấn luyện đánh giá mơ hình 66 Bảng Kết định lượng tập liệu ACDC 66 Bảng Kết định lượng tập liệu SunnyBrook 67 Để xây dựng Respath, ta cần định nghĩa số lọc sử dụng W = αU, U số lượng lọc mạng Unet tương ứng với tầng kiến trúc α hệ số tỉ lệ Số lượng lọc lớp tích chập 3x3 tăng dần chúng [W/6], [W/3] [W/2] SE Block (Squeeze and Excitation Block) Khối SE Block dùng để tăng cường chất lượng mạng CNN cách thực việc hiệu chỉnh lại tính kênh, tăng cường thơng tin kênh nhấn mạnh có chọn lọc với kênh chứa đặc trưng quan trọng Với lớp tích chập xây dựng khối SE tương ứng để hiệu chỉnh lại đồ đặc trưng ′ ′ ′ Xét ảnh đầu vào 𝑋𝑋 ∈ ℝ𝐻𝐻 × 𝑊𝑊 ×𝐶𝐶 với chiều cao 𝐻𝐻 ′ , chiều rộng 𝑊𝑊 ′ số channel 𝐶𝐶 ′ Gọi tập s tập chứa số channel X Ví dụ X ảnh màu RGB s = 1,2,3 Ta định nghĩa lớp convolutional 𝐹𝐹𝑡𝑡𝑡𝑡 chứa filters 𝑉𝑉 𝑉𝑉 = [𝑣𝑣1 , 𝑣𝑣2 , , 𝑣𝑣𝐶𝐶 ] Có tổng cộng C filter tất 𝑣𝑣𝑠𝑠 tham số filter thứ s Hình 21 Cấu trúc SE Block Cho ảnh đầu vào qua lớp 𝐹𝐹𝑡𝑡𝑡𝑡 ta sản phẩm đầu 𝑈𝑈 ∈ ℝ𝐻𝐻× 𝑊𝑊 ×𝐶𝐶 Ta viết lại feature map U dạng 𝑈𝑈 = [𝑢𝑢1 , 𝑢𝑢2 , , 𝑢𝑢𝐶𝐶 ] đó: 𝐶𝐶 ′ 𝑢𝑢𝑐𝑐 = 𝑣𝑣𝑐𝑐 ∗ 𝑋𝑋 = � 𝑠𝑠 = PT 3.3 𝑣𝑣𝑐𝑐𝑠𝑠 ∗ 𝑥𝑥 𝑠𝑠 ′ Ở * phép tốn tích chập, 𝑣𝑣𝑐𝑐 = �𝑣𝑣𝑐𝑐𝑠𝑠 = , 𝑣𝑣𝑐𝑐𝑠𝑠 = , … , 𝑣𝑣𝑐𝑐𝑠𝑠 = 𝐶𝐶 �, X = ′ 𝑥𝑥 𝑠𝑠 = , 𝑥𝑥 𝑠𝑠 =2 , … , 𝑥𝑥 𝑠𝑠 =𝐶𝐶 ] 𝑢𝑢𝑐𝑐 ∈ ℝ𝐻𝐻× 𝑊𝑊 Các bước thực thi khối SE: - Đặc trưng X cho qua phép biến đổi Ftr trích xuất feature map U - Các feature map U qua hàm squeeze (thường global avg pooling) sinh ma trận miêu tả đặc trưng kênh - Hàm excitation thêm sau đó, lấy đầu vào ma trận tổng hợp trên, cho qua bước tính tốn để tính trọng số S biểu diễn phụ thuộc kênh Các trọng số sau đem nhân với feature U đặc trưng thực quan trọng với toán Nhận xét: Mơ hình DR-Unet++ trình bày có cải tiến nhờ việc kết hợp điểm mạnh mơ hình trước Xuất phát từ hạn chế mơ hình cũ thường có encoder lớp tích chập (Conv + pooling) làm giảm độ phân giải thông tin qua nhiều lớp, mô hình đề xuất sử dụng khối DC Block giúp mơ hình trích xuất nhiều đặc trưng khơng gian hiệu không làm tăng số lượng tham số mơ hình kết hợp với khối SE để chọn lọc kênh chứa đặc trưng quan trọng Nhờ giúp giữ lại thông tin từ encoder cách hiệu Kế tiếp việc kế thừa Double-ResPath thay cho kết nối tắt encoder decoder giúp mô hình bảo tồn thơng tin khơng gian đặc trưng học encoder thành đầu ma trận đặc trưng Ngoài ra, nhờ khả trích xuất thơng tin hiệu PASPP so với ASPP thơng qua việc kết hợp lớp tích chập Atrous có tỉ lệ tương tự nhau, sau tiếp tục kết hợp từ từ đạt đầu Nhờ ưu điểm nêu giúp mơ hình giữ lại đặc trưng tốt xây dựng ma trận dự đốn đầu xác Để kiểm chứng mơ hình có chất lượng tốt hay không, ta tiến hành đánh giá chương CHƯƠNG KẾT QUẢ ĐẠT ĐƯỢC 4.1 Kết thử nghiệm mơ hình Với đề tài luận văn ứng dụng trí tuệ nhân tạo, cụ thể kỹ thuật học sâu để phân vùng tự động hình ảnh tâm thất tim Học viên nhóm nghiên cứu xây dựng thành cơng mơ hình đề xuất DR-Unet++ Dựa vào tập liệu ACDC cho ảnh cộng hưởng từ MRI tâm thất tim Học viên xây dựng mơ hình thực nhiệm vụ phân vùng cho hai đối tượng khác Endocardium (nội tâm mạc) Epicardium (ngoại tâm mạc) Dữ liệu huấn luyện dataset ACDC gồm 1808 ảnh chia thành tập (Training set, Validation set, Test set) theo tỉ lệ tương ứng (70:15:15) Để đánh lựa chọn tham số phù hợp cho mơ hình, học viên tiến hành thử nghiệm nhiều tham số khác cho phân vùng nội tâm mạc - lớp tâm thất, từ lựa chọn tham số tối ưu cho mơ hình Các tham số quan trọng thể đây: Bảng Bộ tham số huấn luyện mô hình Tham số Nội dung Learning rate (lr) 10-3 Loss Dice Loss Optimizer Adam(lr) Callback EarlyStopping(patience=20, monitor="val_loss") ModelCheckpoint(os.path.join(save_path,"test.h5"), verbose=2, save_best_only=True) ReduceLROnPlateau(monitor='val_loss', patience=10, min_lr = 1e-7) factor=0.1, a) Lựa chọn Epoch Chọn giá trị Epoch số nguyên dương lớn Khi đưa tất liệu tập Train vào mạng lần, mơ hình cập nhật trọng số lần hoàn thành Epoch Để mơ hình đạt kết tối ưu dựa thuật toán Gradient Decents, cần thực lặp lại đến hội tụ Vì cậy cần thiết xác định điểm hội tụ mơ hình, từ xác định số Epoch phù hợp Trước tiên, ta giữ nguyên điều kiện learning rate, hàm Loss Callback tiến hành thay đổi giá trị Epoch tăng từ 10, 50, 100, 150 Hình Đồ thị Dice Val_Dice đánh giá Epoch Theo kết đồ thị thể trên, dễ thấy với Epoch = 10 50, mơ hình chưa đạt đến điểm hội tụ đường cong Curve Dice cịn xu hướng tăng Khi mơ hình huấn luyện tới Epoch = 100, giá trị Dice có xu hướng ổn định không thay đổi nhiều Để đảm bảo mơ hình hội tụ tham số mơ hình cải tiến tốt nữa, học viên chọn giá trị Epoch = 150 Bảng Bảng kết đánh giá mơ hình theo Epoch Epoch 10 50 100 150 DSC 0.924 0.931 0.938 0.942 IoU 0.870 0.885 0.891 0.898 Accuracy 0.995 0.996 0.997 0.997 Loss 0.075 0.069 0.061 0.058 b) Lựa chọn Batch size Batch size nhận giá trị số nguyên dương Để lựa chọn giá trị Batch size phù hợp, cần giữ nguyên tham số learning rate, hàm Loss, Callback tiến hành thay đổi số giá trị batch size để kiểm tra ảnh hưởng tới kết mơ Bảng Bảng kết đán giá mơ hình theo batch size Batch size 10 20 DSC 0.939 0.946 0.942 0.927 0.914 IoU 0.894 0.902 0.898 0.885 0.872 Accuracy 0.997 0.997 0.997 0.997 0.996 Loss 0.060 0.053 0.058 0.073 0.085 Đầu tiên cài đặt giá trị khởi tạo huấn luyện mơ hình, sau tiếp tục tăng dần đến 20 quan sát số DSC (Dice Coefficient) Nhận thấy batch size có giá trị từ 10 lớn hơn, kết mơ hình thấp trường hợp bé Kết tốt batch size đạt giá trị (tương ứng với DSC = 0.946) c) Lựa chọn Learning rate Learning rate siêu tham số tác động đến việc chuyển dịch trọng số mơ hình tốc độ hội tụ hàm loss trình huấn luyện mạng, có giá trị khoảng (0 - 1) Để đánh giá ảnh hưởng tham số đến kết mơ hình, học viên thử nghiệm với số giá trị từ 10-5 tới 10-2 quan sát đường cong Loss Hình Đồ thị Loss Val_Loss đánh giá learning rate Với learning rate cao (lr = 0.01), đồ thị loss có nhiều dao động 30 epoch dần hội tụ từ epoch 40 Ngược lại, chọn learning rate thấp (lr = 105 ) đường cong Loss có biên dạng dao động, nhiên giá trị tính toán (loss) giá trị xác thực (val_loss) cách biệt lớn Dựa kết thử nghiệm nêu ta thấy giá trị lr = 10-3 cho chất lượng mơ hình ổn định kết tốt 4.2 Kết huấn luyện dự đoán Từ kết thử nghiệm, đánh giá tham số huấn luyện mục 4.1, học viên lựa chọn tham số phù hợp cho mơ hình Bao gồm: - Epoch = 150 - Batch Size = - Learning rate = 10-3 - Hàm Loss Callback giữ nguyên điều kiện nêu Kết đạt sau hoàn thành huấn luyện DR-Unet++ hai mơ hình Endocardium Epicardium biểu thị qua đồ thị Learning Curve gồm: Loss, Accuracy, DSC (Dice Coefficient), IoU Hình Đồ thị learning curve Endocardium Theo đồ thị Loss, dễ thấy giá trị hàm Loss có xu hướng hội tụ giá trị gần Nếu mơ hình lý tưởng giá trị Loss = Cịn đồ thị cịn lại có xu hướng tiến giá trị gần Như phân tích chương 3, giá trị DSC IoU cao tiến tới mơ hình huấn luyện thành cơng Hình 4 Đồ thị learning curve Epicardium Bốn đường cong (Learning Curve) trình bày kết định tính sau hồn thành huấn luyện mơ hình cho phân vùng Endo Epi-Cardium Từ đồ thị thấy từ Epoch 25, mơ hình bắt đầu ổn định việc cập nhật trọng số biến động Sau huấn luyện mơ hình thành cơng, học viên thực đánh giá kết tập liệu Test ảnh (Batch size = 5) Bảng 4 Bảng tổng hợp kết mơ hình DR-Unet++ Epicardium Chỉ số Epicardium IoU 0.926 Dice Coef (DSC) 0.958 Accuracy 0.995 Loss 0.041 Chỉ số IoU DSC có giá trị 0.926 0.958, kết tốt cho mơ hình Segmentation Có thể thấy kết tốt phân vùng ảnh tim với tập liệu ACDC Sau kết phân vùng ảnh tâm thất, gồm ảnh gốc, nhãn (Ground truth) kết dự đoán (Mask predict) xếp theo thứ tự từ trái qua phải Hình Kết phân vùng ảnh mơ hình DR-Unet++ Theo kết phân vùng thể hình 4.5, dễ thấy đường bao hai mơ hình Epicardium Endocardium (ảnh thứ 3) bám sát với nhãn đánh dấu (trên ảnh thứ 2) Mơ hình phân vùng tốt chỗ đường biên mờ không rõ ràng, hay ảnh có kích thước bé mơ hình phân vùng khơng bị bỏ sót Nhờ việc lưu giữ đặc trưng tốt nhánh Encoder, mơ hình DR-Unet++ cho kết phân vùng tốt với đối tượng cần quan tâm (nội tâm mạc ngoại tâm mạc) 4.3 Đánh giá so sánh Để thực đánh giá kết mơ hình Unet, học viên xây dựng thực huấn luyện bốn mơ hình Unet, DC-Unet, DR-Unet DR-Unet++ Kết đánh giá thực liệu ACDC SunnyBrook với hai phân vùng Endocardium Epicardium Các tham số huấn luyện sử dụng cho mơ sau: Bảng Bộ tham số huấn luyện đánh giá mơ hình Tham số Giá trị Tham số Batch size = 5, Epoch = 150, Learning rate = 10-3 Loss Dice Loss Optimizer Adam(lr) Callback EarlyStopping(patience=20, monitor="val_loss") ModelCheckpoint(os.path.join(save_path,"test.h5"), verbose=2, save_best_only=True) ReduceLROnPlateau(monitor='val_loss', patience=10, min_lr = 1e-7) factor=0.1, Thứ nhất, đánh giá định lượng dựa hệ số DSC IoU tổng hợp bảng 4.6 bảng 4.7 Kết thu sau huấn luyện thành công mơ hình kiểm tra tập ‘Test set’ hai liệu ACDC SunnyBrook Bảng Kết định lượng tập liệu ACDC Endocardium Model Size Epicardium DSC IoU DSC IoU Unet 7.24M 88.10 82.25 91.89 87.12 DC-Unet 6.49M 91.82 87.51 94.36 90.26 DR-Unet 2.56M 93.31 88.84 95.89 92.84 DR-Unet++ 8.0M 93.98 89.66 96.35 93.44 Theo bảng so sánh kết mơ hình nêu trên, ta thấy có mơ hình sau (DC-Unet, DR-Unet DR-Unet++ biến thể Unet) có kết tốt với IoU > 0.9, DR-Unet++ cho kết tốt nhất, với IoU = 0.934, DSC = 0.964 với phân vùng Epicardium Tuy nhiên mơ hình DR-Unet++ có số lượng tham số cao ( khoảng triệu), lớn mơ hình Unet cổ điển chút Bảng Kết định lượng tập liệu SunnyBrook Endocardium Model Size Epicardium DSC IoU DSC IoU Unet 7.24M 84.31 79.91 85.12 81.47 DC-Unet 6.49M 90.37 86.23 91.78 87.75 DR-Unet 2.56M 90.96 85.11 92.16 88.13 DR-Unet++ 8.0M 91.3 87.0 93.1 89.3 Thứ hai đánh giá định tính dựa theo kết phân vùng dự đoán (predict mask) Để dễ dàng cho việc đánh giá trực tiếp mắt, kết phân vùng ảnh tương ứng với mô hình hiển thị ảnh gốc (Image) nhãn thực tế (Ground truth) Bài toán phân vùng ảnh thực hai nhiệm vụ phân vùng Endocardium Epicardium Hình So sánh kết phân vùng nội tâm mạc Endocardium Nhìn chung với ảnh nội tâm mạc rõ ràng, độ tương phản tốt tất mơ hình cho kết tốt Với ảnh khơng đẹp có độ tương phản khơng tốt mơ hình bắt đầu có khác Trong mơ hình gốc Unet cho kết hiệu nhất, thể qua việc không phân vùng ảnh số 1, cịn ảnh số phân vùng chưa xác Cịn hai mơ hình DR-Unet DC-Unet kết gần tương đương nhau, nhiên ảnh số bị dự đoán sai Tiếp theo kết phân vùng ngoại tâm mạc Epicardium Do vùng có kích thước lớn hơn, vùng bao tim ngồi có biên dạng rõ ràng bị nhiễu vùng nội tâm mạc bên nên kết phân vùng mơ hình cho kết tốt đạt hiệu cao số DSC IoU Trong mơ hình đề xuất DR-Unet++ cho kết dự đốn phân vùng bám sát với Ground Truth tốt Hình So sánh kết phân vùng ngoại tâm mạc Epicardium Qua kết trình bày trên, thấy mơ hình đề xuất nhóm nghiên cứu có kết vượt trội so với mơ hình cịn lại thơng qua số DSC IoU hai tập liệu ACDC SunnyBrook đánh giá tham số huấn luyện Việc phân vùng đối tượng tâm thất tim tốt tiền đề để thực bước xử lý đánh giá tình trạng sức khỏe tim, xây dựng hình dạng 3D tâm thất tim hay ứng dụng phân loại bệnh tim, … Nhờ kết khả quan đạt được, mơ hình đề xuất trình bày báo hội nghị GTSD22 KẾT LUẬN Kết luận Với mục tiêu phân vùng ảnh tâm thất tự động trí tuệ nhân tạo, luận văn nghiên cứu hoàn thành mục tiêu đặt từ ban đầu Thứ nhất, luận văn trình bày khó khăn thách thức phân vùng ảnh tim, từ đưa hướng giải việc áp dụng giải pháp AI Điều có ý nghĩa to lớn việc hỗ trợ y bác sĩ chẩn đoán bệnh dựa ảnh y tế mà không cần phải thao tác thủ công Thứ hai, học viên tìm hiểu nghiên cứu phương pháp phân vùng ảnh đại ứng dụng phổ biến Một mơ hình phân vùng ảnh tiếng FCN, Unet biến thể nó, Gated-SCNN, DeepLab, Mask R-CNN Trong đó, Unet mơ hình triển khai nhiều phân vùng ảnh y tế, bao gồm ảnh tim chụp cộng hưởng từ MRI CT Scan Thứ ba, học viên nhóm nghiên cứu tiến hành thử nghiệm nhiều mơ hình phân vùng ảnh, đề xuất mơ hình DR-Unet++ kế thừa ưu điểm mơ hình DR-Unet DC-Unet Mơ hình đề xuất đánh giá hai tập liệu ACDC SunnyBrook cho kết tốt so với mơ hình trước Unet, DC-Unet, DR-Unet dựa số IoU DSC Trong mơ hình có hai nhiệm vụ phân vùng ảnh nội tâm mạc (Endocardium) ngoại tâm mạc (Epicardium) Kết tốt đạt đánh giá tập liệu ACDC cho ngoại tâm mạc IoU = 93.44 DSC = 96.35 Kết phân vùng ảnh tốt tiền đề cho việc tích hợp ứng dụng trí tuệ nhân tạo vào hệ thống chẩn đoán ảnh y tế bệnh viện, giúp bác sĩ theo dõi, phân tích tình trạng tim mạch, cụ thể tâm thất có hoạt động bình thường hay khơng Nhờ có kết khả quan, mơ hình đề xuất nhóm trình bày báo hội nghị GTSD22 Hướng phát triển Luận văn hoàn thành nhiệm vụ phân vùng ảnh tự động tâm thất người qua ảnh cộng hưởng từ MRI Kết phân vùng so sánh với số mơ hình khác tập liệu đạt kết tốt Tuy nhiên, chưa thể ứng dụng vào thực tế để hỗ trợ đội ngũ bác sĩ hay nhân viên y tế chẩn đốn bệnh tim Để làm điều này, cần xây dựng hệ thống hồn chỉnh bao gồm cấu hình máy tính, phần mềm kết hợp với toán classification để phân loại hình ảnh bệnh nhân theo bệnh tim Ngồi ra, thông tin nhãn bệnh nhân tương ứng ảnh đầu vào tập liệu ACDC thiếu, nên toán phân loại chưa thể xây dựng áp dụng Dưới số hướng phát triển đề tài học viên đề xuất: Thứ nhất, hướng phát triển đề tài xây dựng phần mềm có tính năng: - Tự động nhận dạng phân vùng ảnh tâm thất xác - Phân loại, chẩn đoán số bệnh tim qua việc xử lý ảnh tâm thất - Tái tạo ảnh 3D tâm thất từ lát cắt 2D phân vùng chu kì tim - Quản lý hồ sơ bệnh án lưu trữ vào sở liệu Thứ hai, qua phân tích kết từ hai liệu ACDC SunnyBrook, thấy kết mơ hình DR-Unet++ liệu có chênh lệch chút Như vậy, hướng phát triển tìm phương pháp chuẩn hóa liệu để kết từ hai mơ hình tương đồng Cũng sử dụng với nhiều nguồn liệu khác tim Thứ ba tiếp tục cải tiến cấu trúc mơ hình nhằm nâng cao hiệu phân vùng ảnh tốn Segmentation Học viên hồn thành kết luận hướng phát triển đề tài Mong đề tài ứng dụng thực tế, trở thành công cụ hữu hiệu hỗ trợ y bác sỹ chuẩn đoán bệnh y tế TÀI LIỆU THAM KHẢO [1] Avendi, M R., Kheradvar, A., and Jafarkhani, H (2016) A combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac mri, Medical Image Analysis 30,108–119 [2] Bernard, O., Lalande, A., Zotti, C., Cervenansky, F., Yang, X., Heng, P.-A., et al (2018) Deep learning techniques for automatic MRI cardiac Multi-Structures segmentation and diagnosis: Is the problemsolved? IEEE Transactions on Medical Imaging 37, 2514–2525 [3] Tran, P V (2016) A fully convolutional neural network for cardiac segmentation in ShortAxis MRI.Arxiv Preprint abs/1604.00494 Available at: http://arxiv.org/abs/1604.00494 [4] Oktay, O., Schlemper, J., Folgoc, L L., Lee, M., Heinrich, M., Misawa, K., et al (2018) Attention U-Net:Learning where to look for the pancreas, Medical Imaging with Deep Learning 1804.03999 [5] “80% bệnh tim mạch giai đoạn đầu phòng ngừa làm theo khuyến cáo từ chuyên gia”, https://moh.gov.vn/ [6] Chen Chen, Chen Qin, Huaqi Qiu (2020) Deep Learning for Cardiac Image Segmentation: A Review, Frontiers in Cardiovascular Medicine [7] Khened, M., Kollerathu, V A., and Krishnamurthi, G (2019) Fully convolutional multiscale residual DenseNets for cardiac segmentation and automated cardiac diagnosis using ensemble of classifiers, Medical Image Analysis 51, 21–45 [8] Jonathan Long, Evan Shelhamer, Trevor Darrell (2015) Fully Convolutional Networks for Semantic Segmentation, arXiv:1411.4038v2 [cs.CV] Mar 2015 [9] Olaf Ronneberger, Philipp Fischer, Thomas Brox, 2015, U-Net: Convolutional Networks for Biomedical Image Segmentation, https://arxiv.org/abs/1505.04597 [10] Sunny Brook Cardiac Dataset, 2009 - Cardiac MR Left Ventricle Segmentation Challenge [11] ACDC - Automated Cardiac Diagnosis Challenge 2017 [12] Chen Chen, Chen Qin, Huaqi Qiu, Giacomo Tarroni, Review Frontiers in Cardiovascular Medicine (2020): "Deep Learning for Cardiac Image Segmentation: A Review" [13] Foivos I Diakogiannis, Franỗois Waldner, Peter Caccetta, Chen Wu (2019), ResUNet-a: a deep learning framework for semantic segmentation of remotely sensed data [14] Nabil Ibtehaz, M Sohel Rahman, (2019) MultiResUNet : Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation [15] Ange Lou, Shuyue Guan, Murray Loew (2020), DC-UNet: Rethinking the U-Net Architecture with Dual Channel Efficient CNN for Medical Images Segmentation [16] Nhat-Minh Le, Dinh-Hung Le, Van-Truong Pham, Thi-Thao Tran (2021) DR-Unet: Rethinking the ResUnet++ Architecture with Dual ResPath skip connection for Nuclei segmentation, 2021 8th NAFOSTED [17] ACM Transactions on Graphics (Proc SIGGRAPH), 2018 [18] Image Classification vs Semantic Segmentation vs Instance Segmentation, Nirmala Murali, 2021 [19] Medical image segmentation: hard and soft computing approaches, Prajawal Sinha, Mayur Tuteja (2020) [20] The Fast and Accurate Approach to Detection and Segmentation of Melanoma Skin Cancer using Fine-tuned Yolov3 and SegNet Based on Deep Transfer Learning, M Taghizadeh, K Mohammadi, 2022 [21] Recurrent residual U-Net for medical image segmentation, Md Zahangir Alom, Chris Yakopcic, 2019 [22] Chung Pham Van, 2021, A survey of loss functions for semantic segmentation, https://viblo.asia/ [23] AI Design, "Segment hình ảnh máy bay từ vệ tinh sử dụng Unet" [24] Leonardo Nicolosi, Felix Abt, A Blug (2011) A novel spatter detection algorithm based on typical cellular neural network operations for laser beam welding processes [25] Roger Posada, Barcelona - 2021 Using Deep Learning Techniques for Semantic Segmentation of Images [26] Gajendra Singh Chandel, Ravindra Kumar, Deepika Khare - International Journal of Engineering Innovation & Research (2012) Analysis of Image Segmentation Algorithms Using MATLAB [27] Rumdeep K Grewal, Sampa Das - ResearchGate (2013) Microarray data analysis: Gaining biological insights [28] Machine Learning (2017) K-means Clustering: Simple Applications [29] Towaki Takikawa, (2019) Gated-SCNN: Gated Shape CNNs for Semantic Segmentation, IEEE Explore [30] Avan Suinesiaputra, Charlène A Mauger, Bharath Ambale-Venkatesh (2021) “Deep Learning Analysis of Cardiac MRI in Legacy Datasets: Multi-Ethnic Study of Atherosclerosis”, Front Cardiovasc Med 2021; 8: 807728 [31] Liang-Chieh Chen, George Papandreou (2017) DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs [32] Shruti Jadon (2020), “A survey of loss functions for semantic segmentation”, IEEE, arXiv:2006.14822v4 [eess.IV] [33] Debesh Jha, Michael A Riegler, Dag Johansen, Pål Halvorsen, Håvard D Johansen (2020), DoubleU-Net: A Deep Convolutional Neural Network for Medical Image Segmentation [34] Qingsen Yan, Bo Wang, Dong Gong, Chuan Luo (2020), COVID-19 Chest CT Image Segmentation A Deep Convolutional Neural Network Solution [35] Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick (2017), Mask R-CNN [36] ACM Transactions on Graphics (Proc SIGGRAPH), 2018 [37] Bosung Seo, Daniel Mariano, John Beckfield, Vinay Madenur Cardiac MRI Image Segmentation for Left Ventricle and Right Ventricle using Deep Learning [38] Lipeng Xiea, Yi Song, Qiang Chen (2020) Automatic left ventricle segmentation in shortaxis MRI using deep convolutional neural networks and central-line guided level set approach [39] Jaccard index, wikipedia.org [40] Sørensen–Dice coefficient, wikipedia.org PHỤ LỤC Mô hình đề xuất đề tài học viên nhóm nghiên cứu phát triển trình bày báo hội nghị GTSD (Green Technology and Sustainable Development) 2022 với tên đề tài: “DR-Unet++: An Approach for Left Ventricle Segmentation from Magnetic Resonance Images”, Dinh-Hung Le, Nhat-Minh Le, Khac-Hung Le, Van-Truong Pham, Thi-Thao Tran ... văn thạc sĩ với đề tài ? ?Nghiên cứu ứng dụng trí tuệ nhân tạo vào tốn phân vùng tâm thất ảnh cộng hưởng từ” Hiện xu hướng trí tuệ nhân tạo xuất hầu hết lĩnh vực, nhu cầu ứng dụng thuật tốn thơng... CHƯƠNG BÀI TOÁN PHÂN VÙNG ẢNH 16 2.1 Bài toán phân vùng ảnh 16 2.1.1 Phân vùng ảnh 16 2.1.2 Ứng dụng phân vùng ảnh 18 2.2 Các phương pháp phân vùng ảnh. .. hai phân vùng màu trắng với màu xám tương ứng với khoanh vùng tâm thất trái tâm thất phải Đó hai đối tượng khác cần phân vùng 2.1.2 Ứng dụng phân vùng ảnh Như trình bày mục 2.1.1, phân vùng ảnh