Đang tải... (xem toàn văn)
Bài viết đề xuất một hướng tiếp cận cho phân vùng ảnh MRI khối u não dùng mạng nơ-ron học sâu, với hàm mất mát dựa trên hàm Tversky. Cụ thể, chúng tôi đề xuất sử dụng mô hình TransUnet, một mô hình được giới thiệu gần đây dựa trên kiến trúc Transformer và U-Net để huấn luyện và kiểm thử dữ liệu.
Kỹ thuật điều khiển & Điện tử Phát triển hàm mát cho mạng TransUnet phân vùng ảnh MRI khối u não Trần Thị Thảo*, Phạm Văn Trường, Nguyễn Hữu Thắng Trường Đại học Bách khoa Hà Nội * Email: thao.tranthi@hust.edu.vn Nhận ngày 28/02/2022; Hoàn thiện ngày 21/3/2022; Chấp nhận đăng ngày 10/4/2022 DOI: https://doi.org/10.54939/1859-1043.j.mst.78.2022.28-38 TÓM TẮT Phân vùng ảnh khối u não chụp cộng hưởng từ MRI (Magnetic resonance imaging) hữu ích cho việc chẩn đốn, dự đốn tốc độ phát triển, đo thể tích khối u lập phác đồ điều trị khối u não Tuy vậy, việc phân vùng ảnh MRI khối u não thực tế gặp khó khăn đa dạng khối u não kích thước, hình dạng, vị trí khơng đồng chúng Trong báo này, đề xuất hướng tiếp cận cho phân vùng ảnh MRI khối u não dùng mạng nơ-ron học sâu, với hàm mát dựa hàm Tversky Cụ thể, đề xuất sử dụng mơ hình TransUnet, mơ hình giới thiệu gần dựa kiến trúc Transformer U-Net để huấn luyện kiểm thử liệu Đồng thời đề xuất hàm mát dùng để huấn luyện mạng nơ-ron qua giải khó khăn vừa nêu phân vùng ảnh MRI khối u não Phương pháp đề xuất kiểm chứng tập liệu Brain LGG Segmentation, kết cho thấy mạng TransUNet với hàm mát đề xuất hoạt động tốt, với tiêu đánh giá có kết cao so với số phương pháp khác Từ khóa: Mạng nơ-ron học sâu; Mơ hình TransUnet; Phân vùng ảnh MRI khối u não; Hàm Tversky ĐẶT VẤN ĐỀ U não khối tăng trưởng tế bào bất thường não, bệnh gây tử vong hàng đầu bệnh nhân ung thư [1] U não chia thành u não lành tính u não ác tính Chẩn đốn hình ảnh phương pháp thường sử dụng để chẩn đoán u não Các kỹ thuật chẩn đốn hình ảnh kể đến phương pháp chụp cắt lớp CT(computerized tomography), phương pháp cộng hưởng từ hạt nhân (MRI) Cho dù khối u não lành tính, ác tính hay di căn, tất có khả đe dọa nghiêm trọng tới tính mạng não bao bọc hộp xương sọ, khơng thể mở rộng để có chỗ cho khối lượng ngày lớn khối u Kết là, khối u chèn ép chiếm chỗ mô não khỏe mạnh Việc xác định xác kích thước vị trí khối u giúp cho bác sĩ q trình chẩn đốn, điều trị bệnh Việc xác định khối u thực thủ cơng cần phải có bác sĩ chẩn đốn hình ảnh sử dụng thông tin thu ảnh MRI với kiến thức giải phẫu sinh lý có qua nhiều năm nghiên cứu thực nghiệm lĩnh vực y khoa Q trình địi hỏi bác sĩ phải xem xét nhiều hình ảnh lát cắt, chẩn đốn khối u vẽ thủ cơng vùng khối u cách cẩn thận Ngoài việc tốn thời gian, việc phân vùng thủ công phụ thuộc vào kinh nghiệm kiến thức y khoa bác sĩ chẩn đốn hình ảnh Do đó, kết phân vùng khác lần thực ý kiến chuyên khoa bác sĩ khác [2] Thực tế ảnh MRI khối u, có nhiều thách thức Thách thức kể đến đa dạng vị trí, kích thước hình khối Kích thước vị trí khối u khác bệnh nhân Tuy nhiên, bệnh nhân, kích thước khối u khác lát cắt ảnh Sự phức tạp dễ dàng nhận thấy quan sát ảnh MRI 3D Khi chia lát cắt ảnh 3D thành lát cắt 2D, kích thước khối u thay đổi lát cắt Điều khiến cho việc phân vùng khối u trở nên khó khăn Bên cạnh đó, diện tích khối u nhỏ so với kích thước não Bên cạnh đó, khó khăn việc xác định 28 T T Thảo, P V Trường, N H Thắng, “Phát triển hàm mát … ảnh MRI khối u não.” Nghiên cứu khoa học công nghệ khối u cách tự động khơng quán hình dạng Hình dạng khối u bệnh nhân khác nhau, khơng có khn mẫu hay đặc điểm cụ thể Ngày nay, nhờ tiến khoa học máy tính học máy, việc phân vùng ảnh MRI khối u não cách tự động xác hỗ trợ bác sĩ định chẩn đoán giúp đỡ bệnh nhân Với tập liệu liên tục đóng góp nhà khoa học, số lượng ca bệnh dùng cho huấn luyện mơ hình ngày gia tăng, giúp cho máy học kinh nghiệm từ nhiều chuyên gia Khi số lượng mẫu ảnh gia tăng đến mức đủ lớn, kết mơ hình ngang chí xác chẩn đốn bác sĩ Đã có nhiều phương pháp tiếp cận toán phân vùng ảnh u não hướng sử dụng đường bao chủ động [3, 4], phương pháp học máy [5-8] Với thành tựu rực rỡ kỹ thuật học sâu, mạng nơ-ron tích chập CNN (Convolutional Neural Network), giúp cho toán phân vùng ảnh nói chung phân vùng ảnh y tế nói riêng thu nhiều thành tựu Có thể kể đến số mơ hình phân vùng ảnh dùng học sâu tiếng, mạng tích chập tồn phần FCN (Fully Convolutional Network), [9] mạng U-Net [10], gần mơ hình TransUnet [11]- cấu trúc dựa Transformer vốn tiếng xử lý ngôn ngữ tự nhiên Các mơ hình mạng kể mơ hình phát triển dựa hai cấu trúc mạng ứng dụng nhiều lĩnh vực phân vùng ảnh [6, 12] Bên cạnh việc phát triển kiến trúc mới, hàm mát phân vùng ảnh nhà nghiên cứu lĩnh vực thị giác máy tính đặc biệt trọng Vì tính chất cân liệu tính chất điển hình liệu y tế, hàm mát cần phải tập trung giải Hàm mát cross-entropy (CE) [10], cross-entropy có trọng số ứng dụng phân vùng cấu tạo não dựa ảnh MRI [13], hay hàm mát Dice [14], hàm mát Tversky [15] ví dụ tiêu biểu cho phân vùng ảnh y tế Nghiên cứu cho thấy sử dụng hàm mát dạng đem lại hiệu vượt trội Hơn nữa, việc áp dụng hàm mát lại đơn giản, khơng tốn chi phí Vì vậy, nay, sử dụng hàm mát giải việc cân liệu coi mặc định xử lí ảnh y tế dùng kỹ thuật học sâu Trong trình nghiên cứu ảnh y tế học sâu, nhận thấy hướng phát triển hàm mát kỹ thuật học sâu ứng dụng phân vùng ảnh y tế nói chung phân vùng khối u não cịn có nhiều tiềm để phát triển Trong báo đề xuất hàm mát mới, giải việc cân liệu, góp phần giải số thách thức phân vùng khối u não đa dạng khối u não kích thước, hình dạng, vị trí không đồng chúng Đồng thời đề xuất sử dụng mơ hình mạng đại dựa kiến trúc transformer, TransUnet TransUnet [11]- thiết lập cấu hình so cho phù hợp thích nghi với toán phân vùng ảnh u não Phần báo gồm phần sau: Phần khái qt số mơ hình hàm mát phân vùng ảnh nói chung dùng kỹ thuật học sâu; Phần trình bày kiến trúc TransUnet hàm mát đề xuất; Một số kết thực nghiệm đánh giá giới thiệu Phần 4; Cuối cùng, phần kết thúc với kết luận hướng phát triển CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Mơ hình U-Net mơ hình mở rộng U-Net Mơ hình mạng U-Net [5], giới thiệu Olaf Ronnenberger cộng sự, dành cho phân vùng ảnh y sinh vào năm 2015, mơ hình cải tiến phát triển dựa mơ hình mạng nơ-ron tích chập tồn phần giới thiệu trước Sở dĩ mơ hình có tên U-Net cấu trúc đối xứng mình, minh họa hình Phần mã hóa U-Net tương tự mạng nơ ron tích chập truyền thống, gồm lớp tích chập lớp giảm chiều nhằm trích xuất đặc trưng ảnh Điều bật mạng U-Net lớp giải mã Tại lớp này, số lần mở rộng chiều tương Tạp chí Nghiên cứu KH&CN quân sự, Số 78, - 2022 29 Kỹ thuật điều khiển & Điện tử ứng với số lần giảm chiều lớp trước Trong số mơ hình phát triển dựa U-Net, thay dùng lớp mở rộng kết hợp với lớp tích chập, ta sử dụng lớp tích chập đảo với nhiều cửa sổ trượt Hình Minh họa mơ hình U-Net Ví dụ phân vùng khối u não Một mơ hình mạng phát triển U-Net kể đến Attention UNet [6] giới thiệu vào năm 2018 Cơ chế tập trung thêm vào giúp mạng gia tăng hiệu việc xác định xác phân vùng ảnh Trong q trình tăng mẫu phía decoder, dùng phép tích chập chuyển vị phép nội suy thơng tin mặt không gian tái tạo không đủ xác Để khắc phục nhược điểm này, U-Net sử dụng kết nối tắt (skip connection) kết hợp thông tin không gian từ khối encoder với khối decoder Tuy nhiên, điều dẫn đến nhiều phần trích xuất đối tượng cấp thấp dư thừa, tính biểu diễn lớp ban đầu Sự tập trung mềm thực kết nối tắt chủ động ngăn chặn kích hoạt vùng khơng liên quan, giảm số lượng thông tin dư thừa đưa qua mạng Nhờ chế này, mạng Attention-Unet học cách tập trung vào khu vực mong muốn q trình đào tạo diễn Tính khả vi cổng tập trung mềm cho phép mạng huấn luyện q trình lan truyền ngược, có nghĩa hệ số tập trung trở nên tốt việc làm bật vùng ảnh quan trọng Các cổng tập trung cách đơn giản để cải thiện U-Net cách hiệu nhiều liệu khác mà không tốn đáng kể chi phí tính tốn 2.2 Transformers Transformers, hay cịn gọi “người máy biến hình”, Vaswani cộng đề xuất [16] ban đầu cho toán xử lý ngôn ngữ tự nhiên NLP (Natural language processing) Khác với chế xử lí chuỗi tuần tự, Transformer xử lí đồng thời vector chuỗi đầu vào, khiến trình huấn luyện nhanh nhiều Việc tính tốn song song tận dụng sức mạnh GPU, cho phép thử nghiệm nhanh chóng ý tưởng, kiến trúc dựa Transformer Và thực tế cho thấy, kiến trúc dựa Transformer kiến trúc tiếng nhất, thu hút nhiều tập trung nhất, khơng xử lí ngơn ngữ tự nhiên mà cịn nhiều lĩnh vực khác Khơng cải thiện mặt tốc độ, Transformer cịn có chế cải thiện sức mạnh mơ hình, độ xác khả trích xuất thơng tin cách vượt trội Giống kiến trúc chung mạng nơ-ron xử 30 T T Thảo, P V Trường, N H Thắng, “Phát triển hàm mát … ảnh MRI khối u não.” Nghiên cứu khoa học cơng nghệ lí ngôn ngữ tự nhiên, Transformer bao gồm hai khối chính: Encoder Decoder.Khối Encoder có nhiệm vụ phân tích trích xuất đặc trưng từ chuỗi vector đầu vào, khối Decoder có chức xử lí thơng tin đặc trưng từ Encoder để tính tốn vector đầu Cơ chế chủ đạo tạo nên thành công Transformer chế Tập trung nội (Self-attention) tập trung nội nhiều đầu (Multi-head Self-attention) Một chế tập trung mơ tả ánh xạ query tập hợp cặp key - value tới kết đầu ra, query, key, value kết đầu vector Kết đầu tính dạng tổng có trọng số value, trọng số gán cho value tính hàm tương thích query với key tương ứng 2.3 Vision Transformer Bên cạnh thành tựu vượt trội lĩnh vực xử lý ngôn ngữ tự nhiên, Transformer áp dụng hiệu thị giác máy tính [11, 16] Một nghiên cứu điển hình Vision Transformers (ViTs) giới thiệu Dosovitskiy cộng [17] Hình Minh họa kiến trúc ViT thị giác máy tính Trong mơ hình ViT, minh họa hình 2, để áp dụng Transformer cho ảnh, tác giả chia cắt ảnh thành mảnh ghép Giả sử kích thước ảnh gốc x ∈ RH×W ×C , mảnh ghép cắt với kích thước xp ∈ RN×(P.P.C), (H,W) độ cao chiều rộng ảnh gốc, C số kênh ảnh, cịn (P,P) kích thước mảnh ghép Như vậy, số mảnh ghép thu N = HW/P2 Kỹ thuật gọi patching Sau chia cắt ảnh gốc, mảnh ghép duỗi thẳng thành vector chiếu thành vector D chiều qua lớp kết nối đầy đủ Kết phép chiếu gọi mảnh ghép nhúng (patching embeddings) Đây phương hướng tiếp cận mẻ độc đáo Việc chia cắt ảnh thành nhiều phần, lại duỗi thẳng chúng thành vector, làm thông tin không gian ảnh Tuy nhiên, kết mang lại lại bất ngờ Phân chia mảnh ghép lí mà tên báo đặt “An image is worth 16 ×16 words”, ảnh có giá trị 16x16 từ Cũng giống xử lí ngơn ngữ tự nhiên, mảnh ghép Vision Transformer (ViT) cần mã hóa theo vị trí ViT sử dụng mã hóa theo vị trí chiều với tham số có khả học 2.4 Các hàm mát thường dùng phân vùng ảnh Trong toán phân vùng ảnh dùng kỹ thuật học sâu, hàm mát thường sử dụng hàm Dice loss cross-entropy Phần mô tả sơ lược hàm mát trường hợp phân loại nhị phân hay hai lớp: đối tượng quan tâm (ví dụ khối u não) Tạp chí Nghiên cứu KH&CN quân sự, Số 78, - 2022 31 Kỹ thuật điều khiển & Điện tử Giả sử gọi y 0,1 ảnh nhị phân- đầu dự đoán mạng nơ-ron, yˆ 0,1 tương ứng nhãn-một ảnh nhị phân khoanh vùng bác sĩ chuyên gia (ground truth) Mục tiêu mạng cho ảnh đầu khowisp với ground truth trình huấn luyện Giả sử nhãn có tổng số pixel N Hàm mát Dice định nghĩa theo công thức sau: 2 i 1 yˆi yi N LDice i 1 yˆi i 1 yi N N (1) Hàm mát binary cross entropy (BCE) biểu diễn sau: N (2) yˆ log yi 1 yˆi log 1 yi i 1 i N Thông thường đa phần ứng dụng phân vùng ảnh, hai hàm mát thường kết hợp với nhau, gọi hàm mát Dice+BCE để tăng hiệu mơ hình mạng LBCE PHƯƠNG PHÁP THỰC HIỆN 3.1 Kiến trúc TransUnet TransUnet [11] công bố vào đầu năm 2021, lần kết hợp ViT mạng nơron UNet TransUNet không kế thừa ý tưởng ViT mà phát triển để khắc phục điểm yếu mạng Các tác giả TransUNet nhận thấy rằng, sử dụng Vision Transformer làm Encoder cho mạng phân vùng ảnh kết mang lại chưa đủ thuyết phục Dựa phân tích ViT duỗi thẳng vùng mảnh ghép thành vector chiều làm thông tin mặt không gian, không mang lại thông tin cho khối Decoder trình tăng mẫu, TransUNet đề xuất thêm vào lớp tích chập trước đưa vào khối tập trung nhiều đầu Điều giúp cho TransUNet tận dụng ưu điểm Transformer, kỹ thuật Encode kinh điển mạng tích chập phân vùng ảnh y tế Hình Minh họa kiến trúc mạng TransUnet cho ứng dụng phân vùng ảnh y tế (a) lớp Transformer; (b) cấu trúc TransUNet Khối Encoder TransUNet sử dụng nhiều tầng Transformer đặt xếp chồng lên Sự cải tiến TransUNet thể việc không duỗi thẳng mảnh ghép nhúng thành 32 T T Thảo, P V Trường, N H Thắng, “Phát triển hàm mát … ảnh MRI khối u não.” Nghiên cứu khoa học công nghệ vector, mà đưa chúng qua mạng tích chập để trích xuất đặc trưng Kỹ thuật gọi Hybrid CNN - Transformer, thể hình Chính tầng tích chập thêm vào làm tăng độ xác mạng Tác giả TransUNet đưa hai lí cho thiết kế này: (i) Thứ nhất, việc sử dụng tầng tích chập làm trích xuất đặc trưng giúp cho vector nhúng giữ lại thông tin mặt không gian; (ii)Thứ hai, thông qua tầng tích chập, đặc trưng trích xuất với nhiều độ phân giải khác nhau, đó, hỗ trợ trình Decode (giống U-Net) Ở khối Decoder, TransUNet sử dụng kiến trúc với tên gọi Cascaded Upsampler, tức tăng kích thước đặc trưng theo nhiều tầng để giải mã mặt nạ đầu kích thước với đầu vào Sau qua khối Encoder, kích thước đặc trưng có dạng z L∈ (HW/P2, D), xếp lại thành kích thước H/P ×W/P ×D Mục đích việc để đưa đặc trưng từ không gian chiều khơng gian chiều để thực phép tốn tích chập Qua phép upsampling, kích thước đặc trưng tăng lên gấp đơi, cuối khơi phục lại kích thước gốc Chúng ta thấy rằng, sử dụng Cascaded Upsampler cho phép tổng hợp đặc trưng lớp độ phân giải khác nhau, giữ lại đặc trưng tầng thấp tầng cao Đây kỹ thuật phổ biến mạng nơ-ron 3.2 Hàm mát đề xuất Như đề cập phần giới thiệu, toán phân vùng khối u não, có nhiều nghiên cứu phương pháp đề xuất, cịn có thách thức Một số cân liệu, kích thước khối u thường nhỏ nhiều so với xung quanh ảnh, tính chất đa dạng hình thái, kích thước khối u Để góp phần giải vấn đề này, nghiên cứu này, đề xuất giải pháp đơn giản khơng làm tăng chi phí tính tốn hay thơng số mạng, cải tiến hàm mát Cụ thể, đề xuất hàm mát sau: LProposed LBCE LTversky (3) Trong đó, , [0, 1] siêu tham số biểu diễn cân hai thành phần hàm mát; LBCE hàm binary cross entropy biểu diễn công thức (2); LTversky hàm mát dựa số Tversky mô tả đây: Với y 0,1 đầu dự đoán mạng nơ-ron, yˆ 0,1 tương ứng ground truth Chỉ số Tversky (Tversky index) [18] định nghĩa sau: T yˆ, y, , N N i 1 yˆi yi (4) i 1 yˆi yi i 1 yˆi 1 yi i 1 1 yˆi yi N N N i 1 đó, , tham số Tversky index với Cơng thức (4) viết lại thành: T yˆ, y, N i 1 N N i 1 yˆi yi yˆi yi i 1 yˆi 1 yi 1 i 1 1 yˆi yi N (5) N i 1 Dựa Tversky index, hàm mát Tversky viết sau: LTversky T yˆ , y, N i 1 N N i 1 yˆi yi yˆi yi i 1 yˆi 1 yi 1 i 1 1 yˆi yi N (6) N i 1 Tạp chí Nghiên cứu KH&CN quân sự, Số 78, - 2022 33 Kỹ thuật điều khiển & Điện tử 3.3 Chỉ số đánh giá kết 3.3.1 Chỉ số IoU (Intersection over Union) Chỉ số IoU, hay gọi hệ số tương đồng Jaccard, phép thống kê sử dụng để đánh giá tương đồng tập mẫu Phép đo nhấn mạnh giống tập mẫu hữu hạn định nghĩa thức kích thước phần giao chia cho kích thước phần hợp tập mẫu Biểu diễn toán học số viết sau: J A, B A B A B A B A B A B (7) 3.3.2 Chỉ số Dice - Dice similarity coefficient (DSC) Hệ số tương đồng Dice, gọi hệ số Sørensen-Dice, công cụ thống kê đo mức độ tương đồng hai tập liệu Hệ số thường sử dụng rộng rãi coi phép đo đánh giá thuật toán phân vùng xử lý hình ảnh Hệ số DSC viết sau: DSC A, B 2 A B AB (8) THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 4.1 Dữ liệu phân tích liệu Tập liệu dùng nghiên cứu tập LGG Segmentation Dataset Bộ liệu bao gồm 3929 ảnh MRI não 100 bệnh nhân, nhiều lát cắt khác LGG Segmentation cung cấp nhãn cho khối u, nhà nghiên cứu chẩn đốn hình ảnh Đại học Duke thực phê duyệt Tập liệu sử dụng cho nhiều nghiên cứu đưa vào thi phân vùng ảnh trang web tiếng học máy - Kaggle Trong tổng số 3929 ảnh, có đến 2500 ảnh chẩn đốn dương tính có khoảng 1500 ảnh âm tính Trên thực tế, tỉ lệ số người bị u não nhỏ so với người khỏe mạnh Việc tạo phân phối liệu hỗ trợ hiệu cho mơ hình học máy, mà phân lớp dương tính khó chẩn đốn bổ sung nhiều mẫu 4.2 Huấn luyện cài đặt tham số Trong nghiên cứu này, cài đặt tham số cho mơ hình TransUNet để thích nghi cho tốn phân vùng ảnh khối u não sau: Kích thước ảnh đầu vào 256 ×256; Kích thước mảnh ghép 16 ×16; Số đầu tập trung 12; số lớp Transformer 12; số chiều lớp ẩn 768 Tỷ lệ liệu huấn luyện, kiểm thử kiểm tra đặt sau: tập huấn luyện: 70%; tập kiểm thử: 15%; tập kiểm tra: 15% Bên cạnh chúng tơi sử dụng kỹ thuật làm giàu liệu tăng giảm ngẫu nhiên độ sáng, tăng giảm ngẫu nhiên độ tương phản, thay đổi ngẫu nhiên tông màu Các tham số huấn luyện mô hình cài đặt với hệ số học 0.005;kích thước batch 8, sử dụng kỹ thuật tối ưu Adam; hệ số điều chỉnh hệ số học đặt 0.1; Các siêu tham số cho hệ số hàm mát =0.3; =0.7; Quá trình huấn luyện thử nghiệm thực máy tính với GeForce(R) GTX 2080, tảng ngơn ngữ Python với gói Pytorch 4.3 Kết phương pháp đề xuất Trước hết, để minh họa hội tụ mơ hình TransUnet sử dụng hàm mát đề xuất, vẽ đường cong học (learning curve) tập huấn luyện (train) kiểm định (val) hình Trên hình vẽ ta thấy mơ hình hội tụ sau khoảng 90 epoch Các số ổn định với giá trị tương ứng lớn 0.9 với thông số Dice, 0.88 thông số IoU; thể hiệu mô hình với hàm mát đề xuất 34 T T Thảo, P V Trường, N H Thắng, “Phát triển hàm mát … ảnh MRI khối u não.” Nghiên cứu khoa học cơng nghệ (a) (b) (c) Hình Đường cong học huấn luyện mơ hình TransUnet dùng hàm mát đề xuất (a) Giá trị mát loss; (b) Chỉ số Dice; (c) Chỉ số IoU Input images Predictions Ground truths Hình Minh họa số kết phân vùng ảnh (dự đoán) khối u não dùng phương pháp đề xuất Cột 1: ảnh đầu vào (input images); Cột 2: Kết dự đoán (predictions); Cột 3: Kết chuẩn (ground truths) Một vài ảnh đại diện tập kiểm thử (test) minh họa hình Trong đó, thấy Tạp chí Nghiên cứu KH&CN quân sự, Số 78, - 2022 35 Kỹ thuật điều khiển & Điện tử là, ảnh hàng thứ 2, 3, có khối u nhỏ so với vùng nền- thách thức phân vùng ảnh khối u não Như kết cột thứ hai hình ta thấy, với kích thước vị trí khối u não khác ảnh, phương pháp đề xuất dự đoán Khi so sánh với hình ảnh chuẩn xác định tay chuyên gia (ground truths), ta thấy, kết dự đoán gần với kết chuẩn Điều thể hiệu phương pháp đề xuất cho toán phân vùng ảnh MRI khối u não 4.4 Kết so sánh 4.4.1 So sánh với hàm mát BCE+Dice Để đánh giá tính hiệu hàm mát đề xuất, thực huấn luyện mơ hình TransUnet với hai hàm mát: BCE+Dice, hàm mát BCE+Tversky đề xuất Một số kết so sánh biểu diễn hình Trên hình ta thấy, hàm mát đề xuất cho kết dự đoán gần với ground truths hơn, thể khả tốt phân vùng khối u não Input images BCE+Dice loss Proposed loss Ground truth Hình So sánh số kết phân vùng ảnh khối u não mạng TransUnet hàm mát đề xuất với hàm mát BCE+Dice: Cột 1: ảnh đầu vào (input images); Cột 2: Kết dự đoán hàm BCE+Dice; Cột 3: Kết dự đoán hàm đề xuất; Cột 4: Khối u chuẩn khoanh chuyên gia (ground truths) Bảng Giá trị theo chuẩn DSC (Dice similarity coefficient -DSC) IoU (Intersection over Union) kết dự đoán ground truths tập test TransUnet huấn luyện hàm BCE+Dice hàm Tversky+BCE đề xuất Loss function BCE-Dice Proposed DSC 0.90 0.91 IoU 0.87 0.88 Để biểu diễn kết định lượng, đưa kết so sánh bảng Từ bảng thấy, với việc sử dụng hàm mát đề xuất, ta tăng số DSC lên 0.01, từ 36 T T Thảo, P V Trường, N H Thắng, “Phát triển hàm mát … ảnh MRI khối u não.” Nghiên cứu khoa học công nghệ 0.90 lên 0.91; 0.87 lên 0.88 với số IoU Điều ta thấy tác dụng hàm mát rõ ràng, khơng làm tăng số tham số huấn luyện mạng, phát sinh nhiều chi phí tính tốn, cải thiện đáng kể hiệu toán phân vùng ảnh khối u não 4.4.2 So sánh với mơ hình khác Để minh họa ưu điểm kiến trúc Transformer mơ hình TransUnet, chúng tơi thực thi lại số mơ hình mạng, UNet Attention UNet Kết so sánh gồm số DSC IoU mơ hình khác tập test thể bảng Qua bảng ta thấy, TransUnet cho kết cao hai mơ hình cịn lại, đặc biệt hai số cao nhiều so với UNet Bảng So sánh số DSC (Dice similarity coefficient) IoU (Intersection over Union) tập test so sánh mơ hình Unet Attention Unet với TransUnet huấn luyện hàm mát đề xuất Mơ hình DSC IoU UNet 0.84 0.73 Attention UNet 0.89 0.86 TransUnet 0.91 0.88 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong báo này, đề xuất áp dụng kỹ thuật đại vào phân vùng ảnh y tế khối u não, sử dụng kiến trúc TransUNet Chúng đề xuất hàm mát phù hợp cho toán phân vùng khối u não, giúp giải thách thức tốn khác kích thước, hình thái khối u Bài báo so sánh mơ hình đề xuất với số mạng nơ-ron điển hình khác, từ đánh giá định tính định lượng tiêu phân vùng ảnh Kết thực nghiệm tập liệu có nhãn gán chuyên gia cho kết tốt số Dice lẫn IoU Điều thể ưu điểm phương pháp đề xuất Hàm mát mở rộng khơng phạm vi phân vùng khối u não mà ứng dụng toán khác, có cân liệu, thách thức lớn phân tích ảnh y tế Lời cảm ơn: Nghiên cứu tài trợ trường Đại học Bách khoa Hà Nội (HUST) đề tài mã số: T2021- PC-005 REFERENCES [1] L M De Angelis, "Brain Tumos," New England Journal of Medicine, vol 344, pp 114-123, 2001 [2] B H Menze, et al., "The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS) " IEEE Trans Med Imaging, vol 34, pp 1993-2024, 2015 [3] J Sachdeva, V Kumar, I Gupta, N Khandelwal, and C K Ahuja, "A novel content-based active contour model for brain tumor segmentation," Magnetic Resonance Imaging, vol 30, pp 694-715, 2012 [4] K K Shyu, V T Pham, T T Tran, and P L Lee, "Unsupervised active contours driven by density distance and local fitting energy with applications to medical image segmentation," Mach Vis Appl., vol 23, pp 1159-1175, 2012 [5] M Havaei, N Guizard, H Larochelle, and P Jodoin, "Deep Learning Trends for Focal Brain Pathology Segmentation in MRI," Machine Learning for Health Informatics pp 125-148, 2016 [6] M Buda, A Saha, and M A Mazurowski, "Association of genomic subtypes of lower-grade gliomas with shape features automatically extracted by a deep learning algorithm," Comp in Bio and Med., vol 109, pp 218-225, 2019 [7] J Zhang, J Zeng, P Qin, and L Zhao, "Brain tumor segmentation of multi-modality MR images via triple intersecting U-Nets," Neurocomputing, vol 421, pp 195-209, 2021 Tạp chí Nghiên cứu KH&CN quân sự, Số 78, - 2022 37 Kỹ thuật điều khiển & Điện tử [8] Z Liu, L Chen, L Tong, F Zhou, Z Jiang, and Q Zhang, et al., "Deep learning based brain tumor segmentation: A survey," arXiv:2007.09479, 2020, [online] p Available: http://arxiv.org/abs/2007.09479, 2020 [9] J Long, E Shelhamer, and T Darrell, "Fully convolutional networks for semantic segmentation," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp 3431–3440, 2015 [10] O Ronneberger, P Fischer, and T Brox, "U-net: Convolutional networks for biomedical image segmentation," in Proceedings of the Int Conf Med Image Comput Comput.-Assist Intervent., 2015, pp 234-241 [11] J Chen, Y Lu, Q Yu, X Luo, E Adeli, Y Wang, et al., "TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation," arXiv:2102.04306, 2021 [12] W Chen, B Liu, Peng S., J Sun, and X Qiao, "S3D-UNet: Separable 3D U-Net for Brain Tumor Segmentation," in Proceedings of the International MICCAI Brainlesion Workshop, 2018, pp 358-368 [13] R Mehta and J Sivaswamy, "M-net: A convolutional neural network for deep brain structure segmentation," in 2017 IEEE 14th International Symposium on Biomedical Imaging, 2017, pp 18-21 [14] S A Taghanaki, Y Zheng, S K Zhou, B Georgescu, P Sharma, D Xu, et al., "Combo loss: Handling input and output imbalance in multi-organ segmentation," Computerized Medical Imaging and Graphics, vol 75, pp 24-33, 2019 [15] S S M Salehi, D Erdogmus, and A Gholipour, "Tversky loss function for image segmentation using 3D fully convolutional deep networks," in Proceedings of the International Workshop on Machine Learning in Medical Imaging, 2017, pp 379-387 [16] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, et al., "Attention is all you need," in Advances in neural information processing systems, 2017, pp 5998–6008 [17] A Dosovitskiy, L Beyer, A Kolesnikov, D Weissenborn, X Zhai, T Unterthiner, et al., "An image is worth 16x16 words: Transformers for image recognition at scale," arXiv:2010.11929, 2020 [18] A Tversky, "Features of similarity," Psychol Rev., vol 84, p 327, 1977 ABSTRACT Developing a loss function with TransUnet for brain tumor segmentation from MRI images Segmentation of brain tumor in magnetic resonance images plays an important role in diagnosis and treatment planning for patients However, brain tumor segmentation is a nontrivial task of the variations and differences in tumor sizes, topology, shapes, and the presence of intensity inhomogeneity In this study, we proposed a new approach for brain tumor segmentation based on advances in deep neural networks In particular, we propose using the TransUnet, a newly developed architecture based on Transformers and U-Net In addition, we propose a new loss function to handle the size and shape variations of tumors The approach is validated on the Brain LGG Segmentation Experiments show performances of the proposed approach in comparison with other states of the arts Keywords: Deep neural networks; TransUnet; MRI Brain tumor segmentation; Tversky loss 38 T T Thảo, P V Trường, N H Thắng, “Phát triển hàm mát … ảnh MRI khối u não.” ... ground truths hơn, thể khả tốt phân vùng khối u não Input images BCE+Dice loss Proposed loss Ground truth Hình So sánh số kết phân vùng ảnh khối u não mạng TransUnet hàm mát đề xuất với hàm mát. .. tế nói chung phân vùng khối u não cịn có nhi? ?u tiềm để phát triển Trong báo đề xuất hàm mát mới, giải việc cân li? ?u, góp phần giải số thách thức phân vùng khối u não đa dạng khối u não kích thước,... dụng hàm mát giải việc cân li? ?u coi mặc định xử lí ảnh y tế dùng kỹ thuật học s? ?u Trong trình nghiên c? ?u ảnh y tế học s? ?u, nhận thấy hướng phát triển hàm mát kỹ thuật học s? ?u ứng dụng phân vùng ảnh
