bài thi cuối học phần môn thị giác máy tính đề tài segment anything in medical image

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC PHENIKAA

UNIVERSITY

BAI THI CUOI HOC PHAN MON THI GIAC MAY TINH DE TAI: “Segment Anything in Medical Images”

Nhóm sinh viên thực hiên: Nhóm 9

Sinh viên thực hiện: Dương Ngọc Hà 21012868 Nguyễn Anh Minh 21012076 Đặng Quang Huy 21012062 Giảng viên hỗ trợ: Đặng Thị Thúy An Khoa chuyên môn: Công nghệ thông tin

HÀ NỘI, tháng 7 năm 2024

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC PHENIKAA

Họ và tên Mã số sinh viên Diem bang so Diem bằng chữ Dương Ngọc Hà 21012868

Nguyễn Anh Minh 21012076

Giảng viên hỗ trợ: Đặng Thị Thúy An

Khoa chuyên môn: Công nghệ thông tin

HÀ NỘI, tháng 6 năm 2024

PHẢN THÔNG TIN CƠ BẢN

1 Thông tin cán bộ hỗ trợ, hướng dẫn

1.1 Họ và tên: Đặng Thị Thúy An

1.2 Email: an.dangthithuy @phenikaa-uni.edu.vn 1.3 Dién thoai: 0962199453

2 Tén tap thé tac gia

2.1 Họ và tên trưởng nhóm: Dương Ngọc Hà 2.2 Ngày tháng năm sinh: 15/08/2003

2.3 Mã số sinh viên: 21012868

2.4 Lớp: CNTT4 Khoa: Công nghệ thông tin 2.5 Số điện thoại liên hệ: 0396930803

2.6 Email: 21012868@st.phenikaa-uni.edu.vn 2.7 Danh sach thanh vién nhém:

Hà CNTT

2 Nguyén | CNTT4 | 21012076@st.phenik | 0928969538 | 21012076 | CNTT Anh —K15 — | aa-uni.edu.vn

Minh CNTT

3 Dang | CNTT4 | 21012062@st.phenik | 0973531878 | 21012062 | CNTT Quang | —K15-— | aa-uni.edu.vn

Huy CNTT

3 Bảng phân chia công việc

BANG PHAN CHIA CONG VIEC

Cong viéc Duong Ngoc Ha Nguyễn Anh Minh Dang Quang Huy

Viết lại đặc tả yêu câu (chức năng, phi chức năng) cho phân mêm

x

Ngôn ngữ lập trình và công nghệ

sử dụng

Lap SQA&Test Plan

Xây dựng và thực hiện các

checklist: test plan, test case, GUI, code, Web test, system test

Viết test case, thực hiện test

Giao diện hệ thông

Test tự động băng Selenum-IDE

Test hiệu năng bằng Jmeter

(http://meter.apache.org)

LỜI MỞ ĐẦU

Trong thế kỷ XXI, công nghệ đã thay đổi sâu sắc nhiều lĩnh vực trong cuộc sống, từ giao thông vận tải, giáo dục đến y tế Đặc biệt lĩnh vực y té da chứng kiến sự tiễn bộ vượt bậc nhờ vào sự kết hợp của trí tuệ nhân tạo (AI) và học máy (Machine learning) Một trong những lĩnh vực đáng chú ý nhất của công nghệ này là khả năng phân đoạn hình ảnh y tế, được gọi là Segment Anything in Medical Images

Phân đoạn hình ảnh y tế không chỉ giúp cải thiện độ chính xác trong chuẩn đoán mà còn mở ra nhiều cơ hội mới trong nghiên cứu và điều trị Trước đây việc phân đoạn hình ảnh y tế chủ yếu dựa vào sự phân tích và đánh giá thủ công của các chuyên gia, điều này không chỉ tốn thời gian mà còn có nguy cơ mắc phải những sai sót chủ quan Tuy nhiên, với sự phát triển của các thuật toán học sâu (đeep learning) và mạng nơ-ron tich chap (Convolutional Neural Networks — CNNs), chung ta c6 thé tw déng hoa quy trình này với độ chính xác cao và tốc độ nhanh chóng

Báo cáo này sẽ đi sâu vào việc nghiên cứu và ứng dụng phương pháp Segment Anything in Medical Images Chúng tôi sẽ trình bày chỉ tiết về các thuật toán và mô hình học sâu được sử dụng, những thách thức gặp phải trong quá trình triển khai và những thành tựu đã đạt được Đồng thời chúng tôi cũng sẽ khám phá các trường hop thực tế và lợi ích mà SAM mang lại cho nghành y tế

Bên cạnh đó, báo cáo cũng sẽ thảo luận về tiềm năng tương lai của công nghệ này, những cải tiến cần thiết và cách mà nó có thể được ứng dụng rộng rãi hơn trong việc cải thiện chất lượng chăm sóc sức khỏe Với sự kỳ vọng rằng SAM sẽ trở thành một công cụ không thê thiếu trong y học hiện đại, chúng tôi hy vọng rằng báo cáo nảy sẽ cung cập một cái nhìn toàn diện và sâu sắc về chủ đề này

NỘI DUNG

I Introduction 1 Lí đo chọn đề tài

Một trong những lý do chính khiến chúng tôi lựa chọn đề tài này là nhu cầu cấp thiết của việc nâng cao chất lượng và hiệu quả trong việc chuẩn đoán y tế Hình ảnh y tế, chăng hạn như MRI, CT scan va X-quang, dong vai tro quan trọng trong việc xác định và điều trị nhiều loại bệnh Tuy nhiên, quá trình phân tích những hình ảnh này thường phức tạp và đòi hỏi sự can thiệp của các chuyên gia có trình độ chuyên môn cao Bằng cách áp dụng các thuật toán học sâu và AI vào việc phân đoạn hình ảnh y tế, chúng ta có thê tự động hóa quá trình này, giảm thiểu sai sót và tiết kiếm thời gian cho bác sĩ Thứ hai, công nghệ phân đoạn hình ảnh y tế không chỉ giúp cải thiện độ chính xác trong chuân đoán mà còn mở ra nhiều hướng nghiên cứu và phát triển mới Ví dụ như bệnh ung thư, việc phân đoạn chính xác các khối u có thê giúp các bác sĩ xác định chính xác kích thước, vị trí và mức độ phát triển của khối u, từ đó lựa chọn phương pháp điều trị phù hợp nhất Điều này không chỉ giúp tăng cơ hội sống sót cho bệnh nhân mà còn cải thiện chất lượng cuộc sống của họ trong quá trình điều trị

Ngoài ra, đề tài này cũng phản ánh sự quan tâm của chúng tôi đối với sự kết hợp giữa công nghệ và y học, hai lĩnh vực luôn có sự tương tác và bổ sung lẫn nhau Chúng tôi tin răng việc nghiên cứu và phát triển các giải pháp công nghệ tiên tiến cho y tế không chỉ góp phần vào sự phát triển của nghành y mà còn có ý nghĩa nhân văn sâu sắc, giúp cải thiện sức khỏe và chất lượng cuộc sống của COI ñ8ƯỜI

Một lý do khác khiến chúng tôi lựa chọn đề tài này là tính thách thức và độ phức tạp của nó Việc phát triển các mô hình học sâu để phân đoạn hình ảnh y tế đòi hỏi kiến thức sâu rộng về cả y học và khoa học máy tính Điều nảy tạo ra một cơ hội tuyệt vời để chúng tôi mở rộng kiến thức, kỹ năng và khám phá những tiềm năng mới của AI trong y tế

Chúng tôi mong muốn rắng nghiên cứu này sẽ không chỉ dừng lại ở mức lý thuyết mà còn có thể áp dụng vào thực tiễn, mang lại lợi ích cụ thé cho nghanh y té cộng đồng Chúng tôi hy vọng rằng, thông qua việc chia sẻ những phát hiện và kết quả nghiên cứu, chúng tôi có thê góp phần vào sự phát triển của công nghệ y tế và tạo ra những thay đổi tích cực cho xã hội

2 Mô tả vấn đề

Phân đoạn hình ảnh y tế, tức là quá trình xác định và phân tách các cấu trúc quan trọng như cơ quan, mô và tôn thương từ hình ảnh y tế là một trong những bước quan trọng nhất Tuy nhiên, việc phân đoạn này thường phức tạp và tốn nhiều thời gian, đặc biệt là khi phải xử lý một lượng lớn dữ liệu hình ảnh Hơn nữa, sự phức tạp và đa dạng của cầu trúc trong cơ thê người làm cho việc phân đoạn chính xác trở nên khó khăn hơn Trong thực tế, việc phân đoạn hình ảnh y tế thủ công không chỉ đòi hỏi nhiều thời gian ma con có nguy cơ mặc phải những sai sót chủ quan Điều này có thể dẫn đến những hậu quả nghiêm trọng, như chuẩn đoán sai, điều trị không hiệu quả hoặc thậm chí gây hại cho bệnh nhân Do đó, việc tìm kiếm các giải pháp tự động hóa và nâng cao độ chính xác trong phân đoạn hình ảnh y tế là vô cùng cấp thiết

Với sự phát triển của trí tuệ nhân tao (AI) va hoc may (Machine learning), đặc biệt là các mô hình học sâu (Deep learning), chúng ta đang chứng kiến một bước tiến vượt bậc trong việc phân đoạn hình ảnh y tế Những mô hình này có khả năng học hỏi đữ liệu lớn, nhận diện và phân tách các cầu trúc phức tạp trong hình ảnh với độ chính xác Cao

Tuy nhiên, việc áp dụng các mô hình học sâu vào phân đoạn hình ảnh y tế cũng đối mặt với nhiều thách thức Đầu tiên, việc thu thập và gán nhãn dữ liệu y tế lớn đòi hỏi nguồn lực lớn và sự hợp tác từ nhiều bên liên quan Thứ hai, các mô hỉnh học sâu thường yêu cầu sức mạnh tính toán lớn và thời gian huấn luyện dài Cuỗi cùng, việc đảm bảo răng các mô hình này hoạt động tốt trên các đữ liệu từ nhiều nguồn khác nhau, với độ đa dạng về cầu trúc và chất lượng hình ảnh là một thách thức không nhỏ 3 Giới thiệu

Phân đoạn là một nhiệm vụ cơ bản trong phân tích hình ảnh y tế, bao gồm việc xác định và phân định các vùng quan tâm (RO]) trong các hình ảnh y tế khác nhau, chăng hạn như các cơ quan, tôn thương và mô Phân đoạn chính xác la điều cần thiết cho nhiều ứng dụng lâm sàng, bao gồm chân đoán bệnh, lập kế hoạch điều trị và theo dõi tiễn triển của bệnh Phân đoạn thủ công từ lâu đã là tiêu chuẩn vàng đề phân định cầu trúc giải phẫu và vùng bệnh lý, nhưng quá trình này tốn nhiều thời gian, tốn nhiều công sức và thường đòi hỏi trình độ chuyên môn cao Các phương pháp phân đoạn bán

tự động hoặc hoàn toàn tự động có thế giảm đáng kể thời gian và công sức cần thiết, tăng tính nhất quán và cho phép phân tích các bộ dữ liệu quy mô lớn

Các mô hình dựa trên học sâu đã cho thấy nhiều hứa hẹn trong phân đoạn hình ảnh y tế nhờ khả năng tìm hiểu các đặc điểm hình ảnh phức tạp và mang lại kết quả phân đoạn chính xác trên nhiều nhiệm vụ khác nhau, từ phân đoạn các cấu trúc giải phẫu cu thé đến xác định các vùng bệnh lý Tuy nhiên, một hạn chế đáng kế của nhiều mô hình phân đoạn hình ảnh y tế hiện nay là tính chất nhiệm vụ cụ thể của chúng Các mô hình này thường được thiết kế và huấn luyện cho một nhiệm vụ phân đoạn cụ thể và hiệu suất của chúng có thê giảm đáng kê khi áp dụng cho các nhiệm vụ mới hoặc các loại dữ liệu hình ảnh khác nhau Sự thiếu tong quát nảy dat ra mot tro ngai dang ké cho việc áp dụng rộng rãi hơn các mô hình này trong thực hành lâm sàng Ngược lại, những tiến bộ gần đây trong lĩnh vực phân đoạn hình ảnh tự nhiên đã chứng kiến sự xuất hiện của các mô hình nền tảng phân đoạn, chắng hạn như mô hình phân đoạn (SAM) va Segment Everything Everywhere voi cac goi y da phuong thitc déng thoi, thể hiện tính linh hoạt và hiệu suất vượt trội trong nhiều tác phụ phân đoạn khác nhau Nhu cầu ngày cảng tăng về các mô hình phổ quát trong phân đoạn hình ảnh y tế: các mô hình có thê được huấn luyện một lần và sau đó áp dụng cho nhiều nhiệm vụ phân đoạn Những mô hình như vậy không chỉ thể hiện tính linh hoạt cao hơn về mặt năng lực của mô hình mà còn có khả năng mang lại kết quả nhất quán hơn cho các nhiệm vụ khác nhau Tuy nhiên, khả năng áp đụng các mô hình nền tảng phân đoạn (ví đụ SAM) vào phân đoạn hình ảnh y tế vẫn còn hạn chế do sự khác biệt đáng kể giữa hình ảnh tự nhiên và hình ảnh y tế Về cơ bản, SAM là một phương pháp phân đoạn có thể được chỉ định bằng các điểm hoặc hộp giới hạn để xác định các mục tiêu phân đoạn Điều này giống với các phương pháp phân đoạn tương tác thông thường nhưng SAM có khả năng khái quát hóa tốt hơn, trong khi các phương pháp phân đoạn tương tác dựa trên học sâu hiện tại tập trung chủ yếu vào các nhiệm vụ và phương thức hình ảnh hạn chế Nhiều nghiên cứu đã áp đụng các mô hình SAMI có sẵn cho các nhiệm vụ phân đoạn hình ảnh y tế điển hình và các tình huồng đây thách thức khác Ví dụ: các nghiên cứu đồng thời đã tiền hành đánh giá toàn điện về SAM trên nhiều hình ảnh y tế khác nhau, nhân mạnh rằng SAM đã đạt được kết quả phân đoạn thỏa đáng chủ yếu trên các mục tiêu được đặc trưng bởi các ranh giới riêng biệt Tuy nhiên, mô hình này bộc lộ những hạn chê đáng kê trong việc phân đoạn các mục tiêu y tê với ranh giới yêu hoặc độ

tương phản thấp Đề phù hợp với những quan sát này, chúng tôi giới thiệu thêm MedSAM, một mô hình nền tảng được cải tiễn giúp nâng cao đáng kế hiệu suất phân đoạn của SAM trên hình ảnh y tế MedSAM thực hiện được điều này bằng cách tính chỉnh SAM trên tập dữ liệu chưa từng có với hơn một triệu cặp hình ảnh y khoa Chúng tôi đánh giá kỹ lưỡng MedSAM thông qua các thử nghiệm toàn diện về 86 nhiệm vụ xác nhận bên trong và 60 nhiệm vụ xác nhận bên ngoài, trải rộng trên nhiều cầu trúc giải phẫu, tình trạng bệnh lý và phương thức hình ảnh y tế Kết quả thử nghiệm chứng minh răng MedSAM luôn vượt trội so với mô hình nền tảng phân đoạn hiện đại (SOTA), đồng thời đạt được hiệu suất ngang bằng hoặc thậm chí vượt qua các mô hình chuyên dụng đã được huấn luyện trên các hình ảnh từ cùng một phương thức Những kết quả này nêu bật tiềm năng của MedSAM như một mô hình mới cho phân đoạn hình ảnh y tế linh hoạt

II Related works

Trong những năm gân đây, đã có nhiều nghiên cứu và công trình khoa học tập trung vào việc phát triển các phương pháp và thuật toán đề phân đoạn hình ảnh y tế Những nỗ lực này đã mang lại nhiều tiến bộ đáng kê, góp phần nâng cao chất lượng và hiệu quả trong chân đoán và điều trị y tế Dưới đây là một số công trình tiêu biểu và các phương pháp nỗi bật trong lĩnh vực này:

1 UNet: Convolutional Networks for Biomedical Image Segmentation

giảm chiều và một đường dẫn tăng chiều, giúp nó có khả năng nắm bắt được ngữ cảnh toàn cục cũng như chi tiết cục bộ UNet đã được chứng minh hiệu quả trong nhiều ứng dụng y tế khác nhau như phân đoạn tế bào, mô và các cấu trúc khác

2 V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation

Hình 2: V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation

o ‘Tac gia: Fausto Milletari, Nassir Navab, Seyed-Ahmad Ahmadi

©_ Nội dung: V-Net là một mô hình học sâu được thiết kế đặc biệt cho việc phân đoạn hình ảnh 3D Kiến trúc của V-Net tương tự như UNet nhưng được tối ưu hóa cho đữ liệu volumetric, chắng hạn như MRI và CT seans Mô hình này sử dụng hàm mắt Dice, giúp tối ưu hóa trực tiếp độ đo chất lượng phân đoạn

3 DeepMedic: A Deep Convolutional Neural Network for Automatic Brain Tumor Segmentation

Edema Advancing tumor Non-advancing

©_ Nội dung: DeepMedic là một mô hình học sâu với kiến trúc đa lớp và đa đường dẫn, được thiết kế đề phân đoạn các khối u não từ hình ảnh MRI Mô hình này có khả năng học từ các thông tin không gian ở nhiều mức độ phân giải khác nhau, giúp nâng cao độ chính xác trong việc phát hiện và phân đoạn khối u 4, Attention U-Net: Learning Where to Look for the Pancreas

o_ Nội đung: Attention U-Net là một phiên bản cải tiến của UNGt, tích hợp cơ chế Attention dé tập trung vào các vùng quan trọng trong hình ảnh Mô hình này đã cho thấy sự cải thiện đáng kể trong việc phân đoạn các cấu trúc nhỏ và khó nhận biết, như tuyến tụy trong hình ảnh CT,

5 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation

train and

apply

3D u-net —

raw image manual sparse annotation dense segmentation

L apply trained 3D u-net Le

raw image dense segmentation

Hình 5: 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation o Tac gia: Ozgun Cicek, Ahmed Abdulkadir, Soeren S$ Lienkamp, Thomas Brox,

Olaf Ronneberger

o_ Nội dung: 3D U-Net mở rộng mô hình UNet sang không gian ba chiều, giúp phân đoạn hiệu quả hơn trên các tập dữ liệu volumetric Mô hình này đặc biệt hữu ích trong các ứng dụng yêu cầu phân đoạn chỉ tiết và chính xác trong hình ảnh 3D, như trong chân đoán các bệnh liên quan đến não và phối

10

6 nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation

Hinh 6: nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation

IIT Methods

1 Phương pháp truyền thống

Phương pháp phân đoạn hình ảnh y tế truyền thống dựa trên các đặc điểm và thuật toán được thiết kế thủ công cho từng loại hình ảnh hoặc đối tượng cụ thê Một số kỹ thuật phô biến bao gồm:

©_ Ngưỡng hóa: Phân loại pIxel dựa trên giá trị cường độ của chúng o_ Phát hiện cạnh: Xác định các cạnh của các đối tượng trong ảnh o_ Phát triển vùng: Mở rộng một vùng ban đầu có chứa đối tượng mục tiêu o Duong viễn hoạt động: Sử dụng các đường cong dé mô tả ranh giới của đối

tượng

Ưu điểm của phương pháp truyền thống là dễ hiểu và dễ triển khai Tuy nhiên, chúng thường đòi hỏi chuyên môn cao để thiết kế và điều chỉnh các thuật toán cho từng

11