Đồ Án Tốt Nghiệp Ứng Dụng Học Sâu Phát Hiện Và Phân Đoạn Bệnh Qua Nội Soi Đại Tràng.pdf

III/ N I DUNG THUY T MINH VÀ TÍNH TOÁN Ộ Ế Chương 1: Tồng quan ứng dụng học sâu để phát hiện và phân đoạn bệnh qua hình ảnh nội soi Chương 2: Tăng cường dữ liệu đào tạo sử dụng mạng Styl

ĐỒ ÁN TỐT NGHIỆP

Ứng dụng học sâu phát hi ện và phân đoạ n

CAO VĂN LONG

long.cv170814@sis.hust.edu.vn

Ngành Cơ điện tử Chuyên ngành Cơ điện tử thông minh

Giảng viên hướng dẫn: PGS TS Hoàng H ng H i ồ ả

Bộ môn: Cơ điện tử

Viện: Cơ Khí

HÀ N I, 8/2022Ộ

Ch ký c a GVHD ữ ủ

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ

“Ứng dụng học sâu để phát hi ện và phân lo i bệnh qua nội soi đại tràng ạ ”

II/ CÁC S LIỐ ỆU BAN ĐẦU

- Năng suất: Th i gian phát hiờ ện và phân đoạn nhanh nhỏ hơn 1s

- Tăng cường d liữ ệu đầu vào: Tăng số lượng nh s d ng m ng GAN ả ử ụ ạ

- Tính tích h p: Có th s d ng v i nhi u b d liợ ể ử ụ ớ ề ộ ữ ệu khác tương tự

- Yêu cầu đầu ra: Phân lo i và phát hi n vạ ệ ới độ chính xác cao hơn 80%

III/ N I DUNG THUY T MINH VÀ TÍNH TOÁN Ộ Ế

Chương 1: Tồng quan ứng dụng học sâu để phát hiện và phân đoạn bệnh qua hình ảnh nội soi

Chương 2: Tăng cường dữ liệu đào tạo sử dụng mạng StyleGAN2-ADA

Chương 3: Phân đoạn hình ảnh sử dụng mạng ColonSegnet

Chương 4: Phát hiện đối tượng sử dụng mạng YoloV5

Chương 5: Kết quả thực nghiệm và k t lu n ế ậ

Họ và tên sinh viên: CAO VĂN LONG MSSV: 20170814

IV/ CÁN B Ộ HƯỚ NG D N Ẫ

- PGS.TS Hoàng H ng H i ồ ả

V/ NGÀY GIAO NHI M V THI T KỆ Ụ Ế Ế… / / 2022

VI/ NGÀY HOÀN THÀNH NHI M V THI T K Ệ Ụ Ế Ế

Đánh giá của giảng viên phản biện

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

Kết quả đánh giá Hà N i, ngày tháng ộ năm 2022

Giảng viên ph n bi n Họ và tên Điểm ả ệ

CAO VĂN LONG

LỜI CẢM ƠNNăm nay học t p và g n bó v i Bách Khoa là kho ng thậ ắ ớ ả ời gian đẹp nhất c a thanh ủxuân, c a tu i trủ ổ ẻ Ngôi nhà Bách Khoa đã mang đến cho em r t nhiấ ều điều, có nh ng k ữ ỷniệm vui bu n, có r t nhi u ni m tin, hy vồ ấ ề ề ọng và ước mơ ở nơi đây Cũng luyến ti c r t ế ấnhiều tuy nhiên th i gian rờ ất khó để tr l i, chúng ta v n ph i ti p t c ti n v ở ạ ẫ ả ế ụ ế ề phía trước để trưởng thành và gặp hái những thành công hơn

Em xin g i l i cử ờ ảm ơn chân thành nhất đến v i các th y bớ ầ ộ trong trường và hơn hết là các th y cô trong Viầ ện Cơ Khí, Bộ môn Cơ điệ ử đã cùng đồn t ng hành, chỉ b o, dìu ảdắt các em qua t ng môn hừ ọc và cho các em có nhiều ki n thế ức mới Đặc biệt em xin c m ả

ơn thầy PGS.TS Hoàng Hồng Hải đã trực tiếp hướng dẫn và chỉ bận em để hoàn thành đồ

án này Chúc các th y, các cô luôn m nh khầ ạ ỏe để ế ụ ti p t c ch b o các th h sau c a Bách ỉ ả ế ệ ủ

Sinh viên thực hiện

Ký và ghi rõ h tên ọ

Cao Văn Long

MỤC LỤC

CHƯƠNG 1 TỔNG QUAN ỨNG D NG H C SÂU PHÁT HIỤ Ọ ỆN VÀ PHÂN ĐOẠN BỆNH QUA HÌNH ẢNH NỘI SOI 1

1.1Lý do và mục đích chọn đề tài 1

Lý do chọn đề tài 1

Đối tư ng nghiên cứu 1ợ Phương pháp nghiên cứu 2

Ý nghĩa của đề tài 2

1.2Tình hình nghiên cứu trong nước 3

1.3Nội dung th c hi n 5ự ệ CHƯƠNG 2 TĂNG CƯỜNG D LIỮ ỆU ĐÀO TẠO V I M NG STYLEGAN2-ADAỚ Ạ 6

2.1Tổng quan v ề tăng cường d liữ ệu đào tạo 6

2.2Cơ sở lý thuyết mạng StyleGAN2-ADA 7

StyleGAN 8

StyleGAN2 11

Tăng cường phân biệt đối xử thích ứng (ADA- Adaptive Discriminator Augmentation)……… 13

2.3Qúa trình hu n luy n 15ấ ệ CHƯƠNG 3 PHÂN ĐOẠN HÌNH ẢNH VỚI MẠNG COLONSEGNET 17

3.1Tổng quan v ề phân đoạ ản nh 17

3.2 Mạng ColonSegnet cho bài toán phân đoạn 19

Kiến trúc m ng ColonSegnet 19ạ Tiêu chi đánh giá kết qu mạng 23ả Qúa trình huấn luy n 24ệ CHƯƠNG 4 PHÁT HIỆN ĐỐI TƯỢNG VỚI MẠNG YOLOV5 26

4.1Tổng quan v phát hiề ện đối tượng 26

4.2 Mạng Yolov5 cho bài toán phát hi n 26ệ Tổng quan v m ng Yolo 26ề ạ Kiến trúc m ng YOLOv5 27ạ Tiêu chí đánh giá kết quả 28 Qúa trình huấn luy n 29ệ

CHƯƠNG 5 THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ CHUNG 32

5.1Kết qu cả ủa quá trình tăng cường d li u: 32ữ ệ 5.2Kết qu cả ủa quá trình phân đoạn b nh 34ệ Kết qu 34ả Đánh giá kết quả 36 5.3Kết qu cả ủa quá trình phát hiện b nh 37ệ Một s k t qu trên t p test 37ố ế ả ệ Đánh giá kết quả 37 5.4Kết qu chung 38ả 5.5Kết lu n 40ậ 5.6Hướng phát tri n 40ể

TÀI LI U THAM KH O 41Ệ Ả

PHỤ L C 43Ụ

DANH MỤC HÌNH V ẼHình 1.1 Hình ảnh b nh Polyp trong quá trình nệ ội soi đại tràng 2Hình 1.2 Hình ảnh đầu ra mong muốn quá trình phân đoạn và phát hiện bệnh 2Hình 1.3 Ví dụ v chuề ấn đoán hình ảnh trong y h c 3ọHình 1.4 Ví dụ v chuề ẩn đoán bệnh c a VINDR qua hình nh 4ủ ảHình 1.5 Hình ảnh k t qu phát hiế ả ện và phân đoạn b nh tham kh o 5ệ ảHình 2.1 Mô tả hoạt động c a m ng GAN basic 6ủ ạHình 2.2 So sánh hình ảnh t o ra b i VAE và GAN 7ạ ởHình 2.3 Hình ảnh so sánh gi a m ng GAN truy n th ng và m ng StyleGAN base 8ữ ạ ề ố ạHình 2.4 Đầu vào không đổi trong mạng StyleGAN 9Hình 2.5 Đầu vào nhiễu trong m ng StyleGAN 10ạHình 2.6 Trộn phong cách trong m ng StyleGAN 10ạHình 2.7 Ví dụ hình nh t o ra b i GAN 11ả ạ ởHình 2.8 Công thức Chu n hóa(Nẩ ormalization) và Điều ch (Modualation) 11ếHình 2.9 Chi tiết v AdaIN 11ềHình 2.10 Quá trình di chuyển b và B ra ngoài StyleBlock 12Hình 2.11 Bỏ giá tr trung bình trong hoị ạt động c a AdaIN 12ủHình 2.12 Giải điều ch tr ng s trong m ng StyleGAN2 12ế ọ ố ạHình 2.13 Cấu trúc quá trình tăng cường dữ liệu 13Hình 2.14 Ví dụ v s thây các giá tr ề ự ị p cơ bản 13Hình 2.15 Cách thức hoạt động c a ADA 14ủHình 2.16 Mạng SyleGAN2-ADA hoàn ch nh cho bài toán 14ỉHình 2.17 Mô tả quá trình Upsampling 15Hình 2.18 Một s hình nh v t p d li u 16ố ả ề ệ ữ ệHình 3.1 Phân bi t giệ ữa thuật toán phát hi n ệ đối tượng và phân đoạn 17Hình 3.2 Input và Output của bài toán phân đoạn ảnh 18Hình 3.3 So sánh giữa Phân đoạn ngữ nghĩa và Phân đoạn thể hiện 18Hình 3.4 Kiến trúc m ng ColonSegnet 19ạHình 3.5 Sơ đồ quá trình Squeeze và Excitation 20Hình 3.6 Sơ đồ kh i dư 21ốHình 3.7 Sơ đồ ủ c a Strided Convolution 21Hình 3.8 Sơ đồ miêu tả quá trình Tích chập chuy n vị 22ểHình 3.9 Biểu đồ thể hiện hàm Relu 22Hình 3.10 Biểu đồ thể hiện hàm Sigmoid 23Hình 3.11 Bảng các thông s ố để đánh giá kết qu 23ảHình 3.12 Hình ảnh t o mask dùng LabelStudio 25ạ

Hình 3.13 Kích thước các tệp train, val, test 25

Hình 4.1 Biểu đồ so sanh kích thước c a các model 27ủ Hình 4.2 Biểu đồ so sánh độ chính xác của các model YOLO 27

Hình 4.3 Model Yolov5 28

Hình 4.4 Kiến trúc m ng YOLO 28ạ Hình 4.5 Mô t công thả ức đánh giá IOU 28

Hình 4.6 Biểu đồ kích thước c a các tủ ệp train,val,test 29

Hình 4.7 Gán nhãn sử d ng Roboflow 30ụ Hình 4.8 Mô tả nh d ng chu n c a box trong Yolov5 30đị ạ ẩ ủ Hình 4.9 Chuẩn b cho quá trình hu n luy n m ng YOLOv5 31ị ấ ệ ạ Hình 4.10 Một s hình nh trong t p d li u 31ố ả ệ ữ ệ Hình 4.11 Hình ảnh m t s t p box 31ộ ố ệ Hình 5.1 Biểu đồ hàm Dloss và Gloss trong huấn luyện trên dữ liệu FFHQ256 32

Hình 5.2 Biểu đồ hàm loss fake và loss real trong huấn luyện trên dữ liệu FFHQ256 32

Hình 5.3 Thời gian hu n luy n trên d li u FFHQ256 33ấ ệ ữ ệ Hình 5.4 Biểu đồ hàm Dloss và Gloss khi học chuyển giao 33

Hình 5.5 Biểu đồ Fake loss và Real Loss khi học chuyển giao 33

Hình 5.6 Thời gian quá trình hu n luy n s d ng h c chuy n giao 34ấ ệ ử ụ ọ ể Hình 5.7 Kết qu cả ủa dữ ệ li u mới được t o ra 34ạ Hình 5.8 Biểu đồ hàm loss trong quá trình huấn luyện 35

Hình 5.9 Kết quả phân đoạ ần l n 1 35

Hình 5.10 Kết quả phân đoạ ần l n 2 35

Hình 5.11 Kết quả phân đoạ ần l n 3 36

Hình 5.12 Kết quả phân đoạ ần l 4 36

Hình 5.13 Kết quả phân đoạ ần l n 5 36

Hình 5.14 M t s hình nh k t qu c a quá trình phát hi n 37ộ ố ả ế ả ủ ệ Hình 5.15 Kết qu l n 1 38ả ầ Hình 5.16 Kết qu l n 2 38ả ầ Hình 5.17 Kết qu l n 3 39ả ầ Hình 5.18 Kết qu l n 4 39ả ầ Hình 5.19 Kết qu l n 5 39ả ầ DANH M C BỤ ẢNG Bảng 1.1 Đánh giá kết quả của model từ tài liệu tham khảo 5

Bảng 5.1 Bảng đánh giá kết qu c a các model vả ủ ới bài toán phân đoạn 37

Bảng 5.2 Bảng đánh giá các model với bài toán Phát hiện đối tượng 38 Bảng 5.3 Bảng đánh giá kết qu th c nghi m 39ả ự ệ

1

CHƯƠNG 1 TỔNG QUAN ỨNG DỤNG HỌC SÂU PHÁT HIỆN VÀ PHÂN

ĐOẠN BỆNH QUA HÌNH ẢNH NỘI SOI

1.1 Lý do và mục đích chọn đề tài

Lý do chọn đề tài

Hệ tiêu hóa của con người có th b ể ị ảnh hưởng b i m t s b nh Nhìn chunở ộ ố ệ g, ung thư thực qu n, dả ạ dày và đại tr c tràng chi m kho ng 2,8 tri u ca m c mự ế ả ệ ắ ới và 1,8 tri u ca t ệ ửvong mỗi năm Kiểm tra n i soiộ là tiêu chuẩn vàng để điều tra đường tiêu hóa N i soi d ộ ạdày là m t cu c kiộ ộ ểm tra đường tiêu hóa trên bao g m th c qu n, d dày và phồ ự ả ạ ần đầu tiên của ru t non, trong khi nộ ội soi đại tràng bao g m ru t già (ru t k t) và tr c tràng C hai ồ ộ ộ ế ự ảcuộc kiểm tra này đều là ki m tra video th i gian thể ờ ực bên trong đường tiêu hóa b ng cách ằ

sử dụng ng nố ội soi độ nét cao kỹ thu t s Khám n i ậ ố ộ soi đòi hỏi nhi u ngu n lề ồ ực và đòi hỏi c thi t b k thuả ế ị ỹ ật đắ ền và nhân viên được đào tạo Đểt ti phòng ngừa ung thư đại tr c ựtràng, n i soi phát hi n và lo i b các tộ ệ ạ ỏ ổn thương tiền ung thư có thể x y ra là r t c n thi t ả ấ ầ ế

Do đó, phát hiện u tuyến được coi là m t ch s chộ ỉ ố ất lượng quan trọng trong t m soát ầung thư đại trực tràng Tuy nhiên, kh ả năng phát hiện u tuy n khác nhau giế ữa các bác sĩ và điều này cuối cùng có thể ảnh hưởng đến nguy cơ mắc ung thư đại trực tràng của các cá nhân Nội soi đánh giá mức độ nghiêm tr ng và phân lo i ph c a các phát hi n khác nhau ọ ạ ụ ủ ệcũng có thể khác nhau giữa các bác sĩ Việc phân lo i chính xác các b nh r t quan tr ng vì ạ ệ ấ ọ

nó có thể ảnh hưởng đến vi c ra quyệ ết định điều tr và theo dõi Ví d , mị ụ ức độ viêm nh ảhưởng trực tiếp n việc lựa chọn liđế ệu pháp điều trị trong các bệnh viêm ruột (IBD) Do

đó, một hệ thống tính điểm khách quan và t ự động sẽ rất được hoan nghênh Tự động phát

hi ện, ghi nhận và đánh giá các phát hiện b nh lýệ có th s góp ph n làm gi m s b t bình ể ẽ ầ ả ự ấđẳng, nâng cao chất lượng và sử dụng tối ưu các nguồ ực y tế khan hin l ếm Hơn nữa, vì kiểm tra nội soi là điều tra thời gian th c, c nh ng phát hiự ả ữ ện bình thường và bất thường phải được ghi l i và ghi l i trong các báo cáo bạ ạ ằng văn bản Tính năng tạo báo cáo t ự động

sẽ c g ng góp ph n gi m thố ắ ầ ả ời gian làm th t c gi y t củ ụ ấ ờ ủa bác sĩ và do đó tăng thời gian chăm sóc bệnh nhân

Với s phân tích trên ta th y s quan tr ng và c n thi t c a vi c phát hi n và phân ự ấ ự ọ ầ ế ủ ệ ệđoạn bệnh qua hình ảnh nội soi Vì thế em đã chọn đề tài “Ứng dụng h c sâu đểọ phát hi n ệ

và phân đoạn b nh qua hình nh nệ ả ội soi đại tràng” Đề tài ng d ng n n t ng là các bài báo ứ ụ ề ảkhoa h c v n dọ ậ ụng các tính năng ưu việ ủt c a h c sâu và x lý ọ ử ảnh Trong tương lai có thểphát tri n vể ới đa dạng các lo i b nh và mong mu n ng d ng trong b nh vi n ạ ệ ố ứ ụ ệ ệ

Đối tượng nghiên cứu

Đối tượng nghiên cứu là các mạng học sâu để tăng cường dữ liệu đầu vào, phân đoạn và phát hi n trong y sinh trên th giệ ế ới và đặc biệt là đối với hình nh b nh polyp qua quá trình ả ệnội soi đại tràng

2

Hình 1.1 Hình nh b nh Polyp trong quá trình nả ệ ội soi đại tràng

Kết quả đầu ra mong mu n: ố

Hình 1.2 Hình ảnh đầu ra mong muốn quá trình phân đoạn và phát hi n b nh ệ ệ

Phương pháp nghiên cứu

Thu th p, tìm hi u thông tin v các bài báo nghiên c u khoa h c vậ ể ề ứ ọ ề tăng cường d ữliệu đầu vào, phân đoạn và phát hiện bệnh qua hình ảnh, nhằm lấy đó là cơ sở để đánh giá

và ng dứ ụng cho đề tài

Ý nghĩa của đề tài

Hiện này trong y học, vi c ng d ng x lý nh và hệ ứ ụ ử ả ọc sâu đang là xu thế và giúp ích rất nhi u trong qua trình chuề ẩn đoán bệnh cũng như chăm sóc bệnh nhân Chính vì th em ế

đã xin thực hiện đề tài “Ứng dụng học sâu đề phát hiện và phân lo i b nh qua hình ạ ệ ảnh nội

3

soi đại tràng” với mong muốn giúp đỡ các y bác sĩ phát hi n, ghi nhệ ận và đánh giá các phát hiện b nh lý có th s góp ph n làm gi m s bệ ể ẽ ầ ả ự ất bình đẳng, nâng cao chất lượng và s ửdụng tối ưu các nguồ ựn l c y t khan hi m ế ế

1.2 Tình hình nghiên cứu trong nước

Dữ li u lệ ớn (Big Data) và công ngh trí tu nhân tệ ệ ạo (AI) đang tạo ra những đột phá rộng kh p trên mắ ọi lĩnh vực Ứng d ng AI và khai thác d li u y t trong h tr chụ ữ ệ ế ỗ ợ ẩn đoán bệnh và xây d ng n n y tự ề ế thông minh đã trở thành vấn đề ốt lõi trong l trình phát tri n c ộ ể

y t c a m i quế ủ ọ ốc gia, trong đó có Việt Nam

Trong y khoa, các h th ng h tr phát hi n (computer-aided detection CADe) và ệ ố ỗ ợ ệ –

hỗ trợ chẩn đoán (computer-aided diagnosis – CADx) được thi t kế ế để giúp bác sĩ đưa ra quyết định nhanh và chính xác hơn Cụ thể, các hệ thống này cho phép phân tích và đánh giá các bất thường t d li u y khoa trong th i gian ng n Chúng có th giúp c i thi n ch t ừ ữ ệ ờ ắ ể ả ệ ấlượng hình ảnh y khoa, làm nổi bật các cấu trúc bất thường bên trong cơ thể và thực hiện

đo đạc các chỉ số lâm sàng Các hệ thống CADe/x được xây d ng d a trên các công ngh ự ự ệlõi g m x lý hình nh, th ồ ử ả ị giác máy tính, và đặc biệt là AI

Hình 1.3 Ví d v chuụ ề ấn đoán hình ảnh trong y h c ọ

Hệ th ng y t Vi t Nam, mố ế ệ ặc dù đã có những thay đổi to l n, ớ nhưng đầu tư và chi phí cho

y t v n còn r t h n chế ẫ ấ ạ ế Theo tính toán, năm 2018 Việt Nam chỉ có hơn 8 bác sĩ/10.000 dân Đây là tỷ l th p nh t tệ ấ ấ ại Đông Nam Á Vớ ối t c đ đào tạo như hiệộ n nay, cần 75 năm

để chúng ta có thể b t kắ ịp Singapore, nơi có 23 bác sĩ/10.000 dân Ngoài ra, tại Vi t Nam, ệ

sự m t cân b ng vấ ằ ề trình độ ữ gi a các b nh vi n tệ ệ ại địa phương (tuyến xã, huy n, tệ ỉnh) so với các b nh vi n TW v n còn m t kho ng cách lệ ệ ẫ ộ ả ớn Chính vì th , s d ng các công ngh ế ử ụ ệ

số, với nòng c t là d li u lố ữ ệ ớn và AI, để xây d ng n n y tự ề ế thông minh được coi là chi n ếlược quốc gia Ở đó, các công nghệ s , phân tích dữ liố ệu đượ ứng dc ụng để phát triển các giải pháp chẩn đoán bệnh s m, v i chi phí th p và d dàng ti p cớ ớ ấ ễ ế ận người dùng quy mô ởlớn

4

Nghiên c u và ng d ng AI tứ ứ ụ rong CĐHA y tế ạ t i Việt Nam đang ở giai đoạn đầu Một số ứng dụng AI h tr chỗ ợ ẩn đoán do các công ty công nghệ quốc tế phát triển đã được triển khai t i m t s b nh vi n Tuy nhiên, d liạ ộ ố ệ ệ ữ ệu người Việt có tính đặc thù Điều này làm gi m hi u qu c a các thu t toán AI vả ệ ả ủ ậ ốn được hu n luy n d a trên d li u M t s t p ấ ệ ự ữ ệ ộ ố ậtoàn trong nước như Vingroup, Viettel hay FPT cũng đã từng bước phát tri n các gi i pháp ể ảthông minh h trỗ ợ CĐHA y tế Đây có thể coi là điểm sáng và là hướng đi đúng đắn khi Việt Nam có th t chể ự ủ được công nghệ lõi, đặc bi t là bệ ảo đảm vấn đề ả b o m t d li u ậ ữ ệsức khoẻ của người dân

Hiện nay, VinDr là trung tâm ý t tr c thuế ự ộc VinBigData đang là tổ chức đi đầu v ề

xử lý hình ảnh trong y sinh.VinDr phát tri n cho phép chuể ẩn đoán hình ảnhvề b nh lý ph i ệ ổtrên nh X-quang l ng ng c, chả ồ ự ẩn đoán ung thư vú trên ảnh X-quang tuyến vú, xác định các bất thường trên hình nh CT/MRI s não và phát hi n các bả ọ ệ ất thường trên phim ch p ụX-quang c t sộ ống đã được th nghi m lâm sàng t i m t s b nh vi n lử ệ ạ ộ ố ệ ệ ớn như Bệnh vi n ệTrung ương Quân đội 108, Bệnh viện Đại học Y Hà Nội, Bệnh viện Đa khoa Quốc tế Vinmec Theo đánh giá từ đội ngũ chuyên gia y tế của các bệnh viện cho thấy, VinDr đã

đảm bảo độ chính xác cao, cho phép hỗ trợ c lđắ ực bác sĩ CĐHA trong chẩn đoán bệnh [11] H thệ ống VinDr được xây d ng trên chính ngu n d li u b nh nhân t i Vi t Nam, ự ồ ữ ệ ệ ạ ệvới đặc điểm sinh lý, giải phẫu bệnh lý chính xác của người Việt Các bộ dữ liệu quy mô lớn được thu thập và gán nhãn bởi đội ngũ bác sĩ CĐHA giàu kinh nghiệm chính là yếu tố tiên quyết để đảm bảo độ chính xác của các thu t toán AI ậ

Hình 1.4 Ví d v chuụ ề ẩn đoán bệnh c a VINDR qua hình nh ủ ả

Các nghiên c u trên cứ ủa VinDr đều là các nghiên c u d a trên các vứ ự ấn đề ớ l n mà th gi i ế ớcũng đang quan tâm nên bộ dữ liệu lớn của ảnh về đề tài rất cao Tuy nhiên đối với việc Chuẩn đoán bệnh hình ảnh qua nội soi đại tràng sử dụng AI đang mới chỉ được quan tâm thời gian gần đây, bộ ữ ệ d li u v các b nh cề ệ ủa đại tràng qua quá trình n i soi còn h n ch ộ ạ ế

5

Năm 2020, Dựa trên bộ dữ liệu khoảng 268 ảnh về bệnh nội soi đại tràng từ cuộc thi

“Endoscopy Disease Detection and Segmentation (EDD2020)” đã có bài báo của anh Huynh Le Duy [20] đã có những nghiên cứu về bài toán phát hiện và khoanh vùng bênh trong quá trình nội soi đại tràng

Hình 1.5 Hình nh k t qu phát hiả ế ả ện và phân đoạn b nh tham kh o ệ ả

Lưu ý: a, b, c, d là ảnh gốc còn e, f, g, h là ảnh dự đoán qua mô hình

Tuy nhiên v i b d li u quá nh , cùng v i th i ớ ộ ữ ệ ỏ ớ ờ điểm quá sớm vì chưa có mạng tối ưu nhất cho hình ảnh nội soi ra đời đã cho ra kết quả không đượ ốt c t

- Thu thập các hình nh v nả ề ội soi đại tràng (b nh polyb) ệ

- Tăng cường d liữ ệu đào tạo s d ng m ng StyleGAN2-ADA ử ụ ạ

- Phân đoạn bệnh qua ảnh nội soi sử dụng mạng ColonSegnet

- Phát hi n b nh qua hình nh n i soi s d ng m ng YOLOv5 ệ ệ ả ộ ử ụ ạ

- Chuẩn bị ph n c ng và cài d t các ph n mầ ứ ặ ầ ền và thư viện c n thi t cho qua trình ầ ếhuấn luy n ệ

- Đánh giá, kiểm tra kết qu và kh c phụả ắ c các l i phát sinh ỗ

18

Hình 3.2 Input và Output c a bài toán phủ ân đoạ ảnh n

Phân loại bài toán Image Segmentation:

1 Phân đoạn ng ữ nghĩa (Semantic Segmentation): Chỉ phân bi t các vùng ệ ảnh có nhãn khác nhau mà không phân bi t trong t ng nhãn ệ ừ

2 Phân đoạn thể hiện (Instance Segmentation): phân biệt chi tiết các đối tượng trong cùng nhãn

Hình 3.3 So sánh giữa Phân đoạn ng ữ nghĩa và Phân đoạn th hi n ể ệ

Đối với đề tài này, em s d ng ử ụ Phân đoạn ngữ nghĩa (Semantic Segmentation) phân đểđoạn bệnh polyb trong hình ảnh n i soi đại tràng ộ

19

3.2 Mạng ColonSegnet cho bài toán phân đoạn

Kiến trúc m ng ColonSegnet ạ

Hình 3.4 Ki n trúc m ng ColonSegnet ế ạ

Mạng ColonSegnet [3] là m ng bao g m hai kh i ạ ồ ố Mã hóa(Encoder) và hai khối

Giải mã(Decoder) Encoder s h c các trích xu t t t cẽ ọ ấ ấ ả các thông tin đầu vào sau đó chuyển đến Decoder, Decoder s t o s d ng thông tin trích xuẽ ạ ử ụ ất để tạo ra một mask tương ứng M ng s dạ ử ụng Khối dư Residual Block v i ớ Mạng Bóp và Kích thích (Squeeze and

Excitation Network) là thành ph n chínhầ Như hình vẽ ta có th th y mể ấ ạng được thi t k t ế ếrất ít tham s so vố ới các model phân đoạn cơ sở như PSP-Net ho c Deeplapv3 + Chúng ặ

ta có th th y trên hình v các ph n bên trái là Encoder 1 và Encoder 2 còn bên ph i là ể ấ ẽ ầ ảDecoder 1 và Decoder 2 và gi a chúng có nhi u ữ ề Skip Connection nh m chuy n thông tin ằ ể

từ Encoder sang Decoder Đây là những thông tin quan trọng, nó các tính năng thấp (ví dụ như cạnh, góc hay một số thông tin trong mạng bị mất do độ sâu của mạng

a, Mạng Bóp và Kích thích (Squeeze and Excitation Network)

 Excitation (Kích thích): Sử d ng các l p Fully Connected Network và kụ ớ ết thúc đã

sử d ng hàm Sigmoid (chuy n các giá trụ ể ị v trong ph m vi t ề ạ ừ 0 đến 1)

 Scaling(Nhân): là nhân giá tr u ra t Sigmoid (t 0-1) vị đầ ừ ừ ới Input, quá trình s lo i ẽ ạ

bỏ các tính năng không mong muốn và đánh dấu các tính năng quan trọng và chúng

ta nhận được kết qu u ra ả đầ

b, Khối dư Residual Block

21

Hình 3.6 Sơ đồ khối dư

Đầu và là bản đồ tính năng và số kênh tính năng đầu ra Ta đưa qua lớp Conv 2D v i nhân ớ

là 3x3 sau đó sẽ theo sau là lớp Batch Norm (bình thường hóa) và tiếp theo là hàm kích hoạt Relu, l i m t lạ ộ ớp Conv2D và Batch Norm sau đó kế ợp với k t qu t k t n i ng n h ế ả ừ ế ố ắ(shortcut connection) rồi qua hàm kích ho t Relu ạ Ở đây, kế ốt n i ng n giúp chuy n các ắ ểtính năng từ đầu vào sang đầu ra vì nó học ánh xạ danh tính

c, Strided Convolution (Tích ch p x p hàng)ậ ế

Hình 3.7 Sơ đồ ủ c a Strided Convolution

Ta th y qua l p Conv2D(3x3) v i Strides (sấ ớ ớ ải bước) =2, mục đích của Strided Convoluation là làm gi m chi u cao và chi u r ng cả ề ề ộ ủa bản đồ tính năg

Các thu t ng ậ ữ được sử ụ d ng trong các hình v : ẽ

- Tích ch p chuy n vậ ể ị (Conv2DTranspose ho c Transposed Conv2D): M t dặ ộ ạng tích chập giúp gia tăng kích thước c a m ng CNN Là mủ ạ ột quá trình ngược c a ủ

22

tích chập thông thường khi m i mỗ ột đặc trưng (feature) được mapping sang các pixels ảnh thay vì ngược lạ ừ các pixels sang đặc trưng (featurei t

Hình 3.8 Sơ đồ miêu t quá trình Tích ch p chuy n v ả ậ ể ị

- Batch Norm: chuẩn hóa d li u các layer theo batch v phân ph i chuữ ệ ở ề ố ẩn để quá trình gradient descent h i t ộ ụ nhanh hơn và thường áp d ng ngay sau Convolutional ụlayer và thường ở những vị trí đầu tiên của mô hình để đạt hiệu quả cao nhất

- Relu: Hàm kích ho t nh m l c các giá tr ạ ằ ọ ị < 0, để giúp tăng tốc độ tính toán và th i ờgian tính toán

- Concat: là phép n i hai ma tr n v i nhau.ố ậ ớ

Tiêu chi đánh giá kết quả mạng

Hình 3.11 B ng các thông s ả ố để đánh giá kết qu ả

Vùng màu xanh lá cây: Chúng tôi ước tính 1 và sự thật cơ bản là 1 (Đúng Tích cực, TP) Vùng màu xanh lam: Chúng tôi ước tính là 1 nhưng sự ật cơ bả th n là 0 (Sai Dương tính, FP)

Vùng màu vàng: Chúng tôi ước tính 0 nhưng sự ật cơ bả th n là 1 (Sai phủ định, FN) Vùng xám: Chúng tôi ước tính 0 và sự thật cơ bản là 0 (True Negative, TN)

 Chuẩn bị t p d li u và tài nguyên: ậ ữ ệ

- Sử d ng ụ LableStudio để t o t p ạ ệ mask cho quá trình traning