Đồ Án Tốt Nghiệp Ứng Dụng Học Sâu Phát Hiện Và Phân Đoạn Bệnh Qua Nội Soi Đại Tràng.pdf

ĐỒ ÁN TỐT NGHIỆP

Ứng dụng học sâu phát hiện và phân đoạn

CAO VĂN LONG

long.cv170814@sis.hust.edu.vn

Ngành Cơ điện tử

Chuyên ngành Cơ điện tử thông minh

Giảng viên hướng dẫn: PGS TS Hoàng H ng H i ồ ả

Bộ môn: Cơ điện tử

Viện: Cơ Khí

HÀ N I, 8/2022Ộ

Ch ký c a GVHDữủ

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ

“Ứng dụng học sâu để phát hiện và phân lo i bệnh qua nội soi đại tràng ạ ”

II/ CÁC S LIỐ ỆU BAN ĐẦU

- Năng suất: Th i gian phát hiờ ện và phân đoạn nhanh nhỏ hơn 1s- Tăng cường d liữ ệu đầu vào: Tăng số lượng nh s d ng m ng GAN ả ử ụ ạ- Tính tích h p: Có th s d ng v i nhi u b d liợ ể ử ụ ớ ề ộ ữ ệu khác tương tự- Yêu cầu đầu ra: Phân lo i và phát hi n vạ ệ ới độ chính xác cao hơn 80%.

III/ N I DUNG THUY T MINH VÀ TÍNH TOÁN Ộ Ế

Chương 1: Tồng quan ứng dụng học sâu để phát hiện và phân đoạn bệnh qua hình ảnh nội soi

Chương 2: Tăng cường dữ liệu đào tạo sử dụng mạng StyleGAN2-ADA Chương 3: Phân đoạn hình ảnh sử dụng mạng ColonSegnet

Chương 4: Phát hiện đối tượng sử dụng mạng YoloV5 Chương 5: Kết quả thực nghiệm và k t lu n ế ậ

Họ và tên sinh viên: CAO VĂN LONG MSSV: 20170814

IV/ CÁN BỘ HƯỚNG D N Ẫ- PGS.TS Hoàng H ng H i ồ ả

V/ NGÀY GIAO NHI M V THI T KỆ Ụ Ế Ế… / / 2022

VI/ NGÀY HOÀN THÀNH NHI M V THI T K Ệ Ụ Ế Ế

Đánh giá của giảng viên phản biện

Kết quả đánh giá Hà N i, ngày tháng ộ năm 2022

Giảng viên ph n bi n Họ và tên Điểm ả ệ CAO VĂN LONG

LỜI CẢM ƠN

Năm nay học t p và g n bó v i Bách Khoa là kho ng thậ ắ ớ ả ời gian đẹp nhất c a thanh ủxuân, c a tu i trủ ổ ẻ Ngôi nhà Bách Khoa đã mang đến cho em r t nhiấ ều điều, có nh ng k ữ ỷniệm vui bu n, có r t nhi u ni m tin, hy vồ ấ ề ề ọng và ước mơ ở nơi đây Cũng luyến ti c r t ế ấnhiều tuy nhiên th i gian rờ ất khó để tr l i, chúng ta v n ph i ti p t c ti n v ở ạ ẫ ả ế ụ ế ề phía trước để trưởng thành và gặp hái những thành công hơn

Em xin g i l i cử ờ ảm ơn chân thành nhất đến v i các th y bớ ầ ộ trong trường và hơn hết là các th y cô trong Viầ ện Cơ Khí, Bộ môn Cơ điệ ử đã cùng đồn t ng hành, chỉ b o, dìu ảdắt các em qua t ng môn hừ ọc và cho các em có nhiều ki n thế ức mới Đặc biệt em xin c m ảơn thầy PGS.TS Hoàng Hồng Hải đã trực tiếp hướng dẫn và chỉ bận em để hoàn thành đồán này Chúc các th y, các cô luôn m nh khầ ạ ỏe để ế ụ ti p t c ch b o các th h sau c a Bách ỉ ả ế ệ ủ

Khoa

TÓM T T NẮ ỘI DUNG ĐỒ ÁN

Với đề “Ứng d ng hụ ọc sâu để phát hiện và phân đoạn bệnh” em đã nhìn thấy các vấn đề cần thực hiện như tăng cường dữ liệu đào tạo: làm sao để tăng hình ảnh đầu vào, do đặc thù về việc khó thu thập và tìm các nguồn về hình ảnh y sinh và về sử dụng mạng nào trong học sâu để cho kh ả năng phát hiện và phân đoạn nhanh chóng v i k t qu chính ớ ế ảxác Vì thế, để ự th c hi n nhi m vệ ệ ụ trên, em đã tìm hiểu và nghiên c u các bài báo khoa ứhọc v vi c nghiên cề ệ ứu để tăng dữ liệu hình nh y sinh và m ng phát hiả ạ ện và phân đoạn đã tìm được m ng Style2-ạ GAN được phát triển năm 2020 cho nhiệm v ụ tăng dữ li u và mệ ạng ColonSegnet năm 2021 cho bài toán phân đoạn và mạng YOLOv5 cho bài toán phát hiện thông qua hình nh nả ội soi, sau đó em đã tính toán lập trình s dử ụng thư viện Pytorch và OpenCV và hu n luyấ ện trên Google Colab Pro để th c hi n yêu cự ệ ầu đề ra Đây là đề tài có thể ứng dụng để giúp các bác sĩ phát hiện và phân vùng bệnh nhanh và chính xác hơn ngay trong quá trình n i soi K t qu ộ ế ả đạt trên mô hình kh ả quan nhưng chưa đáp ứng t t nh t v ố ấ ềkết quả đầu ra do ph n c ng cho hu n luy n còn h n chầ ứ ấ ệ ạ ế Định hướng phát tri n là xây ểdựng lên thành m t ph n m m vi c thao tác, s d ng d ộ ầ ề ệ ử ụ ễ dàng hơn cũng như tích hợp thêm các bài báo khoa học mớ ề hướng tương tự Qua đồ án này em hi v ọc được nhi u ki n th c ề ế ứmới để có th áp d ng các ki n thể ụ ế ức đã học để áp d ng vào thụ ực tế

Sinh viên thực hiện

Ký và ghi rõ h tên ọ

Cao Văn Long

Ý nghĩa của đề tài 2

1.2Tình hình nghiên cứu trong nước 3

1.3Nội dung th c hi n 5ự ệCHƯƠNG 2 TĂNG CƯỜNG D LIỮ ỆU ĐÀO TẠO V I M NG STYLEGAN2-ADAỚ Ạ 6

2.1Tổng quan v ề tăng cường d liữ ệu đào tạo 6

2.2Cơ sở lý thuyết mạng StyleGAN2-ADA 7

3.1Tổng quan v ề phân đoạ ản nh 17

3.2 Mạng ColonSegnet cho bài toán phân đoạn 19

Kiến trúc m ng ColonSegnet 19ạTiêu chi đánh giá kết qu mạng 23ảQúa trình huấn luy n 24ệCHƯƠNG 4 PHÁT HIỆN ĐỐI TƯỢNG VỚI MẠNG YOLOV5 26

4.1Tổng quan v phát hiề ện đối tượng 26

4.2 Mạng Yolov5 cho bài toán phát hi n 26ệTổng quan v m ng Yolo 26ề ạKiến trúc m ng YOLOv5 27ạTiêu chí đánh giá kết quả 28Qúa trình huấn luy n 29ệ

CHƯƠNG 5 THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ CHUNG 32

5.1Kết qu cả ủa quá trình tăng cường d li u: 32ữ ệ5.2Kết qu cả ủa quá trình phân đoạn b nh 34ệKết qu 34ảĐánh giá kết quả 365.3Kết qu cả ủa quá trình phát hiện b nh 37ệMột s k t qu trên t p test 37ố ế ả ệĐánh giá kết quả 375.4Kết qu chung 38ả5.5Kết lu n 40ậ5.6Hướng phát tri n 40ể

TÀI LI U THAM KH O 41Ệ Ả

PHỤ L C 43Ụ

DANH MỤC HÌNH V Ẽ

Hình 1.1 Hình ảnh b nh Polyp trong quá trình nệ ội soi đại tràng 2Hình 1.2 Hình ảnh đầu ra mong muốn quá trình phân đoạn và phát hiện bệnh 2Hình 1.3 Ví dụ v chuề ấn đoán hình ảnh trong y h c 3ọHình 1.4 Ví dụ v chuề ẩn đoán bệnh c a VINDR qua hình nh 4ủ ảHình 1.5 Hình ảnh k t qu phát hiế ả ện và phân đoạn b nh tham kh o 5ệ ảHình 2.1 Mô tả hoạt động c a m ng GAN basic 6ủ ạHình 2.2 So sánh hình ảnh t o ra b i VAE và GAN 7ạ ởHình 2.3 Hình ảnh so sánh gi a m ng GAN truy n th ng và m ng StyleGAN base 8ữ ạ ề ố ạHình 2.4 Đầu vào không đổi trong mạng StyleGAN 9Hình 2.5 Đầu vào nhiễu trong m ng StyleGAN 10ạHình 2.6 Trộn phong cách trong m ng StyleGAN 10ạHình 2.7 Ví dụ hình nh t o ra b i GAN 11ả ạ ởHình 2.8 Công thức Chu n hóa(Nẩ ormalization) và Điều ch (Modualation) 11ếHình 2.9 Chi tiết v AdaIN 11ềHình 2.10 Quá trình di chuyển b và B ra ngoài StyleBlock 12Hình 2.11 Bỏ giá tr trung bình trong hoị ạt động c a AdaIN 12ủHình 2.12 Giải điều ch tr ng s trong m ng StyleGAN2 12ế ọ ố ạHình 2.13 Cấu trúc quá trình tăng cường dữ liệu 13Hình 2.14 Ví dụ v s thây các giá tr ề ự ị p cơ bản 13Hình 2.15 Cách thức hoạt động c a ADA 14ủHình 2.16 Mạng SyleGAN2-ADA hoàn ch nh cho bài toán 14ỉHình 2.17 Mô tả quá trình Upsampling 15Hình 2.18 Một s hình nh v t p d li u 16ố ả ề ệ ữ ệHình 3.1 Phân bi t giệ ữa thuật toán phát hi n ệ đối tượng và phân đoạn 17Hình 3.2 Input và Output của bài toán phân đoạn ảnh 18Hình 3.3 So sánh giữa Phân đoạn ngữ nghĩa và Phân đoạn thể hiện 18Hình 3.4 Kiến trúc m ng ColonSegnet 19ạHình 3.5 Sơ đồ quá trình Squeeze và Excitation 20Hình 3.6 Sơ đồ kh i dư 21ốHình 3.7 Sơ đồ ủ c a Strided Convolution 21Hình 3.8 Sơ đồ miêu tả quá trình Tích chập chuy n vị 22ểHình 3.9 Biểu đồ thể hiện hàm Relu 22Hình 3.10 Biểu đồ thể hiện hàm Sigmoid 23Hình 3.11 Bảng các thông s ố để đánh giá kết qu 23ảHình 3.12 Hình ảnh t o mask dùng LabelStudio 25ạ

Hình 3.13 Kích thước các tệp train, val, test 25

Hình 4.1 Biểu đồ so sanh kích thước c a các model 27ủHình 4.2 Biểu đồ so sánh độ chính xác của các model YOLO 27

Hình 4.3 Model Yolov5 28

Hình 4.4 Kiến trúc m ng YOLO 28ạHình 4.5 Mô t công thả ức đánh giá IOU 28

Hình 4.6 Biểu đồ kích thước c a các tủ ệp train,val,test 29

Hình 4.7 Gán nhãn sử d ng Roboflow 30ụHình 4.8 Mô tả nh d ng chu n c a box trong Yolov5 30đị ạ ẩ ủHình 4.9 Chuẩn b cho quá trình hu n luy n m ng YOLOv5 31ị ấ ệ ạHình 4.10 Một s hình nh trong t p d li u 31ố ả ệ ữ ệHình 4.11 Hình ảnh m t s t p box 31ộ ố ệHình 5.1 Biểu đồ hàm Dloss và Gloss trong huấn luyện trên dữ liệu FFHQ256 32

Hình 5.2 Biểu đồ hàm loss fake và loss real trong huấn luyện trên dữ liệu FFHQ256 32

Hình 5.3 Thời gian hu n luy n trên d li u FFHQ256 33ấ ệ ữ ệHình 5.4 Biểu đồ hàm Dloss và Gloss khi học chuyển giao 33

Hình 5.5 Biểu đồ Fake loss và Real Loss khi học chuyển giao 33

Hình 5.6 Thời gian quá trình hu n luy n s d ng h c chuy n giao 34ấ ệ ử ụ ọ ểHình 5.7 Kết qu cả ủa dữ ệ li u mới được t o ra 34ạHình 5.8 Biểu đồ hàm loss trong quá trình huấn luyện 35

Bảng 5.1 Bảng đánh giá kết qu c a các model vả ủ ới bài toán phân đoạn 37

Bảng 5.2 Bảng đánh giá các model với bài toán Phát hiện đối tượng 38Bảng 5.3 Bảng đánh giá kết qu th c nghi m 39ả ự ệ

Với s phân tích trên ta th y s quan tr ng và c n thi t c a vi c phát hi n và phân ự ấ ự ọ ầ ế ủ ệ ệđoạn bệnh qua hình ảnh nội soi Vì thế em đã chọn đề tài “Ứng dụng h c sâu đểọ phát hi n ệvà phân đoạn b nh qua hình nh nệ ả ội soi đại tràng” Đề tài ng d ng n n t ng là các bài báo ứ ụ ề ảkhoa h c v n dọ ậ ụng các tính năng ưu việ ủt c a h c sâu và x lý ọ ử ảnh Trong tương lai có thểphát tri n vể ới đa dạng các lo i b nh và mong mu n ng d ng trong b nh vi n ạ ệ ố ứ ụ ệ ệ

Đối tượng nghiên cứu

Đối tượng nghiên cứu là các mạng học sâu để tăng cường dữ liệu đầu vào, phân đoạn và phát hi n trong y sinh trên th giệ ế ới và đặc biệt là đối với hình nh b nh polyp qua quá trình ả ệnội soi đại tràng

2

Hình 1.1 Hình nh b nh Polyp trong quá trình nả ệ ội soi đại tràng

Kết quả đầu ra mong mu n: ố

Hình 1.2 Hình ảnh đầu ra mong muốn quá trình phân đoạn và phát hi n b nh ệ ệ

Phương pháp nghiên cứu

Thu th p, tìm hi u thông tin v các bài báo nghiên c u khoa h c vậ ể ề ứ ọ ề tăng cường d ữliệu đầu vào, phân đoạn và phát hiện bệnh qua hình ảnh, nhằm lấy đó là cơ sở để đánh giá và ng dứ ụng cho đề tài

Ý nghĩa của đề tài

Hiện này trong y học, vi c ng d ng x lý nh và hệ ứ ụ ử ả ọc sâu đang là xu thế và giúp ích rất nhi u trong qua trình chuề ẩn đoán bệnh cũng như chăm sóc bệnh nhân Chính vì th em ếđã xin thực hiện đề tài “Ứng dụng học sâu đề phát hiện và phân lo i b nh qua hình ạ ệ ảnh nội

3 soi đại tràng” với mong muốn giúp đỡ các y bác sĩ phát hi n, ghi nhệ ận và đánh giá các phát hiện b nh lý có th s góp ph n làm gi m s bệ ể ẽ ầ ả ự ất bình đẳng, nâng cao chất lượng và s ửdụng tối ưu các nguồ ựn l c y t khan hi m ế ế

1.2 Tình hình nghiên cứu trong nước

Dữ li u lệ ớn (Big Data) và công ngh trí tu nhân tệ ệ ạo (AI) đang tạo ra những đột phá rộng kh p trên mắ ọi lĩnh vực Ứng d ng AI và khai thác d li u y t trong h tr chụ ữ ệ ế ỗ ợ ẩn đoán bệnh và xây d ng n n y tự ề ế thông minh đã trở thành vấn đề ốt lõi trong l trình phát tri n c ộ ểy t c a m i quế ủ ọ ốc gia, trong đó có Việt Nam

Trong y khoa, các h th ng h tr phát hi n (computer-aided detection CADe) và ệ ố ỗ ợ ệ –hỗ trợ chẩn đoán (computer-aided diagnosis – CADx) được thi t kế ế để giúp bác sĩ đưa ra quyết định nhanh và chính xác hơn Cụ thể, các hệ thống này cho phép phân tích và đánh giá các bất thường t d li u y khoa trong th i gian ng n Chúng có th giúp c i thi n ch t ừ ữ ệ ờ ắ ể ả ệ ấlượng hình ảnh y khoa, làm nổi bật các cấu trúc bất thường bên trong cơ thể và thực hiện đo đạc các chỉ số lâm sàng Các hệ thống CADe/x được xây d ng d a trên các công ngh ự ự ệlõi g m x lý hình nh, th ồ ử ả ị giác máy tính, và đặc biệt là AI

Hình 1.3 Ví d v chuụ ề ấn đoán hình ảnh trong y h c ọ

Hệ th ng y t Vi t Nam, mố ế ệ ặc dù đã có những thay đổi to l n, ớ nhưng đầu tư và chi phí cho y t v n còn r t h n chế ẫ ấ ạ ế Theo tính toán, năm 2018 Việt Nam chỉ có hơn 8 bác sĩ/10.000 dân Đây là tỷ l th p nh t tệ ấ ấ ại Đông Nam Á Vớ ối t c đ đào tạo như hiệộ n nay, cần 75 năm để chúng ta có thể b t kắ ịp Singapore, nơi có 23 bác sĩ/10.000 dân Ngoài ra, tại Vi t Nam, ệsự m t cân b ng vấ ằ ề trình độ ữ gi a các b nh vi n tệ ệ ại địa phương (tuyến xã, huy n, tệ ỉnh) so với các b nh vi n TW v n còn m t kho ng cách lệ ệ ẫ ộ ả ớn Chính vì th , s d ng các công ngh ế ử ụ ệsố, với nòng c t là d li u lố ữ ệ ớn và AI, để xây d ng n n y tự ề ế thông minh được coi là chi n ếlược quốc gia Ở đó, các công nghệ s , phân tích dữ liố ệu đượ ứng dc ụng để phát triển các giải pháp chẩn đoán bệnh s m, v i chi phí th p và d dàng ti p cớ ớ ấ ễ ế ận người dùng quy mô ởlớn

4 Nghiên c u và ng d ng AI tứ ứ ụ rong CĐHA y tế ạ t i Việt Nam đang ở giai đoạn đầu Một số ứng dụng AI h tr chỗ ợ ẩn đoán do các công ty công nghệ quốc tế phát triển đã được triển khai t i m t s b nh vi n Tuy nhiên, d liạ ộ ố ệ ệ ữ ệu người Việt có tính đặc thù Điều này làm gi m hi u qu c a các thu t toán AI vả ệ ả ủ ậ ốn được hu n luy n d a trên d li u M t s t p ấ ệ ự ữ ệ ộ ố ậtoàn trong nước như Vingroup, Viettel hay FPT cũng đã từng bước phát tri n các gi i pháp ể ảthông minh h trỗ ợ CĐHA y tế Đây có thể coi là điểm sáng và là hướng đi đúng đắn khi Việt Nam có th t chể ự ủ được công nghệ lõi, đặc bi t là bệ ảo đảm vấn đề ả b o m t d li u ậ ữ ệsức khoẻ của người dân

Hiện nay, VinDr là trung tâm ý t tr c thuế ự ộc VinBigData đang là tổ chức đi đầu v ềxử lý hình ảnh trong y sinh.VinDr phát tri n cho phép chuể ẩn đoán hình ảnhvề b nh lý ph i ệ ổtrên nh X-quang l ng ng c, chả ồ ự ẩn đoán ung thư vú trên ảnh X-quang tuyến vú, xác định các bất thường trên hình nh CT/MRI s não và phát hi n các bả ọ ệ ất thường trên phim ch p ụX-quang c t sộ ống đã được th nghi m lâm sàng t i m t s b nh vi n lử ệ ạ ộ ố ệ ệ ớn như Bệnh vi n ệTrung ương Quân đội 108, Bệnh viện Đại học Y Hà Nội, Bệnh viện Đa khoa Quốc tế Vinmec Theo đánh giá từ đội ngũ chuyên gia y tế của các bệnh viện cho thấy, VinDr đã đảm bảo độ chính xác cao, cho phép hỗ trợ c lđắ ực bác sĩ CĐHA trong chẩn đoán bệnh [11] H thệ ống VinDr được xây d ng trên chính ngu n d li u b nh nhân t i Vi t Nam, ự ồ ữ ệ ệ ạ ệvới đặc điểm sinh lý, giải phẫu bệnh lý chính xác của người Việt Các bộ dữ liệu quy mô lớn được thu thập và gán nhãn bởi đội ngũ bác sĩ CĐHA giàu kinh nghiệm chính là yếu tố tiên quyết để đảm bảo độ chính xác của các thu t toán AI ậ

Hình 1.4 Ví d v chuụ ề ẩn đoán bệnh c a VINDR qua hình nh ủ ả

Các nghiên c u trên cứ ủa VinDr đều là các nghiên c u d a trên các vứ ự ấn đề ớ l n mà th gi i ế ớcũng đang quan tâm nên bộ dữ liệu lớn của ảnh về đề tài rất cao Tuy nhiên đối với việc Chuẩn đoán bệnh hình ảnh qua nội soi đại tràng sử dụng AI đang mới chỉ được quan tâm thời gian gần đây, bộ ữ ệ d li u v các b nh cề ệ ủa đại tràng qua quá trình n i soi còn h n ch ộ ạ ế

5 Năm 2020, Dựa trên bộ dữ liệu khoảng 268 ảnh về bệnh nội soi đại tràng từ cuộc thi “Endoscopy Disease Detection and Segmentation (EDD2020)” đã có bài báo của anh Huynh Le Duy [20] đã có những nghiên cứu về bài toán phát hiện và khoanh vùng bênh trong quá trình nội soi đại tràng

Hình 1.5 Hình nh k t qu phát hiả ế ả ện và phân đoạn b nh tham kh o ệ ả

Lưu ý: a, b, c, d là ảnh gốc còn e, f, g, h là ảnh dự đoán qua mô hình

Tuy nhiên v i b d li u quá nh , cùng v i th i ớ ộ ữ ệ ỏ ớ ờ điểm quá sớm vì chưa có mạng tối ưu nhất cho hình ảnh nội soi ra đời đã cho ra kết quả không đượ ốt c t

Quá trình\ Điểm đánh giá

F1 Recall Precision

Score Final Score Phát

- Chuẩn bị ph n c ng và cài d t các ph n mầ ứ ặ ầ ền và thư viện c n thi t cho qua trình ầ ếhuấn luy n ệ

- Đánh giá, kiểm tra kết qu và kh c phụả ắ c các l i phát sinh ỗ

18

Hình 3.2 Input và Output c a bài toán phủ ân đoạ ảnhn

Phân loại bài toán Image Segmentation:

1 Phân đoạn ng ữ nghĩa (Semantic Segmentation): Chỉ phân bi t các vùng ệ ảnh có nhãn khác nhau mà không phân bi t trong t ng nhãn ệ ừ

2 Phân đoạn thể hiện (Instance Segmentation): phân biệt chi tiết các đối tượng trong cùng nhãn

Hình 3.3 So sánh giữa Phân đoạn ng ữ nghĩa và Phân đoạn th hi n ể ệ

Đối với đề tài này, em s d ng ử ụ Phân đoạn ngữ nghĩa (Semantic Segmentation) phân đểđoạn bệnh polyb trong hình ảnh n i soi đại tràng ộ

19

3.2 Mạng ColonSegnet cho bài toán phân đoạn

Kiến trúc m ng ColonSegnet ạ

Hình 3.4 Ki n trúc m ng ColonSegnet ế ạ

Mạng ColonSegnet [3] là m ng bao g m hai kh i ạ ồ ố Mã hóa(Encoder) và hai khối

Giải mã(Decoder) Encoder s h c các trích xu t t t cẽ ọ ấ ấ ả các thông tin đầu vào sau đó chuyển đến Decoder, Decoder s t o s d ng thông tin trích xuẽ ạ ử ụ ất để tạo ra một mask tương ứng M ng s dạ ử ụng Khối dư Residual Block v i ớ Mạng Bóp và Kích thích (Squeeze and

Excitation Network) là thành ph n chínhầ Như hình vẽ ta có th th y mể ấ ạng được thi t k t ế ếrất ít tham s so vố ới các model phân đoạn cơ sở như PSP-Net ho c Deeplapv3 + Chúng ặta có th th y trên hình v các ph n bên trái là Encoder 1 và Encoder 2 còn bên ph i là ể ấ ẽ ầ ảDecoder 1 và Decoder 2 và gi a chúng có nhi u ữ ề Skip Connection nh m chuy n thông tin ằ ểtừ Encoder sang Decoder Đây là những thông tin quan trọng, nó các tính năng thấp (ví dụ như cạnh, góc hay một số thông tin trong mạng bị mất do độ sâu của mạng

a, Mạng Bóp và Kích thích (Squeeze and Excitation Network)

b, Khối dư Residual Block

21

Hình 3.6 Sơ đồ khối dư

Đầu và là bản đồ tính năng và số kênh tính năng đầu ra Ta đưa qua lớp Conv 2D v i nhân ớlà 3x3 sau đó sẽ theo sau là lớp Batch Norm (bình thường hóa) và tiếp theo là hàm kích hoạt Relu, l i m t lạ ộ ớp Conv2D và Batch Norm sau đó kế ợp với k t qu t k t n i ng n h ế ả ừ ế ố ắ(shortcut connection) rồi qua hàm kích ho t Relu ạ Ở đây, kế ốt n i ng n giúp chuy n các ắ ểtính năng từ đầu vào sang đầu ra vì nó học ánh xạ danh tính

c, Strided Convolution (Tích ch p x p hàng)ậ ế

Hình 3.7 Sơ đồ ủ c a Strided Convolution

Ta th y qua l p Conv2D(3x3) v i Strides (sấ ớ ớ ải bước) =2, mục đích của Strided Convoluation là làm gi m chi u cao và chi u r ng cả ề ề ộ ủa bản đồ tính năg

Các thu t ng ậ ữ được sử ụ d ng trong các hình v : ẽ

- Tích ch p chuy n vậ ể ị (Conv2DTranspose ho c Transposed Conv2D): M t dặ ộ ạng tích chập giúp gia tăng kích thước c a m ng CNN Là mủ ạ ột quá trình ngược c a ủ

22

tích chập thông thường khi m i mỗ ột đặc trưng (feature) được mapping sang các pixels ảnh thay vì ngược lạ ừ các pixels sang đặc trưng (featurei t

Hình 3.8 Sơ đồ miêu t quá trình Tích ch p chuy n v ả ậ ể ị

- Batch Norm: chuẩn hóa d li u các layer theo batch v phân ph i chuữ ệ ở ề ố ẩn để quá trình gradient descent h i t ộ ụ nhanh hơn và thường áp d ng ngay sau Convolutional ụlayer và thường ở những vị trí đầu tiên của mô hình để đạt hiệu quả cao nhất

- Relu: Hàm kích ho t nh m l c các giá tr ạ ằ ọ ị < 0, để giúp tăng tốc độ tính toán và th i ờgian tính toán

(3.2)

- Concat: là phép n i hai ma tr n v i nhau.ố ậ ớ

Tiêu chi đánh giá kết quả mạng

Hình 3.11 B ng các thông s ả ố để đánh giá kết qu ả

Vùng màu xanh lá cây: Chúng tôi ước tính 1 và sự thật cơ bản là 1 (Đúng Tích cực, TP) Vùng màu xanh lam: Chúng tôi ước tính là 1 nhưng sự ật cơ bả th n là 0 (Sai Dương tính, FP)

Vùng màu vàng: Chúng tôi ước tính 0 nhưng sự ật cơ bả th n là 1 (Sai phủ định, FN) Vùng xám: Chúng tôi ước tính 0 và sự thật cơ bản là 0 (True Negative, TN)

24  Recall là t l giỷ ệ ữa các điểm Positive thưc được nhận đúng trên tổng điểm Positive thực (còn g i là t l b sót v i các mọ ỷ ệ ỏ ớ ẫu positive) Recall càng cao có nghĩa là tỷ lệ bỏ sót càng th p ấ

𝐹𝑃𝑆 = # 1sec sec/

Qúa trình hu n luy n ấ ệ Chuẩn bị t p d li u và tài nguyên: ậ ữ ệ

- Sử d ng ụ LableStudio để t o t p ạ ệ mask cho quá trình traning