Lê Minh Hưng [3] đã sử dụng tập dữ liệu ICIAR 2018, được chia làm 4 lớp biêu thị mức độ nguy hiém của ung thư như Bình Thường N, Lành Tinh B, Ung Thư Biểu Mô tại chỗ IS, Ung Thư Biểu Mô
Trang 1MỤC LỤC
CHƯƠNG 1 TONG QUAN VE PHAN LOẠI ANH Y TẾ
1.1 Tài liệu nghiên cứu trong và ngoài nước
1.1.1 Tài liệu nghiên cứu trong nước.
1.1.2 Tài liệu nghiên cứu nước ngoài
1.2 Lý do chọn đề tài
1.3 Giới hạn, tính mới và tính khoa học của đề tài
1.3.1 Giới hạn của đề t
1.3.2 Tính mới của đề tài
1.3.3 Tính khoa học của đề tài
1.4 Mục tiêu, đối tượng và phạm vi nghiên cứu
1.4.1 Mục tiêu
1.4.2 Đối tượng và phạm vi nghiên cứu
CHƯƠNG 2 CƠ SỞ KHOA HỌC
CHƯƠNG 3 XÂY DỰNG ỨNG DỤNG DỰA TRÊN MÔ HÌNH ĐÃ ĐƯỢC
HUAN LUYỆN
3.1 Hướng giải quyết của dé tài
3.2 Xây dựng ứng dụng hỗ trợ chan đoán ung thư vú
3.2.1 Tổng quan về ứng dụng quản lý Bệnh viện
Trang 23.2.1.1 Nhóm quản lý hệ thống thông tin bệnh viện:
3.2.1.3 Nhóm về hệ thống thông tin xét nghiệm (LIS):
3.2.2 Công nghệ xây dung
3.2.3 Kiến trúc N-Tier
3.2.4 Một số View minh họa
3.3 Xây dựng ứng dung web hỗ trợ chan đoán ung thư vú 3.3.1 Sơ đồ ứng dụng và thiết kế cơ sở dữ liệu
3.3.2 Cài đặt ứng dụng
CHƯƠNG 4 KET LUẬN VÀ HƯỚNG PHÁT TRIEN
4.1 Kết luận
4.2 Hướng phát triển cai tiến trong tương lai
DANH MỤC TÀI LIEU THAM KHAO
Trang 3DANH MỤC CÁC KÝ HIỆU, CÁC CHU VIET TAT
Scale-invariant feature transform
Gray level co-occurrence matrix
Histogram of oriented gradient
Principal Component Analysis
Region of interests
Hospital information system
Laboratory Information System
Picture Archiving and Communication Systems
Hệ thống lưu trữ và truyền
tải hình ảnh
Trang 4DANH MỤC CÁC BẢNG
Bảng | Số lượng của từng loại ảnh của Bộ dit liệu
Bảng 2 Tiêu chí cho việc lựa chọn hình anh đào tạo, đánh giá và thử nghiệm 12
Bảng 3 Các giá trị của các phương pháp tăng cường
Bang 4 Cấu trúc chỉ tiết mô hình Inception[22]
Bảng 5 Kết quả chạy thực nghiệm của mô hình Inception - V3 gốc và mô hình
Inception- V3 đã được tinh chỉnh
Bang 6 Chỉ tiết tham số mô hình VGG16
Bảng 7 Tham số (Hyperparameters) được sử dụng trong các mô hình
Bang 8 Bảng kết quả của phương pháp Zabit Hameed và phương pháp dé xuắt 27
Bang 9 Độ đo độ chính xác (precision), độ phủ (recall), fl
Bang 11 Bảng so sánh độ chính xác của các mô hình
Bảng 12 So sánh độ chính xác của các mô hình máy học
Bảng 13 So sánh độ chính xác của các mô hình EfficientNe
Trang 5DANH MỤC CÁC HÌNH V
Hình 1: Các loại ảnh y tế
Hình 2 Các hình mô tả mức loại ung thư: Bình thường (N), Lành Tính (B), Ung Thư
Biểu Mô (IS), Ung Thư Biểu Mô Xâm Lan (IV)
Hình 3 Phuong pháp hoc sâu truyền thống
Hình 4 Phương pháp học sâu là 1 nhánh đặc biệt của học máy
Hình 5 Quá trình phát sinh ra ảnh mô bệnh
Hình 6 Khối ResNet [21]
Hình 7 Cấu trúc mạng ResNet 152
Hình 8 Cấu trúc mạng Inception[22]
Hình 9 Mô hình Inception v1 , dang naive
Hình 10 Mô hình Inception v1, dang dimension reduction
Hinh 11 M6 hinh Inception V2 [22]
tối đa) được đóng băng trong khi các lớp còn lại có thể đào tạo được Tuy nhiên,
trong các mô hình VGG16 và VGG19 được dao tạo đầy đủ, tất cả năm khối đều cóthể huấn luyện được
Hình 17 Kiến trúc tông thê được dé xuât sử dụng các mô hình VGG16 và VGG19
đã được tỉnh chỉnh cùng với phương pháp xác nhận chéo 5 lần
Hình 18 Kích thước và độ chính xác của mô hình sử dụng trên tập ImageNet[24] 28
Hình 19 Mở rộng mô hình (Model Scaling) (a) là một ví dụ về mạng đường cơ Sở;(b) - (đ) là chia tỷ lệ thông thường chỉ làm tăng một chiều của chiều rộng, chiều sâu
Trang 6hoặc độ phân giải của mô hình (e) là phương pháp chia tỷ lệ kết hợp được đề xuấtcủa chúng tôi giúp chia tỷ lệ đồng nhất cả ba chiều với tỷ lệ có định [24!]
Hình 20 Cấu trúc gốc của mô hình EfficentNet [25]
Hình 21 5 Mô-đun của mô hình EfficientNet[25]
Hình 22 Các mô-đun kết hợp dé tạo thành các khối con [25]
Hình 23 Kiến trúc mô hình EfficientNet - BO
Hình 24 Kiến trúc của mô hình EfficientNet - B1 [25]
Hình 25 Kiến trúc mô hình efficientnet - B3 [25]
Hình 26 Kiến trúc của mô hình EfficientNet - B4 [25]
Hình 27 Kiến trúc của mô hình EfficientNet B5 [25]
Hình 28 Kiến trúc của mô hình EfficientNet - B6
Hình 29 Kiến trúc mô hình Efficient - B7
Hình 35 Project của ứng dụng soạn thao băng trinhd uyệt Visual Studio 2019 42
Hình 36 View đăng nhập hệ thông
Hình 37 View tiếp nhận
Hình 38 View khám bệnh
Hình 39 View xem mô bệnh dưới kính hiên vi
Hình 40 Sơ đồ diễn đạt qui trình xử lý của ứng dụng
Hình 41 Sơ đồ biểu diễn quan hệ của các đối tượng
Hình 42 Giao diện của trình soạn thảo PyCharm 2020.2.2
Hình 43 Các module của ứng dụng
Hình 44 Giao diện nhập dir liệu đầu vào
Hình 45 Giao diện kết quả trả về của ảnh mô vú
Trang 7LỜI CẢM ƠN
Xin chân thành cảm ơn quý thầy cô trong trường Đại học Công nghệ Thông
tin đã tận tình dạy bảo cho em nhiều kiến thức bổ ích trong suốt thời gian học tập tại
trường, cũng như tạo điều kiện cho em thực hiện đề tài này Kính chúc quý thầy cô
luôn dồi dào sức khoẻ và luôn thành công trong cuộc sống Đặc biệt, em xin bay tỏ lòng biết ơn chân thành đến Tiến sĩ Nguyễn Tắt Bảo Thiện, người thầy đã tận tâm,
nhiệt tình hướng dẫn và chi bảo cho em trong suốt quá trình thực hiện dé tài Luận
văn này sẽ rất khó hoàn thành nếu không có sự truyền đạt kiến thức quí báu và sự
hướng dẫn nhiệt tinh và động viên của thầy Em cũng xin chân thành cảm ơn Tiến sĩ
Lê Minh Hưng, là người thầy đã dạy cho em những kiến thức chuyên môn học Xử
lý ảnh y khoa và cũng là một trong số tác giả của các công trình nghiên cứu khoa
học mà em đã tham khảo.
Luận văn đã hoàn thành với một số kết quả nhất định tuy nhiên vẫn không tránh khỏi thiếu sót Kính mong sự cảm thông và đóng góp ý kiến từ quý thầy cô và
các bạn.
Một lần nữa em xin chân thành cảm ơn!
TP Hồ Chí Minh, ngày tháng năm 2021
Người thực hiện
we
Nguyễn Văn Phong
Trang 8LỜI CAM ĐOAN
Đề tài " Phân loại ảnh mô bệnh học của mô vú nhằm hỗ trợ chan đoán ung thư
vú " là đề tài luận văn là công trình nghiên cứu của cá nhân tôi, được thực hiện dưới
sự hướng dẫn khoa học của TS Nguyễn Tắt Bảo Thiện Các số liệu, những kết luận
nghiên cứu được trình bày trong luận văn này hoàn toàn trung thực
Tôi xin cam đoan và hoàn toàn chịu trách nhiệm về lời cam đoan này.
Học viên
ME
Nguyễn Văn Phong
Trang 9CHƯƠNG 1 TONG QUAN VE PHAN LOẠI ANH Y TE
1.1 Tài liệu nghiên cứu trong và ngoài nước
Việc phân tích, đọc hình ảnh y tế và liên hệ bệnh lý đòi hỏi thầy thuốc phải có
kiến thức rộng và kinh nghiệm nhiều Đọc thủ công không những tốn nhiều thời gian
mà còn độ tin cậy không lớn Do đó, các nhà khoa học đã và đang nghiên cứu đưa ra
các thuật toán học máy tự động để phân tích ảnh y tế nhanh chóng, hiệu quả và chính
xác hơn.
1.1.1 Tài liệu nghiên cứu trong nước
Trong nước có thé ké đến công trình nghiên cứu và hướng dẫn trước của P.GSTiến Sĩ Ngô Quốc Tạo đã hướng dẫn kỹ thuật “Xử lý ảnh y học và chan đoán y học”
[1] và “Nghiên cứu một số kỹ thuật nội suy trong hiền thị ảnh y tế ”[2] do PGS.TS Đỗ
Năng Toàn hướng dẫn Trong thời gian gần đây, với sự phát triển mạnh mẽ về khảnăng tính toán của các thế hệ máy tính hiện đại cũng như sự bùng nỗ về dữ liệu thôngqua mạng lưới Internet trải rộng đã tạo điều kiện cho lĩnh vực học máy đạt được nhiềuthành tựu ấn tượng đặc biệt trong lĩnh vực thị giác máy tính, điển hình là các bài toán
phân loại ảnh trong đó có phân loại ảnh y tế như Computed Tomography ( CT), X
_Quang, Siêu âm, Nội soi, Điện tim các ảnh của các xét nghiệm mô học được xem
1:a Hình CT (Computed Tomography) 1.b Hình X_Quang
Trang 10Hình 1: Các loại ảnh y tế
Các nghiên cứu phân loại ảnh y tế ngày càng cụ thé cho từng loại ảnh như phân
loại anh CT để chẩn đoán tai biến mạch máu não; phân loại X- Quang dé chan đoán
viêm phổi, ung thư phôi; phân loại ảnh mô vú dé chan đoán ung thư vú, gần đây nhất
có nghiên cứu của TS Lê Minh Hưng [3] đã sử dụng tập dữ liệu ICIAR 2018, được
chia làm 4 lớp biêu thị mức độ nguy hiém của ung thư như Bình Thường (N), Lành
Tinh (B), Ung Thư Biểu Mô tại chỗ (IS), Ung Thư Biểu Mô Xâm Lan (IV) ( minh họa
các mức độ ở hình 2) , để phân loại ảnh mô vú hỗ trợ chan đoán ung thư với độ chính
xác lên tới 95% và nếu kết hợp các ảnh loại Bình Thường (B) và Lành Tính (B) thànhmột nhóm và kết hop các ảnh Ung Thư Biểu Mô (IS) và Ung Thư Biểu Mô Xâm Lan
(IV) thành một nhóm thì kết quả phân loại cho 2 nhóm này lên tới 97,5% Các nghiên
cứu trên đều có ưu điểm nhất định và đạt được hiệu quả ngày càng cao nhưng cũngcần phải nghiên cứu và cải tiến thêm nữa dé việc phân loại ảnh đạt hiệu quả cao hơn
nữa.
Trang 111.1.2 Tài liệu nghiên cứu nước ngoài
Trong những năm gần đây, đã có nhiều cách tiếp cận chuyên dụng khác nhau
được đề xuất dé phân loại ung thư vú Các phương pháp tiếp cận thông thường chủ yếu
tập trung vào kỹ thuật tính năng sau đó là bộ phân loại dé phân loại các đặc điểm được
trích xuất thành các loại ung thư vú khác nhau Các tính năng này có thể là các tính
năng được tạo thủ công hoặc bộ mô tả tính năng, ví dụ: biến đổi tính năng thay đổi tỷ
lệ (SIFT)[4] , ma trận đồng biến mức xám (GMCL)[5] , biểu đồ của gradient có định
hướng (HOG)[6] , v.v Zhang et Al[7] đã sử dụng các tính năng thủ công và áp dung
phân tích thành phần chính (PCA) để phân loại ung thư vú lành tính và ác tính,
Spanhol và cộng sự áp dụng phương pháp học máy để phân loại ung thư vú dựa trên
phương tiện của các bộ mô tả tính năng khác nhau [8], Wang và cộng sự đã sử dụng
138 bộ mô tả đặc điểm dạng văn bản sau đó là bộ phân loại nhị phân SVM để phân
Trang 12loại hai loại ung thư vú lành tính và ác tính [9] Mặc dù các phương pháp dựa trên kỹ thuật tính năng thu được độ chính xác thích hợp trong phân loại ung thư vú, nhưng công việc như vậy đòi hỏi quá trình xử lý trước rộng rãi, phân đoạn vùng quan tâm
(ROI) và trích xuất thủ công, điều này phụ thuộc vào tính toán và con người Hơn nữa,
các tính năng hoặc bộ mô tả tính năng được làm thủ công được coi là một tính năng
cấp thấp không thể nắm bat tat cả thông tin có giá trị ân trong hình ảnh, ví dụ: thongtin hình thái học, thông tin cấu trúc mô tế bào và đặc điểm sâu khác của mô tế bào.[3]
Trái ngược với các phương pháp học máy truyền thống dựa trên các tính năng
được làm thủ công, các mô hình học sâu có khả năng tự động đưa ra các tính năng
phức tạp và cấp độ cao từ hình ảnh Do đó, nhiều nghiên cứu gần đây đã sử dụngphương pháp học sâu, có và không sử dụng các mô hình được đào tạo trước, để phân
loại hình ảnh mô bệnh học ung thư vú Spanhol et al đã sử dụng CNN dé phân loại
hình ảnh mô bệnh học ung thư vú và đạt được độ chính xác cao hơn từ 4 đến 6 điểmphần trăm trên tập dữ liệu BreakHis khi sử dụng một biến thể của AlexNet Tương tự,
Bayramoglu et al đã sử dung CNN dé phân loại các hình ảnh mô bệnh học ung thư vú
không phân biệt độ phân giải của chúng bằng cách sử dụng bộ dữ liệu BreakHis Cụ
thể, nhóm tác giả đề xuất các kiến trúc CNN đơn nhiệm vụ và đa nhiệm vụ; trong khi
cái trước chỉ có khả năng dự đoán độ ác tính và cái sau chỉ có thể dự đoán độ ác tính
và cường độ phóng đại của hình ảnh đồng thoi[ 10] Bằng phương pháp sử dụng môhình VGG16 và VGG19 được tinh chỉnh cung cấp độ nhạy 97,73% cho loại ung thưbiểu mô và độ chính xác tổng thé là 95,29% Ngoài ra, nó cung cấp điểm FI là
95,29%.[10]
Thêm vào đó các mạng nơ-ron chuyển đổi (CNN) đã được chứng minh là vượt
quá hiệu suất của con người trong nhiều nhiệm vụ thị giác máy tính Nhiều mô hìnhCNN đã được áp dụng để phân loại ảnh y sinh bao gồm AlexNet [11], ResNet[12],Inception [13], Inception-V4 và Inception-ResNet[ 14] Jaffar đề xuất sử dụng mô hìnhCNN để phân loại hình ảnh chụp X-quang tuyến vú và thu được kết quả vượt trội Qiu
và cộng sự [15] đã sử dụng máy phân loại CNN đề dự đoán nguy cơ ung thư vú ngắn
han và đạt được độ chính xác trung bình là 71,4% Ertosun va Rubin [16] đã sử dung
CNN để tìm kiếm trực quan khối lượng cũng như phân loại ung thư vú và thu được độ
Trang 13chính xác 85% Qui va cộng sự [17] đã sử dung CNN dé phân loại ung thư lành tinh và
ác tính trong hình ảnh chụp X-quang tuyến vú Tương tự, trong cùng một nhiệm vụ,
Jiao et al [18] thu được độ chính xác là 96,7% Sahiner và cộng sự [19] đã áp dụng bộ
phân loại CNN với miền không gian và hình ảnh kết cầu đề phân loại hình ảnh chụp Xquang tuyến vú và đạt được AUC là 0,87 Jadoon và cộng sự đã phân loại ba lớpmammogram bao gồm: bình thường, lành tính và ác tính dựa trên đặc điểm CNN mô
tả [20].
1.2 Lý do chọn đề tài
Trong một số kỹ thuật hình ảnh y tế thì các hình ảnh mô bệnh học Hematoxylin
và Eosin (H&E) của mô vú được coi là tiêu chuẩn vàng để chân đoán ung thư vú Tuynhiên, việc phân loại thủ công ung thư vú trên hình ảnh mô bệnh học gặp nhiều khó
khăn : đòi hỏi kiến thức chuyên ngành, kinh nghiệm và chuyên môn của các nhà bệnh
lý học, với mỗi người đọc kết quả khác nhau có thể trả lời kết quả khác nhau thậm chí
đối lập nhau và thời gian dé trả lời kết quả cũng khác nhau trên cùng một hình ảnh môbệnh Do đó việc hỗ trợ chan đoán và tiên lượng ung thư vú có sự hỗ trợ của máy tính,
từ hình ảnh mô bệnh học của mô vú là rất cần thiết Việc này giảm bớt khó khăn cho
việc chân đoán ung thư vú và tránh chân đoán sai cho các nhà bệnh lý học
1.3 Giới hạn, tinh mới và tính khoa học của đề tài
1.3.1 Giới hạn của đề tài
Trong khuôn khổ dé tài tập trung nghiên cứu đặc điểm của ảnh mô bệnh và tìm
hiểu phương pháp đã có đồng thời tìm hiểu phương pháp khác mới phù hợp và mớiphát triển gần đây đó là mô hình EfficientNet để áp dụng cho bài toán phân loại ảnh
mô bệnh của của mô vú.
1.3.2 Tính mới của đề tài
Đề tài đã tìm hiểu đặc điểm của ảnh mô bệnh bệnh ung thư và các phương pháp
rút trích đặc trưng cho loại ảnh này đã tìm hiểu ra được phương pháp tăng cường ảnhcũng như phân loại ảnh bằng cách cắt ảnh gốc ra thành nhiều bản vá (patch) có kíchthước [512,512] và chồng lấp lên nhau 50% kết quả đã thu được 35 bản vá (patch) từảnh gốc và việc phân loại ảnh bằng cách bằng cách xem số bản vá (patch) nào thuộc
loại bệnh nào nhiều nhất thì ảnh đó thuộc loại bản vá đó đều đó tăng độ chính xác của
Trang 14việc phân loại ảnh đáng kẻ.
1.3.3 Tính khoa học của đề tài
Đề ¡ đã áp dung mô hình mới phát triển, sau khi tìm hiểu thì thấy phù hợp vớiloại dữ liệu này và đã chạy thực nghiệm thử để so sánh hiệu quả với các phương pháp
pháp kết hợp các tính năng học sâu đề phân loại ảnh
Với mục tiêu đặt ra, nội dung đề tài thực hiện bao gồm:
- Nghiên cứu tổng quan về “phân loại ảnh y sinh” và một số mô hình tiêu biểu
như: mô hình ResNet, Inception, VGG
- Nghiên cứu về phương pháp kết hợp các mô hình Inception V3- ResNet
- Nghiên cứu về mô hình mới xây dựng gần đây: mô hình EfficientNet
1.4.2 Đối tượng và phạm vi nghiên cứu
Đề tài nghiên cứu, tìm hiểu, phân tích các phương pháp, kỹ thuật đã có của việc
phân loại ảnh mô tế bao Dé từ đó vận dụng, cải tiến sao cho việc phân loại ảnh đó
đạt hiệu quả cao nhất có thể
Trang 15CHƯƠNG 2 CƠ SỞ KHOA HỌC
2.1 Tổng quan về học máy
Bài toán phân loại ảnh y tế đã xuất hiện từ lâu đã có rất nhiều bài báo, côngtrình nghiên cứu được đưa ra nhằm cải thiện thuật toán nhằm nâng cao độ chính xác
cho kết quả phân loại Bắt đầu với các thuật toán sử dụng học máy (machine learning),
phương pháp này chủ yếu vào việc phân tích nghiên cứu và thử nghiệm các phươngpháp trích đặc trưng nhằm chon ra phương pháp tối ưu nhất dé đưa vào bộ phân loại.Kết quả thu được tương đối khả quan Tuy nhiên, những năm gan đây cùng với sự pháttriển mạnh mẽ của phan cứng máy tinh cũng như sự bùng né dữ liệu trên Internet, mộtnhánh nghiên cứu của học máy là học sâu (deep learning) đã đạt được nhiều thành tựu
đáng kê, đặc biệt trong lĩnh vực xử lý ảnh và ngôn ngữ tự nhiên Học sâu cũng được
rất nhiều nhà khoa học lựa chọn nghiên cứu vào lĩnh vực phân loại ảnh y tế bởi nhữngđặc điểm nỗi trội của phương pháp này cũng như các kết quả đạt được tương đối cao.Sau đây, chúng ta sẽ đi vào tìm hiểu hai hướng tiếp cận của bài toán này là phươngpháp học máy truyền thông và phương pháp học sâu:
2.1.1 Phương pháp học máy truyền thống
Phương pháp học máy truyền thống gồm có hai quá trình: quá trình huấn luyện
(training) và quá trình thử nghiệm (testing) Trong cả hai quá trình điều có hai thànhphần quan trọng là trích đặc trưng và thuật toán phân loại Hai thành phần này ảnh
hưởng trực tiếp đến kết quả bài toán, việc lựa chọn các thuật toán phụ thuộc rất nhiều
vào kinh nghiệm và năm rõ đặc điểm của bài toán
Trang 16PHA HUÁN LUYỆN
Đầu ra huấn luyện
PHA KIÊM TRA
- Trích đặc trưng: trong các bài toán cụ thể các dữ liệu đầu vào là dit liệu thô để
đưa di liệu này vào huấn luyện ta cần phải thực hiện các phép biển đổi dé đưa dữ liệu
thô thành đữ liệu chuẩn Các phéo biến đổi này bao gồm việc loại bỏ nhiễu và giử lại
các thông tin cần thiết của dữ liệu thô nhằm giảm kích thước đầu vào cho bộ huấnluyện Trong từng bài toán mỗi dữ liệu là khác nhau vì vậy cần phải lựa chọn cácphương pháp trích đặc trưng phù hợp cho từng loại dữ liệu để đạt được độ chính xáccao Trong phương pháp học máy truyền thống thì quá trình trích đặc trưng là mộtthành phan rất quan trọng ảnh hưởng rat nhiều đến độ chính xác của mô hình
- Thuật toán phân loại: sau khi trích đặc trưng, ta được các đặc trưng được lưu
trữ ở định dạng chuẩn về kiểu dữ liệu, kích thước dữ liệu, và các thông tin đặc trưngnày được sử dụng để xây dựng ra các mô hình dự đoán với các thuật toán khác nhau.Các thuật toán trong học máy thường được phân loại theo hai cách phổ biến là theo
phương thức học hoặc theo chức năng của thuật toán:
+ Phan nhóm theo phương thức học: học giám sát (Supervised learning), học
Trang 17không giám sát (Unsupervised Learning), học bán giám sát (semi-supervised learning), học tăng cường (reinforcement learning).
+ Phân nhóm theo chức năng: các thuật toán phân loại, hồi quy, gom nhóm,
Độ chính xác của mô hình học máy truyền thống phụ thuộc rất lớn vào chất
lượng của các đặc trưng được lựa chọn, các đặc trưng càng phù hợp thì cho đạt được
kết quả càng cao Đây là điểm mạnh cũng như là điểm yếu của phương pháp này, bởi
việc trích đặc trưng phụ thuộc chủ yếu vào kinh nghiệm của con người, các thuật toán
trích đặc trưng được thiết kế cho từng bài toán cụ thể và khó có thể được tái sử dụng
lại cho bài toán mới mà dữ liệu hoàn toàn khác.
2.1.2 Phương pháp học sâu
Học sâu là một nhánh đặc của phương pháp học máy, và trở nên phổ biến
trong thập ki gan đây do sự phát triển mạnh mẽ của phần cứng máy tính, các nhà
nghiên cứu có thé tận dụng các khả năng tính toán của máy tính và các dữ liệu rất lớn
(hình ảnh, âm thanh, văn bản, ) trên Internet.
Tri thông minh
nhan tao
Khoa học dur liệt:
Hình 4 Phương pháp hoc sâu là 1 nhánh đặc biệt của học máy
Từ những nghiên cứu trong nước và ngoài nước ở trên cho thấy mạng huấn
luyện theo phương pháp học sâu có khả năng tự động rút trích ra các đặc trưng phức
Trang 18tạp và cấp độ cao từ hình ảnh Ngoài ra phương pháp này đã đã được chứng minh là
vượt quá hiệu suất của con người trong nhiều nhiệm vụ thị giác máy tính Do đó đề tài
này tập trung nghiên cứu các mô hình của phương pháp học sâu đề giải quyết bài toánphân loại ảnh mô bệnh của mô vú nhằm hỗ trợ chan đoán ung thư vú
2.2 Đặc điểm về ảnh mô vú và Bộ dữ liệu sứ dụng
bệnh sau đó tiến hành phân tích bằng kính hiển vi của các slide này để đưa ra chan
đoán cuối cùng về ung thư vú [10]
Hình 5 Quá trình phát sinh ra anh mô bệnh
Đặc điểm của ảnh mô vú là chứa nhiều thông tin có giá trị ẩn trong hình ảnhnhư thông tin hình thái, thông tin cấu trúc mô tế bào và đặc điểm sâu khác của mô tế
bào Cụ thé Kowal et al trích xuất 42 đặc điểm hình thái, cấu trúc liên kết và cấu trúc
từ các nhân đã phân đoạn, tương tự, Filipczuk et al trích xuất 25 đặc điểm dựa trênhình dạng và cấu trúc từ các hạt nhân [10]
Hầu hết các phương pháp tiếp cận thành công đề đào tạo mô hình học sâu trên ảnh mô bệnh không sử dụng toàn bộ hình ảnh mô bệnh làm đầu vào và thay vào đó trích xuất và chỉ sử dụng một số lượng nhỏ các bản vá (patch) Các bản
vá (patch) hình ảnh thường là các vùng hình vuông với kích thước từ 32 x 32
pixel đến 10.000 x 10.000 pixel với phần lớn các phương pháp sử dụng các bản
Trang 19vá hình ảnh có kích thước khoảng 256 x 256 pixel Cách tiếp cận này để giảm kích thước cao của ảnh gốc có thể được coi là lựa chọn tính năng có sự hướng
dẫn của con người Cách lựa chọn các bản vá (patch) là một trong những lĩnh
vực nghiên cứu quan trọng của phân tích ảnh có độ phân giải lớn Các cách tiếp
cận hiện tại có thể được nhóm lại dựa trên việc chúng có sử dụng chú thích hay
không và ở cấp độ nao [tài liệu tham khảo số 7 của tài liệu tham số 10 ].
2.2.2 Bộ dữ liệu sử dụng
Bộ dữ liệu được sử dụng trong đề tài này bao gồm 400 hình ảnh được thu
thập từ ICIAR 2018 Grand Challenge về hình ảnh mô bệnh học ung thư vú Các hình ảnh được chia thành 4 lớp cho biết mức độ nguy hiểm của ung thư vú, được
mô tả là Bình thường (N), Lành tính (B), Ung thư biểu mô tại chỗ (IS) hoặc Ung
thư biểu mô xâm lắn (IV) Mỗi lớp gồm 100 ảnh, kích thước của mỗi ảnh này là
Ung thư biểu mô tại chỗ (IS) 100 RGB H&E
Ung thư biểu mô xâm lấn (IV) 100 RGB H&E
Bang 1 So lượng của từng loại ảnh của Bộ dữ liệu
Đối với mô hình nghiên cứu trong đề tài này sẽ được trình bày cụ thể ở phần 2.3, đã chọn 70% hình ảnh dé đào tạo và 20% cho mục đích đánh giá và còn lại 10% cho mục đích test Như vậy có 280 ảnh cho tập huấn luyện, 80 ảnh
cho tập đánh giá và 40 ảnh cho tập test được mô tả trong bảng 2
Trang 20Bảng 2 Tiêu chí cho việc lựa chọn hình ảnh đào tạo, đánh giá và thử nghiệm.
2.2.3 Tăng cường dir liệu
Tăng dữ liệu hình ảnh là một kỹ thuật được sử dụng để mở rộng tập dữ liệu bằng cách tạo ra các hình ảnh được sửa đổi trong quá trình đào tạo Bằng
cách sử dụng thư viện học sâu Pytorch, đã tạo ra hàng loạt dữ liệu hình ảnh
tensor với tăng dé liệu thời gian thực Với kiểu tăng dữ liệu này, các mô hình mạng khi được đảo tạo, sẽ nhìn thấy các biến thể mới của dữ liệu ở mỗi và mọi lần duyệt qua toàn bộ ảnh (epoch) Dau tiên, một loạt hình ảnh đầu vào sau đó biến đổi mỗi hình ảnh trong lô bằng một loạt các phép dịch, phép quay ngẫu nhiên, v.v Phép quay mà đề tại thực đã chỉ định “phạm vi xoay = 40” tương ứng với góc quay ngẫu nhiên giữa [—40, 40] độ và cũng đặt “phạm vi thay đổi chiều rộng và chiều cao = 0,2” chỉ định giới hạn trên của phan trên tổng chiều rộng mà
hình ảnh sẽ được dịch chuyển ngẫu nhiên, theo hướng sang trái hoặc phải đối
với chiều rộng hoặc lên hoặc xuống, đối với chiều cao Lưu ý, thao tác xoay có
thể xoay một số pixel ra khỏi khung hình ảnh và dé lại các pixel trống trong khung phải được lap đầy Khi đó sử dụng 'chế độ phản chiếu' dé lap đầy những pixel trống này Cuối cùng, lô được biến đổi ngẫu nhiên sau đó được trả về chức năng gọi Tắt cả các thông số này cùng với giá trị của chúng được hiển thị trong
Bảng 3.
Trang 21Kỹ thuật tăng cường Giá trị
Chê độ điên Phản chiêu
Bảng 3 Các giá trị của các phương pháp tăng cường
Đặc biệt dựa vào phương pháp trích xuất các bản vá (patch) đã được chứngminh tính hiệu quả ở phần 2.2.1 Trong đề tài này dùng cửa số trượt có kích thước[512x512] được sử dụng đề trượt từ trái sang phải, từ trên xuống dưới với độ chồnglắp 50% cho mỗi bước Như vậy từ ảnh gốc ban đầu có kích thước [2048x1536] đã tạo
ra được 35 bản vá (patch) Việc trích xuất bản vá như vậy chẳng những thu thập nhiều
đặc trưng của ảnh gốc mà còn giữ được cấu trúc của các tế bào
Việc tăng cường dit liệu này được xem xét dé tăng số lượng hình ảnh phục vụcho quá trình huấn luyện, giúp khắc phục tình trạng overfitting và thé hiện hiệu quả
các tính năng tốt hơn Đặc biệt phương pháp trích xuất bản vá đã tách ảnh cần phân
loại thành 35 bản vá (patch), khi đó việc phân loại ảnh dựa vào số loại nhiều nhất trong
truyền thống, nó có thé dé dàng huấn luyện mô hình với hang trăm lớp Việc xếp
chồng nhiều layer khi training, vấn đề đầu tiên khi tăng mô hình sâu hơn gradient sẽ bị
Trang 22vanishing/explodes Vấn đề này có thể giải quyết bằng cách thêm Batch Normalization
nó giúp chuẩn hóa đầu ra giúp các hệ số trở nên cân bằng hơn không quá nhỏ hoặc quá
lớn nên sẽ giúp mô hình dễ hội tụ hơn Vấn đề thứ 2 là suy giảm (degradation), khi độ
chính xác của mô hình bắt đầu bão hòa (saturated) thậm chí là giảm Resnet giải quyết
vấn đề degradation này
ResNet có kiến trúc gồm nhiều residual block, cứ sau hai lớp ta cộng đầu vào
với đầu ra, ta thu được F(x) sau đó add thêm x vào H(x) = F(x) + x Model sẽ dé học
hơn khi chúng ta thêm đặc trưng từ lớp trước vào.
Hinh 6 Khéi ResNet [21]
Trang 23Hình 7 Cấu trúc mạng ResNet 152
Trang 242.3.2 Mô hình Inception
Năm 2014, google công bố một mạng nơ — ron do nhóm nghiên cứu của họ phát
triển có tên là googleNet[22] Nó có hiệu suất tốt hơn VGG, googleNet có 6.7% errorrate trong khi VGG là 7.3% Ý tưởng chính là họ tạo ra một mô - đun mới có tên làinception giúp mạng huấn luyện sâu và nhanh hơn, chỉ có 5 triệu tham số so vớialexnet là 60 triệu, nhanh hon gap 12 lần
Mô ~ dun Inception là một mạng CNN giúp việc huấn luyện rộng hơn (thay vì
thêm nhiều layer hơn vi rất dé xảy ra overfitting và tăng số lượng tham số) so với
mạng CNN bình thường Mô hình này khá khác biệt so với những mô hình trước đó,mạng gồm nhiều đơn vị gọi là “inception cell” thực hiện chập một đầu vào với nhiều
bộ lọc khác nhau rồi tổng hợp lại theo các nhánh Đề giảm số lượng tính toán, các bộ
lọc tích chập có kích thước 1x1 được thêm vào để giảm chiều sâu của đầu vào Với
mỗi một cell, sử dụng các 1x1, 3x3, 5x5 để trích xuất các đặc trưng từ đầu vào Dưới
đây là dang cua | cell.
Các nhà nghiên cứu cũng đã thử thay thé các bộ lọc có kích thước 3x3, 5x5
bằng các bộ lọc có kích thước lớn hơn như 7x7, 11x11, có hiệu quả hon trong việc
Trang 25trích xuất đặc trưng tuy nhiên, thời gian tính toán lâu hơn rất nhiều Người ta cũng
nhận ra rằng một bộ lọc 5x5 có thể thay thế bằng 2 bộ lọc 3x3 nối với nhau, hiệu quả
tương đương nhưng số lượng tính toán giảm di đáng kể Inception luôn được cải tiến
và cho ra nhiều phiên bản khác nhau
Inception v1: có 2 dang là naive và dimension reduction Khác biệt chính đó là
dang dimension reduction nó dùng conv Ix1 ở mỗi layer để giảm chiều sâu của đầu
vào giúp mạng có ít tham số hon Inception naive có kiến trúc gồm 1x1 conv,3x3conv, 5x5 conv và 3x3 maxpooling.
=a
Hình 9 Mô hình Inception v1 , dang naive
Trang 26Hình 10 Mô hình Inception v1, dang dimension reduction
Inception v2: Cải thiện hơn phiên ban 1, thêm lớp batchnormalize Dau ra của
mỗi lớp sẽ được chuẩn hóa về Gaussian N (0,1) Conv 5x5 sẽ được thay thế bằng 2
conv 3x3 dé giảm số lượng tính toán
f = \ h
| Filter concat
Trang 27Inception v3: Điểm đáng chú ý ở phiên bản này là việc phân tích có bộ lọc
thành các bộ lọc phần tử nhỏ hơn Conv 7x7 sẽ được giảm về conv 1 chiều là
(1x7),(7x1) Tương tự conv 3x3 (3x1,1x3) Tăng tốc độ tính toán Khi tách ra 2 conv
Filter Concat
thi làm mô hình sâu hơn.
Inception v4: là sự kết hợp inception và resnet
Trang 28147 x 147 x64
147x147x32
149 x 149 x 64
Trang 29Chỉ tiết cấu trúc mô hình Inception :
ope TH | cm | depth | #ixi| axe | 3x3 | hạn | 5x5 bại pin] ope
inception (Sb) | Txĩx10A4 | 2 384 | 192 38M4 | 48 128 | 126 | 1388K | TIM
avg pool Tx7/1 | 1xixI04 | 0 |
dropout (40%) Ixixi0M | 0 |
linear 1x1x 1 1000K IM
Softmax: 1x1 x 0 7 ry {tl
Bang 4 Cấu trúc chi tiết mô hình Inception[22
Lấy cảm hứng từ khái niệm “residual connection” từ mô hình ResNet, TS Lê
Minh Hung đã sửa đổi cầu trúc của Inception-V3 dé thực hiện hợp nhất tính năng Délàm điều đó, nhóm tác giả đã thêm một lớp mới vào khối Inception cuối cùng củaInception-V3 ban đầu, được minh họa trong Hình 14 Các tính năng có được trong Lớpkết hợp đạt được từ việc ghép đầu ra tính năng của khối 9 với tổng kết quả đầu ra củakhối 10 và khối 11 Các đặc trưng đầu ra của khối 9 có kích thước 1280 trong khi đầu
ra của khối 10 và 11 có kích thước 2048 dẫn đến 3328 đặc điểm đầu ra của sau khighép nối Một lớp được kết nói day đủ được thêm vào trước lớp Softmax dé giảm kích
thước của lớp nói xuống 128 [3]
Trang 30bà Ñ
` Input JI Input
a.Mô hình Inception - V3 gốc b.Mô hình Inception — V3 tinh chỉnh
Hình 14 Sự khác nhau giữa mô hình Inception gốc và mô hình Inception đã được tỉnh
chỉnh
Kết quả chạy thực nghiệm của phương pháp đề xuất của tác giả và mô hình
Inception — V3 gốc trên cùng tập dữ liệu của dé tài này như sau:
Trang 31Mô hình Sốlớp Tập dữ liệu đã tăng Độ chính xác
cường
ICIAR 2018 (tập dữ liệu sửInception — V3 gốc 4 aoe 92%
dung trong dé tai nay)
hg ICIAR 2018 (tập dữ liệu
Inception — V3 dé xuât 4 a 95%
sử dung trong dé tai này)
Bang 5 Kết quả chạy thực nghiệm của mô hình Inception — V3 gốc và mô hình
Inception- V3 đã được tinh chỉnh
2.3.3 Mô hình VGG19
Sau AlexNet thì VGG ra đời với một số cải thiện hon , trước tiên là modelVGG sẽ sâu hơn (deeper), tiếp theo là thay đổi trong thứ tự conv Từ LeNet đếnAlexNet đều sử dụng Conv-maxpooling còn VGG thì sử dụng 1 chuỗi Conv liên tiếp
Conv-Conv-Conv ở middle và end của architect VGG Việc nay sẽ làm cho việc tính
toán trở nên lâu hơn nhưng những đặc trưng (feature) sẽ vẫn được giữ lại nhiều hơn so
với việc sử dụng maxpooling sau mỗi Conv Hơn nữa hiện nay với sự ra đời của GPU
giúp tốc độ tính toán trở nên nhanh hơn rất nhiều lần thì vấn đề này không còn đáng lo
ngại VGG cho độ lỗi nhỏ hơn AlexNet trong ImageNet Large Scale Visual
Recognition Challenge (ILSVRC) năm 2014.
Trang 32VGG có 2 phiên bản là VGG16 va VGG19 Kiến trúc của VGG16 bao gồm 16
layer :13 layer Conv (2 layer conv-conv,3 layer conv-conv-conv) đều có kernel 3x3,sau mỗi layer conv là maxpooling downsize xuống 0.5, và 3 layer fully connection.VGG19 tương tự như VGGI6 nhưng có thêm 3 layer convolution ở 3 layer conv cuối
(thành 4 conv stack với nhau).
Chỉ tiết tham số của mo hình VGG16
Trang 337 PEST | TH lãph| wo | FEES | wane | SS [axe | SO [parame | oo
ineption to, vixuxsa | 3 | | w | oe TM | 8 [| sae [TM
incepton 5) wuxa | 2 | tớ | Hà | a | | & | 6 | SE |
boplmd) uixuixti | 2 | HS | HA | ase | a8 | ot | @ | 46M _| 100m
inception G4) HxHxim | 3 | HE | HA | 3 | 43 | ot | oe | sok | vom
ineption to HXHSB | 3 | 266 [160 | Mô | 43 | HE |e | son | 170m
Bang 6 Chỉ tiết tham số mô hình VGG16
Zabit Hameed và công sự đã tinh chỉnh mô hình VGG16 và VGG19 như hình
17, 18 và các giá trị tham sé như bảng 3 Sau đó huan luyện trên bộ dữ liệu do tác giả
thu thập gồm tổng thể 544 hình ảnh toàn bộ slide (WSI) từ 80 bệnh nhân bị ung thư
vú tại khoa bệnh lý của Dai học Colsanitas Colombia, Bogotá, Colombia [10], được
phân ra làm 2 loại Ung thư biéu mô và không Ung thư biểu mô
Hình 16 Biểu diễn kiến trúc VGG16 tinh chỉnh Trong các mô hình VGG16 và
VGG19 được tinh chỉnh, khối đầu tiên (bao gồm hai lớp tích tụ và một lớp tổng hợp tối đa) được đóng băng trong khi các lớp còn lại có thé đào tạo được Tuy nhiên, trong
Trang 34Hình 17 Kiến trúc tổng thé được đề xuất sử dụng các mô hình VGG16 và VGG19 đã
được tinh chỉnh cùng với phương pháp xác nhận chéo 5 lân.
ThamSỐ VGG16 với bộ dữ liệu tựthu — VGG19 với bộ dữ liệu tự thu
(Hyper thập đã tăng cường thập đã tăng cường
parameters) - k
Train approach 5-fold cross-validation 5-fold cross-validation
Optimizer Adam Adam
Loss function Binary cross-entropy Binary cross-entropy
Learning rate 0.0001 0.0001
Batch size 32 32
Convolution 3 x3 with stride 1 3 x 3 with stride 1
Padding Same Same
Poolin 2 x2 max-pooling with stride 2 2 x 2 max-pooling with stride 2
Epochs 200 200
Drop out 0.3 0.3
Regularizer N/A N/A
Architecture Fully-trained and Fine-tuned Fully-trained and Fine-tuned
Trang 35Kết quả chạy thực nghiệm của phương pháp Zabit Hameed trên tập dữ liệu tựthu thập và mô hình VGG 19 chạy trên tập dữ liệu của dé tài này như sau:
Mô hình Solép Tập dữ liệu đã tăng cường Độ chính xác
'VGGI6 tinh chỉnh 2 Tự thu thập[10] 91,67%
VGGI19 tỉnh chỉnh 2 — Tự thu thập[10] 92%
VGGI9 4 ICIAR 2018 (tập dữ liệu sử 90%
dụng trong đề tài này)
Bảng 8 Bảng kết quả của phương pháp Zabit Hameed và phương pháp đề xuất
2.3.4 Mô hình EFFICIENT-NET
Mở rộng quy mô ConvNets được sử dụng rộng rãi để đạt được độ chính xác tốt
hơn Ví dụ, ResNet (He et al., 2016) có thê được mở rộng từ 18 thành
ResNet-200 bằng cách sử dụng nhiều lớp hơn; Gần đây, GPipe (Huang và cộng sự, 2018) đãdat được độ chính xác top 1 của ImageNet là 84,3% bằng cách mở rộng mô hình cơ sởlớn hơn bốn lần Tuy nhiên, quá trình mở rộng quy mô ConvNets chưa bao giờ đượchiểu rõ và hiện có nhiều cách đề thực hiện Cách phô biến nhất là mở rộng quy mô
ConvNets theo chiều sâu của chúng (He et al., 2016) hoặc chiều rộng (Zagoruyko &
Komodakis, 2016) Một phương pháp khác ít phô biến hơn nhưng ngày càng phô biến
là mở rộng mô hình theo độ phân giải hình ảnh (Huang và cộng sự, 2018) Trước đây,
thông thường chỉ chia tỷ lệ một trong ba kích thước - chiều sâu, chiều rộng và kíchthước hình ảnh Mặc dù có thể chia tỷ lệ hai hoặc ba kích thước tùy ý, nhưng việc chia
tỷ lệ tùy ý yêu cầu điều chỉnh thủ công tẻ nhạt và vẫn thường mang lại độ chính xác và
hiệu quả đưới mức tối ưu [24]
Trang 36% 2 Top! Ace #Params
2 ResNeris2 (He etal 2016) | 77.8% — S0M
Number of Parameters (Millions)
Hình 18 Kích thước và độ chính xác của mô hình sử dung trên tập ImageNet[24]
EfficientNets tốt hơn đáng kê so với các ConvNets khác Đặc biệt, B7 đạt được độ chính xác hàng đầu 84,3% hiện đại nhất nhưng nhỏ hơn 8,4 lần và
EfficientNet-nhanh hơn 6,1 lần so với GPipe EfficientNet-B1 nhỏ hơn 7,6 lần và EfficientNet-nhanh hơn 5,7 lần
so với ResNet- 152.
Mô hình EfficientNets xây dựng phương pháp nguyên tắc mở rộng quy mô
ConvNets có thê đạt được độ chính xác và hiệu qua tốt hơn Nghiên cứu thực nghiệm
cho thấy rằng điều quan trọng là phải cân bằng tat cả các kích thước của chiều rộng /
chiều sâu / độ phân giải của mạng và đáng ngạc nhiên là sự cân bằng đó có thể đạt
được bằng cách chia tỷ lệ từng thứ với tỷ lệ không đồi Dựa trên quan sát này, mô hìnhEfficientNets dé xuất một phương pháp mở rộng quy mô kép đơn giản nhưng hiệu
quả Không giống như phương pháp thông thường quy mô tùy ý các yếu tố này,
phương pháp của này chia tỷ lệ đồng nhất độ rộng, độ sâu và độ phân giải của mạngvới một tập hợp các hệ số tỷ lệ cố định Ví dụ: nếu chúng ta muốn sử dụng tài nguyên
tính toán gấp 2 lần, thì chúng ta có thể chỉ cần tăng độ sâu mạng lên aN , chiều rong thêm Ÿ và kích thước hình anh bằng Y TM , trong đó a, B, y là các hệ số không đổi
được xác định bởi Một tìm kiếm lưới nhỏ trên mô hình nhỏ ban đầu
Hình 19 minh họa sự khác biệt giữa phương pháp mở rộng (Scaling) của mô
Trang 37Hình 19 Mở rộng mô hình (Model Scaling) (a) là một vi dụ về mang đường cơ sở; (b)
- (d) là chia ty lệ thông thường chỉ làm tăng một chiều của chiều rộng, chiều sâu hoặc
độ phân giải của mô hình (e) là phương pháp chia tỷ lệ kết hợp được đề xuất của
chúng tôi giúp chia tỷ lệ đồng nhất cả ba chiều với tỷ lệ có định [24]
Cấu trúc gốc của mô hình Efficient như sau:
Stem
Final Layers
Hình 20 Cấu trúc gốc của mô hình EfficentNet [25]
Mỗi mô hình chứa 7 khối, các khối này còn có một số khối con khác nhau mà
số lượng của chúng được tăng lên tương ứng với các phiên bản mô hình từEfficientNetBO đến EfficientNetB7
Trang 38Tổng số lớp trong EfficientNet-BO là 237 và trong EfficientNet-B7 là 813 Tat
cả các lớp này đều được tạo ra từ 5 mô-đun sau:
- Mô-đun 1 được sử dụng làm điêm bắt đầu cho các khối con
- Mô-đun 2 được sử dụng làm điểm bắt đầu cho khối con đầu tiên của tất cả
7 khối chính ngoại trừ khối đầu tiên
- Mô-đun 3 được sử dung để kết nối các khối
- Mô-đun 4 được sử dụng để kết hợp các khối
- Mô-đun 5 được sử dụng dé kết các khối con
Các mô-đun này được tiếp tục kết hợp dé tạo thành các khối con sẽ được sử
dụng theo một cách nhất định trong các khối.
Trang 39Hình 22 Các mô-đun kết hợp để tạo thành các khối con [25]
Sub-block 1 được sử dung chỉ được sử dụng như khối con đầu tiên trong khối
đầu tiên
Sub-block 2 được sử dụng làm khối con đầu tiên trong tất cả các khối khác
Sub-block 3 được sử dụng cho bát kỳ khối con nào ngoại trừ khối đầu tiên trong
tat cả các khối
Sự tăng số lượng khối con và kết hợp các khối sẽ tạo ra các mô hình
EficientNet từ B0 đến B7 Cụ thể như sau:
Mô hình EfficientNet - BO các khối và mô-đun kết hợp như sau:
Trang 40Hình 23 Kiến trúc mô hình EfficientNet - BO
Mô hình EfficientNet — B1 có cau trúc như sau:
Hình 24 Kiến trúc của mô hình EfficientNet - BI [25]
Mô hình EfficientNet — B2 có kiến trúc giống EfficientNet - BI nhưng có số
ượng tham số lớn hơn
Mô hình EfficientNet - B3 có kiến trúc như sau