Khâc VỚI mạng nơ-ron thông thường. CNN gồm nhiều lớp nơ-ron hơn như
hình 2.8 vă sừ dụng phĩp tơn tích chập trong câc lớp. Tích chập hình thănh từ ba ý tương: tương tâc thưa thớt, chia sẻ tham số vă biíu diễn tương đương
[29], [311. Mơ hình hóa từ câc ý tương trín. CNN cơ ban gồm ba lớp cơ ban: lớp tích chập có chức nđng phât hiện ra câc đặc trưng về không gian một câch
hiệu quả; lớp gộp có chức nêng giđm số chiều cùa tầng trước đó. gồm hai loại phổ biến lă gộp theo giâ trị lớn nhất vă gộp theo giâ trị trung bình: cuối cùng lă
lớp kết nối đầy đù có nhiệm vụ chun ma trận đặc trưng cua tầng trước thănh vectơ chứa xâc suẩt dự đoân cúa câc kết qua đầu ra.
Kiến trúc CNN có thí được mơ rộng theo nhiều câch khâc nhau đế giai quyết nhiều nhiệm vụ khâc nhau, chăng hạn như: phđn loại, phât hiện đỗi
tượng, phăn đoạn ngữ nghía.....Câc kiến trúc mạng được xđy dựng dựa trín CNN được
CHƯƠNG 3: XĐY DỤNG GIÊI THUẬT
3.1. Tổng quan
Trong luận vđn năy, chủng tôi đề xuất giâi thuật gồm 5 giai đoạn như hình 3.1 đí nghiín cứu việc anh hường cùa chất lượng ânh đầu văo đen hiệu suất
phăn loại tự động 1DC.
(4.
‘ -2
Hình 3.1. Giai thuật phđn loại đnh IĐC của phuoTìg phâp đề xuất
Từ lập dừ liệu ban đđu, chúng tôi vận dụng phương phâp BRISQƯE [321 đânh giâ chất lượng hình ảnh phđn tâch thănh hai tập con dựa trín thang
đo DMOS (Different Mean Opinion Score). Diem đânh giâ chat lượng cùa một ânh ứng với thang do DMOS từ 0 dến 100. Chi số DMOS căng gần về 0 thì
ânh ít bị biến dạng, vă ngược lại lien về 100 thì ânh căng nhiều biến dạng [33]. Vi câc anh trong tập B nằm ngoăi ngưởng mă phương phâp BRiSQUE xĩt,
chúng lơi dưa ra gia thuyết câc ênh năy có chat lượng thấp hoặc có ket cấu hình anh phức tạp. Do đó, thơng qua thực nghiệm, chúng tơi muốn kiếm tra một
phan sự ănh hường cũa câc đnh năy đối với việc huấn luyện mơ hình. Để lựa chọn câch phđn tập dữ liệu hợp lý góp phần nđng cao hiệu suất phđn loại, chúng
hiện việc phđn chia nhiều tập dừ liệu khâc nhau thông qua bộ phđn tập dừ liệu 2 từ hai tập con A vă B. Sau đó. bộ phđn loại tự động với kiến trúc mạng
nư-ron tích chập sỉ thực hiện nhiệm vụ phđn loại lập đi lập lại trín câc bộ dừ liệu đă được chuẩn bị trước đó cho đến khi lựa chọn được bộ dừ liệu lăm tđng
hiệu suất mơ hình. Bộ dữ liệu năy sẽ được hệ thống tiếp tục huấn luyện đề lựa chọn bộ tham sổ huấn luyện phù hợp de hoăn thănh nhiệm vụ phđn loại ờ bước
cuối cùng.
3.2. Đânh giâ chat lượng ănh trong khơng gian mù
BR1SQUE lă một trong ba thuật tôn đânh giâ chất lượng ânh (IQA). Vì phưong phâp nêy chi nhận đau văo lă anh cđn đânh giâ chất lượng mă
khơng có ênh đí tham chiều nín thuật tơn nêy được gọi lă đânh giâ chat lượng hình ănh trong khơng gian mù hay khơng tham chiếu. Thuật tôn BRISQƯE
[32| gồm 3 bước: Bước I lă trích xuất câc thống kí cănh tự nhiín; bước 2 lă tính tơn câc vcctơ đặc trưng, vă bước 3 lă ước lượng diem chất lượng hình ânh.
Một trong câc điểm khâc nhau giừa hình ânh tự nhiín vă hình anh đđ biến dạng lă sự phđn bố cường độ câc diím ânh. Sau khi chuấn hóa anh vă
tính tơn phđn phối trín câc cường độ chuẩn hóa năy thì sự khâc biệt căng rị răng lum. Đặc biệt, sau khi chuẩn hóa cường độ điếm ănh cùa ảnh tự nhiín tuđn
theo phđn phối Gauss. Do dó. dộ lệch phđn bổ cường dộ diem ânh so với dường cong hình chng lý tướng lă thước do dộ biến dạng trong hình ânh [321.
[331. Nhóm tâc giâ [32J thực hiện chuẩn hóa ânh với chi số MSCN. Tại mồi điềm ânh (i.j). biến đồi cưởng độ ảnh /(í,/) thănh độ nhạy sâng theo cơng thức
[34]:
Ki.í)-n(i.í) ơ(ij)+c
(3.1)
Trong dó:
i 6 (1,2,.. , M},j € {1,2,.., N). với M lă chiều cao vă N lă chiíu rộng cùa
c lă hằng sổ đí chọn băng 1 đí ngăn ngừa mầu cua cơng (hức (3.1) tiến về 0.
Giâ trị trung bình cục bộ ụ được tính theo cơng thức (3.2) |32|:
Ị* — Y.k=-K^i=-Lwk,l Ik.l (i j) (3.2)
Phương sai cục bộ ơ được lính theo cơng thức (3.3) [32]:
ơ = Ỉi=-L wk,l Ik.t j))2 (3.3)
Với wk'i lă trọng sổ cùa bộ lọc có kích thước K =3, L= 3.
MSCN cung cấp một câch chuẩn hóa tốt cho dộ sâng câc điểm ảnh. Tuy nhiín, sự khâc biệt giừa hình ânh lự nhiín vă hình
ảnh bị biến dạng khơng chì giới hạn ớ sự phđn bố điếm ânh mă cịn lă mối quan hệ giừa mỏi diím anh với 4 lđn cận cua nó: Ngang
(H). Dọc (V), Chĩo-Trâi (01). Chĩo-Phai (D2). Câc diím ânh năy SC được chuẩn hóa theo cóng thức (3.4) [32]:
Hơớ) = /(ij)í(ij+l) P(ij) = /ơj)/‘ơ+lj) (3.4)
Dl(ij) = /(ij)/(i+ij+l)
D2(jj) = í(íj)/(i+lj-l)
Sau khi tính tôn hệ so MSCN vă câc diím lđn cận cùa mồi điếm ânh. lừ hình 3.3 ta có thế thấy mật độ phđn phối cùa chúng khâc nhau. Đẻ ước lượng điềm chất lượng của ănh từ vcctơ đục trưng BR1SQUE. nhóm lâc giă [321 sử dụng mơ hình hồi quy mây vectơ hổ trợ (Support Vector Regression SVR) (35J. MỎI vectơ dặc trưng được tính tơn từ câc hăm phđn phối chuẩn Gauss |36| vă phđn phối chuẩn Gauss bất đoi xứng [37],
(a) (b)
Hình 3.2. Phđn phối cùa cng độ câc điểm ảnh sau khi chuấn hóa hình ănh. a) Ânh có gân nhăn IDC từ tập dữ liệu ảnh ung thư vú Ị6Ì.
b) Biểu đồ phđn phối cường dộ díểm ânh khi chuẩn hóa MSCN vă bốn hướng lđn cận cua diem ânh.
3.3. Xđy dựng kiến trúc mạng
3.3.1. Mô tâ kiến trúc mạng đề xuất
Đa số câc cơng trình nghiín cứu trong nhùng năm gần đăy tập trung văo câc mạng CNN đe thực hiện phđn loại ânh ung thư vú IDC [4] [10] [15]
[I6J. Tuy những kiến trúc mạng năy chi từ 3 den 5 lớp tích chập vă một sổ lớp khâc, mơ hình phđn loại lại dạt hiệu suất cao. Vì kiến trúc mạng cua tâc giă [4]
nhận anh đầu văo có kích thước 50x50 điểm ânh giống dừ liệu mă chúng tơi sừ dụng đí thực nghiệm. Thím một lý do đí chúng tỏi đề xuất kiến trúc mạng
CNN gồm 10 lớp được tinh chinh từ mơ hình mạng 14] đó lă mơ hình năy dề thiết kế nhưng mang lại hiệu suất cao. Kiến trúc mạng đe xuất gồm 4 kíp tích
chập, 3 lớp gộp, 2 lớp kết nối đầy đũ vă lớp phđn loại sử dụng hăm kích hoạt SoftMax. Lớp tích chập dầu tiín sứ dụng bộ lọc có kích thước 5x5, câc lớp cịn
lại lă 3x3, với hệ sổ trượt lă I. Với lớp tích chập cuối sứ dụng Dropout khoảng 50% đe giâm một số kết nối không cần thiết. Câc lớp tích chập dều sử dụng
hoại phi tuyến ReLƯ. Câc sơ dồ đặc trưng sau ba lớp tích chập dầu sẻ được chuẩn hóa vă giam kích thước qua mồi lớp gộp theo giâ trị lớn nhất, vă bộ lọc có
kích thước 2x2. hệ số trượt lă 2. Kiến trúc mạng cùa chúng lôi đề xuằt được
mơ ta trong hình 3.4.
Oui> bM
Ânh diu TSO
• 2*2 (.bui* bM • 2*2 TfcbeMpJ pbtu k*i Sf.ft.Ms*
Ĩ >Uăb: «DU thư U)C
—1“ i- 3U c buLs 2xỉ 2xỉ Dropout
NbAB: khòat pbđỉ 11112 <bir ID<
Ti.-L că»p 4
Hình 3.3. Kiến trúc mạng dược dề xuất 64XĨXĨ
H
3.3.2. Hăm lỗi vă hăm tối ưu
• Hăm lỏi
Mơ hĩnh đề xuất sứ dụng hăm mất lồi Cross-Enlropy được xâc định theo công thức (3.5):
I(y.ỹ) = -£ỈLiSị=iyijio.9(ỹii) (3.5)
Trong cóng thức (3.5), c lă số kíp phân loại, y lă phđn phối xâc suất thực tế. ỳ lă xâc suất được ước lượng.
Cross-Entropy thường được dùng đẽ tính khoang câch giừa hai phđn phối xâc suất. Hăm lồi đạt giâ trị nhó nhất khi hai phđn phối xâc suất
• Hăm tối ưu
Chúng tôi sử dụng hăm tối ưu Adam cùa tâc giâ (381 lă sự kết hợp câc đặc diím nối bật của thuật tơn AdGrad (39] vă RMSProp (40] nín thuật
tơn năy được đânh giâ lă có nhiều ưu diem. Adam mang lại hiệu quă VC mặt tính tơn, giêi quyết câc băi tơn có bộ dử liệu lớn, thuật toân dề dăng thực
hiện vă khơng u cầu nhiều bộ nhớ [38].
3.4. Phương phâp đânh giâ
Luận văn sừ dụng một số phương phâp đânh giâ hiệu suất cua mơ hình đề xuất dă sư dụng trong q trình thực nghiệm: Độ chính xâc ( Accuracy -
ACC), Ma trận nhẩm lần (Confusion matrix).
3.4.1. Độ chính xâc
/\CC thường được sừ dụng phổ biền nhất đế đânh giâ hiệu quă cùa mơ hình mây học. dược tính tơn theo cơng thức (3.6):
= (3.6)
Trong cồng thức (3.6), p lă tồng số ănh dược gân nhên IDC. vă N lă tổng
số anh được gân nhên không phai IDC.
Ưu điểm: Công thức đon gian, dề hiếu.
Hạn chế: Chi số năy cho biĩt phần trâm dừ liệu được phđn loại đúng mă
không chi ra được cụ the mồi loại được phđn loại như thế năo, lớp năo được phđn
loại đúng nhiều nhất, vă dữ liệu thuộc lớp năo thường bị phđn loại nhầm văo lớp
khâc. Một hạn chế nữa lă chi sổ năy chưa phăn ânh đúng trín tập dữ liệu mất cđn
băng.
3.4.2. Ma trận nhầm lần
Ma trận nhầm lần giúp xâc định được câc độ đo lnệu quâ cua mơ hình
Bâng 3.1. Bâng mơ tả ma trận nhẩm lẫn
--Lớp (lự đôn Ảm tinh Dương tint)
I.ớp thirc te (N) (P)
Ẳm tinh (N) Đm rinh thât (TN) Dương tinh giâ (FP)
Dương tính (P) Ấm linh giê (F.X) Dương tinh thịt (TP)
Trong bang 3.1. gồm câc thănh phần:
TN: lă tống số anh được gân nhăn không phâi IDC vă được dự đôn phăn loại đúng nhăn khơng phêi IDC;
FN: lă tổng số ênh dược gân nhên khơng phai IDC nhưng dự đôn phđn loại nhầm thănh nhên IDC;
TP: lă tồng số ânh được gân nhên IDC vă được dự đoân phđn loại đúng nhăn IDC;
FP: lă tổng sổ anh được gân nhăn IDC nhưng dự đôn phđn loại nhảm thănh nhăn khơng phâi IDC;
Precision lă tý lệ cùa số ảnh được phđn loại đúng trong tổng sổ ânh được dự doân lă IDC. dược tính theo cống thức (3.7).
TP
Precision = (3.7)
Recall lă tỳ lệ giữa số ânh dược dự doân phđn loại dứng nhên IDC trong tống số anh thật sự dược gân nhên IDC. được tính theo cơng thức (3.8).
<3-8>
Một mơ hình phđn loại có hiệu quă cao khi có câ Precision vă Recall bảng nhau vă căng tiến gần về I. Nhung trong quâ trinh thực nghiệm, hai độ
đo năy thường xuyín cho kết q lệch nhau. Đí có một sự đânh giê chinh xâc hơn vă kết hợp giữa hai chi số năy, chúng tôi sử dụng một độ đo khâc đó lă Fl
-score được tính theo cơng thức (3.9). Độ đo năy lă đăm băo sự hăi hòa giữa hai chi sổ Precision vă Recall. Fl-score có giâ trị năm trong nửa khoâng (0; 1|. Fl
Fl = 2 * Precision*Recal1 (3 9)
Precision+Recall
Câch đânh giâ từ ma trận nhầm lần được âp dụng rộng rêi cho câc băi toân phđn loại, đặc biệt lă
đối với băi toân phđn loại ung thư. vi phđn loại đúng ânh ung thư căng cao thi tỳ lệ đm tính giê căng thấp,
Chương 4: KĨT QUÂ VĂ ĐÂNH GIÂ
4.1. Dừ liệu
Chúng tơi liín hănh thực nghiệm trín tập dừ liệu Breast Histology Images được cung cap bởi Jegs |6J. Tập dừ liệu gơm 5547 han vâ hình ânh được
chọn lọc từ câc slide mơ bệnh học cùa 162 bệnh nhđn được chần đôn mắc ung thư
IDC tại trường dại học Pennsylvania vă viện ung thư New Jersey ờ dộ phóng
đại 40x. Trong dó. 2788 ânh dược gân nhên lă 1 (tức lă bân vâ IDC) vă 2759 ânh còn lại được gân nhên 0 (lă băn vâ không phai IDC). Mổi ban vâ lă anh mău
cỏ kích thước 50x50 diím ânh mău thuộc kính mău R. G vă B. hình 4.1
vă hình 4.2 ví dụ ví anh được gân nhăn sẫn cua tập dừ liệu 16|. Nhìn chung, tập dừ liệu thực nghiệm không bị mat cđn bang VC so lượng của mồi loại.
Hình 4.1. Một ví dụ ânh dược gân nhđn không phâi ung thư vú IDC /ó/
Việc (liu thập câc anh WSI thực tế rất khó khăn, do đó. chúng tơi sứ dụng câc bân vâ hình ânh có sẵn cua tâc giâ Jeg 161 đẽ thực nghiệm phương
phâp mă luận vđn đỉ xuất. Đí đânh giâ chất lượng hình ânh đầu văo ânh hương đến quâ trình huấn luyện của mơ hình phđn loại tự động ung thư vú IDC đề
xuất, chúng tôi vận dụng một trong câc phương phâp IỌ/\ để chuẩn bị câc tập dữ liệu phục vụ cho việc huấn luyện, kiểm tra chĩo vă kiểm thừ mơ hình. Đầu
tiín, chúng tơi sử dụng phương phâp BRISQƯE [321 dể phần thănh 2 tập A vă B. Tập A gồm câc ảnh có chi số IQA trong ngưởng [0. 1001 vă tập B gồm câc
ânh cịn lại. Vì dừ liệu khi phđn tập bang BR1SQUE bị mất cđn bằng, chúng tôi đă xđy dụng câc tập Al, A2, A3, vă A4 theo bâng 4.1 đỉ thực hiện nghiín
cứu.
Bêng 4.1. Thống kí số lưọĩìg mẫu ciia câc tập dữ liệu
STT Tập dừ liệu Số lượng ânh
SỐ lưựng linh thuộc lớp 0 SỐ lirựng ânh thuộc lớp 1 1 A 5106(Al+A2) 2440 2666 2 B 441 319 122 3 AI 4595 (90% A) 2199 2396 4 A2 511 ( 10% A) 241 270 5 A3 5400 (AI + B) 2518 2518 6 A4 952 (A2+B) 560 392
4.2. Môi trường thực nghiệm
Chúng tôi sư dụng thiết bị. ngôn ngừ lập trình vă một số thư viện: • Laptop HP Victus K74JC5NN, gồm: RAM: 8 GB DDR4; bộ xứ lý
Intel(R) Core(TM) Ĩ5-11400H Cậ> 2.70GHz , 2.69 GHz.
• Ngơn ngừ lập trình Python v.3.6.8; Jupytcr lab V10.0.18363.1440. •Thư viện matplotlib 3.5.1. numpy 1.21.5, scikit-learn 1.0.2, tensorflow
4.3. Câc bộ tham số huấn luyện
Sau nhiều lần tiến hănh thực nghiệm, chúng tỏi đă lựa chọn được bộ (ham số phù hợp với mơ hình huấn luyện trín tập dừ liệu ung thư vú IDC
[6|. Hai siíu tham sồ cho tổc dộ học suy giam fỉỵ. (ì2 cùa hăm tối ưu Adam dược chúng tơi sir dụng với giâ trị mặc định lẩn lượt lă 0.9 vă 0.999 vă tốc độ học
a = 10 ' [38]. Sau khi lựa chọn dược câch phđn tập dử liệu hợp lý. chúng tôi tiếp tục huấn luyện mơ hình dể lựa chọn bộ siíu tham số phù hợp. Đầu tiín,
chúng tơi thực hiện huấn luyện mơ hình trong khoang 200 lần VỚI 50 mẫu dược học trong lừng lẩn huấn luyện. Qua biếu dồ 4.2. mơ hình cua chúng tơi có tý
lệ lỗi dường như ít thay đỏi từ 50 đến 2(X) lần huấn luyện. () mốc 25 den 50 lằn huấn luyện, tý lệ lồi của mơ hình có thay đồi rị hơn. Với nhiều lần tiến hănh
thực nghiệm ờ câc mốc 25. 30, 40 vă 50 lần huấn luyện, chúng tôi đê lựa chọn được mốc 50 lă sổ lần huấn luyện phù hợp cho việc thực nghiệm trín bộ dữ
liệu mă chúng
tơi dang sử dụng.
Biểu đồ 4.1. Biíu đồ hăm lỗi
4.4. Kct quă thục nghiệm vă đânh giâ
Trong quâ trình thực nghiệm, chúng tôi so sânh phương phâp đề xuất với mơ hình mạng CNN [16], AlexNet [41], VGG-16 [42], ResNet-50 [43]
trín cùng tập dữ liệu với mong muốn đânh giâ khâch quan kết quă thu dược.
Chúng tôi thực hiện chia dử liệu huấn luyện như bâng 4.2 vă không tăng cường dừ liệu. 90% dừ liệu cho quâ trình huấn luyện. 10% dừ liệu cho
hình đề xuất (mơ hình 1) đạt hiệu suất cao hơn mơ hình cùa Malm [16] (mơ hình 2 - chúng tơi thực nghiệm mơ hình của tâc giă Malm [16| với sự tham khâo
mă nguồn cùa tâc giâ cơng khai trín Kaggcl) ờ hầu het câc trưởng hợp. Kct quâ phđn loại trín câc trưởng hợp phđn tập bang IQA cùng cao hơn khi khơng sir
dụng 1QA.
Đe tăng dộ chính xâc cùa mơ hình phât hiện IDC, tâc giă Malm dê cho huấn luyện trín dữ liệu gốc vă dừ liệu tăng cường. Chúng tôi cũng thực
nghiệm đồng thời hai mồ hình trín tập dừ liệu tăng cưởng băng câc phĩp biến đối anh như: xoay ânh. phóng to ânh trín tập dừ liệu huấn luyện khi huấn luyện
cho mồi phố trong trường hợp không phđn tập dừ liệu băng 1QA. Qua băng 4.3, chúng tôi thực hiện tđng cường dừ liệu vă sử dụng câch chia dữ liệu mă
Malm đề xuất, rõ răng mơ hình cùa chúng tịi đạt hiệu suất tốt hơn. Bín cạnh đó. chúng tơi tiến hănh thực nghiệm huấn luyện trín câc tập A. AI. A3 như băng