TÓM TÁT KHÓA LUẬN
2.3. Một số nghiên cứu liên quan
Sự quan trọng, cần thiết của việc đo lường và đánh giá các thông số sinh trắc học của thai nhi trong suốt quá trình mang thai là lí do chính dé các nhà khoa học nghiên cứu va công bố các bài báo khoa học liên quan đến việc xác định các bộ phận của thai nhi dựa
trên kỹ thuật siêu âm 2D.
13
Tháng 04/2017, Sundaresan et al. [9] đã công bố nghiên cứu sử dụng kiến trúc FCN dé xác định vị trí tim thai trên ảnh siêu âm 2D nhằm mục đích hỗ trợ xác định bệnh tim bam
sinh (congenital heart diseases — CHD) ở thai nhị. Một thời gian sau, vào tháng 07/2017,
Liet al. [10] đã đưa ra nghiên cứu cho thấy sự hiệu quả của việc sử dung mô hình Encoder
— Decoder FCN dé phân đoạn nước ối và các mô bào thai trong ảnh siêu âm 2D thai nhi
ở nhiêu góc độ khác nhau.
Từ năm 2018 trở về sau; có rất nhiều các bai báo nghiên cứu khoa-học được công bồ liên quan đến việc phân đoạn các bộ phận thainhi; đặc biệt là xác định vòng đầu thai nhi trên ảnh siêu âm 2D. Hệ thống hỗ trợ chân đoán (computer aided detection — CAD) sử dụng trong quá trình tự động ước tính thông số HC của thai nhi được phát triển trên bộ dữ liệu
là ảnh siêu.âấm:2D ở tắt cả các thai kỳ do Hevel et al. [7] nghiên cứu được đưa ra vào
giữa năm 2018.
Một năm sau đó ~ năm 2019, hai, nghién cứu nỗi bật về việc phân đoạn và ước tính thông
số HC đựa trên phương pháp: Đeep Learning-đượẻ công bố. Một là nghiên.cứu được Budd et al. {11] dé xuất sử dụng mô hình U—Net [12] + một kiến trúc mang FCN được sử:dụng nhiều trong việc phân đoạn ảnh y sinh — để đự đoán phân đoạn vòng đầu thai nhi trên ảnh siêu âm. Hai là nghiên cứu cua,Sobhaninia‘et al. [13] dé xuất một mô hình học sâu đa tác vụ dựa trên kiến-trúc mạng LinkNet [14] để ước tinh thông số HC trên
ảnh siêu âm. 2D.
Và sần nhất là trong năm.2020;cững đã có không ít các nghiên cứu về các phương pháp
hỗ trợ các vấn dé trong siêu âm thai nhi, điển hình như: nghiên cứu xác định mặt phang tiêu chuẩn của não thai nhi trong siêu âm 3D [15] của Qu et al., một nghiên cứu khác của việc tự động ước tính HC dựa trên kiến trúc mang CNN [16] do Sobhaninia et al. phát triển, ... Đặc biệt phải nhắc tới nghiên cứu của Zhang et al. [17], nghiên cứu nay
dự đoán trực tiếp một thông số sinh trắc học của thai nhỉ — cụ thé ở đây là thông số HC, bằng việc sử dụng mô hình hồi quy mà không thông qua bước phân đoạn trung gian.
14
Chương3: Cơ sở lý thuyết
3.1. _ Giới thiệu về Artificial Neural Network
Học sâu (Deep Learning — DL) là một công cụ phô biến và mạnh mẽ dé giải quyết các
bài toán học có giám sát (supervised learning) dựa trên mạng nơ ron nhân tạo (Artificial Neural Nefwork — ANN).
Lay cảm hứng từ các té bào thần kinh (nơ ron — neuron) trong sinh hoc; ANN có câu-tạo
từ các neuron, tổ chức thành các /ớp (layer) cho phép học được các tham số từ dir liệu huân luyện; sau đó sử dụng.các kêt qua này dé đưa ra dự đoán với đữ liệu mới.
ANN và các kiến trức liên quan:được ứng dụng thành công trong nhiều bài toán liên quan đến xử lý ngôn ngữ tự nhiên (Natural Language Processing — NLP), thị giác máy
tinh (Computer Vision — CV), ..:
3.1.1. Cau trúc của một neuron
Activation
Function Output
@—>
one
Weights
Hình 3.1. Cầu trúc của một nơ ron nhân tạo.
Như đã minh họa trên Hình 3.1, một neuron nhân tao gồm:
© x= [x¡,x;,...x„] là một vector hàng chứa thông tin input, bao gồm z¡, x;, ..., x„ là
các thuộc tính của dữ liệu đâu vào.
15
e Biến 7 là output cudi cùng của neuron sau quá trình tính toán.
e Trọng số (weight): w = [W;,w›¿,..., w„] là một vector hàng với w, W2, ... W„ tương
ứng với mỗi giá trị x1, Xz, ...x„ thé hiện cho mức độ quan trọng của giá trị đầu vào
đó với kết quả đầu ra.
e Hàm tổng © (summation function): hàm tính tổng các tích của từng giá trị đầu vào
với weight tương ứng cộng với giá trị độ lệch b (bias), công thức như sau:
n
Z= wrt b = wx" +b 3.1)
i
e Hàm kích hoạt g.(activation function): các dạng ham phi tuyến (non-linear function)
được sử dụng giip ANN tang cường khả nang hoc tổng quát, có thé học và biéu diễn các ánh xạ phức tạp từ dir liệu đầu vào.-Kết quả của hàm tổng là input cho hàm kích hoạt đề tính toán ra output của neuron.
9= ứữ)= ứ(wx"+ b) (3.2)
3.1.2. Activation Function
Ham kích hoạt (activation function) dùng dé kích hoạt các thông tỉn quan trong từ input, được đánh giá thông qua quá trình Jan tryên ngược (back probagation). Dưới đây là một
số activation function phô biến thường được sử dụng:
Hàm Sigmoiđ-'là một dang non-linear funetion có công thức:
gŒ) = ứ(2) = [pez (3.3)1
Ham Sigmoid nhận dau vào là một số thực và chuyền thành một giá trị trong khoảng (0; 1). Với đồ thị như Hình 3.2(a), nếu đầu vào là số thực âm rất nhỏ sẽ cho đầu ra tiệm cận với 0; ngược lại, nếu đầu vào là số thực dương rất lớn sẽ cho đầu ra tiệm cận với 1.
Dễ nhận thấy được nhược điểm của hàm sigmoid là khi đầu vào có giá trị tuyệt đối lớn
(rât âm hoặc rât dương), đạo hàm của hàm sô này sẽ rât gân với 0. Điêu này đông nghĩa
16
với việc các tham số tương ứng với node đang xét gần như không được cập nhật (hiện
tượng “vanishing gradient’).
Ham ReLU (Rectified Linear Unit) là một non-linear function có kết qua dau ra duoc
tính theo công thức:
g(z) = ReLU(z) = max(0,z) (3.4)
ReLU là một activation function được sử dụng pho biến trong những năm gan đây nhờ văo tính đơn giản vă hiệu quả của nó: Nhìn vắ công thức chúng ta dễ dang hiểu được
cách hoạt động của ReLU'là lọc các-giá trị nhỏ hơn 0 (Hình 3.2(b)).
10 10
08 8
= n 6
sigmoid(z) = * relu(z} 4
= hở 2
= = 0
-100 -75 -50 -25 00 25 5.0 75 10.0 10.0 -75 -50 -25 00 25 5.0 75 100
Zz Zz
(a) Do thị hàm Sigmoid (b) Dé thị hàm ReLU
Hình 3.2: Đồ thị 2 activation-function phổ biến.
ReLU được chứng minh giúp cho việc huấn luyện các mô hình học sâu trở nên nhanh hon (theo Krizhevshy et al. [18]). Sự-tăng tốc này được cho là vì ReLU được tính toán gan như tức thời và đạo ham của nó cũng được tính cực nhanh với: đạo hàm bang 1 nếu đầu vào lớn hơn 0; đạo hầm bằng 0 nếu đầu vào nhỏ hơn 0. Tuy nhiên, đây cũng là nhược điểm của ReLU (hiện tượng “dying ReLU”), các hệ số tương ứng của các node được chuyền thành 0 sau khi qua ReLU sẽ không được cập nhật trong thuật toán tối ưu. Đồng thời, khi ốc độ hoc (learning rate) lớn, các weight có thé thay đổi theo cách làm các
neuron dừng việc cập nhật.
17
3.1.3. Kiến trúc của ANN
ANN mô phỏng cấu trúc và cách thức hoạt động của não người. Kiến trúc của ANN thông dụng gồm nhiều neuron (nút — node), được xếp thành layer và có liên kết giữa các node với nhau. Trong đó, đầu ra của node ở lớp liền trước là đầu vào cho node ở lớp liền
sau.
Hidden Layer
Input Layer
e
ESO
Như đã thé hiện trong Hình 3:3; một ANN thường gồm ba thành phần chính: /ớp dau vào (intput layer), lớp đầu ra (output layer) và các lớp trưng gian (lớp ẩn — hidden layer). Trong một ANN, dang layer phổ biến nhất là /ớp kết nổi day đủ (fully-connected layer).
Số lượng node ở input layer va output layer tùy thuộc vào yêu cầu của bài toán. Số lượng hidden layer và số node-ở mỗi-hiđđen layer cần được thiết kế một cách cần thận. Độ phức tạp của một ANN phụ thuộc vào số lượng hidden layer. Khi dữ liệu đi qua càng nhiều tầng trung gian, các đặc trưng thu được càng trừu tượng và phúc tạp. Bên cạnh đó,
số lượng node ở mỗi layer cũng ảnh hưởng đến khả năng rút trích đặc trưng của layer
đó. Layer càng nhiều node thì càng có khả năng rút trích được nhiều đặc trưng.
8 Neural Network Analysis in Marketing (ecommerce-digest.com)
18
3.2... Hàm mất mát
Hàm mat mát (hàm chỉ phí loss function / cost function) được kí hiệu: L(@) / J(8) với
ỉ là tập hợp cỏc tham sỐ (weight; bias) của mụ hỡnh. Ham mất mỏt được xõy dựng dộ danh gia do sai léch cua két qua du doan cua mang so voi két qua của bộ dữ liệu huấn luyện. Dựa trên hàm mất mát, độ lỗi của mỗi node trong mạng được tính toán, từ đó xác
định được độ lỗi của toàn mạng.
Các hàm mắt mát được thiết kế đề khả vi tại -mọi điểm nhằm có thé thực hiện tính toán đạo hàm sử dụng cho quá trình lan truyền ngược. Trong phạm vi nghiên cứu khóa luận,
4 hàm mat mat được dé cập bão gồm: Jaccard Loss và Dice Loss dùng nhiều trong bài
toán phân đoạn hình ảnh; BCE Loss dùng cho bài toán phân lớp và MSE Loss dùng trong
bài toán hồi quy.
3.2.1. Jaccard Loss
Chi sé Jaccard (Jaccard Index):
Jaccard Index là độ do dé biểu diễn mức độ tương đồng giữa hai tap hợp hay còn được trình bày là tỉ lệ giữa phần giao Và phần hợp của hai tập hợp.
Công thức tính Jaccard Index như sau:
IAN BI _ JAN BỊ
~ |AUBE—IA] +|Bl=|An BỊ (3.5)
trong đó, tương ứng với bai toán Segmentation, A là mask phân đoạn dự đoán, B 1a GT
(hay ảnh annotate). Nếu tập hợp A và B đều rỗng thì J(4, B) = 1. Giá trị J(A, B) phải luôn thỏa điều kiện 0 < J(4,B) < 1.
Hàm mắt mát Jaccard (Jaccard Loss):
Jaccard Loss là hàm mat mát đánh giá sự trùng khớp giữa output của mô hình huấn luyện
và ouput của tập đữ liệu huấn luyện có công thức dựa trên Jaccard Index.
19
IANB|
|AUB|
JaccardLoss = d,(A,B) = 1— J(A,B) = 1— (3.6)
3.2.2. Dice Loss
Hệ số Dice (Dice Coefficient):
Dice coefficient hay gọi day đủ là hệ số ương dong Dice (Dice similarity-coefficient — DSC) là một công cụ để xác định sự tương đồng giữa hai tập đữ liệu.
Công thức tinh Dice Coefficient như sau:
DSC >"———_ (3.7)
trong đó, tương ứng với bài toán Segmentation;.A là mask phân đoạn dự doan, B 1a\GT
(hay anh annotate).
Ham mắt mát Dice (Dice Loss):
Dice Loss là hàm mat mát đánh giá sự trùng khớp giữa output của mô hình huấn luyện
va ouput của tập dữ liệu huấn luyện có công thức dựa trên Dice Coefficient:
2[A n.BỊ DiceLoss= 1—DSŒ(A,B).= 1—————;
|A| + |P| (3.8)
3.2.3. Binary Cross Entropy (BCE)
Binary Cross Entropy. Loss (BCE-Loss) hay con được gọi là Sigmoid Cross Entropy
Loss, là một hàm mất mát được thiết kế cho bai toán phân loại lớp nhị phân (binary
class)
BCE = —(y;log(p(:)) + (1~ y,) log(1 — pÓ,)) (3.9)
với y¡: nhãn của mẫu dữ liệu thứ i va p(y;) là xác suất mà mẫu dữ liệu thứ i thuộc vào
lớp 1.
20
1
PB (3.10)
pi) = ứŒĂ) =
3.2.4. Mean Square Error (MSE)
Mean Square Error (MSE) hay còn được gọi là L2 Loss là một hàm mat mát thường được sử dụng cho các mô hình hồi quy, đặc biệt là hồi quy tuyến tinh. MSE được tính bang tong các bình phương cửa hiệu giữa giá trị thực (y;: target) và giá trị mà mô hình
của chúng ta dự đoán (: predicted).
Công thức như sau:
n ._ @)2
i=1Ới wi) (3.11)
n
MSE =