Ứng dụng phương pháp học chuyển giao vào chẩn Đoán bệnh ung thư phổi

các bộ dữ liệu thực tế dễ đảm bả tính ứng dụng và hiệu quả của mô hình chn đoán u phổi dựa trên ảnh y khoa + _ Thực hiện so sảnh với ác phương pháp khá và cc công tỉnh ign quan để đãnh

KHOA CONG NGHE THONG TIN

® 5p TP HO Chi MINH

TRAN DUY AN

UNG DUNG PHUONG PHAP HQC CHUYEN GIAO VAO CHAN DOAN BENH UNG THU PHOT

KHOA LUAN TOT NGHIEP

THANH PHO HO CHÍ MINH - NĂM 2024

KHOA CONG NGHE THONG TIN

TRAN DUY AN

UNG DUNG PHUONG PHAP HOC CHUYEN GIAO VAO CHAN DOAN BENH UNG THU PHOI

CHUYÊN NGHÀNH: KHOA HQC MAY TINH

KHOA LI AN TOT NGHIEP NGUOI HUONG DAN KHOA HOC: THS TRINH HUY HOANG THANH PHO HO CHi MINH - NAM 2024

Khóa luận "Ứng dụng phương pháp học chuyển giao vào chấn đoán bệnh

ng thư phổi” à công tình nghiễn cứu của tối, được thực hiện đưới sự hướng dẫn

chuyên nghiệp của Thạc sĩ Trịnh Huy Hoàng Mọi kết quả và quan diém được trình bày

trong khóa luận là kết quả của quá trình nghiên cứu nghiêm túc, chân thật và không chứa bất kỳ nội dung sao chếp từ các nguồn thông tin khác mà không ghỉ rõ trong phần tải liệu tham khảo

Tôi xin chịu trách nhiệm về lời cam đoan nà

Thành phố Hỗ Chí Minh, ngùy Š thắng 4 năm 2024

Trước hết, tôi xin chân thành cảm ơn và bày tỏ lòng biết ơn su sic dén ThS

“Trịnh Huy Hoàng, người đã tận tình hướng dẫn, chỉ ảo tôi trong suốt quả trình thực hiện khóa luận tốt nghiệp này Thầy đã truyền đạt cho tôi những kiến thức quý báu, giúp

tôi hoàn thành ốt để ti nghiễn cứu

“ôi cũng xin gửi lời cảm ơn đặc biệt đến quý thầy cô tại trường Đại học Sư phạm

‘Thanh phổ Hỗ Chí Minh đã giảng dạy và truyền đạt cho tôi những kiến thức bổ ích trong

suốt quả trình học tập ti trường, Những kiến thức quý báu đỗ đã giúp tôi có n tăng

vững chắc để thực hiện khóa luận tốt nghiệp nảy và cũng sẽ là hành trang giúp tôi vững

bước trong lương li

Không thể không kể đến sự ủng hộ từ gia đình, ban bẻ, và người thân trong suốt

thời gian học tập và nghiên cứu Cảm ơn vì sự động viên và ủng hộ của mọi người là

động lực to lớn giáp tôi hoàn thành khóa luận tốt nghiệp này

Mặc dù đã cổ gắng hết sức trong việc nghiên cứu và viết khóa luận Tuy nhiên,

tôi biết rằng khóa luận của tôi ẫn còn tồn tại những thiểu sót Tôi mong nhận được sự

thông cảm và góp ý xây dựng từ quý thầy cô vả toàn thể các bạn để hoàn thiện hơn nữa

sông trình nghiễn cứu này

Thành phổ Hồ Chí Minh ngày 5 thắng 4 năm 2024

MUC LUC

LOI CAM DOAN 1

MỤC LỤC 3 DANH MUC KY HIEU VA CHU VIET TAT 6 DANH MUC BANG BIEU 7 DANH MUC HINH VE 8

MỞ ĐẦU 10

Mặc tiêu nghiên cứu 10 Đối tượng và phạm vì nghiễn cứu 0

1.2 Các phương pháp áp dụng cho bài toán 13

1.3 Các bộ dữ liệu tiêu chuẩn d5

1.3.1, Bộ dữ liệu hình ảnh mô bệnh học ung thư phổi và đại tring (Lung and Colon Cancer Histopathological Image Dataset) (LC25000) 15

132, Bộ dữ liệu CT và PET/CT quy mô lớn cho việc chẳn đoán ung thu phối (A Large-Seale CT and PET/CT Dataset for Lung Cancer Diagnosis) (Lung PET-CT-Dx) 15

Resource Initiative (LIDC-IDRD) 7 1.3.4 Phân tích hạch phối 16 (Lung Nodule Analysis 16) (LUNA 16) 18

CHUONG 2 COSOLY THUYET 20 21 Các phương pháp chấn đoán hình ảnh y khoa truyền thông: 20 2.11 Chụp X-quang ngực 20 2.12 ChụpCTngực 20 2⁄13 Chụp PETICT 20

22 Mang thin kinh (Neural Network) 21

2.3 Perceptron da lop (Multi Layer Perceptron) (MLP) 23

24 Mang thin kin tich chap (Convolutional neural netverks) 4 24.1, Cáckiểu lớp 24 2.42, Him kich hoat 27 24.3 Các tham số của bộ lọc 30 2.5 Học chuyển giao (Transter learning) 33

251 Định nghĩa 33 2.5.2, Phin loại họ tập chuyên giao 34 25.3, Cie thành phần có thể chuyển giao a4 2.5.4, Hạn chế chuyển gino ti eve (negative transfer) 35 Học chuyển giao trong học sâu 38 Học chuyển giao sâu (Deep transfer learning) 39 Các biến thể học chuyển giao sâu al

258, Trién khai học chuyển giao 4

26 Những mô hình học sâu 44

32 Triển khai phương pháp 51

3.22, Him mit mat 43

323 Xây dụng môhinh 33 CHUONG 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ 56 4.1 Môitrường huấn luyện và thực nghiệm 56

42 Phương phấp đánh giá 56 42.1, D6 chinh xae (Accuracy) 56

1 Tiếng Việ 61

2 Tiếng Anh 61

‘The Lung Image Database Consortium Magnetic Resonance Imaging Neural Architecture Search Network Mobile Neural Networks

Positron Emission Tomography Residual Network Support Vector Machine Visual Geometry Group

Bảng 2-1 Triển khai học chuyển giao 4 Bang 4-1 So sinh két guả của phương án đề xuất với các mô hình khác 58

Hình 1-1 Bộ dữ liệu Luns-PET-CT-Dx [10]

Hình 1-2 Bộ đữ liệu LIDC-TIDRI [16]

Hình I-3 Bộ dữ liệu LUNA 16 [7]

Hình 2-1 Giải phẫu một nơ-ron [2]

Hình 2-2 Minh họa quả trình tính toắn của một nơ-ron

Hình 2-3 Perceptron đa lớp [2]

Hình 2-4 Kiến trú của CNN [1]

Hình 2-5 Biểu diễn hình ảnh đầu vào và bộ lọc dưới dạng ma trận

Hình 2-6 Cảch thức hoạt động của phép tic chip [1]

Hình 2-7 Gop cực đại và gộp trung bình

Hình 2-8 Lớp kết nổi đầy đủ

Hình 2-9 Đồ thị của hàm Siemoid

Hình 2-10 Đỗ thị của hàm Tanh

Hình 2-11 Đỗ thị của hàm ReLU

Hình 2-12 Bước trượt đơn với bộ lọc 3⁄3

Hinh 2-13 Bust trượ lớn với bước trượt bằng 2 và bộ lọc 3⁄3 Hình 2-14 Padding "zero" với kích thước I

inh 2-18 Học đa nhiệm

Hình 2-19 Kiến trúc của LeNet 5 [11]

Hình 2:20 Kiến trúc của AlexNet |9]

Hình 2.21 Kiến trúc của VGGI6 [18]

Hình 2-22 Kiến trúc một mô-đun khởi động của mạng GoogLeNet [13] Hình 2-23 Cầu hình của GoogleNet [19]

40 4I

Hình 2-25 Kiến trúc của U-net [15] s0

Hình 3-3 Ung thư biểu mô tế bio vay phdi (Lung_sec) 52 Hình 3-4 Số lượng ảnh theo mỗi lớp của tập huắn luyện, kiếm thứ, kiểm tra 53 Hình 3-5 Mô: học chuyển giao để phân loại ung thủ phối dựa trên GoogLLeNet

ng thư phối đồng vai trỏ quan trọng trong việc cải thiện tỷ lệ sống sốt và chất lượng

cuộc sống của bệnh nhân

“Tuy nhiên, iệc chẩn đoán hình ảnh y tế thủ công gặp phải ắt nhiều hạn chế như chỉ phí cao, thời gian chi dai, thiểu bác sĩ chẳn đoán hình ảnh ˆDo đó, việc áp dụng

công nghệ học mây chuyển giao vào quá trình chấn đoán bệnh ung thư phỗi lả hết sức

cắn thiết gip giảm chỉ phí chân đoán, rất ngắn thời gian chờ kết quả

È tài này đã được lựa chọn nhằm nghiên cứu một giải pháp

`Vì lý đo như trên,

chấn đoán ung thư phổi bằng áp đụng học máy chuyển giao dựa trên mô hình ung thư phổi chỉnh xác hơn, từ đó cải thiện quá trình điều trị cho bệnh nhân Mục tiêu nghiên cứu

“Xây dựng một mô hình chin đoán ung thư phổi dựa trên việc điều chỉnh mô hình GoogL.eNet dé 6 thé phù hợp với bộ dữ liệu

So sánh hiệu quá của mô hình đã sửa đổi với các mô hình khác

Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu

48 phi hợp với vấn đề phân loại hình ảnh phổi Kiến trúc GoogLeNet có độ sâu 22 lớp

27 lớp nễu tính thêm lớp gộp chung)

Phương pháp nghiên cứu

"Để thực hiện đề tải này, tôi sẽ áp dụng tổng hợp nhiễu phương pháp nghiên cứu

khác nhau như: mô hình hóa, khảo sát và thực nghiệm Mô hình hóa chuyển một yêu

cầu thực tế thành dạng một bãi oán lý thuyết Khảo sắt các phương pháp đã được sử

dụng cho bài toán, sau đó nhận xét, đánh giá và so sánh đẻ lựa chọn phương pháp phù

hợp, San đó, mô hình tính toán được để xuất đ giải quyết yêu cầu đã được đặt m CCải đặt thực nghiệm, tỉnh chỉnh các thông số, kỹ thuật để nâng cao kết quả của

mô hình để xuất

Phương pháp nghiên cứu của để tải bao gồm các bước chính để đạt được mục

tiêu nghiên cứu như sau:

+ Phương pháp nghiên cứu này đòi hỏi việc thử nghiệm và đánh giá trên

các bộ dữ liệu thực tế dễ đảm bả tính ứng dụng và hiệu quả của mô hình chn đoán u phổi dựa trên ảnh y khoa

+ _ Thực hiện so sảnh với ác phương pháp khá và cc công tỉnh ign quan

để đãnh giá độ hiệu quả và ưu điểm của mô hình được xây dụng, Điều

này đảm bảo tính tiên phong và đóng góp mới cho lĩnh vực phân loại

ảnh,

Tựa vào những mục đã tình bày, khóa luận được chủ thảnh cúc phần như sau:

Mỡ dâu

+ Tỉnh cắp thit của để tài

+ Mục đích nghiên cứu

+ Đổi tượng và phạm vỉ nghiên cứu

+_ Phường phíp nghiên cứu

+_ Cu trúc của khóa luận tốt nghiệp

Nội dụng gồm 5 chương:

“Chương 1: Tổng quan tỉnh hình nghiên cu

“Chương 3 Cơ sở ý thuyết

“Chương 3: Ứng dụng phương pháp học chuyển giao vào chân đoán ung thử phổi

“Chương 4: Thực nghiệp và đánh giá

“Chương 5: Kết luận và hướng phát triển

48 cung cấp liệu pháp điều trị hiệu quả và tăng tỷ lệ sống sĩt cho bệnh nhân

“Trong các phương pháp chẩn dốn thủ cơng, quá tình nảy đồi hỏi thời gian và

‘cng site lớn từ các nhân viên y tế Mặc dù phương pháp này rất quen thuộc và đáng tin

sây, nhưng nỗ cĩ thể gặp các hạn chế trong việc đưa ra quyết định chấn đốn chỉnh xác

cdo phụ thuộc nhiều vào kinh nghiệm và kiến thức của các nhân viên y tế, và cũng bởi

xắn đề thiếu hụt bác sĩ chẩn độn hình ảnh Ngược li, phương pháp chẩn độn bằng

cao (đối với mơ hình thực hiện hiệu quả)

“Các mơ hình học sâu cĩ thể giải quyết được ắt nhiễu nhiệm vụ trong hầu hết các

Tính vực Học chuyển giao lš một phương pháp tay đổi mơ hình học máy, học sâu để

rút ra kiến thức từ một hoặc nhiễu nhiệm vụ nguồn và áp dụng kiến thúc đĩ vào nhiệm

từ đầu và sử dụng một mơ hình được đảo tạo trước Trong khĩa luận này, tơi đề xuất GoogLeNet dé chin đốn ung thư phổi GoogLeNet được thiết kế ban đầu để phân loại chan đốn hình anh phéi, edn thực hiện việc điều chinh mơ hình đẻ phủ hợp với bộ dir

liệu

1.2 - Các phương pháp áp dụng cho bài tốn

1.2.1 Học máy (Machine learning)

Các phương pháp được áp dụng trong bài tốn phát hiện bạo lực thường sử dụng các kỹ thuật truyền thống của học máy nhu Linear regression, Decision Trees, Random

sẵn nhiều ti nguyên tính toán vả đôi khi phương pháp này mang lại hiệu quả cao hơn Rehman và các cộng sự đã sử dụng kỹ thuật patch-based LBP để giúp phát hiện

và chắn đoán ung thư phổi Kỹ thuật này đã chuyển đổi các hình ảnh sang thang độ xám,

sau đồ chọn các đặc điểm cầu trú và biển đồi chúng thành hệ số DCT và hợp nhất chúng

để tạo ra một vector đặc trưng, Cuối củng, vector này được sử dụng đẻ phân loại ảnh

tung thư phổi dựa trên phương pháp học máy SVM và KNN [14)

Firdaus và các đồng nghiệp đã sử dụng kỹ thuật Gray Level Co-‹

Maris (GLCM) để xử lý ảnh và phản ích hình ảnh GILCM là một phương pháp thống currence

kê tính toán tần suất các cặp pixel có mức độ xám cụ thể xuất hiện cạnh nhau trong ảnh

“Thông in này sẽ tạo thành một ma trận và sẽ được sử đụng để phân loại ại ánh ung thư phổi dựa trên phương pháp SVM |6]

1.2.2 Học sâu (Deep learning)

Học sâu (Deep learning) là một nhánh con của tí tuệ nhân tạo (arificial intelligenee) tập trung vào việc xây dựng và huấn luyện các mô hình học sâu để tự động học hồi từ đữ liệu Trong học sâu, có các mang thin kinh sâu (deep neural networks) sit dung nhiều lớp nơ-ron ấn Các mạng thần kinh sâu này có khả năng tự học các đặc người để chỉ định các đặc trưng cụ thể Các mô hình học sâu đã được áp dụng trong các

nghiên cứu liên quan đến chẩn đoán ung thử phổi và đạt được kết quả tốt hơn so với các

phương pháp truyền thông Các bài báo đã đề xuất nhiều kiến trúc mô hình học sâu để

mô hình có thể tự động học và khai thác các đặc trưng có lợi cho ¢ chin doin ung thự phổi

Shimazaki và các công sự đã đề xuất một kiến trúc CNN bằng phương pháp phân

đoạn để chân đoán ung thử phổi từ ảnh X-quang để cải thiện 49 nhay (sensitivity) trong

mã hón-giải mã để xuất ra phân đoạn ảnh Kiến trúc mã hỏa-giải mã có cấu trúc tắt cổ

lai, giấp giảm độ phân giải của bản đồ đặc trưng và cải thiện khả năng chống nhiễu và

“quá khớp của mô hình [17]

Abunajm và các cộng sự đã để xuất một mô bình dựa trên CNN để dự đoán và

phát hiện ung thử pÏ

từ hình ảnh chụp CT Mô hình này bao gồm một số lớp tích chập,

lớp gộp và lớp kết nổi đẫy đủ Mô hình này đã đạt được kết quả

là 99.45% J4]

tắt với độ chính xác, 1⁄4 Các bộ dữ liệu tiêu chuẩn

1.3.1 Bộ dữ liệu hình ảnh mô bệnh học ung thư phổi và đại tràng (Lung and Colon Cancer Histopathological Image Dataset) (LC25000) C25000 [5| là bộ dữ liệu hình ảnh y học phục vụ ch nghỉ n cứu phân loại ung: thư và chin đoán y tế LC25000 chứa 25.000 ảnh màu được chỉa thành $ lớp mỗi lớp, gầm 5000 ảnh:

« _ Ung thư biểu mô đại trảng (Colon_aea),

© M6 dai trằng lành tính (Colon_n)

© Ung thu bigu mé phéi (Lung_aca)

‘© Ung thir bigu m6 té bao vay phối (Lung,_ sec)

‘© Mé phéi linh tinh (Lung_n)

"Và được chỉa thành 2 thư mục:

©_ Phổi (15.000 ảnh)

‘© Dai tring (10.000 anh)

Mỗi hình ảnh có kích thước 768x768 pixel được lưu trữ dưới dạng tập jpeg 1.3.2 Bộ dữ liệu CT va PET/CT quy mô lớn cho việc chẩn đoán ung thư phi

Is

‘A: Ung thir tyén phdi (Adenocarcinoma)

'B: Ung thư biểu mô tế bio nhé (Small Cell Carcinoma) + G: Ung thư biểu mô tế bảo vậy (Squamous Cell Carcinoma) E: Ung th biéu mo té bio 1 (Large Cell Carcinoma),

Hình 1-1 Bộ dữ liệu Lung-PET-CT-Dx [10]

Bộ dữ sổ độ phân giải cao (CT: SI2x512 pixel, Immxlmm; PET: 200x200 pisel4.07mm4.07mm) Và vị tí của khổi tu được S chuyên gia phẫu thuật nội soi nổi

tiếng có chuyên môn về ung thư phối đánh dấu, 2 người với 15 năm kinh nghiệm và 3

người côn ại có hơn Š năm kinh nghiệm

“Thông tin vẻ dờ liệu

«ID bệnh nhân

« Tuổi

Bộ dữ liệu Lung-PET-CT-Dx là mã nguồn mỡ và có thể được truy cập miễn phí, cứu và

httiển các thuật toán chấn đoán ung thư phổ tốt hơn và nâng cao hiệu quả chăm sóc

sức khỏe cho bệnh nhân ung thư phổi

133 The Lung Image Database Consortium and Image Database Resource Initiative (LIDC-IDRD,

LIDC-IDRI [16] chúa 1018 ảnh chụp CT có đánh dấu c thích ở định đạng DICOM Chú thích chẩn đoán được cung cắp ở định dạng XML Đổi n thương được chú

với mỗi ảnh chụp CT, bốn bác sĩ chuyên khoa phổi gi kinh nghiệm đã thực hiện quy trình gầm 2 giai đoạn chú thích và rà soát

+ Giai đoạn 1: Các bác sĩ đánh giá từng ảnh CT và phân loại tổn thương

mm,” hoặc "không phải khối u > 3

«- Giai đoạn 2: Sau đó, mỗi bác sĩ xem xét lại các phân loại của các tổn

thương khác và đưa ra chấn dodn cubi cùng

chuyên khoa trên 888 ảnh chụp CT được chọn lọc Is

kích thước > 3 mm là các tổn thương liên quan; các khối u cổ kích thước < 3 mm và các

tên thương không phải khối u sẽ không được xem xét là liên quan đến các quy trình sảng

lọc ung thư phối Tổng cộng có 1186 khối được coi là các ví dụ dương tính (tức là các

tổn thương mà thuật toán cần phát hiện) Các khối u khác, tức là những khối u có đường

kinh khác nhau, được coi là các phát hiện không liên quan sẽ không được tính là FP

(false positive) hoặc TP (true positive) và bị loại hoàn toàn khỏi quy trình đánh giá

Hình 1-3 Bộ dữ liệu LUNA 16 [7]

2.4 Các phương pháp chẩn đoán hình ảnh y khoa truyền thống: 2.1.1 Chụp Xequang ngực

“Chụp X-quang ngục là phương pháp phổ biến giúp pháp hiện cúc bất thường có

trong phối và các cơ quan xung quanh Đây là một phương pháp hữu ích để sảng lọc ung

thư phổi ở những người có nguy cơ cao mắc bệnh ung thứ

2.1.2 Chụp CT ngực

“Chụp CT ngực tạo ra hình ảnh chiết hơn chụp X-quang về cấu trúc của phổi và

các cơ quan xung quanh, cho phép bác sĩ nhận biết rõ rằng các biểu hiện của ung thư

phổi CT ngục có thể phát hiện các khối u nhỏ hơn và phân lại chúng theo tính ch,

giúp đánh giá mức độ nghiêm trọng của bệnh Phương pháp này cho phép thu được hình

thông tin đa chiều về sự phát triển của cảnh từ nhiễu góc độ và mặt của phôi, cung cất

ng thư phổi Được coi là phương pháp tiêu chuẩn trong chấn đoán và đánh giá sự phát

triển của ung thư phối

24.3 Chụp PETICT

CChụp PETCT kết hợp hai công nghệ hình ảnh la PET (Positron Fission Tomography) vi CT (Computed Tomography) trong một quy trình Điễu này cho phép

dụng chất đánh dấu phát xạ đẻ phát hiện các tế bào ung thư, bao gồm cả các tế bào ung

thư phổi và các điểm lan rộng có thể nằm ở những nơi khác trong cơ thể

Mang thin kinh (Neural Nenvod) là một phương thức trong lĩnh vực tí tệ nhân

tạo, lấy cảm húng bộ não của con người Các tế bao thin kinh (nơ-ron) có trong bộ não

tạo thành một mạng phức tạp, có tính cao và gửi các tín hiệu điện đến nhau để giúp con người có khả năng tư duy, xử lý thông tin có thể nhận biết được các sự vật, tạo từ:

« ˆ Các no-ron nhân tạo được gọi là nút (node), Mỗi nút này có thê nhận đầu vảo, thực hiện một số phép tính, và sau đó truyền kết quả ra các nút khác

+ - Mạng thần kinh nhân tạo là tập hợp các nơ:ron nhân tạo được tạo tổ chức

thành các lớp và liên kết với nhau theo một số cách cụ thể

Mạng thần kinh nhân tạo là các chương tỉnh phần mm hoặc thuật toán được

viết trên máy tính Các chương trình nảy mô phỏng cách thức hoạt động của não bộ con

người bằng cách sử dụng các nơ-ron nhân tạo Các nơ-ron nhân tạo là các khỏi phin

kinh nhân tạo là sử đụng máy tính để tính toán và đưa ra dự đoán dựa dữ liệu impulses carried

Mình 2-1 Giải phẫu mật nơ-ron [2]

Như hình trên, tạ có thể thấy một nơ-ron có thể nhận nhiễu đầu vào và cho ra một kết quả duy nhất Quá trình tính toán của một nơ-zon diễn ra như sau:

axon terminals

*ˆ Xu,xz xa là cá tín hiệu đầu vào từ các nơ-ron khác hoặc từ thông ún đầu

vào của mạng thần kinh Các tín hiệu này được biểu diễn dưới dạng số

thực

+ wi,w, , Melà các tọng số liên kết thể mức độ ảnh hưởng của mỗi tín

vio thần kinh

hiệu đầu vào đến kết quả đầu ra của ế

Hàm kết hợp (Sum): Cac tin hiệu đầu vào được nhân với trọng số tương

ứng và sau đó được cộng lại

+ _ Kết quả của phép tính trên sẽ được cộng thêm với một đại lượng có tên là

46 léch (bias) va dra qua mt him kich hoat (activation function) + - Hàm kích hoại (aetivadon Rrncon): thường là ác hàm phí tuyển tính Là điều cần thiết để mạng học được các biễu diễn phúc tạp giữa đầu vào và đầu rmụ tạo ra các dự đoán phi tuyển tính

+ Đầu ra (Outpat: là tín hiệu đầu m của một tẾ bảo thần kinh sẽ được sử

dung là đầu vào cho một tế bảo thằn kinh khác hoặc là đầu ra của một

mạng thần kinh

Malt Layer Pereeptron là tập hợp tẾbảo thần kinh tạo thành các nhóm, mỗi nhóm

là một lớp tạo thành một mạng phức tạp Mô hình của MILP gồm ba thành phần cơ bản sau: lớp đầu vào (inpuU, lớp ẫn (hidden) va lớp đầu ra (outpuU Mỗi lớp gồm nÍ

output layer input layer

hidden layer

Hình 2-3 Perceptron đa lớp [2]

® _ Lớp đầu vào (Input layer): Thông tin từ bên ngoài đi vào mạng nơ-ron

"nhân tạo qua lớp đầu vào Mỗi nút trong lớp đầu vào đại diện cho một đặc điểm của dữ liệu đầu vào

Lép an (Hidden layer): Thực hiện các phép tính phức tạp đề

đặc điểm quan trọng từ thông in đầu vào Mỗi nút trong lớp

ron nhân tạo thực hiện các phép toán và truyền tín hiệu cho các nơ-ron

khác Số lượng nơ ron và số lượng lớp ân có thé thay đội tùy theo độ phúc tạp của bài toán,

+ Lip diu ra (Output layer: Bua ta de dodn hoặc quyết định dựa rên các đặc điểm được trích xuất ừ thong tin diu vio, M&i nit trong lớp đầu ra

dai điện cho một kết quả đầu vào có thể

B

Mang thin kinh ich chập (Convolutional neural networks ~ CNN) là một lại

mạng thần kinh nhân tạo được sử dụng phổ biển trong các tác vụ thị giác máy tính, đặc

biệt là phân tích ảnh Các lớp của CNN thường bao gồm một loạt các lớp được liên kết với nhau thông qua phép tích chập Lớp tiếp theo là kết quả tích chập từ lớp trước đó

“Cách thức hoạt động của phép tích chập như sau:

+ Phép tích chập được thực hign trén hai him, thường được gọi là “bình ảnh

đầu và (Input image) và "bộ lạ * (filter) hoặc "hạt nhân” (kernel) Hàm đầu

24

hình ảnh đầu vào,

1]ojt 0|1|0 1|0|1

Lặp lại: Quá trình này được lặp lại cho tắt cả các vị trí trên hình ảnh đầu vào,

bắt dầu từ trái sang phải và từ rên xuống dưới Tạo ra một "bản đồ đặc trung"

(feature map) cho thấy mức độ tương quan giữa hàm đầu vào và bộ lọc tại mỗi vị trí,

Convolved

Image Feature

Hình 2-6 Cách thức hoạt động của phép tích chập [1]

25

Lớp gộp là một phép giảm kích thước dữ liệu Lớp gập sử dụng một của số (pooling window) trượt qua toàn bộ bản đỏ đặc trưng, mỗi lan trượt theo các bước trượt cho trước Lớp này giảm số lượng tham số, đẫy nhanh quá tình tính toán, tránh quá trọng Hai loại gộp phổ biển lả:

« ˆ Gập cực dai (Max Pooling): Git Iai giá trị lớn nhất từ mỗi vùng của ban

đồ đặc trưng sau mỗi lần di chuyển của cửa số gộp Max Pooling giữ lại các đặc trưng nổi bật nhất

‘+ Gop trung bình (Average Pooling) Giữ lại giá trị trung bình từ mỗi vùng của bản đồ đặc trưng sau mỗi lần di chuyển của cửa số gộp Giữ lại thông, tin chi tiết hơn so với gộp cực đại, có thể làm giảm nhiễu trong dữ liệu

"Lớp kết nối day di (Fully connected layers)

Dữ liệu vào lớp này sẽ được làm phẳng thành một vectơ Mỗi phần tử ở vectø

du vào sẽ được kết nỗi với tắt cả các vectơ cả lớp kết nỗi đầy đủ này, Trong mô hình CNN, lớp

Hàm Siemoid có dạng hình chữ S, chuyển déi đầu vào là các số thực thành đầu

ra nằm trong phạm vỉ giữa 0 và 1 Điều này giúp nó phù hợp cho các bài toán phân loại,

nơi đầu ra cần được biểu diễn đưới dạng xác suất Khi đầu vào đã lớn (đương hoặc âm) (vanishing gradient vi im chim quá tình học của mạng thần kinh

“Công thức của hàm Sigmoid

trị của hầm Sigmoid Cụ thể, nếu Z(x) là giá tị đầu ra của hảm Siemoid tại điềm x, thi đạo hàm của hàm Sigmoid tại điểm x được tính bằng công thức sau:

Ham Tanh ¢6 dang cong hình Hyperbolic Tangent, tương tự như chữ S nhưng có 1] và có tâm đối xứng tại 0 Khi dữ liệu đầu vào có giá

trị trung bình gần 0, him Tanh sẽ hoạt động hiệu quả hơn vì nó có thể phân bổ đều các

giá trị đầu ra trong khoảng [:

giá trị đầu ra cho các tín hiệu đương và âm

Hàm Tanh có biểu diễn toán học như sau:

tanh) = TẾT: @

Hàm Tanh có nhiều ưu điểm tương tự như bảm Sigmoid, bao gồm dễ tính toán, khả năng đạo hầm tốt, và phù hợp cho các bài toán phân loại Tương tự như hàm, đến việc chậm quá trình học của mạng than kinh

~050

0-15 bo 35 00 35 50 78 x

Tình 2-10 Đồ thị của hàm Tanh

Ham Rectified Linear Unit (ReLU):

Ham Rectified Linear Unit (ReL.U) kimét hm kich hoa phi tuyén phổ biển trong

‘mang neural, Him nay duge định nghĩa bởi công thức sau:

+ Khix> 0, him ReLU trả về giá trị x

+ Khixe<0,him ReLU tr ve git 0,

10

Mình 2-11 Đồ thị cũa hàm ReLU 29

trở thành một trong những hàm hách hoạt nhanh nhất và đ tính toán Trong quả trình

ich hoạt khác như

trị đương, không gây ra vấn đạo hảm như các hàm

sigmoid hay tanh

Nếu giá trị đầu vào của một nơ-ron ludn nho hon 0, ReLU sé luôn trả về 0 cho

no-ron dé Nơ-ron này được gọi là "nơ-ron chết” (dad neuron) và không còn khả năng học

Hàm ReLU là một hàm kích hoạt hiệu quả và được sử dụng phố bi n trong mang

no-ron nhân tạo Ưu điểm chính của ReLU là đơn giản, hiệu quả tính toán, và khả năng,

giải quyết vẫn để biễn mắt đạo hàm, Tuy nhiên, ReLU cũng có một số nhược điểm như ReLU như

+ Lealy ReLU; Giới thiệu một độ đốc nhỏ cho phần âm của hàm ReLU để

tránh vấn đề "chết neuron”

® _ Parametric ReLU (PReLU): Cho phép học một độ dốc riêng cho phần âm

của hàm ReLU,

2.4.3 Các tham số của bộ lục

Bước trượt (Stride):

“Xác định số lượng pixel ma bo loc iter) di chuyén trong mỗi bước khi thục hiện phép toán tích chập

“Có bai loại bước trượt chính:

+ Bước trượt đơn (bước trượt = 1): Bộ lọc di chuyển một pixel trong mdi bước

«_ Bước trượt lớn (bước trượt > 1): Bộ lọc di chuyển nhiều hơn một pixel

trong mỗi bước Ví đụ, bước trượt bằng 2 có nghĩ là bộ lọc dĩ chuyển hai pixel trong mỗi bước

iệu ứng của bước trược