3.1. Giới thiệu về mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo ra đời tr rất lâu nó được giới thiệu lan đầu tiên vào năm 1943
bởi nhà sinh lý học thần kinh Warren McCulloch và nhà toán học Walter Pitts [22]. Nam 1960, ANN có những thành công, điều đó đã đẫn đến niềm tin rộng rãi về ứng dụng nó vào những thiết bị máy móc hiện đại. Vào đầu những năm 1980, khi máy tính cá nhân phát triển
mạnh với những khả năng lưu trữ dir liệu cao, xử lý công việc nhanh chóng đã mở đường
cho lĩnh vực kỹ thuật số. Chính sự phát trién của kỹ thuật số đã thúc day các kỹ thuật ANN được cải tiền, ứng dụng nhiều trong các lĩnh vực của đời sống.
Mạng nơ-ron nhân tạo (Artificial Neural Network-ANN) là một mô hình lập trình lấy cảm hứng từ mạng nơ-ron thần kinh tương tự như mô hình thần kinh của sinh vật. Đặc
trưng của mạng nơ-ron nhân tạo là khả năng học. Sau khi đã học xong, mạng nơ-ron nhân
tạo có thê tính toán kết quả đầu ra tương ứng với bộ số liệu đầu vào mới. Không chỉ vậy về mặt cau trúc, mạng nơ-ron nhân tao là một hệ thong gồm nhiều phan tử xử lý đơn giản cùng hoạt động song song. Tinh năng nay của mạng nơ-ron nhân tao cho phép nó có thé được áp dụng dé giải các bài toán lớn. Kết hợp mạng nơ-ron nhân tạo với các kĩ thuật học sâu (Deep Learning), ANN đang trở thành một công cụ rất mạnh mẽ mang lại hiệu quả tốt nhất cho
nhiều bài toán nhiều biển. Chính vì những tính toi ưu trên nền ứng dụng mô hình ANN
trong việc mô hình mạng nơ-ron nhân tạo (ANN) được áp dụng rộng rãi trong nhiều bài toán thuộc nhiều lĩnh vực nghiên cứu gan đây.
3.1.1. Cấu trúc và nguyên lý hoạt động của mạng nơ-ron
Mạng nơ-ron nhân tạo là một mô hình toán học. gồm nhiều nơ-ron liên kết với nhau thông quá các trọng số. Một ANN thường tổ chức các nơ-ron thành từng lớp và mỗi lớp chịu trách nhiệm cho một công việc cụ thê. ANN thường có 3 lớp: lớp nhập hay lớp đầu
vào, lớp ân và lớp xuất. Số nơ-ron của lớp nhập và lớp xuất sẽ do bài toán quyết định, số
nơ-ron lớp ân và số lớp ân sẽ do người nhập quyết định. Tuy nhiên, việc chọn loại và số lượng của thông số đầu vào sẽ có ảnh hưởng đến chất lượng của mạng [24].
Trong mạng lớp đơn (perceptron), một tập hợp các đầu vào được đưa trực tiếp đến một đầu ra bằng cách thông qua các trong số kết nói dir liệu đầu vào được thay đôi dé dự đoán dit liệu đầu ra. Một perceptron như vậy không giải quyết được các van dé phi tuyến khi dữ liệu đầu ra không mô tả tuyến tính theo dữ liệu đầu vào. Chính vì vậy dé khởi tạo
16
một mạng nơ-ron nhân tạo preceptron cân phải sử dụng một hàm kích hoạt đẻ tác động sự tuyến tính khi đưa dữ liệu đầu vào dé xử lý. Hàm kích hoạt có công dụng dùng dé cung cấp tính phi tuyến can thiết dé một perceptron có thé học và hiểu các biéu dién phức tạp.
Hình 3.1. Mạng nơ-ron truyền thăng 1 lớp (Single-layer feedforward netword) [23].
Mô hình toán học của ANN truyền thăng được trình bảy như sau [25]:
y(x) = fC wx, +b) (3.1)
|
trong đó:
y(x): Giá trị đầu ra theo biến x.
ƒ: Hàm kích hoạt hay hàm truyền.
w,: Trọng số liên kết của các nơ-ron x,.
x,: Các giá trị đầu vào.
> WX; : Tong trọng số của tat cả các lớp nhập được đưa vào mỗi no-ron.
al
Trong số liên
Lớp nhập kử
x sj) Lớp xuất=
ì Zx tx)
= Nơ-ron (
* Max J =c.,
" J gor
my Hàm kích hoạt
Hình 3.2. Mô hình cơ chế hoạt động của ANN truyền thăng.
17
Mạng nơ-ron nhiều lớp là sự mở rộng của mô hình mạng perceptron, các nơ-ron
được sắp xếp theo kiểu lớp, trong đó các lớp đầu vào và đầu ra được ngăn cách bởi một nhóm các lớp ân với các phân tử tính toán phi tuyến (còn được gọi là nơ-ron và các đơn vị xử lý). Cấu trúc lớp này của mạng nơ-ron còn được gọi là mạng chuyền tiếp nhiều lớp- MLP (Multiple Layer Perceptron). Quy trình hoạt động của mạng MLP như sau: tại lớp đầu vào các nơ-ron nhận tín hiệu vào xử lý (tính tong trọng số, gửi tới hàm truyền), rồi cho ra kết quá (là kết quả của hàm kích hoạt): kết quả này sẽ được truyền tới các nơ-ron thuộc lớp
an thứ nhất; các nơ-ron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến
lớp ân thứ 2; ... : quá trình tiếp tục cho đến khi các nơ-ron thuộc lớp ra cho kết qua [27].
MLP được huấn luyện để giảm các sai số giữa các mục tiêu mong muốn và các giá trị tính toán từ mô hình huấn luyện.
poke Mang truyền thẳng
Hình 3.3. Mạng MLP tổng quát truyền thăng [26].
Trong quá trình xây dựng mạng nơ-ron nhân tạo, dataset là tập dữ liệu mà chúng ta làm việc cùng, chính là tập dữ liệu mà chúng ta ấp dụng các thuật toán, các mô hình máy
học dé thử nghiệm và đánh giá. Và thông thường. tập dữ liệu nảy có kích thước rất lớn,
phải chia nó ra làm các tập nhỏ hơn.
Training set là một tập dữ liệu có kích thước lớn, được ding đẻ huấn luyện. Đây chính là tập dữ liệu máy dùng dé học những đặc điểm quan trọng đề ghi nhớ lại. Tập training set
18
sẽ gồm 2 phan: Input: sẽ là những dữ liệu đầu vào, Output: sẽ là những kết quả tương ứng
với Lập input
Validation set: là một tập riêng với tập huấn luyện được lấy từ một phần đữ liệu không được đưa vào xây dựng mô hình ANN mà dùng dé đánh giá độ chính xác của mô hình máy học trong quá trình huấn luyện ANN.
3.1.2. Hàm kích hoạt và cách lựa chọn
Việc lựa chọn hàm kích hoạt là một phần quan trọng của thiết kế mạng nơ-ron. Hàm kích hoạt là những hàm phi tuyến được áp dụng vào đầu ra của các nơ-ron trong lớp ân của
một mô hình mạng, và được sử dụng làm input data cho lớp tiếp theo. Việc chọn hàm kích hoạt cho mạng nơ-ron nhân tạo là rất quan trọng vì nếu không có các hàm kích hoạt, khả năng dự đoán của mạng nơ-ron sẽ bị giới hạn và giảm đi rất nhiều, sự kết hợp của các hàm kích hoạt sau mỗi nơ-ron đề giúp mô hình học được các quan hệ phi tuyến phức tạp trong
đữ liệu.
Một số hàm kich hoạt được sử dụng trong cau trúc mạng nơ-ron nhiều lớp:
Logics, Sigmoid: ơđ(x)= (3.2)|
I+e `
Tanh: tanh(x) = - - . (3.3)
€ +¢€
SoftSign: (3.4): X
13 |x|
3.1.3. Các chỉ số và các công thức đánh giá mạng nơ-ron nhân tao
Một vẫn đề thiết yếu dé đảo tạo mô hình ANN là số lượng nơ-ron được chọn trong
lớp an. Việc sử đụng quá ít số lượng nơ-ron trong lớp an sẽ dẫn đến hiện tượng Underfitting.
Hiện tượng Underfitting xảy ra khi lượng dữ liệu quá ít hoặc mô tả các dữ liệu phức tạp
bằng các mô hình tuyến tính đơn giản như hỏi quy. Ngược lại, sẽ là sử dung nhiều nơ-ron hon mức cân thiết trong mô hình ANN sé dẫn đến hiện tượng Overfitting [28]. Hiện tượng Overfitting là hiện tượng mô hình dự đoán quá khớp với dữ liệu huấn luyện. Mô hình không thực sự mô tả tốt đữ liệu ngoài tập huấn luyện. Overfitting đặc biệt xáy ra khi lượng dit liệu huấn luyện quá nhỏ hoặc độ phức tạp của mô hình quá cao {24]. Rõ ràng. việc chọn một SỐ
19
lượng tế bào than kinh phù hợp trong lớp an là rất quan trong trong việc phát trién mô hình ANN. Chính vì thé mà hiệu suất của mô hình ANN được đánh giá bằng các thông số thong kê phô biến theo các công thức sau:
Sai số toàn phương trung bình (Root Mean Square Error):
(3.5)
Độ lệch tuyệt đỗi trung bình (Mean absolute bias error):
MABE =— \(x,—x,)l (3.6)lx
niet
Độ lệch phan trăm tuyệt đối trung bình (Mean absolute percentage error):
MAPE Tờ 100% (3.7)
Xx.
Hệ số xác định (Coefficient of Determination):
2 YG; ~ i; y
Rˆ=l--——— (3.8)
ISG -x}
fe |
trong đó:
x,: Giá trị bề day tham khảo thứ i.
x, : Giá trị bé day dự đoán thứ i.
Bốn chỉ số như trên được sử dụng trong khóa luận này đẻ tìm số lượng nơ-ron phù hợp trong lớp ân.
3.2. Xây dựng mô hình ANN
Dé huấn luyện được mô hình ANN dự đoán bề day trong khóa luận này mô hình dự đoán bé dày đa lớp được xây dựng theo cấu trúc một lớp đầu vào, một lớp an và một lớp đầu ra, cụ thẻ được trình bày ở bảng 3.1 và hình 3.4.
20
Bảng 3.1. Cấu trúc mạng nơ-ron nhân tạo dùng trong kỹ thuật gamma truyền qua.
Thông sô mạng no-ron Sô nơ-ron ở lớp dau vào
Số lớp ân
Số nơ-ron ở lớp đầu ra
a)
a a en a a
Input Output2 4
P 1 3 5 P
Input Port
Input: vector (size: 3)
Output Port
Output: vector (size: 2)
Hình 3.4. Biéu đồ biêu diễn mô hình ANN từ đầu vào đến đầu ra trong phan mém
Mathematica.
Dữ liệu đầu vào bao gồm tỷ số R của điện tích dưới đỉnh truyền qua ứng với các nguồn và giá trị đầu ra là bề dày của vật liệu. Tập dữ liệu bao gồm 77 diém (được gọi là dữ liệu học tập) được sử dụng dé đào tạo mô hình ANN, Mỗi điểm dit liệu là giá trị của tỷ số R tại
một bẻ dày nhất định. Dữ liệu học tập được chia thành hai phan: 85% trong số 77 điểm (tập
dit liệu đào tạo) để đảo tạo mô hình và 15% (tập dữ liệu xác nhận) dé xác thực mô hình. Xu hướng mắt mát của tập dữ liệu huấn luyện và xác nhận được thê hiện ở hình 3.5.
10 100000. 200000. 390000 400600
—— Xác thự
Ham mat mat
10“
10-/
Chu kì huấn luyện (vòng)
Hình 3.5. Xu hướng mất mát của tập dữ liệu đào tạo và xác nhận.
Công thức hàm mắt mát:
1< 2
= m- =, Pr)
NN ist (3.9)
+„ : Giá trị bề day tham khảo.
x„„: Giá trị bề day dự đoán.
Từ hình 3.5 ta thấy được hàm mat mát cỡ 10 đến 10% với chu kì huấn luyện từ trên
200000 (vòng) thì hai đường huấn luyện, xác thực gân như hội tụ cho thấy quá trình huấn
luyện có độ chính xác cao. Hàm mat mát có xu hướng giảm theo số vòng lặp, hàm mat mát càng nhỏ thì kết quả dự đoán càng chính xác càng gần với giá trị thực. Do đó, chúng tôi đã tiễn hành cho mô hình ANN chạy lần lượt số vòng từ 100000 đến 400000 (vòng) dé khảo sát. Kết quả cho thấy từ trên 200000 chu kì huấn luyện thi dit liệu dự đoán mà mô hình suat ra là tốt. Hàm kích hoạt dùng dé huấn luyện là hàm Softsign và độ lệch của ANN được tối
ưu hóa bằng cách sử dụng thuật toán ADAM [29].
SoftSign: (x) = x
1+|x| (3.10)
voix = Rw + b, w là trọng sô vecto, b là bias.
Nmtr
3.3. Phương pháp kết hợp mô phóng MCNP và xây dựng mô hình nơ-ron nhân tạo cho việc dự bé dày vật liệu đa lớp
Mô hình ANN dự đoán bé day trong khóa luận nảy dùng chương trình Mathematica dé huấn luyện. Dé xây dựng và tiền hành huấn luyện mô hình ANN gồm có các bước:
Mử phỏng MCNP
Xử lí phổ mô phỏng
Xây dựng mạng nơ-ron nhãn tạo ANN
Bước 1: Xây dựng mô hình mô phỏng MCNP với các nguồn, đầu dò Nal(TI) và vật liệu. Từ đó thu được phỏ mô phỏng ứng với từng loại vật liệu tương ứng.
Bước 2: Xử lý phô vừa thu được dé xác định diện tích đỉnh năng lượng toàn phan, tiếp đó tính tỷ số R và sai số theo biểu thức (2.1, 2.2).
Bước 3: Đưa dữ liệu vừa tính được từ mô phỏng MCNP vào lớp đầu vào của mô hình
ANN. Bộ dữ liệu được chia thành hai phần chính: phần thứ nhất là lây ngẫu nhiên dữ liệu ding dé huấn luyện (traning data sets), phan thứ hai là dữ liệu còn lại dùng đẻ xác thực mô
hình (validation data sets).
Bước 4: Đánh gia tính hiệu quả của mô hình mạng nơ-ron nhân tạo thông qua các chỉ
số thống kê. Nếu tat các chỉ số thông kê đều tốt, phù hợp thì tiến hành ứng dụng mô hình tối ưu dé dự đoán bẻ dày vật liệu hai lớp.