TRUYEN QUA 4.1. Giới thiệu về mô hình mạng nơ-ron nhan tao
Năm 1943, Warren S. McCulloch là một nhà thần kinh học và nhà toán học
Walter Pittd, họ đã cùng nhau xuất ban một bai báo được xem là đóng vai trò quan trọng trong việc khởi đầu lĩnh vực nghiên cứu về mạng nơ-ron nhân tạo [22]. Trong những năm 1950 và 1960, có nhiều nghiên cứu tích cực về mạng nơ-ron nhân tạo được thực hiện như Frank Rosenblatt tiếp tục phát trién các mạng nơ-ron đơn giản vào năm 1958 [23]. Dặc biệt vào đầu những năm 1980, sự phát triển mạnh của máy tính cá nhân cùng với sự gia tăng vượt bậc về khả năng lưu trữ dữ liệu ngày càng cao đã mở ra một chương mới đây tiềm năng cho lĩnh vực công nghệ số. Chính sự phát
trién của công nghệ số đã thúc đây Sự cải tiền của các mô hình mạng nơ-ron nhân tạo (ANN) và được ứng dụng nhiều trong đời sông và các lĩnh vực khác.
Mạng nơ-ron nhân tao (Artificial Neural Netwwork) là một mô hình máy tính
lấy cảm hứng từ cầu trúc nơ-ron thần kinh của sinh vật hay quá trình hoạt động của
bộ não con người [22]. Kha năng học là đặc trưng của mạng nơ-ron nhân tạo. Sau quá
trình học. mạng nơ-ron nhân tạo có thê dự đoán kết quả đầu ra tương ứng với bộ số liệu đầu vào mới. Về mặt cấu trúc, mạng nơ-ron nhân tạo bao ôm nhiều phan tử Xử
lý đơn giản hoạt động song song với nhau, cho phép giải quyết các bài toán phức tạp.
Sự kết hợp mạng nơ-ron nhân tạo với các kĩ thuật học sâu (Deep Learning), ANN dang trở thành một công cụ mạnh mẻ và hiệu quả cho nhiều bài toán đa biến. Nhờ
những ưu điểm này. mô hình mạng nơ-ron nhân tạo (ANN) được áp dụng rộng rãi trong nhiều bài toán thuộc nhiều lĩnh vực nghiên cứu gan đây.
4.1.1. Cấu trúc và nguyên lý hoạt động của mạng nơ-ron
Bởi vì xuất phát từ ý tưởng mô phỏng bộ não của con người nên mạng nơ-ron
nhan tạo (ANN) là một m6 hình toán học bao gồm nhiều nơ-ron kết nối với nhau thông quá các trọng số. Một nơ-ron có rất nhiều sợi nhánh dé tiếp nhận nhiều dữ liệu cùng lúc, tùy thuộc vào từng bài toán mà các tính hiệu có thẻ trao đôi qua lại giữa các
nơ-ron [24].
27
Một loại cơ bản của mạng nơ-ron nhân tạo là mạng nơ-ron truyền thăng một
lớp (perceptron). Gọi là mạng nơ-ron truyền thăng một lớp vì nó chỉ có lớp nơ-ron đầu vào và một lớp nơ-ron đầu ra, mà thực chất lớp nơ-ron đầu vào không có vai trò xư lý dữ. Dữ liệu đầu vào được điều chỉnh bằng cách thay đôi các trọng số đề dự đoán dit liệu dau ra. Một perceptron không thẻ giải quyết được các van đề phi tuyến. Nghĩa là nêu mối quan hệ giữa dữ liệu đầu vao và dau ra không phải là một hàm tuyến tính.
Chính vì vậy dé khởi tạo một mạng nơ-ron nhân tạo preceptron cần phải sử dụng một hàm kích hoạt. Ham nảy được áp dụng cho đầu ra của mỗi nơ-ron dé tạo ra tính phi tuyến can thiết dé mang nơ-ron nhân tao precepton có thé hoc được các mô hình phức
tạp.
Mô hình toán học của ANN lan truyền thăng được trình bảy như sau: [25]
y(x) = r(y Wjx; + ) (4.1)
Trong đó:
e yx) là giá trị dau ra theo biến x
© f là hàm kích hoạt hay ham truyền
e w; là trọng số liên kết của các no-ron x;
e x, là các giá trị đầu vào
©- LiL, wx; + b là tông trọng số của tất cả các lớp đầu vào được đưa vào mỗi nơ-
ron
Mô hình mạng nơ-ron nhiều lớp truyền thang MLP là sự mở rộng của mô hình mang perceptron. các nơ-ron được sắp xếp theo kiểu lớp, trong đó các lớp đầu vào và đầu ra được ngăn cách bởi một nhóm các lớp ân với các phan tử tính toán phi tuyến (còn được gọi là nơ-ron và các đơn vị xử lý). Hình 4.1 là cấu trúc của tổng quát của mạng MLP gồm:
¢ Lop đâu vào (Input Layer) là lớp nhận dữ liệu dau vào các sô liệu cân thiệt và
truyền chúng đến các nút trong lớp tiếp theo của mạng.
28
© Lớp an (Hidden Layer) nó là các lớp giữa giúp kết nỗi giá trị lớp đầu vào và lớp đầu ra của mạng, trong đó xử lý và trích xuất đặc trưng của đữ liệu thông qua các hoạt động tính toán của các nơ-ron. Một mạng nơ-ron có thé có một
hoặc nhiều lớp an,
¢ Lớp đầu ra (Output Layer) đưa ra dự đoán hoặc kết quả của mạng dựa trên kết quả tính toán của các lớp an và đầu vào.
Mạng nơ-ron nhiều lớp truyền thăng MLP có cơ chế hoạt động như sau: tại lớp
đầu vào, các nơ-ron nhận dit liệu vào xử lý (tính các trọng số, gửi đến hàm kích hoạt) rồi cho ra kết quả theo hàm kích hoạt và sau đó truyền đến các nơron lớp ân đầu. Các nơron tại đây sẽ tiếp nhận như là dữ liệu đầu vào, xử lí và gửi kết quả đến lớp an tiếp theo. Quá trình này tiếp tục cho đến khi các nơron ở lớp dau ra cho kết quả [26].
Hidden Hidden
<1 —
Ƒ
SES Soe X KA
Như đã nói. khả nang “học” là đặc trưng của mạng nơ-ron nhân tạo. Vì vậy
điều quan trọng trong sử dụng mô hình ANN là huấn luyện mô hình. Ban đầu, mô hình mạng neuron không có kiến thức về vấn đề được đặt ra. Kiến thức của mô hình sẽ được hình thành thông qua các vòng huấn luyện. hay nói cách khác đây là quá trình
“học” của mô hình. Khi mà thông tin về bài toán được cung cấp và mô hình mạng nơ-
ron đưa ra phản ứng tương ứng. Các phản ứng này phù hợp với thông tin của bài toán
29
sẽ được lưu giữ và trở thành phần của kiến thức của mạng. Trong quá trình này, mô hình sẽ điều chỉnh các trọng số, nhưng cau trúc của mang sẽ được giữ nguyên. Sau
khi hoàn tat quá trình huấn luyện, mô hình ANN có kha năng giải quyết các van đề đã học một cách chính xác. Với các biến số ban đầu, mô hình ANN có thê tìm ra những điểm chung của dif liệu và giải quyết van dé bằng việc tích nhất thông tin đầu vảo vả đáp ứng đầu ra của mạng.
4.1.2. Hàm kích hoạt và cách lựa chọn
Hàm kích hoạt trong mạng nơ-ron là một phan quan trọng quyết định cách
mà thông tin sẽ được truyền từ lớp này sang lớp khác. Hàm kích hoạt là những hàm
phi tuyến được sử dụng vào đầu ra của các nơ-ron trong lớp ấn của một mô hình
mang và sử dụng làm input data cho lớp tiếp theo. Chọn hàm kích hoạt cho mang nơ-ron rất quan trong vì nếu thiếu các hàm kích hoạt, khả năng dự đoán của mạng sẽ bị giới hạn và giảm đi nhiều. Bằng cách kết hợp các hàm kích hoạt phù hợp sau mỗi nơ-ron. mô hình có thê học được các quan hệ phi tuyến tính phức tạp trong dữ liệu, lam tăng kha năng dự đoán chính xác của mạng nơ-ron. Một số hàm kích hoạt
được sử dụng trong bảng
Bảng 4.1. Một số hàm kích hoạt thường được sử dung
Logics, Sigmoid
Tanh
SoftSign
Softmax
ReLU
30
4.1.3. Các chỉ số và công thức đánh giá mạng nơ-ron nhân tạo
Đề đảm bảo hiệu suất làm việc của mô hình ANN thì số lượng nơ-ron được chọn không được quá nhiều hoặc quá ít. Nếu số nơ-ron quá ít thì mô hình thiếu khả
nang học và gặp hiện tượng Underfitting. Hiện tượng Underfitting xảy ra khi mô hình
không đủ mạnh dé học và mô tả các dữ liệu phức tạp làm giảm hiệu suất dự đoán của mô hình. Ngược lại, néu số nơ-ron quá nhiều sẽ dẫn đến hiện tượng Overfitting, tức là mô hình sẽ họ cả những chỉ tiết không cần thiết, khiến mô hình không thé khái quát dit liệu. Qua đó ta có thé thấy việc chọn số lượng nơ-ron phù hợp với mô hình là rat quan trọng. Nên hiệu suất của mô hình ANN được đánh giá bằng các chỉ số thống kê
phố biến theo các công thức sau:
Sai số toàn phương trung bình:
RMSE = (4.2)
Độ lệch tuyệt đôi trung bình:
1 1
MAE =—) |Œ, —T/)| (4.3)
i=1
Độ lệch phan trăm tuyệt đối trung bình: