M¿ng n¢-ron nhân t¿o là mát nhánh cÿa học máy (Machine learning) dựa trờn sự hiểu bi¿t vÁ ho¿t đỏng cÿa nóo ng°ồi. Mỏt ANN đ°ợc t¿o bởi nhiÁu nÂ- ron cùng vãi nhiÁu k¿t nái, đ°ợc tổ chāc thành các lãp. Các n¢-ron cÿa mát lãp sẽ k¿t nái vãi các n¢-ron cÿa mát hoặc mát sá lãp ti¿p theo [4].
ANN đầu tiên đ°ợc giãi thiáu vào giữa th¿ kỷ 20 gồm 2 lãp mang tên Perceptron để thực hián các phép toán đ¢n giản, sau đó đ°ợc mở ráng vãi thuật toán lan truyÁn ng°ợc (Back Propagation) đểtăng hiáu quả cÿa quá trình huấn luyỏn đỏi vói m¿ng nhiÁu lóp. Cỏc ANN chò thực sự bựng nổ vào năm 2011 vói
sự ra đồi cÿa Bỏ xử lý đồ họa (Graphic Processing Unit - GPU), cựng vói mỏt l°ợng lãn dữ liáu sẵn có phục vụ quá trình huấn luyán.
Học sõu là khỏi niỏm để chò cỏc ANN cú nhiÁu lóp. Ban đầu, khỏi niỏm Deep learning chò cỏc m¿ng ANN cú từ3 đ¿n 5 lóp, nh°ng hiỏn nay cỏc m¿ng ANN có thể nhiÁu h¢n 200 lãp.
Mặc dự cũn nhiÁu quan điểm khỏc nhau vÁ quỏ trỡnh học cÿa nóo ng°ồi, nh°ng đÁu tháng nhất chung rằng: não báđ°ợc tổ chāc bởi các lãp khác nhau.
Hỏ thỏng thỏ giỏc đ°ợc k¿t nỏi vói vựng vò nóo phụ trỏch xử lý trực quan, đõy là phần d°ãi phía sau trong não bá cÿa chúng ta.
M¿ng n¢-ron là sự k¿t hợp cÿa những lãp Perceptron hay còn gọi là Perceptron đa lóp. Và mòi mỏt m¿ng nÂ-ron th°ồng bao gồm 3 kiểu lóp: Lóp đầu vào (Input Layer), các lãp ¿n (Hidden Layer) và lãp đầu ra (Output Layer).
Hình 2.1. Mô hình m¿ng n¢-ron T¿i mòi lóp, sỏl°ợng nỳt m¿ng cú thể khỏc nhau tựy vào bài toỏn hoặc cách giải quy¿t bài toán.
Tr°ồng hợp mỏt nÂ-ron bất kỳở lóp thā i luụn liờn k¿t vói tất cả cỏc nÂ- ron ở lãp thā i+1 thì đ°ợc gọi là m¿ng n¢-ron k¿t nái đầy đÿ. Và đây cũng là
m¿ng n¢-ron c¢ bản nhất, nh°ng nó vÁn còn cho thấy hiáu quả trong nhiÁu bài toán. Đặc biát là sự thành công cÿa ki¿n trúc Transformers càng cho thấy tầm quan trọng cÿa m¿ng k¿t nái đầy đÿ. Bên c¿nh °u điểm nổi bật cÿa m¿ng k¿t nái đầy đÿ là tính toán nhanh, m¿ng này có h¿n ch¿ là sá l°ợng tham sá khá lãn nên có nguy c¢ dÁn đ¿n hián t°ợng overfitting trong quá trình huấn luyán.
Tuy nhiên hián t°ợng này có thể khắc phục đ°ợc bằng mát sá kỹ thuật xử lý phổ bi¿n nh° Dropout, hay BatchNormalization,…
Lớp đầu vào: Là lãp nhận các dữ liáu đầu vào và chuyển ti¿p chúng đ¿n các lãp ti¿p theo. Đầu vào mát n¢-ron là mát đ¿i l°ợng vô h°ãng; sá đầu vào cÿa n¢-ron cÿa lãp này bằng vãi sá chiÁu cÿa dữ liáu.
Các lớp ẩn: Bao gồm các n¢-ron nhân t¿o, đ°ợc k¿t nái vãi các lãp tr°ãc và sau, sál°ợng lãp ¿n tỷ lá thuận vãi đá phāc t¿p cÿa bài toán. VÁc¢ bản, bài toán càng phāc t¿p thì sá lãp ¿n càng nhiÁu, điÁu này sẽ giúp cho m¿ng học đ°ợc những đặc tr°ng phāc t¿p từ dữ liáu. Vãi công nghá ngày nay, chúng ta cú thể dò dàng huấn luyỏn mỏt m¿ng cú đ¿n hàng trăm lóp ¿n.
Lớp đầu ra: Là lãp nhận các giá trá từ lãp ¿n cuái cùng và trả vÁ k¿t quả đầu ra cÿa m¿ng. Cỏc nÂ-ron trong lóp này th°ồng cú đ°ợc kớch ho¿t khỏc vói các lãp ¿n để phù hợp vãi lo¿i bài toán cần giải quy¿t.
2.1.1. Khỏi niòm vÁ m¿ng nÂ-ron k¿t nòi đÅy đă
M¿ng n¢-ron k¿t nái đầy đÿ (fully connected neural network), còn đ°ợc gọi là m¿ng n¢-ron truyÁn thẳng (feedforward neural network), là mát lo¿i ki¿n trỳc m¿ng nÂ-ron c bản trong học sõu. Trong m¿ng nÂ-ron này, mòi nÂ-ron trong mát lãp đ°ợc k¿t nái vãi tất cả các n¢-ron trong lãp liÁn tr°ãc và lãp liÁn sau nó [6].
Hình 2.2. M¿ng n¢-ron k¿t nái đầy đÿ M¿ng n¢-ron k¿t nái đầy đÿ bao gồm ít nhất mát lãp đầu vào, mát hoặc nhiÁu lóp ¿n, và mỏt lóp đầu ra. Trong mòi lóp, mòi nÂ-ron đ°ợc k¿t nỏi vói tất cảcác n¢-ron trong lãp liÁn tr°ãc và lãp liÁn sau nó bằng các trọng sávà đá lỏch. Mòi nÂ-ron trong cỏc lóp ¿n và lóp đầu ra th°ồng đ°ợc ỏp dụng mỏt hàm kích ho¿t phi tuy¿n tính, nh° hàm sigmoid, tanh, hoặc ReLU, để t¿o ra đầu ra phi tuy¿n. Tính toán đầu ra cÿa m¿ng bằng cách truyÁn dữ liáu từ lãp đầu vào
qua các lãp ¿n cho đ¿n lãp đầu ra. Quá trình này không có chu kỳ phản hồi, ngh*a là không có k¿t nái ng°ợc từ lãp đầu ra đ¿n các lãp ¿n.
2.1.2. Hiòn t°ÿng overfitting, underfitting và cỏch khÁc phāc
Overfiting: Khi mô hình có đá chính xác cao vãi bá dữ liáu huấn luyán, nh°ng đá chính xác thấp vãi bá dữ liáu mãi (hay dữ liáu tổng thể) [6].
Hình 2.3. Hàm mục tiêu và overfitting Underfitting là hián t°ợng khi mô hình xây dựng ch°a có đá chính xác cao trong tập dữ liáu huấn luyán cũng nh° tổng quát hóa vãi tổng thể dữ liáu.
Khi hián t°ợng Underfitting xảy ra, mô hình đó sẽ không phải là tát vãi bất kì bá dữ liáu nào trong từng bài toán cụ thể.