2.1.2.1. Giới thiệu mạng no ron tớch chập
Mạng no ron tớch chập (CNN - Convolutional Neural Network) [81,82,83,84] là một trong những mụ hỡnh học sõu phổ biến hiện nay giỳp chỳng ta xõy dựng duợc những ứng dụng thống thụng minh với dộ chớnh xỏc cao, dặc biệt là trong xử lý ảnh, xử lý tiếng núi, xử lý õm thanh,… Đõy là một trong những mạng no ron truyền thẳng dặc biệt, xử lý dữ liệu dạng luới. Mạng CNN là một mạng no ron don giản sử dụng phộp tớch chập trong cỏc phộp nhõn ma trận tại ớt nhất một trong cỏc lớp của nú. Trong CNN, cỏc lớp liờn kết với nhau thụng qua co chế tớch chập (convolution). Lớp tiếp theo là kết quả nhõn chập từ lớp truớc dú nờn ta cú duợc cỏc kết nối cục bộ. Mỗi lớp duợc ỏp dụng một bộ lọc khỏc nhau. Trong quỏ trỡnh huấn luyện, CNN sẽ tự dộng học cỏc tham số cho cỏc bộ lọc. Hỡnh 2.2 minh họa một kiến trỳc CNN trong bài toỏn phõn loại ảnh.
Hỡnh 2.2. Một kiến trỳc CNN cho bài toỏn phõn loại ảnh [84]
Kiến trỳc mạng CNN gồm cỏc lớp co bản sau:
Lớp tớch chập (Convolution): Đõy là lớp quan trọng nhất trong mạng thể hiện ý tuởng xõy dựng của mạng. Lớp này sử dụng một bộ lọc xếp chồng vào một vựng trong ma trận dữ liệu và thực hiện tớnh toỏn nhõn chập giữa bộ lọc và giỏ trị dữ liệu trong vựng mà nú xếp chồng. Bộ lọc sẽ lần luợt duợc dịch chuyển theo một giỏ trị buớc truợt
(stride) chạy dọc theo ma trận dữ liệu và quột dữ liệu. Cỏc trọng số ban dầu của bộ lọc duợc khởi tạo ngẫu nhiờn và duợc diều chỉnh trong quỏ trỡnh huấn luyện mụ hỡnh.
Lớp kớch hoạt phi tuyến (ReLU - Rectified Linear Unit): Lớp ReLU thuờngduợc thiết kế ngay sau lớp tớch chập. Lớp này thực hiện chuyển toàn bộ cỏc giỏ trị õm trong kết quả của lớp tớch chập thành giỏ trị 0, dể tạo tớnh phi tuyến cho mụ hỡnh.
Lớp lấy mẫu (Pooling): Thực hiện lấy mẫu dữ liệu, lớp này thuờng duợc thiết kế sau lớp tớch chập và lớp ReLU dể làm giảm kớch thuớc dữ liệu dầu ra mà vẫn giữ duợc cỏc thụng tin quan trọng của dữ liệu dầu vào. Lớp Pooling sử dụng một cửa sổ truợt quột qua toàn bộ ma trận dữ liệu, mỗi lần truợt theo một buớc truợt (stride) cho truớc. Khi cửa sổ truợt trờn dữ liệu, chỉ cú một giỏ trị duợc xem là giỏ trị dại diện cho thụng tin dữ liệu tại vựng dú (giỏ trị mẫu) duợc giữ lại. Cỏc phuong thức phổ biến trong lớp Pooling là Max Pooling (lấy giỏ trị lớn nhất), Min Pooling (lấy
h+1. Sau dú, ỏp dụng phộp toỏn Max Pooling [86] trờn bản dồ dặc trung và lấy giỏ trị lớn nhất ˆmax{c}
giỏ trị nhỏ nhất) và Average Pooling (lấy giỏ trị trung bỡnh). Hỡnh 2.3 minh họa việc tớnh toỏn với phuong thức Avarage Pooling và Max Pooling.
Hỡnh 2.3. Tớnh toỏn với phuong thức Average Pooling và Max Pooling [82] Lớp kết nối dầy dủ (FC - Fully Connected): Lớp này giống nhu lớp trong mạngno ron truyền thống, cỏc giỏ trị dữ liệu duợc liờn kết dầy dủ vào cỏc nỳt trong lớp tiếp theo. Sau khi dữ liệu duợc xử lý và trớch rỳt dặc trung từ cỏc lớp truớc dú thỡ kớch thuớc dữ liệu dó giảm rất nhiều nờn cú thể sử dụng mạng no ron truyền thống dể phõn loại dữ liệu. Lớp FC dúng vai trũ nhu mụ hỡnh phõn lớp.
2.1.2.2. Mạng CNN cho bài toỏn xử lý ngụn ngữ tự nhiờn
Mạng CNN sử dụng dể trớch chọn cỏc dặc trung của van bản cho cỏc nhiệm vụ trong xử lý ngụn ngữ tự nhiờn duợc mụ tả trong [85]. Mụ hỡnh CNN sử dụng nhiều bộ lọc (với cỏc kớch thuớc cửa sổ khỏc nhau) dể thu duợc nhiều dặc trung. Cỏc dặc trung này tạo thành lớp sỏt lớp trờn cựng (penultimate) và duợc chuyển dến lớp FC với hàm kớch hoạt softmax dể trả ra phõn phối xỏc suất của cỏc cõu.
Quỏ trỡnh trớch xuất một dặc trung từ một bộ lọc duợc mụ tả chi tiết nhu sau: Cho
xi∈
m là vộc to từ m chiều tuong ứng với từ thứ i trong cõu. Một cõu cú dộ dài n
(thờm khoảng trắng nếu cần) duợc biểu diễn là:
1 n 1 2 3... n
x → = ⊕ ⊕ ⊕x x x x (2.1)
trong dú: ⊕ là phộp ghộp nối. Một cỏch tổng quỏt, ký hiệu x
i→i +j
biểu diễn cỏch ghộp nối cỏc từ x x x i i , , ,...,++ 1 i 1 xi j+ . Phộp tớch chập với bộ lọc w∈hmduợc ỏp dụng
cho một cửa sổ cú h từ dể tạo ra một dặc trung mới. Đặc trung ci duợc tạo ra từ một cửa sổ cỏc từ
1
i i h
x→ + − duợc biểu diễn là:
1
(w. )
i i i h
c = f x → + − + (2.2) b
với b∈ là cỏc phần tử dộ lệch (bias) và f là hàm phi tuyến. Bộ lọc này duợc ỏp dụng cho tất cả cỏc cửa sổ từ cú thể cú trong cõu {x
1 → h , x2→h +1 ,..., xn- h+1 →n } dể tạo ra một bản dồ dặc trung (feature map)
1 2 3 1
[ , , ,..., n h ]
c c c c = c − + (2.3)
với c ∈
n-