1.2 Mạng nơ-ron
1.2.4 Thuật toán Tối ưu suy giảm độ dố c Gradient Descent
(GD)
SGD là một phương pháp tối ưu đơn giản để phục vụ cho việc xử lý với dữ liệu chia thành từng nhóm nhỏ (mini-batch). Ý tưởng của phương pháp này khá đơn giản, đó là tại mỗi vòng lặp, ta chọn ngẫu nhiên một số dữ liệu và thực hiện một chỉnh sửa nhỏ trên mô hình theo hướng của gradient. Do các thay đổi nhỏ thực thiện trên từng điểm dữ liệu nên có thể áp dụng phương thức này để huấn luyện tham số với các bộ dữ liệu được sử dụng lần lượt.
liệu vào(x(i),y(i))là: ∂li ∂ θk = T ∑ t=1
fk(y(i)t ,yt(i)−1,x(i)t )−
T
∑
t=1∑
y,y0
fk(y,y0,x(i))p(y,y0|x(i))− θk
Nσ2
(1.2.18) Công thức này khá giống với công thức đạo hàm chỉ khác ở hai điểm. Thứ nhất , không thực hiện lấy tổng trên tập dữ liệu. Thứ hai, hệ số của hàm chi phí được giảm điN lần để đảm bảo rằng gradient của tất cả các điểm dữ liệu bằng với tổng gradient trên từng điểm dữ liệu, tức là ∇l =∑Ni=1∇li. Tại mỗi vòng lặp, chúng ta sẽ chọn ngẫu nhiên (x(i),y(i)) và tính toán lại giá trị θ(m)
như sau:
θ(m)=θ(m−1)+αm∇li(θ(m−1)) (1.2.19) Thực hiện trên toàn bộ dữ liệu, ta sẽ có được mô hình phù hợp.
1.3 Cơ sở lý thuyết - Mạng nơ-ron tích chập -
Convolutional Neural Network
Mạng nơ-ron tích chập(CNN) được giới thiêu chính thức lần đầu tiên vào những nằm 1990 bởi Yan LeCun và đồng nghiệp trong [40]. Bài báo chứng minh rằng mạng CNN có khả năng tổng hợp các đặc trưng phức tạp từ những đặc trưng thô trong ảnh, qua đó thể hiện tốt hơn trong bài toán nhận diện chữ số viết tay. Sau đó vào năm 2012, Alex Krizhevsky xây dựng mô hình CNN(AlexNet) và sử dụng GPU để tăng tốc quá trình huấn luyện mạng học sâu, từ đó tạo ra làn sóng mạnh mẽ sử dụng CNN với sự hỗ trợ của GPU để tăng tốc giải quyết các bài toán. Tại thời điểm hiện tại, có rất nhiều mô hình mạng nơ-ron tích chập được ra đời, đã và đang đạt kết quả cao trong nhiều bài toán.
Mạng nơ-ron tích châp (CNN) sử dụng 3 ý tưởng cơ bản:
• Trường tiếp nhận cục bộ - Local Receptive Field (LRF)
• Chia sẻ trọng số - Share Weights
• Tổng hợp - Pooling
Hình 1.9: Mô hình mạng CNN - Nguồn: [85].