6 Ứng dụng
2.1Cấu tạo của một neuron thần kinh
2.1.2 Mơ hình học sâu lan truyền thuận
Hồi quy luận lý
Mơ hình hồi quy luận lý thuộc nhóm mơ hình máy học. Nhiệm vụ của mơ hình này là tạo ra mơ hình được tham số hóa có khả năng phân loại nhị phân với giá trị đầu ra từ 0 đến 1. Ta có thể định nghĩa mơ hình hồi quy luận lý có:
• Đầu vào: x∈Rn, với xk ∈R.
• Đầu ra: y′ ∈(0,1).
Từ giá trị y mơ hình sẽ tiến hành phân loại dựa trên ngưỡng. Để dự đoán giá trị
y, trước hết ta khởi tạo bộ trọng số ngẫu nhiên là θ ∈Rn và giá trị bias b. Giá trị tổ
hợp tuyến tính z được tính tốn dựa trên cơng thức (2.1).
z =θ.xT +b (2.1) Để đưa về miền (0, 1) ta có thể sử dụng hàm sigmoid theo cơng thức (2.2). Giá trị
y′ được xác định dựa trên z theo công thức (2.3).
σ(a) = 1
1 +e−a (2.2)
y′=σ(z) (2.3) Để đánh giá kết quả dự đoán y′ và thực tế y, ta sử dụng hàm độ lỗi binary cross-
entropy theo công thức (2.4).
L(y, y′) =−ylog(y′)−(1−y)log(1−y′). (2.4)
1
Kiến thức nền tảng 13
Thuật toán Gradient Descent
Nhiệm vụ của mơ hình là tìm bộ tham số θ sao cho độ lỗi tại công thức (2.4) nhỏ nhất, trong đó thuật tốn Gradient Descent là một trong những phương pháp để thực hiện q trình tối ưu này. Gradient Descent thuộc nhóm thuật tốn tối ưu nhiều bước. Tức xuất phát từ một điểm được coi là gần với nghiệm của bài toán, chúng ta sẽ tiến hành lặp nhiều lần để tiến về nghiệm của bài tốn, nơi có đạo hàm bằng 0.
Khái niệm đạo hàm tại một điểm được biểu diễn dưới dạng vector để chỉ hướng và độ biến thiên của giá trị hàm số tại điểm đó. Ví dụ Hình 2.2, những mũi tên đỏ chỉ đạo hàm tại mỗi điểm. Kích thước mũi tên càng dài chứng tỏ độ biến thiên càng lớn, còn chiều của mũi tên chỉ hướng biến thiên của hàm số tại điểm đó. Ta nhận thấy điểm nghiệm cần tìmx∗ ln ngược với chiều của đạo hàm. Quay về bài toán hồi quy luận lý, ý tưởng của thuật toán Gradient Descent là cập nhật bộ tham số mới ngược với hướng của đạo hàm hàm độ lỗi (2.4) theo bộ tham số trước đó bằng cơng thức (2.5).