CHƢƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU
3.2. Ứng dụng mơ hình mạng học sâu trong bài tốn dự báo điểm tốt nghiệp
3.2.1. Lựa cho mơ hình mạng học sâu sử dụng cho bài tốn dự báo
BPTT và LSTM là hai mơ hình mạng RNN hồi quy và sử dụng thuật tốn lan truyền ngƣợc.
Lan truyền ngƣợc là một phƣơng pháp cho phép xác định tập trọng số tốt nhất của mạng để giải một bài tốn đã cho. Việc áp dụng phƣơng pháp lan truyền ngƣợc là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính: lan truyền tiến để thực hiện ánh xạ và lan truyền ngƣợc sai số để cập nhật các trọng số. Các trọng số của mạng là các hệ số của mơ hình.
BPTT là thuật tốn lan truyền ngƣợc điển hình cĩ sự khác biệt lớn so với các thuật tốn lan truyền ngƣợc truyền thống. Lan truyền ngƣợc liên hồi là tên gọi của BPTT. Tuy nhiên, trong thuật tốn BPTT khi càng quay lùi về các bƣớc thời gian trƣớc đĩ thì các giá trị đạo hảm càng giảm dần(đạo hàm biến mất). Điều này làm giảm tốc độ hội tụ của các trọng số do sự thay đổi rất nhỏ. Trong một số trƣờng hợp khác, các Đạo hàm cĩ giá trị rất lớn khiến cho quá trình cập nhật các trọng số bị phân kỳ và vấn đề này gọi là bùng nổ đạo hàm.
LSTM là dạng đặc biệt của RNN, nĩ cho phép giải quyết vấn đề mất mát đạo hàm và hiệu quả cho việc học các phụ thuộc xa. Bộ nhớ của LSTM đƣợc gọi là tế bào (Cell) và bạn cĩ thể tƣởng tƣợng rằng chúng là các hộp đen nhận đầu vào là trạng thái phía trƣớc và đầu vào hiện tại . Bên trong hộp đen này sẽ tự quyết định
52
cái gì cần phải nhớ và cái gì sẽ xố đi. Sau đĩ, chúng sẽ kết hợp với trạng thái phía trƣớc, nhớ hiện tại và đầu vào hiện tại. Vì vậy mà ta ta cĩ thể truy xuất đƣợc quan hệ của các từ phụ thuộc xa nhau rất hiệu quả. Mạng RNN truyền thống khơng thể ghi nhớ thơng tin ở các bƣớc cĩ khoảng cách khá xa trƣớc đĩ do vấn đề mất mát đạo hàm. Do đĩ những phần tử đầu tiên trong chuỗi đầu vào khơng cĩ nhiều ảnh hƣởng đến kết quả tính tốn dự đốn phần tử cho chuỗi đầu ra trong các bƣớc sau. Do vậy LSTM giúp khắc phục đƣợc nhƣợc điểm này.
Việc sử dụng hai mơ hình này để so sánh và thấy đƣợc ƣu điểm của mơ hình LSTM so với mơ hình lan truyền ngƣợc truyền thống của RNN điển hình là BPTT.
Cả 2 mơ hình của 2 mơn đều sử dụng 3 lớp ẩn. Khi nhiều lớp đƣợc thêm vào, vấn đề đạo hàm biến mất cĩ thể dẫn đến việc mất một thời gian dài khơng thể HUẤN LUYỆN một mạng lƣới thần kinh đến một mức độ chính xác tốt, vì sự cải thiện giữa mỗi chu kỳ HUẤN LUYỆN là rất ít.