Mạng neuron và ứng dụng trong xử lý tín hiệu. Giảng viên: Trần Thị Thanh Hải

Mạng neuron ứng dụng xử lý tín hiệu Giảng viên Trần Thị Thanh Hải International Research Institute MICA Multimedia, Information, Communication & Applications UMI 2954 Hanoi University of Science and Technology Dai Co Viet - Hanoi - Vietnam Bài 9: (Recurrent neural network) Mục tiêu  Các mạng neuron truyền thẳng    Đầu mạng phụ thuộc vào đầu vào mạng Hạn chế số trường hợp Mạng hồi quy   Đầu mạng phụ thuộc vào đầu vào mà phụ thuộc vào đầu trước Nhiều ứng dụng thực tế  Các hệ thống điều khiển  Tiếng nói  Chuỗi ký tự  Việc hiểu người (dựa tri thức có từ trước) Giới thiệu  Vanilla neural network Giới thiệu Image Captioning Giới thiệu Sentiment classification Giới thiệu Neural machine translation 10 Mạng neuron hồi quy  Một dạng đặc biệt mạng neuron hồi quy:  LSTM (Long Short Term Memory) 27 LSTM Là dạng đặc biệt RNN  LSTM: long short term memory [ Hochreiter & Schmidhuber (1997)]  Đây dạng thiết kế RNN để tránh vấn đề phụ thuộc lâu dài  28 Mơ hình LTSM 29 Ý tưởng LSTM Thành phần LSTM cell state, đường nằm ngang Ct-1 đến Ct dạng băng truyền  Nó thẳng từ đầu đến cuối mạng  LSTM có khả bỏ bớt thêm vào thông tin vào cell state thông qua cấu trúc cổng (gates)  30 Gates Cổng cách thơng tin qua  Nó gồm lớp mạng sigmoid tốn tử nhân  Sigmoid có đầu 1, thể thông tin đưa qua cổng  Một LSTM có cổng để bảo vệ điều khiển cell state  31 Gates      Bước định thông tin đưa đến cell state thông qua cổng Quyết định thực lớp sigmoid với hai đầu vào ht-1 xt cho đầu cho đầu vào Ct-1  0: khơng tính đến thơng tin trước Ct-1  1: có tính đến thơng tin trước Ct-1 Lấy ví dụ trường hợp mơ hình ngơn ngữ để dự báo từ dựa từ trước Trong trường hợp này, cell state phải chứa thông tin giới tính ( gender) chủ thể (subject) để đại từ sử dụng cách phù hợp Khi có subject (chủ thể mới), gender chủ thể cũ không cần phải ghi nhớ 32 Gates   Bước xác định loại thông tin lưu trữ cell state Có hai thành phần  A sigmoid layer (gọi input gate layer) định giá trị cần update  A layer tạo vector với giá trị đưa vào cell state Trong trường hợp mơ hình ngơn ngữ, gender chủ thể đưa vào để cập nhật cell state 33 Cập nhật Bước cập nhật cellstate cũ Ct-1 vào cell state Ct  Các bước trước định phải làm nên bước cần thực    Nhân trạng thái cũ với ft (để cần nhớ qn trạng thái cũ trước hay khơng) Bổ sung it*Ct~: scale it để thể lượng tin cần update 34 Cập nhật  Tiếp theo định nên đưa đầu ?  Đầu dựa trạng thái cell state giá trị lọc bỏ số thông tin (filtered version)  Ta chạy sigmoid layer để định phần tử tác động đến đầu  Sau đưa cellstate qua function 35 Các biến thể LSTM 36 Các biến thể LSTM 37 Mơ hình LSTM Có thể coi hidden state nhớ mạng St lưu thông tin xảy bước trước Tất nhiên St khơng thể lưu thơng tin nhiều trước  Khơng giống mạng neuron truyền thống, tham số layer khác khác nhau, RNN, tham số giống mà số lượng parameters mạng RNN giảm  38 Một số ứng dụng  Sẽ trình bày buổi sau 39 Tài liệu tham khảo         Giáo trình Mạng Neuron – PGS.TSKH Trần Hồi Linh http://colah.github.io/posts/2015-08-Understanding-LSTMs/ http://www.wildml.com/2015/09/recurrent-neural-networkstutorial-part-1-introduction-to-rnns/ http://www.deeplearningbook.org/contents/rnn.html http://introtodeeplearning.com/ http://introtodeeplearning.com/materials/2018_6S191_Lecture1 pdf Neural Machine Translation, Omid Kashefi, omid.Kashefi@pitt.edu https://deeplearning4j.org/neuralnet-overview 40 Sigmoid function 41