Bài giảng mạng neuron nhân tạo neural net

GIỚI THIỆU MẠNG NEURON NHÂN TẠO Tơ Hồi Việt Khoa Công nghệ Thông tin Đại học Khoa học Tự nhiên TPHCM thviet@fit.hcmuns.edu.vn Trang Nội dung • Giới thiệu mạng neuron sinh học • Mạng neuron nhân tạo • Perceptron • Thuật tốn học perceptron ví dụ • Mạng neuron nhiều lớp • Thuật tốn lan truyền ngược ví dụ Trang Neuron Sinh học • Não người gồm: – 1010 tế bào thần kinh – neuron, 6x1014 khớp thần kinh synapse – Mỗi tế bào có cấu trúc đơn giản – Một neuron bao gồm: thân – soma, nhiều sợi thần kinh – dendrite sợi trục – axon Trang Neuron Sinh học • Cơ chế học neuron thần kinh – Tín hiệu lan truyền neuron – Một neuron nhận tín hiệu kích thích từ khớp nối phát tín hiệu qua soma đến neuron khác – Mối liên hệ neuron (bộ nhớ dài hạn) quy định chức mạng neuron hình thành từ từ qua trình học Trang Mạng Neuron Nhân tạo • Mạng neuron nhân tạo (Artificial Neural Netwok – ANN): tập hợp xử lý đơn giản – neuron – nối với • Cấu trúc phương thức hoạt động ANN mô tương tự mạng neuron sinh học Trang Mạng Neuron Nhân tạo Mạng neuron sinh học Mạng neuron nhân tạo Soma Neuron Denrite Input Axon Output Synapse Weight (trọng số) • Các neuron liên kết với trọng số tương ứng Các trọng số ứng với nhớ dài hạn ANN • ANN “học” cách điều chỉnh từ từ trọng số qua q trình tương tác với mơi trường (huấn luyện) Trang Mạng Neuron Nhân tạo • Một số mạng nơron tiêu biểu – Mạng neuron nhiều lớp (Multilayer Perceptron): ứng dụng rộng rãi toán phân lớp (nhận dạng), hồi quy (dự đoán)… – Mạng Hopfield: loại nhớ nội dung đánh địa (content-addressable memory), dùng để lưu trữ liệu – Ánh xạ tự tổ chức (Self Organising Maps) – Mạng Kohonen: dùng học bán giám sát, dùng để gom nhóm liệu Trang Neuron – Thành phần tính tốn đơn giản n X = ∑ xi wi i =1 + if X ≥ t Y = − if X < t t: ngưỡng hoạt hố Y gọi hàm kích hoạt hay hàm truyền  n  Y = sign ∑ xi wi − t   i =1  Trang Neuron – Hàm truyền • Bốn hàm truyền có ứng dụng thực tế: • Hàm sign step gọi hàm giới hạn cứng Trang Perceptron • Là mạng neuron nhân tạo đơn giản gồm neuron với trọng số điều chỉnh giới hạn cứng • Perceptron phân loại input thành hai lớp A1 A2 bị chia cách siêu phẳng cho hàm phân biệt tuyến tính Trang 10 Perceptron • Một perceptron học cách điều chỉnh siêu phẳng phân biệt theo sai số e(p) = Yd(p) – Y(p) với Yd/Y(p) kết xuất thực/mong muốn bước p • Nếu e(p) >  tăng Y(p), ngược lại giảm Y(p) • Nếu xi(p) > 0, tăng wi(p) làm tăng Y(p) Ngược lại xi(p) < 0, tăng wi(p) làm giảm Y(p) • Do đó, luật học perceptron viết với α tốc độ học Trang 11 Perceptron – Thuật toán Học • Khởi tạo: (w1, w2,…, wn, t) ∈ [-0.5, 0.5] • Kích hoạt: tính kết xuất thực lần lặp p = • Cập nhật trọng số: (luật học delta) • Lặp: tăng p lên lặp lại bước Trang 12 Perceptron – Ví dụ • Học hàm AND x1 x2 0 1 1 x1 ∩ x2 0 x1 ∪ x2 1 x1 ⊕ x2 1 • Khởi tạo trọng số: w1 = 0.3, w2 = -0.1, θ = 0.2, tốc độ học α = 0.1 • Lặp: Thế hệ Input Kết xuất mong muốn Trọng số ban đầu Kết xuất thực Sai số Trọng số cuối x1 x2 Yd w1 w2 Y e w1 w2 0 0.3 -0.1 0 0.3 -0.1 0.3 -0.1 0 0.3 -0.1 0 0.3 -0.1 -1 0.2 -0.1 Trang 13 Perceptron – Ví dụ (tt) Thế hệ Inputs x1 x2 Kết xuất mong muốn Yd Trọng số ban đầu w1 w2 Kết xuất thực Sai số Trọng số cuối Y e w1 w2 Tải FULL (30 trang): https://bit.ly/3tR7IiN Dự phòng: fb.com/TaiHo123doc.net 0 0.3 0.0 0 0.3 0.0 0.3 0.0 0 0.3 0.0 0 0.3 0.0 -1 0.2 0.0 1 0.2 0.0 0 0.2 0.0 0 0.2 0.0 0 0.2 0.0 0.2 0.0 0 0.2 0.0 0 0.2 0.0 -1 0.1 0.0 1 0.1 0.0 0.2 0.1 Trang 14 Perceptron – Ví dụ (tt) Thế hệ Inputs Kết xuất mong muốn Trọng số ban đầu Kết xuất thực Sai số Trọng số cuối x1 x2 Yd w1 w2 Y e w1 w2 0 0.2 0.1 0 0.2 0.1 0.2 0.1 0 0.2 0.1 0 0.2 0.1 -1 0.1 0.1 1 0.1 0.1 0.1 0.1 0 0.1 0.1 0 0.1 0.1 0.1 0.1 0 0.1 0.1 0 0.1 0.1 0 0.1 0.1 1 0.1 0.1 0.1 0.1 3126305 Trang 15 ... học Trang Mạng Neuron Nhân tạo • Mạng neuron nhân tạo (Artificial Neural Netwok – ANN): tập hợp xử lý đơn giản – neuron – nối với • Cấu trúc phương thức hoạt động ANN mô tương tự mạng neuron sinh... tự mạng neuron sinh học Trang Mạng Neuron Nhân tạo Mạng neuron sinh học Mạng neuron nhân tạo Soma Neuron Denrite Input Axon Output Synapse Weight (trọng số) • Các neuron liên kết với trọng số... dung • Giới thiệu mạng neuron sinh học • Mạng neuron nhân tạo • Perceptron • Thuật tốn học perceptron ví dụ • Mạng neuron nhiều lớp • Thuật tốn lan truyền ngược ví dụ Trang Neuron Sinh học •