Tài liệu Giới thiệu về Mạng Nơron docx

Giới thiệu Mạng Nơron Trình bày: Phạm Nguyên Khang Nội dung trình bày Sơ lược mạng nơ-ron Perceptron Mạng nơron nhiều tầng (MLP) Giải thuật lan truyền ngược (back propagation) Một số vấn đề mạng nơ-ron Hướng phát triển Thảo luận Nơ-ron sinh học Nơ-ron sinh học Sơ lược mạng nơ-ron Mạng nơ-ron họ q trình xử lý thơng tin dựa mơ hình nơ-ron thần kinh người Kết hợp số lượng lớn thành phần đơn giản (nơ-ron) cấu trúc phức tạp nhằm giải vấn đề cụ thể Giống người, mạng nơ-ron học ví dụ (mẫu) Lĩnh vực ứng dụng: Phát bệnh Dự báo thị trường chứng khoán Nghiên cứu khách hàng Kiểm tra độ tin cậy máy móc Quản lý rủi ro … Nơ-ron nhân tạo (artificial neuron) Mô nơ-ron sinh học Nhận tín hiệu từ nơ-ron khác (hay từ đầu vào) Nếu giá trị (tổng tín hiệu có nhân hệ số) nhận vượt ngưỡng đó, nơ-ron kích hoạt (nó gửi tín hiệu đến nơ-ron khác nữa) Perceptron Perceptron mơ hình đơn giản mạng nơ-ron (chỉ có tầng) Perceptron = nơ-ron nhân tạo Mơ hình tốn perceptron: ⎞ ⎛ d output = f ⎜ ∑ vi wi ⎟ ⎠ ⎝ i =1 f gọi hàm kích hoạt (activation action) hay hàm truyền là: Tuyến tính Ngưỡng (Heaviside step) Logistic sigmoid g ( x) = + e− x Gauss … Huấn luyện Perceptron (1) Xét trường hợp, perceptron xử dụng hàm kích hoạt ngưỡng Nếu cho w0 = -t, v0 = 1, ta viết lại: ⎧ ⎪+ 1, ⎪ output = ⎨ ⎪− 1, ⎪ ⎩ ⎧ ⎪+ 1, ⎪ output = ⎨ ⎪− 1, ⎪ ⎩ d ∑v w d ∑v w >t ∑v w ≤t i =1 d i =1 i i i i >0 ⎛ d ⎞ i =0 = sign⎜ ∑ vi wi ⎟ d ⎝ i =0 ⎠ ∑ vi wi ≤ i i i =0 Huấn luyện Perceptron (2) Khởi tạo: Khởi tạo w (0 ngẫu nhiên) Chọn tốc độ học µ Học: Với mẫu (x, t) tập học Tính y = f(x,w) Nếu (y != t) thay đổi vectơ trọng số w w(mới) = w(cũ) + µ(t-y)x Lặp lại q trình « học » « điều kiện dừng » thỏa mãn Điều kiện dừng Quá trình học, thực chất trình tìm trọng số w cho lỗi xảy nhỏ phương pháp giải toán tối ưu Điều kiện dừng q trình học tiêu chí, hay kết hợp tiêu chí: Lỗi nhỏ đến mức chấp nhận Sau số bước lặp đủ lớn … 10 Mạng nơ-ron nhiều tầng (MLP) 13 Mạng nơ-ron nhiều tầng (MLP) input, output tầng ẩn (hiden layers) Số lượng nơ-ron tầng input = số chiều Số lượng nơ-ron tầng output thường = số lớp Thông thường mạng nơ-ron dùng tầng ẩn Số lượng nơ-ron tầng ẩn thường chọn = ½ (số nơ-ron tầng input + số nơ-ron tầng output) Chú ý: nơ-ron tầng input thực khơng phải nơ-ron Nó chỗ để đưa liệu mẫu vào 14 Huấn luyện MLP Là trình thay đổi giá trị w để mạng biểu diễn tập liệu học Sự khác giá trị thật mẫu kết dự đoán mạng gọi lỗi (học có giám sát) Hàm lỗi thường dùng sum squared error Hàm lỗi hàm (n+1) biến Nếu vẽ không gian n+1 chiều ta có mặt lỗi (error surface) Q trình huấn luyện tìm wi* để lỗi nhỏ Trong trường hợp tuyến tính, vói hàm lỗi sum squared error mặt lỗi có dạng parapola tìm w* để lỗi = tương đối dễ dàng Trong trường hợp tổng quát, hàm lỗi phức tạp (ví dụ: hàm lồi) vấn đề cực tiểu cục (local minimum) giải pháp ??? 15 Một số giải thuật huấn luyện MLP Back propagation (khá tiếng, dễ hiểu) Conjugate gradient descent & LevenberMarquardt (Bishop 1995, Shepherd 1997) Quick propagation (Fahlman, 1988) Delta-Bar-Delta(Jacob 1988) 16 Giải thuật lan truyền ngược Xét mạng nơ-rơn tầng: input, hiden, output Hàm kích hoạt nơ-ron: logistic sigmoid Giải thuật lan truyền ngược gồm giai đoạn: Lan truyền tiến (tính output nơ-ron) Lan truyền ngược (thay đổi trọng số cung, dùng thông tin gradient hàm lỗi) 17 Gradient hàm lỗi (1) Nơ-ron tầng output y1 y2 Hàm lỗi: E ( z ) = (z − t ) b1 b2 z = g (v ) bk k b0 yk Đạo hàm riêng hàm lỗi theo trọng số b: ∂E ∂E ∂z ∂v = ∂b ∂z ∂v ∂b v = b0 + ∑ yi bi i =1 g ( x) = −x 1+ e Giá trị thật mẫu huấn luyện 18 Gradient hàm lỗi (2) Ta có: ∂E = (z − t) ∂z ∂z ∂g = = z (1 − z ) ∂v ∂v ∂v ⎧ 1, i = =⎨ ∂bi ⎩ yi , i > Đặt: ∂E ∂z p= = ( z − t ) z (1 − z ) ∂z ∂v Ta được: ∂E ⎧ p i = =⎨ ∂bi ⎩ pyi i > 19 Gradient hàm lỗi (3) Nơ-ron tầng ẩn x1 x2 a1 a2 ad a0 xd Đạo hàm riêng hàm lỗi theo trọng số a: ∂E ∂E ∂y ∂u = ∂a ∂y ∂u ∂a y = g (u ) d u = a0 + ∑ xi i =1 20 Gradient hàm lỗi (2) Ta có: ∂E K ∂E ∂zi ∂vi =∑ ∂y i =1 ∂zi ∂vi ∂y ∂E ∂zi = ( zi − ti ) zi (1 − zi ) = pi ∂zi ∂vi ∂vi = bi ∂y ∂y = y (1 − y ) ∂u ∂u ⎧ 1, j = =⎨ ∂a j ⎩ x j , j > Đặt: ∂E ∂y ⎛ K ⎞ = ⎜ ∑ pi bi ⎟ y (1 − y ) q= ∂y ∂u ⎝ i =1 ⎠ Ta được: ∂E ⎧ q i = =⎨ ∂ai ⎩qxi i > 21 Điều chỉnh trọng số Sau tính đạo hàm riêng hàm lỗi theo trọng số Trọng số điều chỉnh cách trừ bớt lượng tích đạo hàm riêng tốc độ học: ∂E wi = wi − µ ∂wi 22 Một số vấn đề với mạng nơ-ron Vấn đề kiến trúc mạng: nơ-ron nên nối với nơ-ron ? Trọng số cung nối ngưỡng thay đổi thường xuyên Đã có nhiều nghiên cứu vấn đề có số kết quả: Nếu mạng gây lỗi, xác định xác nơ-ron gây lỗi điều chỉnh nơ-ron Với cách tiếp cận này, mạng phải « biết » gây lỗi Trong thực tế, lỗi biết sau thời gian dài Chức nơ-ron khơng q đơn giản mơ hình Mạng no-ron hoạt động hộp đen 23 Một số hướng dẫn sử dụng mạng nơ-ron Xây dựng mạng khởi tạo (dùng tầng ẩn có số nơ-ron = ½ tổng số nơ-ron tầng input & output) Huấn luyện mạng dùng giải thuật huấn luyện Nên thực nhiều mạng khác để tránh trường hợp cực tiểu cục Nếu máy « khơng thuộc » (under-learning) thêm vài nơ-ron cho tầng ẩn Ngược lại máy « học vẹt » (over-learning) bớt vài nơ-ron khỏi tầng ẩn Khi tìm kiến trúc mạng tương đối « tốt » Lấy mẫu lại tập liệu huấn luyện lại để tìm mạng 24 Hướng phát triển Tích hợp logic mờ vào mạng nơ-ron Mạng nơ-ron xung (pulse neural networks): nơ-ron giao tiếp với thông qua xung Sử dụng phần cứng cho mạng 25 ... nơ-ron khỏi tầng ẩn Khi tìm kiến trúc mạng tương đối « tốt » Lấy mẫu lại tập liệu huấn luyện lại để tìm mạng 24 Hướng phát triển Tích hợp logic mờ vào mạng nơ-ron Mạng nơ-ron xung (pulse neural networks):... lớp phi tuyến Ví dụ: toán XOR Giải pháp: Sử dụng mạng nơ-ron nhiều tầng MLP 11 Mạng nơ-ron nhiều tầng (MLP) 12 Mạng nơ-ron nhiều tầng (MLP) 13 Mạng nơ-ron nhiều tầng (MLP) input, output tầng ẩn... này, mạng phải « biết » gây lỗi Trong thực tế, lỗi biết sau thời gian dài Chức nơ-ron không đơn giản mơ hình Mạng no-ron hoạt động hộp đen 23 Một số hướng dẫn sử dụng mạng nơ-ron Xây dựng mạng