Mạng nơ ron nhân tạo

Microsoft PowerPoint MangNoRon THUY extend 1 Mạng nơ ron nhân tạo Nội dung Giới thiệuGiới thiệu Mạng Perceptron Phương pháp học ”Gradient descent” Mạng nơ ron nhiều lớp ề ốGiải thuật học lan truyền ngược sai số Mạng nơ ron sinh học Thời gian chuyển tínThời gian chuyển tín hiệu qua thân > 10 3 giây Số lượng nơ ron trong não ~1011 Số lượng kết nối của 1 ợ g nơ ron ~104–105 Thời gian nhận dạng 0 1 secs Mạng nơ ron nhân tạo Mạng nơ ron nhân tạo (Artificial neural network – ANN) Mô hỏ hệ thố i h h (b.

Nội dung „ Mạng nơ ron nhân tạo „ „ „ „ Mạng nơ-ron nhân tạo Mạng nơ ron sinh học „ „ „ „ „ Thời gian chuyển tín hiệu qua thân : > 10-3 giây Số lượng nơ ron não: ~1011 Số lượng ợ g kết nối nơ ron : ~104–105 Thời gian nhận dạng : 0.1 secs Giới thiệu Mạng Perceptron Phương pháp học ”Gradient descent” Mạng nơ ron nhiều lớp Giải thuật học lan truyền ề ngược sai sốố Mạng nơ-ron nhân tạo (Artificial neural network – ANN) „ „ „ Mỗi nơ-ron „ „ „ Mô hỏ hệ thống thố nơ-ron sinh i h học h (bộ não ã người) ời) ANN cấu trúc (structure/network) tạo nên số lượng nơ-ron (artificial neurons) liên kết với Có đặc tính vào/ra Thực tính tốn cục (một hàm cục bộ) Giá trị đầu ầ nơ-ron xác định „ „ „ Đặc tính vào/ra Các liên kết với nơ-ron khác (Có thể) đầu vào bổ sung Khi sử dụng mạng nơron? Mạng nơ-ron nhân tạo „ „ „ ANN xem cấu trúc xử lý thông tin cách h phân hâ tán tá vàà song song mức ứ cao ANN có khả học (learn), nhớ lại (recall), khái quát hóa (generalize) từ liệu học –bằng cách gán điều chỉnh (thích nghi) giá trị trọng số (mức độ quan trọng) liên kết nơ-ron Chức (hàm mục tiêu) ANN xác định „ Kiến trúc (topology) mạng nơ-ron „ Đặc tính vào/ra nơ-ron „ Chiến lược học (huấn luyện) „ Dữ liệu học Cấu trúc hoạt động nơ-ron „ „ „ „ „ „ Các tín hiệu đầu vào (input signals) nơ-ron (xi, i=1 m) Mỗi tín hiệu đầu vào xi gắn với trọng số wi Trọng số điều chỉnh ( bias) w0 (với x0=1) Đầu vào tổng thể (Net input) hàm tích hợp tín hiệu đầu vào Net(w x) Net(w,x) Hàm tác động/truyền (Activation/transfer function) tính giá trị đầu nơ-ron – f(Net(w,x)) Giá trị đầu (Output) nơ-ron: Out=f(Net(w,x)) Mạng nơron thích hợp với tốn có đặc điểm sau: „ „ „ „ Các mẫu luyện thể nhiều cặp giá trị-thuộc tính (ví dụ, điểm ảnh) Các mẫu luyện có lỗi Chấp nhận thời gian huấn luyện dài Khơng cần hiểu giả thiết cuối NN coi hộp đen Cấu trúc hoạt động nơ-ron „ „ „ „ Đầu vào: Nhị phân, phân lưỡng cực, cực số thực Đầu ra: Nhị phân, lưỡng cực, số thực Thành phần tuyến tính: net =Tổng có trọng số tín hiệu vào Thành phần phi tuyến: Hàm kích hoạt „ „ „ Hàm step Hà dấu Hàm dấ Hàm sigmoid Mạng nơ ron nhân tạo Mạng nơ ron nhân tạo „ „ Cấu trúc mạng dạng đồ thị „ „ „ Nơ ron Mơ hình tổ chức kết nối Tham số mạng „ „ Phân loại mạng nơ ron theo cấu trúc mạng Giá trị trọng số Nơ ron vào, nơ ron ra, nơ ron ẩn Mạng nơ ron nhân tạo „ Phân loại mạng nơ ron theo thuật toán học/huấn luyện „ Thuật tốn học có giám sát/có mẫu học „ Thuật Th ật tốn t học h khơ khơng có ó giám iá sát/ át/ khơng có mẫu học „ Thuật toán học tăng cường Phát triển ứng dụng với mạng nơ ron nhân tạo „ Bước 1: Tạo lập p mạng g „ „ „ „ Thiết lập nơ ron: chọn hàm kích hoạt, xác định tín hiệu vào-ra Thiết lập cấu trúc mạng nơ ron Thiết lập trọng số liên kết Bước 2: Sử dụng mạng „ „ „ Tín hiệu vào X Tính tốn mạng Y = compute(X, NN) Diễn giải tín hiệu Y Thiết lập mạng nơ ron nhân tạo „ „ Do người D ười phát hát triển t iể ứ ứng ddụng Máy tự xác lập „ Xác lập cấu trúc: Thuật toán học cấu trúc „ Xác lập tham số: Thuật toán học tham số Khả học mạng nơ ron Học/Xấp xỉ hàm boolean „ Một hàm boolean mơ hình hố mạng với lớp ẩn „ Tuy nhiên số lượng nơ ron lớp ẩn lớn Học/Xấp xỉ hàm liên tục „ Bất kỳ hàm liên tục có giới hạn mơ hì h hố hình h bằ ộ mạng nơ ron lớ lớp ẩẩn với ới saii số ố nhỏ tuỳ ý [Cybenko 1989, Hornik 1989] „ Bất kỳ hàm liên tục mơ hình hố mạng nơ ron lớp ẩn với sai số nhỏ tuỳ ý [Cybenko 1988] Thuật tốn học có giám sát/có mẫu học „ „ Mẫu học = cặp (X Mẫ (X,Y) Y) X X, Y tương ứng tín hiệu vào, quan sát, đo đạc thực tế, thực nghiệm Thuật tốn học có giám sát xác định mạng nơ ron học thuộc tất mẫu, nghĩa xác định cấu trúc tham số mạng xuất phát từ mẫu Ứng dụng mạng nơ ron nhân tạo „ „ „ „ „ „ Nhận dạng ảnh, ảnh chữ Nhận dạng tiếng nói Dự báo Phân tích tài Phát hiệ gian i trá tá Phân loại liệu Ứng dụng Perceptron phân lớp Mạng Perceptron (một lớp) x2 + + + x2 + - - + - - + x1 x1 - o(x1, ,xn) = w0 + w1x1 + w2x2 +……+wnxn >0 -1 trường hợp ngược lại • Perceptron có khả biểu diễn hàm khả tách tuyến tính • Nhưng khơng có khả biểu diễn hàm XOR hay: r r r o( x ) = sgn( w x ) sgn(y) = y >0 -1 ngược lại 17 Ví dụ Luật học Perceptron „ „ Biểu diễn g(x1,x2) = AND(x1,x2) Khởi tạo vector có trọng số ngẫu nhiên Lặp lại hàm perceptron cho mẫu luyện đến hàm perceptron phân loại tất mẫu luyện: „ ⎯⎯ wi + Δwi Các trọng số sửa đổi bước : wi ← Δwi ← ⎯⎯ Δwi + η (t − o) xi đây, t tín hiệu mẫu học tương ứng o : giá trị tính tốn nơ ron/tín hiệu η :tốc độ học ( thường nhỏ khoảng 0.1) •Nếu t = o, trọng số khơng thay đổi • Nếu t≠ o, trọng số thay đổi theo xu hướng đưa o gần t • Giải thuật hội tụ • Dữ liệu học phân lớp tuyến tính •Hệ số học đủ nhỏ x1 W1 W2 x2 Σ W0 x0=1 rr o(x) = w.x > 0 ngược lại 19 {0; 1} x1 0 1 x2 1 g 0 w0 + 1.w1 + 1.w2 >0 w0 + 1.w1 + 0.w2 < w0 + 0.w1 + 1.w2 < w0 + 0.w1 + 0.w2 < Öw0 = -0.8; w1= 0.5; w2 = 0.5 20 Ví dụ r r Ví dụ r r w.x = ∑ wi * xi i =0 i =0 Δwi ← ⎯⎯ Δwi + η (t − o) xi wi ← ⎯⎯ wi + Δwi w.x = ∑ wi * xi Δwi ← ⎯⎯ Δwi + η (t − o) xi wi ← ⎯⎯ wi + Δwi Khởi tạo giá trị đầu: ầ Δw0 = 0, Δw1 = 0, Δw2 = w0 = -1.5, w1 = -0.5, w2 = 0.5, η = 0.1 Khởi tạo giá trị đầu: ầ Δw0 = 0, Δw1 = 0, Δw2 = w0 = -1.5, w1 = -0.5, w2 = 0.5, η = 0.1 Δw0 = Δw0 + η*(t-o)*x0 = + 0.1*(0-0)*1 = w0 = w0 + Δw0 = -1.5 + = -1.5, w1 = -0.5, w2 = 0.5 ∑ = x0.w0+x1.w1+x2.w2 = 1.w0+0.w1+0.w2 = w0 = -1.5 x0 x1 x2 t ∑ o Δw0 Δw1 Δw2 x0 x1 x2 t ∑ o Δw0 Δw1 0 -1.5 1.5 0 0 0 -1.5 1.5 0 0 1 -1 0 0 1 -1 0 0 1 0 -2 0 0 1 0 -2 0 0 1 1 -1.5 0.1 0.1 0.1 1 1 -1.5 0.1 0.1 0.1 21 Ví dụ r r 22 Ví dụ w.x = ∑ wi * xi i =0 rr w.x = ∑ wi * xi i =0 Δwi ← ⎯⎯ Δwi + η (t − o) xi wi ← ⎯⎯ wi + Δwi Δw2 wi ← ⎯⎯ wi + Δwi Khởi tạo giá trị đầu: ầ Δw0 = 0, Δw1 = 0, Δw2 = w0 = -1.5, w1 = -0.5, w2 = 0.5, η = 0.1 Δwi ← ⎯⎯ Δwi + η (t − o) xi Δw0 = 0.1, Δw1 = 0.1, Δw2 = 0.1 w0 = -1.4, w1 = -0.4, w2 = 0.6, η = 0.1 ∑ = x0.w0+x1.w1+x2.w2 = 1.w0+0.w1+0.w2 = w0 = -1.4 x0 x1 x2 t ∑ o Δw0 Δw1 0 -1.5 1.5 0 0 1 -1 0 0 x0 x1 x2 t ∑ o Δw0 Δw1 Δw2 1 0 -2 0 0 0 -1.4 0.1 0.1 0.1 1 1 -1.5 0.1 0.1 0.1 1 -0.6 0.1 0.1 0.1 1 0 1 1 Δw0 = Δw0 + η*(t-o)*x0 = + 0.1*(1-0)*1 = 0.1 w0 = w0 + Δw0 = -1.5 + 0.1 = -1.4, w1 = -0.4, w2 = 0.6 Δw2 23 24 Ví dụ Ví dụ rr w.x = ∑ wi * xi i =0 wi ← ⎯⎯ wi + Δwi rr w.x = ∑ wi * xi i =0 Δwi ← ⎯⎯ Δwi + η (t − o) xi wi ← ⎯⎯ wi + Δwi Δw0 = 0.1, Δw1 = 0.1, Δw2 = 0.1 w0 = -1.4, w1 = -0.4, w2 = 0.6, η = 0.1 Δwi ← ⎯⎯ Δwi + η (t − o) xi Δw0 = 0.1, Δw1 = 0.1, Δw2 = 0.1 w0 = -1.4, w1 = -0.4, w2 = 0.6, η = 0.1 Δw0 = Δw0 + η*(t-o)*x0 = 0.1 + 0.1*(0-0)*1 = 0.1 Δw0 = Δw0 + η*(t-o)*x0 = 0.1 + 0.1*(0-0)*1 = 0.1 w0 = w0 + Δw0 = -1.4 + 0.1 = -1.3, w1 = -0.3, w2 = 0.7 x0 x1 x2 t ∑ o Δw0 Δw1 Δw2 x0 x1 x2 t ∑ o Δw0 Δw1 Δw2 0 -1.4 0.1 0.1 0.1 0 -1.4 0.1 0.1 0.1 1 -0.6 0.1 0.1 0.1 1 -0.6 0.1 0.1 0.1 1 0 1 0 1 1 1 1 25 Ví dụ Ví dụ t=-1 t=1 o=-1 t=-1 t=1 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 26 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 o=-1 (x,t)=([-1,-1],1) o=sgn(0.25+0.1-0.5) =-1 Ví dụ Ví dụ t=-1 t=1 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 t=-1 t=1 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 o=-1 o=-1 (x,t)=([2,1],-1) o=sgn(0.45-0.6+0.3) =1 Δw=[0.2 –0.2 –0.2] Ví dụ Ví dụ t=-1 t=1 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 (x,t)=([2,1],-1) (x,t)=([-1,-1],1) (x,t)=([1,1],1) o=sgn(0.45-0.6+0.3) o=sgn(0.25+0.1-0.5) o=sgn(0.25-0.7+0.1) =1 (0 25 7+0 1) =-1 =-1 Δw=[0.2 –0.2 Δw=[-0.2 –0.4 –0.2] –0.2] o=-1 t=-1 t=1 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 o=-1 (x,t)=([1,1],1) o=sgn(0.25-0.7+0.1) (0 25 7+0 1) =-1 Δw=[0.2 0.2 0.2] Ví dụ Ví dụ t=-1 t=1 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 t=-1 t=1 o=1 w=[0.25 –0.1 0.5] x2 = 0.2 x1 – 0.5 o=-1 o=-1 Δw=[-0.2 –0.4 –0.2] Δw=[0.2 0.2 0.2] Gradient descent Luật học Gradient Descent „ „ Giả sử ộ nơ ron có đầu tuyến y tính liên tục „ „ „ o=w0 + w1 x1 + … + wn xn Nhiệm vụ học xác định tập trọng số để tối thiểu hàm lỗi E[w1,…,wn] = ½ Σd∈D (td-od D tập mẫu học „ „ )2 Gradient E (ký hiệu là‫׏‬E) vectơ „ Có hướng lên (dốc) „ Có độ dài tỷ lệ thuận th ậ với ới độ dốc dố Gradient ‫׏‬E xác định hướng gây việc tăng nhanh (steepest increase) giá trị lỗi E ⎛ ∂E ∂E ∂E ⎞ ⎟ ∇E ( w) = ⎜⎜ , , , ∂wN ⎟⎠ ⎝ ∂w1 ∂w2 N tổng số trọng số (các liên kết) mạng Vì vậy, hướng gây việc giảm nhanh (steepest decrease) giá trị phủ định gradient E Δ w = −η ∇ E ( w ); „ Δ wi = −η ∇ E ( wi ), ∀ i = N Yêu cầu: Các hàm tác động sử dụng mạng phải hàm liên tục trọng số có đạo hàm liên tục Luật học Gradient Descent D={,, } ,} (w1,w2) Gradient: ∇E[w]=[∂E/∂w0,… ∂E/∂wn] Δw=-η ∇E[w] (w1+Δw1,w2 +Δw2) Δwi=-η η ∂E/∂w / i =-η ∂/∂wi 1/2Σd(td-od)2 =-η ∂/∂wi 1/2Σd(td-Σi wi xi)2 =-η Σd(td- od)(-xi) Luật học Gradient Descent Gradient-Descent(tập mẫu, η) Mỗi mẫu d= với (x1,…,xn) véc tơ đầu vào t giá trị đích, η hệ số học „ Khởi tạo ngẫu nghiên wi „ Lặp gặp điều kiện dừng „ Khởi tạo Δwi „ Với mẫu d tập mẫu D „ Đưa (x ,…,x xn) vào mạng để tính tốn giá trị đầu o „ Với trọng số wi „ Δwi= -η ∂Ed/∂wi „ Với trọng số wi „ So sánh luật học Perceptron Gradient Descent Luật học Gradient Descent „ „ wi=wi+Δwi Chế độ 1: cập nhật lần w=w - η ∇ED[w] ED[w]=1/2Σd(td-od)2 Perceptron đảm bảo thành công „ Tập Tậ mẫu ẫ khả tách tá h tuyến t ế tính tí h „ Hằng số học η đủ nhỏ Chế độ : cập nhật với mẫu w=w - η ∇Ed[w] Ed[w]=1/2 (td-od)2 „ Huấn luyện với Gradient Descent Đảm bảo hội tụ với lỗi nhỏ „ Hằng số học η nhỏ „ Có thể sử dụng mẫu có nhiễu „ Dữ liệu học chí khơng khả tách tuyến tính 10 Mạng nơ ron nhiều lớp Lớp p Hàm Sigmoid x1 x2 Lớp ẩn w1 w2 wn xn Giải thuật lan truyền ngược sai số „ Khởi tạo wi với giá trị ngẫu nhiên nhỏ Lặp đạt điều kiện dừng „ Với mẫu huấn luyện „ Đưa (x1,…,xn) vào mạng để tính tốn giá trị ok „ Với đầu k „ δk=ok(1-ok)(tk-ok) „ Với nút ẩn h „ „ δh=oh(1-oh) Σk wh,k δk Với trọng số wi,j „ wi,j=wi,j+Δwi,j với Δwi,j= η δj xi Σ w0 net=Σi=0n wi xi o=σ(net)=1/(1+e-net) o σ(x) gọi hàm sigmoid: 1/(1+e-x) dσ(x)/dx= σ(x) (1- σ(x)) Sử dụng luật học Gradient Descent: •∂E/∂wi = -Σd(td-od) od (1-od) xi • Mạng nhiều lớp thường sử dụng hàm Sigmoid làm hàm truyền Lớp vào „ x0=1 Giải thuật lan truyền ngược sai số „ „ „ „ „ „ Sử dụng Gradient Descent toàn trọng số Chỉ tìm tối ố ưu cục Thường bổ sung hệ số quán tính : Δwi,j(n)= η δj xi + α Δwi,j (n-1) Tối ưu hàm lỗi tập mẫu chưa liệu thực tế ( hiệu ứng overfitting) Thời gian học lâu ( 1000-10000 vịng) Sử dụng mơ hình nhanh 11 8-3-8 mã hoá giải mã đầu vào ẩn Thống kê lỗi cho nút đầu Giá trị nút ẩn 89 04 08 01 11 88 01 97 27 99 97 71 03 05 02 22 99 99 80 01 98 60 94 01 Sự hội tụ giải thuật lan truyền ngược sai số „ „ „ Có thể khơng phải cực trị tồn cục Cải thiện hệ số quán tính Kết hợp với giải thuật tối ưu toàn cục khác Mạng Kohonen - SOM „ „ „ Điều kiện hội tụ „ Khởi tạo trọng số gần „ Mạng khởi tạo gần ầ mang tính chất ấ tuyến ế tính „ Tính chất phi tuyến mạng xuất trình học „ „ SOM=Self Organization Map Là dạng mạng lớp Sử dụng giải thuật học cạnh tranh, khơng có thầy Mục đích : Ánh xạ mẫu liệu từ không gian nhiều chiều , phức tạp sang khơng gian chiều ( 1D,2D,3D) Bản chất: kỹ thuật nén liệu dựa vector trọng số 12 Kiến trúc mạng Kohonen Kiến trúc mạng Kohonen „ „ „ Sử dụng mạng Kohonen Các nơ ron không tổ chức thành lớp mà tổ chức dạng có cấu trúc phẳng dạng lưới Mỗi nơ ron lưới đồng thời đầu Sau mạng huấn luyện, với mẫu đầu vào, có nơ ron vùng nơ ron có trạng thái kích thích Giải thuật học Khởi tạo trọng số, thiết lập hệ số học α Lặp tới thoả mãn điều kiện dừng Với mẫu học, thực từ bước đến bước Với nơ ron j, tính khoảng cách Dj = Σ(wij-xi)2 Tìm j cho D(j) nhỏ Với nơ ron “hàng xóm” j, cập nhật trọng số theo công thức wijnew=wijold+α(xi-wijold) Giả hệ số Giảm ố hhọc Giảm bán kính xác định quan hệ “hàng xóm” 3 Điều kiện dừng: Thay đổi trọng số nhỏ ngưỡng 13 Quan hệ hàng xóm Tiểu luận Trình bày số phương pháp học cấu trúc mạng nơ ron (2-4 học viên) Trình bày ý tưởng, thuật toán ứng dụng mạng Kohonen (1-2 học viên) 14 ... sigmoid Mạng nơ ron nhân tạo Mạng nơ ron nhân tạo „ „ Cấu trúc mạng dạng đồ thị „ „ „ Nơ ron Mơ hình tổ chức kết nối Tham số mạng „ „ Phân loại mạng nơ ron theo cấu trúc mạng Giá trị trọng số Nơ ron. .. loại mạng nơ ron theo cấu trúc mạng Giá trị trọng số Nơ ron vào, nơ ron ra, nơ ron ẩn Mạng nơ ron nhân tạo „ Phân loại mạng nơ ron theo thuật toán học/huấn luyện „ Thuật toán học có giám sát/có... Phát triển ứng dụng với mạng nơ ron nhân tạo „ Bước 1: Tạo lập p mạng g „ „ „ „ Thiết lập nơ ron: chọn hàm kích hoạt, xác định tín hiệu vào-ra Thiết lập cấu trúc mạng nơ ron Thiết lập trọng số