[Tự Động Hóa] Hệ Mờ & NơRon - TS. NGUYỄN NHƯ HIỀN phần 6 doc

mạng sau lần xuất phần tử véctơ đầu vào Huấn luyện tiến dần xem huấn luyện trực tuyến hay huấn luyện thích nghi Mạng nơron huấn luyện để thực hàm phức tạp nhiều lĩnh vực ứng dụng khác nhận dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết điều khiển hệ thống Thông thường để huấn luyện mạng nơron, người ta sử dụng phương pháp huấn luyện có giám sát, có mạng thu từ huấn luyện khơng có giám sát Mạng huấn luyện khơng giám sát sử dựng trường hợp riêng để xác đinh nhóm liệu Mạng nơron bắt đầu xuất từ 50 năm chi tìm thây ứng dụng từ khoảng 10 năm trở lại phát triển nhanh chóng Như vậy, rõ ràng có khác biệt với hệ thống điều khiển tối ưu hoá, nơi mà thuật ngữ, sở toán học thủ tục thiết kế thiết lập chắn ứng dụng từ nhiều năm 3.2.2 Mơ hình nơron a/ Nơron đơn giản: nơron với đầu vào vơ hướng khơng có độ dốc hình 1.5a,b Hình 3.5a,b Mơ hình nơron đơn giản Tín hiệu vào vơ hướng p thông qua trọng liên kết vô hướng w trở thành wp đại lượng vô hướng Ở wp đối số hàm truyền f, tín hiệu đầu đại lượng vơ hướng a Hình l.5b nơron có độ dốc b Ta hiểu b phép cộng đơn giản vào tích wp thăng giáng hàm f hình a lượng b Độ dốc xem trọng lượng, có điều đầu vào số Tín hiệu vào hàm truyền mạng n tổng trọng đầu vào wp độ đốc b, đáp ứng a 80 coi đối số hàm chuyển f Hàm chuyển f hàm bước nhảy, hàm sigmoid Hình 3.6 giới thiệu số dạng hàm chuyển nơron Hình 3.6 Một số dạng hàm chuyển mạng nơron Chú ý w b tham số điều chỉnh vô hướng nơron Ý tưởng mạng nơron điều chỉnh tham số đê mạng đạt đích mong muốn hay hành vi Như ta huấn luyện mạng làm cơng việc cách điều chỉnh trọng liên kết độ dốc, mạng tự điều chỉnh tham số đê đạt kết mong muốn Chú ý: - Tất nơron cho sẵn độ dốc (b), nhiên bỏ cần thiết - Độ dốc b tham số điều chỉnh vơ hướng nơron, khơng phải đầu vào, song số phải dược xem đầu vào cân coi xem xét độ phụ thuộc tuyến tính véc lơ đầu vào b/ Nơron với nhiều đầu vào (véc tơ vào) Nơron với véctơ vào gồm R phần tử chi hình 3.7 Trong đầu vào p1, p2,…, pR nhân với trọng liên kết w1,1, w1,2,… w1,R trọng liên kết biểu diễn ma trận hàng, véctơ p ma trận cột, ta có: 81 Trong W ma trận trọng liên kết có kích thước x R, P véctơ vào gồm R phần tử Cách biểu diễn khó khăn mơ tả mạng gồm nhiều nơron có nhiều lớp Để đơn giản ta sử dụng ký hiệu hình 3.8 Trong véctơ đầu vào biểu diễn đậm bên trái Kích thước p bên ký hiệu p R x 1.(ta sử dụng chữ viết hoa R để kích thước véctơ) Như p véctơ gồm R phần tử vào, đầu vào nhân với ma trận W (1xR) Giống phần trên, số đưa vào nơron đầu vào nhân với độ dốc b Hàm chuyển mạng f Đầu vào hàm chuyển n tổng độ dốc b tích Wp Tổng qua hàm chuyển f để có đầu nơron a Trong trường hợp a đại lượng vơ hướng Chú ý có từ nơron trở lên đầu véctơ Hình 3.9 số hàm chuyển thơng dụng Một lớp mạng định nghĩa hình 3.8, kết hợp trọng liên kết, phép nhân, phép cộng, độ dốc b hàm chuyển f Trong kích thước ma trận rõ bên tên biển ma trận chúng Khi hàm chuyển cụ thể sử dụng hình vẽ biểu tượng hàm chuyển thay f Hình 3.9 vài ví dụ hàm 82 chuyển thơng dụng 3.3 CẤU TRÚC MẠNG Nhiều nơron kết hợp với tạo thành mạng nghìn, mạng nơron có lớp nhiều lớp 3.3.1 Mạng lớp Một cấu trúc mạng lớp với R đầu vào S nơron hình 3.10 Trong đó: - Véc tơ vào p có R phần tử pT = [p1 p2 PR] - Véctơ vào n có s phần tử nT = [n1 n2 ns] - Véctơ vào a có s phần tử aT = [a1 a2 as] Trong mạng phần tử véctơ vào p liên hệ với đầu vào nơron thông qua ma trận trọng liên kết W Bộ cộng nơron thứ i thu thập trọng liên kết đầu vào độ dốc để tạo thành đầu vô hướng n; Các ni tập hợp với tạo thành s phần tử véctơ vào n Cuối lớp nơron ta thu véctơ a gồm s phần tử Chú ý: Nhìn chung số đầu vào lớp khác với số nơron, tức R ≠ S Trong lớp, khơng bắt buộc phải có số đầu vào số nơron Hình 3.10 Cấu trúc mạng nơron 83 Ta thiết lập lớp đơn nơron có hàm chuyển khác cách dễ dàng lẽ hai mạng đặt song song Tất mạng có chung đầu vào mạng thiết lập vài đầu Các phần tử véctơ đầu vào đưa vào mạng thông qua ma trận trọng W, với: Trong đó: Chỉ số hàng phần tử ma trận W cho biết nơron nơi đến số cột cho biết nơi xuất phát trọng liên kết Ví dụ: w12 nói lên có mặt tín hiệu vào từ phần tử thứ hai đến nơron thứ với trọng liên kết w12 Tương tự trình bày với nơron, để đơn giản ta ký hiệu mạng lớp gồm S nơron, R đầu vào hình vẽ 3.11.Trong đó: véctơ vào P có kích thước R, ma trận trọng liên kết W có kích thước S x R cịn a b véctơ có kích thước S Như biết, lớp mạng bao gồm ma trận trọng liên kết, toán tử nhân, véctơ độ dốc b, tổng hộp hàm truyền 3.3.2 Mạng nhiều lớp a/ Ký hiệu quy ước cho lớp mạng Để khảo sát mạng nhiều lớp trước hết cần đưa ký hiệu quy ước cho lớp mạng Đặc biệt ta cần phải phân biệt khác ma trận trọng liên kết đầu vào ma trận trọng liên kết lớp nắm vững ký hiệu nguồn đích ma trận trọng liên kết Ta gọi ma trận trọng liên kết nối với đầu vào trọng vào (input weights) ma trận đến từ lớp trọng liên kết lớp (layer weights) Ta dùng số viết bên để phân biệt nguồn (chỉ số thứ hai) đích (chỉ số thứ nhất) cho trọng liên kết phần tử khác mạng 84 Hình 3.11 Ký hiệu mạng R đầu vào S nơron Hình 3.12 Ký hiệu lớp mạng Để minh hoạ, ta xét lớp mạng có nhiều đầu vào hình 3.12 Trong R số phần tử lớp vào Sl số nơron lớp Ta thấy ma trận trọng liên kết với véctơ vào P ma trận trọng vào (IW1,1) có nguồn (chỉ số thứ 2) đích (chỉ số thứ nhất) Đồng thời phần tử lớp độ dốc, tín hiệu vào hàm chuyển, đầu có số viết để nói chúng liên kết với lớp thứ (b1, n1, a1) Ở phần sau ta sử dụng ma trận trọng liên kết lớp (LW) giống ma trận trọng vào (IW) Với mạng cụ thể có ma trận trọng IW1,1 ký hiệu: IW1,1 → net.IW{1, 1} Như vậy, ta viết ký hiệu để thu mạng nhập vào cho hàm chuyển sau: n{1} = net.IW{1, 1}*p + net.b{1}; 85 Một mạng nơron có vài lớp Mỗi lớp có ma trận trọng liên kết W, véctơ độ dốc b đầu a Để phân biệt ma trận trọng liên kết véctơ vào cho lớp mạng sơ đồ, ta thêm số lớp viết phía cho biến số quan tâm Hình 3.13 ký hiệu sơ đồ mạng lớp Trong có R1 đầu vào, S1 nơron lớp 1, S2 nơron lớp Thông thường, lớp khác có số nơron khác Chú ý đầu lớp trung gian đầu vào lớp Như lớp xem mạng lớp với S1 đầu vào, S2 nơron S2 x S1 trọng liên kết ma trận W2 Đầu vào lớp véctơ a1, đầu véctơ a2 Khi có ký hiệu tất véctơ ma trận lớp ta coi mạng lớp Cách tiếp cận dùng cho lớp mạng Các lớp mạng nhiều lớp đóng vai trị khác Lớp cuối kết đầu mạng, gọi lớp Tất lớp khác gọi lớp ẩn Mạng lớp có lớp (lớp 3) lớp ẩn (lớp lớp 2) (Một vài tài liệu coi lớp vào lớp thứ tư ta không sử dụng quan điểm này) Đối với mạng lớp ta sử dụng ký hiệu tắt để biểu diễn (hình 3.14) Mạng nhiều lớp mạnh, ví dụ có mạng lớp, lớp có hàm chuyển sigmoid, lớp có hàm chuyên linear huấn luyện để làm xấp xỉ hàm (với số điểm gián đoạn có hạn chế) Loại mạng lớp sử dụng rộng rãi chương (mạng lan truyền ngược) Trong a3 đầu mạng, ta ký hiệu đầu y Ta sử dụng ký hiệu để định rõ đầu mạng nhiều lớp 86 Hình 3.13 Cấu trúc mạng nơron lớp Hình 3.14 Ký hiệu tắt mạng nơron lớp 3.4 CẤU TRÚC DỮ LIỆU VÀO MẠNG Để mô mạng nơron ta cần phải định rõ khuôn dạng cấu trúc liệu dùng mạng Dữ liệu đưa vào mạng biểu diễn dạng bản: dạng xuất đồng thời (tại thời điểm chuỗi thời điểm cụ thể) dạng xuất liên thời gian Đối với véctơ vào đồng thời, ta không cần quan tâm đến thứ tự phần tử, kiểu liệu áp dụng cho mạng tĩnh Đối với kiểu véctơ vào nối tiếp thứ tự xuất phần tử véctơ quan trọng, áp dụng 87 cho mạng động Hình 3.15 Một nơron với đầu vào 3.4.1 Mơ tả véctơ vào mạng tĩnh Đối với mạng tĩnh (khơng có phản hồi trễ), ta khơng cần quan tâm tới việc có hay khơng véctơ vào xuất chuỗi thời điểm cụ thể, ta xem đầu vào đồng thời Trong phép cộng, ta giải toán đơn giản tổng mạng có véctơ vào: n = W1,1*p1 + W1,2*p2+b Ví dụ: Mạng truyền thẳng có đầu vào (hình 3.15) với thơng số: W = [1 2] b = [0]; tập liệu mơ mạng có véctơ vào đồng thời (Q = 4): Các véctơ vào đồng thời trình bày mạng ma trận đơn giản: P = [1 2 3; 1]; Sau chạy mô ta thu giá trị đầu a1 = W1,1*p1 + W1,2*p2+b = * + * + = a2 = W1,1*p1 + W1,2*p2+b = * + * + = a3 = W1,1*p1 + W1,2*p2+b = * + * + = a4 = W1,1*p1 + W1,2*p2+b = * + * + = Vậy véctơ véctơ đầu là: A = [5 5] 88 Một ma trận đơn véctơ đồng thời đưa tới mạng mạng đưa ma trận đơn véctơ đồng thời đầu Kết tương tự mạng làm việc song song, mạng có véctơ vào véctơ Thứ tự véctơ vào không quan trọng chúng khơng ảnh hưởng lẫn Hình 3.16 Nơron có chứa khâu trễ 3.4.2 Mơ tả véctơ vào liên tiếp mạng động Khi mạng có chứa khâu trễ, đầu vào mạng thường có chuỗi véctơ vào mà chúng xuất theo thứ tự thời gian Để minh hoạ cho trường hợp ta sử dụng mạng đơn bao gồm khâu trễ (hình 3.16) Ta đưa vào mạng gồm dãy liên tiếp liệu vào mạng sinh mảng bao gồm chuỗi liên tiếp liệu Chú ý thứ tự liệu vào quan trọng chúng đưa vào nối tiếp Trong trường hợp liệu thu cách nhân liệu vào thời với w1,1, liệu vào trước với w1,2 cộng kết lại thay đổi thứ tự liệu vào làm thay đổi số thu đầu Ví dụ: Mạng hình 3.16 có thơng số: W = [1 2]; b = 0; Chuỗi vào nối tiếp là: p1 = [1] p2 = [2], p3 = [3], p4 = [4], biểu diễn dạng mảng: P = {1 4} Sau chạy mô ta thu mảng liệu với phần tử có giá trị: a1 = W1,1*p1+W1,2*p2=1*1+2*0+0=1 (giá trị đầu vào 0) a2 = W1,1*p1+W1,2*p2=1*2+2*1+0=4 (giá trị đầu vào 1) a3 = W1,1*p1+W1,2*p2=1*3+2*2+0=7 (giá trị đầu vào 2) 89 a4 = W1,1*p1+W1,2*p2=1*4+2*3+0=10 (giá trị đầu vào 3) Vậy A = [1] [4] [7] [10] 3.4.3 Mô tả liệu vào đồng thời mạng động Khi đưa vào mạng động xét tập liệu đồng thời thay cho liệu liên tiếp, ta thu kết khác hồn tồn Ví dụ có tập liệu vào đồng thời: P1 = [1], P2= [2], P3 = [3], P4 = [4] thiết lập theo mã sau: P = [1 4]; Sau chạy mô với liệu vào đồng thời ta thu được: A = [1 4] Kết giống ta áp dụng đồng thời đầu vào tới mạng riêng biệt tính tốn đầu Chú ý: Một ta không ấn định điều kiện đầu cho mạng có trễ chúng coi zero Trong trường hợp đầu đơn giản nhân với đầu vào hàm trọng nhân với đầu vào thời Trong trường hợp đặc biệt, ta cần phải mơ đáp ứng mạng với vài chuỗi số khác thời gian, ta cần đưa tới mạng với tập đồng thời chuỗi Ví dụ ta cần đưa tới mạng hai liệu liên tiếp sau: p1(1) = [1], p1(2) = [2], p1(3) = [3], p1(4) = [4] p2(1) = [4], p2(2) = [3], p2(3) = [2], p2(4) = [1] Đầu vào P cần phải mảng, phần tử mảng bao gồm phần tử liên tiếp mà chúng xuất lúc P = {[1 4] [2 3] [3 2] [4 1]}; Chạy mô mạng: A = sim(net,P); Kết đầu mạng là: A = {[1 4] [4 11] [7 8] [10 5]} = {[a11 a21] [a12 a22] [a13 a23] [a14 a24] đó: 90 a11 = W1,1.p1 + W1,2.p2+b = * + * + = 1; a21 = W1,1.p1 + W1,2.p2+b = * + * + = 4; a12 = W1,1.p1 + W1,2.p2+b = * + * + = 4; a22 = W1,1.p1 + W1,2.p2+b = * + * + = 11; a13 = W1,1.p1 + W1,2.p2+b = * + * + = 7; a23 = W1,1.p1 + W1,2.p2+b = * + * + = 8; a14 = W1,1.p1 + W1,2.p2+b = * + * + = 7; a24 = W1,1.p1 + W1,2.p2+b = * + * + = 8; Ta thấy cột ma trận kết quả, chuỗi tạo từ chuỗi vào mà làm quen ví dụ trước Cột thứ hai ma trận kết chuỗi tạo từ chuỗi vào thứ hai Khơng có tương tác hai chuỗi đồng thời Nó giống ứng dụng mạng riêng biệt chạy song song Sơ đồ khuôn dạng chung đầu vào P ta có Q chuỗi vào đồng thời qua bước thời gian Ts, bao hàm trường hợp có véctơ vào Mỗi phần tử mảng ma trận véctơ đồng quy mà ứng với thời điểm cho chuỗi Nếu có nhiều véctơ vào có nhiều hàng ma trận mảng Trong mục áp dụng nữ liệu vào liên tiếp đồng thời cho mạng động Chú ý: mục 3.4.1 ta áp dụng liệu vào đồng thời cho mạng tĩnh Ta áp dụng liệu vào liên tiếp cho mạng tĩnh, khơng làm thay đổi kết mơ mạng, ảnh hưởng tới cách thức huấn luyện mạng 91 3.5 HUẤN LUYỆN MẠNG Trong phần này, đề cập đến kiểu huấn luyện mạng: Huấn luyện gia tăng (tiến dần) huấn luyện theo gói Đối với huấn luyện gia tăng, hàm trọng độ dốc mạng cập nhật liệu đưa vào mạng Đối với huấn luyện theo gói, hàm trọng độ dốc cập nhật sau tất liệu đưa vào mạng 3.5.1 Huấn luyện gia tăng Sự huấn luyện gia tăng (huấn luyện tiến dần) áp dụng cho mạng tĩnh mạng động Tuy nhiên, thực tế sử dụng nhiều cho mạng động, ví dụ lọc thích nghi Trong mục này, giải thích huấn luyện gia tăng thực mạng tĩnh mạng động a/ Huấn luyện gia tăng mạng tĩnh Xét mạng tĩnh học, ta muốn huấn luyện gia tăng, cho hàm trọng độ dốc cập nhật đầu vào có mặt Trong trường hợp sử dụng hàm "Adapt" ta coi giá trị đầu vào đích chuỗi nối tiếp Giả thiết ta muốn huấn luyện mạng để tạo hàm tuyến tính: t = 2p1 + P2 Các liệu vào ban đầu sử dụng: Đích mạng là: t1 =[4] t2 = [5] t3 = [7] t4 = [7] Trước hết ta thiết lập mạng với hàm trọng độ dốc ban đầu bảng zero Ta đặt mức học xuất phát từ zero, thấy hiệu ứng huấn luyện gia tăng net = newlin([-1 1;-1 1], 1,0,0); net.IW{1,1} = [0 0]; net.b{1} = 0; 92 Để huấn luyện gia tăng, ta cần coi đầu vào đích chuỗi: P = {[1;2] [2;1] [2;3] [3;1]} T = {4 7}; Như đề cập mục trước, mạng tĩnh kết mô mạng đầu liệu có giống đầu vào đưa ma trận véctơ đồng thời hay mảng véctơ liên tiếp Điều không huấn luyện mạng Tuy sử dụng hàm Adapt, mảng véctơ liên tục đưa đến đầu vào hàm trọng cập nhật với đầu vào đưa đến Như thấy phần sau, nêu ma trận véctơ đồng thời đưa đến đầu vào hàm trọng cập nhật sau tất tín hiệu vào đưa đến Để huấn luyện gia tăng ta sử dụng dòng lệnh: [net,a,e,p,f] = adapt(net,P,T); Đầu mạng zero lẽ tốc độ học zêro hàm trọng không cập nhật Các giá trị sai lệch giá trị đích: a = [0] [0] [0] [0] e = [4] [5] [7] [7] Nếu ta đặt tốc độ học 0, ta thấy mạng điều chỉnh đầu vào có tín hiệu: net,inputWeights{1,1}.learnParam.Ir=0.1; net.biases{1,1}.learnParam.Ir=0.1; [net,a,e,pf] = adapt(net,P,T); a = [0] [2] [6.0] [5.8] e = [4] [3] [1.0] [1.2] Dữ liệu thứ tương tự liệu với tốc độ học 0, khơng có cập nhật liệu vào thứ xuất Dữ liệu thứ hai khác hàm trọng cập nhật Các hàm trọng liên tục sửa đổi theo sai lệch tính tốn Nếu mạng có lực tốc độ huấn luyện chọn hợp lý sai lệch dần tiến tới zêro 93 b/ Huấn luyện gia tăng mạng động Đối với mạng động, ta huấn luyện gia tăng (đây kiểu huấn luyện chung nhất) Xét mạng tuyến tính với trễ đầu vào mà ta đề cập phần trước Ta cho giá trị ban đầu hàm trọng đặt tốc độ học 0,1 net = newlin([-l 1],1,[0 1], 0.1); net.IW{1, 1} = [0 0]; net.biasconnect = 0; Để huấn luyện gia tăng mạng này, ta biểu diễn liệu vào liệu đích phần tử mảng Pi = {l}; P = {2 4}; T = {3 7}; Ở ta thử huấn luyện mạng thực phép cộng liệu vào thời liệu vào trước để tạo liệu thời Điều giống nối tiếp liệu vào ta sử dụng ví dụ trước sử dụng hàm Sim, Chỉ có điều gán giới hạn nối tiếp điều kiện ban đầu cho trì hỗn Bây ta sử dụng hàm Addapt để huấn luyện mạng: [net,a,e,pf] = adapt(net,P,T,Pi); a = [0] [2.4] [7.98] e = [3] [2.6] [-0.98] Dữ liệu hàm trọng chưa cập nhật Hàm trọng thay đổi bước thời gian 3.5.2 Huấn luyện mạng theo gói Huấn luyện theo gói hàm trọng độ dốc cập nhật sau tất liệu vào đích đưa tới, áp dụng cho mạng tĩnh mạng động Trong mục này, thảo luận kỹ hai loại mạng a/ Huấn luyện theo gói mạng tĩnh 94 Để huấn luyện theo gói, ta sử dụng hàm adapt hàm train, song nói chung trai tuỳ chọn tốt nhất, đặc trưng cho truy nhập có hiệu giải thuật huấn luyện Như vậy, huấn luyện gia tăng làm việc với hàm adapt, cịn hàm train thực để huấn luyện theo gói Trước hết ta bắt đầu huấn luyện theo gói mạng tĩnh đề cập ví dụ trước, tốc độ hoạc đặt 0,1 net = newlin([-1 1;-1 1],1,0,0.1); net.IW{1,1} = [0 0]; net.b{1} = 0; Để huấn luyện theo gói mạng tĩnh véc tơ liệu vào cần đặt ma trận véc tơ đồng thời P = [1 2 3; 1]; T = [4 71; Khi ta gọi lệnh Adapt, kéo theo trains (là hàm thích nghi mặc định mạng tuyến tính) learnwh (là hàm huấn luyện mặc định hàm trọng độ dốc) [net,a,e,pf] = Adapt(net,P,T); a=0000 e - 7 Chú ý tất đầu mạng zero, lẽ hàm trọng chưa cập nhật tất tập hợp huấn luyện đưa tới Nếu hiển thị hình ta thấy: »net.IW{1,l} ans = 4.9000 4.1000 »net.b{1} ans = 2.3000 Đây khác kết ta nhận sau lần thực hàm Adapt với cập nhật gia tăng Bây thực việc huấn luyện theo gói sử dụng hàm train Do luật Widrow-Hoff sử dụng cho kiểu gia tăng kiểu gói, gọi Adapt train Có vài thuật tốn huấn luyện sử dụng kiểu gói (ví dụ LevenbergMarquardt) thuật tốn gọi lệnh train Mạng 95 cài đặt cách tương tự net = newlin([-1 1;-1 1],0,0.1); net.IW{1,1} = [0 0]; net.b{1} = 0; Trong trường hợp véc tơ liệu vào đặt dạng ma trận véc tơ đồng thời (concurrent vectors) dạng mảng véc tơ liên tiếp Trong Train, mảng véc tơ liên tiếp chuyển đổi thành ma trận véc tơ đồng thời Đó mạng tĩnh lệnh train luôn hoạt động theo kiểu gói P = [1 2 3; 1]; T = [4 7]; Bây ta sẵn sàng để huấn luyện mạng Ta huấn luyện kỳ ta sử dụng lần hàm Adapt Hàm huấn luyện mặc định cho mạng tuyến tính train hàm huấn luyện mặc định cho hàm trọng độ dốc learnwh, ta nhận kết tương tự kết sử dụng Adapt ví dụ trước, ta sử dụng hàm thích nghi mặc định trains net.inputWeights{1,1}.learnParam.Ir = 0,1; net.biases{l}.learnParam.Ir = 0,1; net.trainparam.epochs : 1; net = train(net,P,T); Nếu cho hiển thị hàm trọng sau kỳ huấn luyện ta thấy: »net.IW{1,1} ans = 4.9000 4.1000 »net.b{1} ans = 2.3000 Kết tương tự với kết huấn luyện theo gói sử dụng Adapt Đối với mạng tĩnh, hàm Adapt thực huấn luyện gia tăng theo gói tuỳ thuộc vào khuôn dạng liệu vào Nếu liệu đưa tới mạng dạng ma trận véc tơ đồng thời huấn luyện theo gói xảy Nếu liệu đưa tới dạng chuỗi huấn luyện gia tăng xảy Điều khơng vơi hàm train, ln ln huấn luyện theo gói mà khơng phụ thuộc vào khn dạng liệu vào 96 ... nhảy, hàm sigmoid Hình 3 .6 giới thiệu số dạng hàm chuyển nơron Hình 3 .6 Một số dạng hàm chuyển mạng nơron Chú ý w b tham số điều chỉnh vô hướng nơron Ý tưởng mạng nơron điều chỉnh tham số đê... Trong có R1 đầu vào, S1 nơron lớp 1, S2 nơron lớp Thông thường, lớp khác có số nơron khác Chú ý đầu lớp trung gian đầu vào lớp Như lớp xem mạng lớp với S1 đầu vào, S2 nơron S2 x S1 trọng liên... 3.3 CẤU TRÚC MẠNG Nhiều nơron kết hợp với tạo thành mạng nghìn, mạng nơron có lớp nhiều lớp 3.3.1 Mạng lớp Một cấu trúc mạng lớp với R đầu vào S nơron hình 3.10 Trong đó: - Véc tơ vào p có R phần