Ngày nay trí tuệ nhân tạo AI đang ngày càng được phổ biến và sử dụng mạnh hơn. Những công cụ chính của AI bao gồm: mạng nơron, hệ suy luận mờ, giải thuật di truyền và các phương pháp khác..Hi»n t⁄i m⁄ng nơron (m⁄ng s¥u deep networks haydeep learning) đang là công cụ m⁄nh và cŁt lªi cıa tr‰ tu» nh¥n t⁄o. CuŁn s¡ch nàyđưæc vi‚t nh‹m mục đ‰ch cung c§p nhœng ki‚n thøc cơ b£n v• h» mờ, m⁄ng nơronvà nhœng øng dụng cıa chúng trong lĩnh vực Đo lường, Đi•u khi”n tự đºng và Tựđºng hóa.
ĐIỀU KHIỂN MỜ VÀ MẠNG NƠ-RON 09-2020 ii Mở đầu Ngày trí tuệ nhân tạo AI ngày nghiên cứu ứng dụng mạnh mẽ hầu hết lĩnh vực kinh tế, kỹ thuật, dân dụng cơng nghiệp Những cơng cụ AI bao gồm: mạng nơ-ron, hệ suy luận mờ, giải thuật di truyền phương pháp khác Hiện mạng nơ-ron (mạng sâu - deep networks hay deep learning) cơng cụ mạnh cốt lõi trí tuệ nhân tạo Cuốn sách viết nhằm mục đích cung cấp kiến thức hệ mờ, mạng nơ-ron ứng dụng chúng lĩnh vực Đo lường, Điều khiển tự động Tự động hóa Đây nên cịn nhiều thiếu sót, mong nhận ý kiên đóng góp từ độc giả sách hoàn thiện Mọi góp ý xin gửi Email : nam.nguyenhoai@hust.edu.vn, xin chân thành cảm ơn Mục lục I HỆ SUY LUẬN MỜ Tập 1.1 1.2 1.3 hợp 3 6 7 9 10 15 19 19 20 22 Hệ suy luận mờ 2.1 Biến ngôn ngữ 2.2 Mệnh đề mờ 2.2.1 Mệnh đề NẾU THÌ 2.2.2 Hệ nhiều mệnh đề mờ 2.2.3 Mệnh đề mờ nhiều đầu vào đầu 2.2.4 Hệ mờ nhiều đầu vào đầu 2.2.5 Phương pháp cực đại 27 27 29 29 31 34 36 38 1.4 1.5 mờ Tập hợp Hàm liên thuộc Các phép toán tập hợp 1.3.1 Phép giao hai tập hợp 1.3.2 Phép hợp hai tập hợp 1.3.3 Phép bù tập hợp 1.3.4 Các tính chất phép giao phép Tập mờ 1.4.1 Định nghĩa 1.4.2 Các dạng hàm liên thuộc 1.4.3 Một số khái niệm mở rộng Các phép tính tập mờ 1.5.1 Phép bù tập mờ 1.5.2 Phép hợp hai tập hợp mờ 1.5.3 Phép giao hai tập mờ iii iv MỤC LỤC 2.3 2.4 2.2.6 Phương pháp điểm trọng tâm 2.2.7 Phương pháp đường phân tích (BISECTOR) Mơ hình mờ Sugeno Hệ mờ nhiều đầu vào nhiều đầu 2.4.1 Mơ hình Mamdani 2.4.2 Mô hình Sugeno 40 40 42 45 45 46 Thiết kế điều khiển mờ 3.1 Quan hệ vào 3.1.1 Mơ hình mờ Mamdani 3.1.2 Quan hệ vào mệnh đề mờ 3.1.3 Quan hệ vào khâu giải mờ 3.1.4 Mơ hình mờ Sugeno 3.2 Các bước thiết kế điều khiển mờ 3.2.1 Đặc điểm hệ mờ 3.2.2 Các bước thiết kế điều khiển mờ 3.3 Ứng dụng cho toán xấp xỉ 3.3.1 Xấp xỉ hàm 3.3.2 Xấp xỉ hàm 3.4 Bộ điều khiển mờ PID 3.4.1 Bộ điều khiển mờ tỉ lệ 3.4.2 Bộ điều khiển mờ PD 3.4.3 Chỉnh định tham số PID hệ mờ 3.5 Điều khiển mờ thích nghi 3.5.1 Điều khiển mờ thích nghi gián tiếp 3.5.2 Điều khiển mờ thích nghi trực tiếp 3.6 Điều khiển dựa mơ hình Sugeno động 3.6.1 Mơ hình Sugeno động 3.6.2 Phân tích tính ổn định mơ hình Sugeno động 3.6.3 Bộ điều khiển phản hồi trạng thái dựa mô hình Sugeno động 51 51 51 52 52 54 55 55 55 58 58 62 64 64 71 74 77 78 83 85 85 87 89 II 93 MẠNG NƠ-RON NHÂN TẠO Mạng nơ ron 4.1 Mở đầu 4.1.1 Quá trình phát triển mạng nơ-ron nhân tạo 4.1.2 Một số ứng dụng 95 95 95 96 MỤC LỤC 4.2 4.3 4.4 4.5 v Nơ-ron nhân tạo 4.2.1 Mô hình nơ-ron nhân tạo 4.2.2 Một số hàm truyền 4.2.3 Nơ-ron nhiều đầu vào 4.2.4 Lớp nơ-ron Mạng nơ-ron 4.3.1 Mạng truyền thẳng (Feedforward Networks) 4.3.2 Mạng hồi quy (Recurrent Networks) 4.3.3 Mạng sâu (Deep Networks) 4.3.4 Mạng xuyên tâm (RBF) Mạng perceptron 4.4.1 Luật học perceptron 4.4.2 Phương pháp đồ thị Thuật toán lan truyền ngược 97 97 98 99 100 101 102 102 102 103 104 106 108 110 Tối ưu hóa hàm mục tiêu 5.1 Hàm mục tiêu 5.2 Phương pháp hạ sâu 5.2.1 Hàm mục tiêu dạng toàn phương 5.2.2 Tốc độ học tối ưu 5.3 Phương pháp Newton 5.4 Phương pháp Levenberg Marquardt 5.5 Phương pháp lọc 5.6 Phương pháp chỉnh định Bayes 5.7 Những vấn đề trình huấn luyện mạng 5.7.1 Chuẩn hóa tín hiệu 5.7.2 Cấu trúc mạng 5.7.3 Hiện tương overfitting 127 127 128 132 133 136 138 141 141 142 142 143 144 Mạng sâu 6.1 Mạng tích chập 6.1.1 Lớp tích chập 6.1.2 Lớp dương 6.1.3 Lớp nhóm 6.1.4 Lớp đủ 6.1.5 Lớp softmax 6.2 Một số mạng sâu 6.2.1 GoogLeNet 147 147 147 150 151 152 152 156 156 vi MỤC LỤC 6.3 6.2.2 Alexnet 157 Học kế thừa 158 Thuật toán lan truyền ngược 7.1 Mạng nơ-ron động 7.2 Nguyên lý học động 7.3 Thuật toán RTRL cho mạng động 161 161 164 166 Thiết kế điều khiển dựa mạng nơ-ron 173 8.1 Nhận dạng đối tượng 173 8.2 Thiết kế điều khiển theo mơ hình mẫu 179 8.3 Điều khiển dự báo dùng mạng nơ-ron 185 Cơng cụ lập trình 9.1 Matlab 9.1.1 Một số lệnh 9.1.2 Một số ví dụ 9.2 Python 9.2.1 Những ứng dụng Python 9.2.2 Một số ví dụ lập trình Python 187 187 187 188 188 189 189 Danh sách hình vẽ 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 Tính chất bắc cầu Hàm liên thuộc tập hợp nhiệt độ mát Các hàm đặc tính tập hợp A, B, A ∩ B Hàm liên thuộc cho ví dụ 1.6 Hàm liên thuộc cho ví dụ 1.7 Hàm liên thuộc µF (x) Hàm liên thuộc dạng tam giác Ví dụ hàm liên thuộc dạng tam giác Matlab Hàm liên thuộc dạng hình thang Hàm liên thuộc hình chng Đồ thị hàm gaussmf Hàm gauss2mf Hàm liên thuộc tập mờ R Hàm liên thuộc gaussmf với c = 0, ≤ a ≤ 0, Hàm liên thuộc gaussmf với a = 0, ≤ c ≤ 0, Hàm liên thuộc gaussmf với độ lệch chuẩn giảm dần xa Giá trị hàm liên thuộc µF¯ (x) x = Đồ thị hàm liên thuộc tập mờ bù µAc (x) Đồ thị hàm liên thuộc tập mờ C Đồ thị hàm liên thuộc tập mờ C = A ∩ B 2.1 2.2 2.3 2.4 2.5 2.6 Các hàm liên thuộc tương ứng với giá trị biến ngôn ngữ sai Suy luận mờ với đầu vào rõ Suy luận mờ với đầu vào mờ Quá trình làm việc hệ mờ sử dụng hàm suy luận MIN Quá trình làm việc hệ mờ dùng hàm suy luận PROD Đồ thị µR (x0 ; y), µB1 (y) µB2 (y) vii tâm 5 8 10 10 11 12 12 13 14 16 17 17 18 18 20 21 23 số 28 30 30 33 34 37 viii DANH SÁCH HÌNH VẼ 2.7 2.8 2.9 Đồ thị µR (x0 ; y), µR1 (y) µR2 (y) 38 Đồ thị µR (x0 ; y) sử dụng luật hợp thành SUM-MIN SUM-PROD 39 Giao diện thiết kế mơ hình mờ Sugeno 44 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16 3.17 3.18 3.19 3.20 3.21 Giao diện công cụ neuroFuzzyDesigner Đầu mẫu đầu hệ mờ Quan hệ vào y(x) hệ thống Các tập mờ đầu vào Cửa sổ giao diện mờ Matlab Giao diện điều khiển mờ tỉ lệ Giao diện định nghĩa đầu vào Giao diện định nghĩa mệnh đề Sơ đồ hệ thống điều khiển mờ Matlab Đáp ứng đầu hệ thống sử dụng điều khiển mờ tỉ lệ Các tập mờ đầu vào chia Đáp ứng đầu hệ thống sử dụng điều khiển mờ tỉ lệ mệnh đề Sơ đồ cấu trúc hệ thống điều khiển mờ động Hệ mờ tỉ lệ vi phân Đáp ứng đầu hệ thống Đáp ứng đầu hệ thống có bất định Đáp ứng hệ thống Các tham số điều khiển PID Mơ hình lắc ngược Góc nghiêng góc đặt Tín hiệu x(t) với 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 Sơ đồ khối nơ ron nhân tạo Sơ đồ khối nơ ron nhiều đầu vào Sơ đồ cấu trúc lớp nơ-ron Sơ đồ rút gọn lớp nơ-ron Sơ đồ khối mạng hai lớp Sơ đồ khối mạng hồi quy hai lớp Sai số mạng sâu phân loại ảnh Biểu diễn mẫu vào mặt phẳng Minh họa phương pháp đồ thị Các véc tơ đầu vào mẫu Đáp ứng đầu mạng với tham số ban đầu 60 61 63 64 66 67 68 68 69 69 70 70 71 73 73 74 78 78 81 83 86 97 99 101 101 102 103 103 104 108 109 115 DANH SÁCH HÌNH VẼ ix 4.12 4.13 4.14 4.15 4.16 4.17 Đáp ứng đầu mạng sau huấn luyện 2000 kỷ nguyên Giá trị hàm mục tiêu sau kỷ nguyên huấn luyện Các đường biên véc tơ trọng số Đầu vào mẫu Các đường biên véc tơ trọng số Đầu vào mẫu 117 119 120 122 123 124 5.1 5.2 5.3 5.4 5.5 Quỹ đạo trạng thái xk Quỹ đạo trạng thái xk với tốc độ học điểm đầu khác Quỹ đạo nghiệm xk đường đồng mức Đầu mẫu đầu mạng sau 10 kỷ nguyên Giá trị hàm mục tiêu sau kỷ nguyên 130 131 135 140 140 6.1 6.2 6.3 6.4 Một số ảnh mẫu Quá trình huấn luyện mạng Một hình ảnh ví dụ phân loại đối tượng Kết phân loại ảnh ngẫu nhiên 153 154 156 158 7.1 7.2 Đầu vào đầu nơ-ron 162 Đầu vào đầu nơ-ron 163 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10 8.11 8.12 8.13 8.14 Nhận dạng hệ thống dùng mạng nơ-ron Tín hiệu đầu vào mẫu Tạo đầu mẫu từ mơ hình Simulink Tín hiệu đầu mẫu Cấu trúc mạng nơ-ron đối tượng N NP Giao diện trình huấn luyện mạng Đáp ứng đầu mạng nơ-ron sai số Đồ thị hàm mục tiêu Cấu trúc mạng N N Tín hiệu đầu mẫu cho mạng N N Đầu mạng N Np sau huấn luyện sai số Cấu trúc mạng N Nc Sơ đồ khối hệ thống điều khiển theo mơ hình mẫu dùng mạng nơ-ron Giao diện nhận dạng thiết kế điều khiển 9.1 9.2 Quan hệ vào liệu mẫu t(x) 188 Sai lệch đầu mạng với đầu mẫu 189 174 176 176 177 177 178 179 179 180 182 182 183 184 184 x DANH SÁCH HÌNH VẼ x=x k ∂∇F (x) = ∂x x=xk (5.43) Ta thấy vế phải (5.42) hàm bậc hai ∆xk , đạt giá trị nhỏ ta tìm khoảng cách ∆x∗k tối ưu Đạo hàm theo ∆xk , cho khơng ta có phương trình gk + Hk ∆xk = (5.44) Nếu ma trận Hessian khả đảo, ta có nghiệm tối ưu: ∆x∗k = −H−1 k gk (5.45) xk+1 = xk − H−1 k gk (5.46) Từ suy ra: 5.3 PHƯƠNG PHÁP NEWTON 137 Công thức gọi phương pháp Newton Khi hàm mục tiêu có dạng bậc hai, dấu ≈ trở thành dấu = cơng thức (5.42), cần vịng lặp tìm nghiệm tối ưu x∗ Ví dụ 5.4 Cho hàm mục tiêu F (x) = x21 + 2x22 (5.47) Tìm nghiệm tối ưu Véc tơ gradient ma trận Hessian tính sau: " ∇F (x) = " ∇2 F (x) = ∂F (x) ∂x1 ∂F (x) ∂x2 0 # " = 2x1 4x2 # (5.48) # Chọn giá trị đầu là: " # x0 = (5.49) " # " #−1 " # 2 x1 = − 4 " # " # 1 = − 1 " # = (5.50) Thực vòng lặp ta có: Đây nghiệm tối ưu cần tìm Nhận xét 5.2 Nhược điểm phương pháp Newton ma trân Hessian phải khả đảo phải tính đạo hàm bậc hai hàm mục tiêu, ưu điểm tiến đến nghiệm tối ưu nhanh lân cận nghiệm tối ưu Để khắc phục hạn chế người ta mở rộng phương pháp Newton thành phương pháp Levenberg Marquardt 138 CHƯƠNG TỐI ƯU HÓA HÀM MỤC TIÊU 5.4 Phương pháp Levenberg Marquardt Xét hàm mục tiêu có dạng F (x) = N X vi2 (x) (5.51) i=1 T =v (x)v(x) v = [v1 (x) v2 (x) vN (x)]T x véc tơ tham số mạng nơ-ron vi sai lệch đầu mẫu thứ i với đầu nơ-ron thứ i mạng nơ-ron Ta có: N X ∂vi (x) ∂F (x) vi (x) =2 (5.52) ∂xj ∂xj i=1 Véc tơ gradient là: ∇F (x) = 2JT (x)v(x) J ma trận Jacobian có dạng: ∂v1 (x) ∂v1 (x) J(x) = Đạo hàm ∂F (x) ∂xj (5.53) ∂v1 (x) ∂xn ∂v2 (x) ∂xn ∂vN (x) ∂x2 ∂vN (x) ∂xn ∂x1 ∂v2 (x) ∂x1 ∂x2 ∂v2 (x) ∂x2 ∂vN (x) ∂x1 (5.54) theo xk được: N X ∂ F (x) ∂vi (x) ∂vi (x) ∂ vi (x) =2 + vi (x) ∂xk ∂xj ∂xk ∂xj ∂xk ∂xj i=1 (5.55) Viết lại dạng ma trận ta có: ∇2 F (x) = 2JT (x)J(x) + 2S(x) với S(x) = N X vi (x)∇2 vi (x) (5.56) (5.57) i=1 Nếu S(x) nhỏ ta có ma trận Hessian xấp xỉ là: H =∇2 F (x) ≈2JT (x)J(x) (5.58) 5.4 PHƯƠNG PHÁP LEVENBERG MARQUARDT 139 Thay gradient (5.53) ma trận Hessian xấp xỉ (5.58) vào công thức (5.46) ta thu được: xk+1 = xk − [JT (xk )J(xk )]−1 JT (xk )v(xk ) (5.59) Công thức gọi phương pháp Gauss-Newton Ưu điểm phương pháp không cần tính đạo hàm bậc hai, nhiên ma trân Hessian phải khả đảo Để đảm bảo ma trận Hessian khả đảo, công thức (5.59) điều chỉnh sau: xk+1 = xk − [JT (xk )J(xk ) + µk I]−1 JT (xk )v(xk ) (5.60) I ma trận đơn vị có kích thước n × n, µk > Công thức (5.60) gọi phương pháp Levenberg-Marquardt (LM ) [26] Khi µk lớn phương pháp trở thành phương pháp hạ sâu ngược lại phương pháp Gauss-Newton Gọi λ giá trị riêng ma trận Hessian xấp xỉ H, theo cơng thức (5.21) ta có giá trị riêng ma trận JT (xk )J(xk ) + µk I λ + µk Như vậy, ma trận H khơng khả đảo λ = 0, ma trận H + µk I khả đảo µk > 0, phương pháp LM có ưu điểm đảm bảo ma trận Hessian khả đảo Ví dụ 5.5 Ở ví dụ 4.5, sử dụng phương pháp hạ sâu để tìm tham số tối ưu mạng Trong ví dụ này, sử dụng phương pháp LevenbergMarquardt Hình 5.4 thể đầu mạng đầu mẫu sau 10 kỷ nguyên Ta thấy đầu mạng giống với đầu mẫu với sai số bé Đồ thị hàm mục tiêu theo kỷ nguyên huấn luyện thể hình 5.5 Ta thấy sau kỷ nguyên, hàm mục tiêu giảm xuống 10−3 , tốc độ hội tụ phương pháp LM nhanh Chương trình tạo mạng huấn luyện mạng viết Matlab sau: x = −2 : : 2;t = + cos(pi ∗ x/4);Q = length(x); net = f eedf orwardnet(2);net.trainF cn =0 trainlm0 ; net.trainP aram.maxf ail = 10;net.divideP aram.trainRatio = 7; net.divideP aram.valRatio = 0.15;net.divideP aram.testRatio = 0.15; net.trainP aram.epochs = 10;net.trainP aram.ming rad = 1e − 6; net = init(net);[net, tr] = train(net, x, t);view(net) y = net(x);figure(1);plot(x,t,’k’,x,y,’k-.’);xlabel(’x’);ylabel(’Đầu ra’) legend(’Đầu mẫu’,’Đầu mạng’); grid on; figure(2); loglog(tr.perf) grid on; xlabel(’Số kỷ nguyên’); 140 CHƯƠNG TỐI ƯU HÓA HÀM MỤC TIÊU 1.9 1.8 1.7 1.6 1.5 1.4 1.3 1.2 1.1 -2 -1.5 -1 -0.5 0.5 1.5 x Hình 5.4: Đầu mẫu đầu mạng sau 10 kỷ nguyên 100 10-1 10-2 10-3 10-4 10-5 100 101 Hình 5.5: Giá trị hàm mục tiêu sau kỷ nguyên 5.5 PHƯƠNG PHÁP LỌC 5.5 141 Phương pháp lọc Từ cơng thức (5.10) ta có: ∆xk =xk+1 − xk =αgk , (5.61) với gk véc tơ gradient Phương pháp lọc có cơng thức sau: ∆xk = γ∆xk−1 − (1 − γ)αgk , (5.62) ≤ γ < gọi hệ số chỉnh hướng học Dễ dàng nhận thấy chuyển sang miền z hệ thống có điểm cực γ < nên hệ thống ổn định Phương pháp có ưu điểm giảm tượng dao động tốc độ học lớn tốc độ hội tụ nhanh So với phương pháp gradient, việc phải tính gradient, phương pháp phải sử dụng thêm khoảng cách nghiệm khứ ∆xk−1 Áp dụng phương pháp lọc cho thuật toán lan truyền ngược (4.55) (4.56) ta có: ∆Wm (k) = γ∆Wm (k − 1) − (1 − γ)αsm (am−1 )T (5.63) ∆bm (k) = γ∆bm (k − 1) − (1 − γ)αsm (5.64) m m W b ma trận trọng số véc tơ ngưỡng lớp m, sm véc tơ độ nhạy lớp m 5.6 Phương pháp chỉnh định Bayes Phương pháp chỉnh định Bayes [21, 22] sử dụng thuật toán giống phương pháp LM để cập nhật tham số, khác điều hàm mục tiêu thêm phần tổng bình phương tham số Hàm mục tiêu định nghĩa sau J(x) = βF (x) + γxT x → min, (5.65) F (x) phần hàm mục tiêu phụ thuộc vào bình phương sai lệch đầu mẫu với đầu mạng nơ-ron, xT x tổng bình phương tham số, β γ tham số hàm mục tiêu Dễ dàng nhận thấy γ = phương pháp chỉnh định Bayes giống với phương pháp LM Điểm khác biệt tham số hàm mục tiêu β γ chỉnh định dùng công thức Bayes Phương pháp áp dụng phương pháp LM kết hợp với phương pháp chỉnh định Bayes để cập nhật x, β γ sau vịng lặp Thuật tốn gồm bước sau: 142 CHƯƠNG TỐI ƯU HÓA HÀM MỤC TIÊU • Bước 1: Khởi tạo với γ = β = • Bước 2: Thực vịng lặp với phương pháp LM • Bước 3: Tính số tham số hiệu ma trận Hessian H H = 2βJT J + 2γI (5.66) = N − 2γtr(H)−1 (5.67) N kích thước véc tơ x • Bước 4: Cập nhật tham số hàm mục tiêu γ= 2F (x) (5.68) β= N − 2xT x (5.69) • Bước 4: Thực bước 2, đến hội tụ Phương pháp chỉnh định Bayes có tốc độ hội tụ nhanh phương pháp LM Sau huấn luyện kiểm tra số tham số hiệu so sánh với số tham số thực N , xấp xỉ gần N , tăng số nơ-ron lớp ẩn huấn luyện lại mạng, mạng có giống với mạng ban đầu mạng ban đầu đủ lớn để xấp xỉ hàm thực 5.7 5.7.1 Những vấn đề q trình huấn luyện mạng Chuẩn hóa tín hiệu Xét hàm truyền tansig Ta thấy đầu vào net n = 3, tansig(n) = 0.9951, giá trị gần bão hịa, gradient gần khơng Điều xảy đầu vào lớn trọng số lớn bias lớn Khi ta dùng phương pháp chỉnh định Bayes, trọng số nhỏ, dẫn tới để tránh tượng bão hịa đầu vào phải nhỏ Như ta cần chuẩn hóa tín hiệu Xét trường hợp véc tơ đầu vào có thành phần p Giả sử pmin ≤ p ≤ pmax Khi đầu vào chuẩn hóa pc tính sau: pc = 2(p − pmin ) −1 pmax − pmin (5.70) 5.7 NHỮNG VẤN ĐỀ TRONG QUÁ TRÌNH HUẤN LUYỆN MẠNG 143 Như tín hiệu sau chuẩn hóa có giá trị đoạn [−1; 1] p1 p 2 Xét trường hợp véc tơ đầu vào có R thành phần p = Khi véc tơ đầu vào pR c p1 pc chuẩn hóa sau: pc = với pcR pci = 2(pi − pmin ) i − ∀i = ÷ R, pmax − p i i (5.71) pmin ≤ pi ≤ pmax i i σ Một cách dùng giá trị trung bình đầu vào độ lệch chuẩn Gọi pm i pi giá trị trung bình độ lệch chuẩn thành phần pi tập mẫu đầu vào Khi thành phần pi chuẩn hóa sau: pi − pm i (5.72) pci = pσi Q trình chuẩn hóa tín hiệu dùng để chuẩn hóa tín hiệu đầu mẫu đầu lớp mạng nhiều lớp 5.7.2 Cấu trúc mạng Bài toán xấp xỉ Bài toán yêu cầu sử dụng mạng nơ-ron để xây dựng ánh xạ (hàm số) từ tập liệu đầu vào tới tập liệu đầu Cấu trúc mạng thường hai lớp với lớp có hàm truyền hàm tansig lớp đầu có hàm truyền tuyến tính Sử dụng hàm tansig có ưu điểm đầu nơ-ron có giá trị thuộc đoạn [−1; 1], khơng cần phải chuẩn hóa tín hiệu đầu lớp thứ Người ta dụng mạng xuyên tâm RBF với hàm truyền sở hàm Gauss để xấp xỉ liệu vào Một số tốn xấp xỉ khó, phải sử dụng mạng nhiều lớp (mạng sâu) để xấp xỉ liệu vào Phân loại mẫu Bài toán yêu cầu sử dụng mạng nơ-ron để phân loại véc tơ đầu vào thành loại mẫu, chẳng hạn phân loại ảnh ô tô với xe máy Đối với toán 144 CHƯƠNG TỐI ƯU HÓA HÀM MỤC TIÊU này, thường mạng perceptron nhiều lớp lựa chọn Hàm truyền lớp đầu mạng thường hàm sigmoid hardlim Nhóm Bài tốn u cầu sử dụng mạng nơ-ron để nhóm liệu đầu vào có tính tương tự (giống nhau) Mạng cạnh tranh (competitive) mạng tự tổ chức thường sử dụng để giải toán Dự báo Bài tốn dự báo bao gồm phân tích chuỗi thời gian, nhận dạng hệ thống, lọc mô hình hóa động học Mục tiêu dự báo đầu tương lai chuỗi thời gian hay hệ thống Để giải toán người ta dùng mạng nơ-ron động học: mạng truyền thẳng có trễ đầu vào mạng hồi quy 5.7.3 Hiện tương overfitting Hiện tượng overfitting xảy đầu mạng nơ-ron giống với đầu mẫu tập liệu dùng để huấn luyện mạng, nhiên đầu mạng nơ-ron khác xa so với đầu mẫu liệu đầu vào nằm bên dải liệu mẫu dùng đề huất luyện mạng không nằm tập liệu dùng để huấn luyện mạng Điều có nghĩa mạng nơ-ron nội suy 5.7 NHỮNG VẤN ĐỀ TRONG QUÁ TRÌNH HUẤN LUYỆN MẠNG 145 Bài tập Bài số 5.1 Cho hàm mục tiêu F (x) = x21 + 2x1 x2 + 2x22 + 4x2 + " # → Cho x0 = a) Tìm x1 sử dụng phương pháp hạ sâu với tốc độ học α = 0.1 Tốc độ học tới hạn bao nhiêu? b) Tìm x1 sử dụng phương pháp hạ sâu với tốc độ học tối ưu c) Tìm x1 sử dụng phương pháp Newton d) So sánh kết tìm e) Vẽ đường đồng mức quỹ đạo xk với tốc độ học nhỏ Bài số 5.2 Cho hàm số y = sin(x)e2x với x ∈ [−2; 2] Thiết kế mạng nơ-ron sử dụng lệnh networks train a) Sử dụng phương pháp hạ sâu traingd b) Sử dụng phương pháp LM trainlm " # 2 Bài số 5.3 Cho hàm mục tiêu F (x) = x1 + 2x1 x2 + 2x2 + 4x2 + → Cho x0 = a) Tìm x1 sử dụng phương pháp hạ sâu với tốc độ học α = 0.1 b) Tìm x1 sử dụng phương pháp hạ sâu với tốc độ học tối ưu c) Tìm x1 sử dụng phương pháp Newton d) So sánh kết tìm với số 5.1 e) Viết chương trình tìm nghiệm sử dụng phương pháp lọc phương pháp hạ sâu với tốc độ học tối ưu Vẽ quỹ đạo nghiệm so sánh kết 146 CHƯƠNG TỐI ƯU HÓA HÀM MỤC TIÊU ... 3.5 Điều khiển mờ thích nghi 3.5.1 Điều khiển mờ thích nghi gián tiếp 3.5.2 Điều khiển mờ thích nghi trực tiếp 3.6 Điều khiển dựa... 3.4 Bộ điều khiển mờ PID 3.4.1 Bộ điều khiển mờ tỉ lệ 3.4.2 Bộ điều khiển mờ PD 3.4.3 Chỉnh định tham số PID hệ mờ ... mơ tả trình suy luận mờ đầu vào mờ với tập mờ A0 với hàm liên thuộc có dạng tam giác Kết thu tập mờ B có dạng hình thang với độ cao α0 Hình 2.3: Suy luận mờ với đầu vào mờ 2.2 MỆNH ĐỀ MỜ 2.2.2