Phương pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền

i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi định hướng thầy hướng dẫn, kiến thức luận văn hệ thống từ tài liệu công bố trích dẫn đầy đủ Các kết nghiên cứu chạy thử nghiệm trung thực dựa chương trình cài đặt kèm theo nghiên cứu Thái Nguyên, ngày 20 tháng năm 2015 Học viên ii LỜI CẢM ƠN Luận văn thực trường Đại học Công nghệ thông tin & Truyền thông – Đại học Thái Nguyên, hướng dẫn thầy TS Phạm Thanh Hà Tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy TS Phạm Thanh Hà; người có định hướng giúp tơi lựa chọn đề tài hoàn thành đề tài nghiên cứu Thầy ân cần bảo, giảng giải cho động viên nhiều trình thực đề tài Tơi xin gửi lời chân thành cảm ơn tới q thầy thuộc phịng Đào tạo, khoa công nghệ thông tin trường Đại học Công nghệ thông tin truyền thông giúp đỡ tơi, tạo điều kiện thuận lợi để tơi hồn thành luận văn Cuối cùng, xin gửi lời cảm ơn tới gia đình cho tơi chỗ dựa vững để tơi hồn thành tốt q trình học tập thời gian qua iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH VẼ vii MỞ ĐẦU CHƯƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Mạng nơ ron sinh học 1.1.2 Khái niệm mạng nơ ron nhân tạo 1.2 Mạng nơ ron truyền thẳng nhiều lớp MLP 11 1.3 Các luật học mạng nơ ron 12 1.4 Thuật toán huấn luyện lan truyền ngược sai số - Back Propagation 18 Kết luận chương 26 CHƯƠNG 2: GIẢI THUẬT DI TRUYỀN 27 2.1 Các khái niệm giải thuật di truyền 27 2.2 Giải thuật di truyền mã hóa nhị phân 29 2.3 Cơ chế hoạt động giải thuật di truyền 33 2.4 Giải thuật di truyền mã hóa số thực 37 2.4.1 Nhóm tốn tử đột biến 39 2.4.2 Nhóm tốn tử lai tạo 41 Kết luận chương 44 CHƯƠNG 3: ỨNG DỤNG GIẢI THUẬT DI TRUYỀN TRONG HUẤN LUYỆN MẠNG NƠ RON 45 3.1 Xây dựng giải thuật di truyền huấn luyện mạng 45 iv 3.2 Một số kết huấn luyện mạng xấp xỉ hàm XOR 49 3.2.1 Sử dụng phương pháp lan truyền ngược sai số truyền thống 50 3.2.2 Sử dụng phương pháp huấn luyện nhờ giải thuật di truyền 51 3.3 Một số kết huấn luyện mạng xấp xỉ hàm hình chng 53 3.3.1 Huấn luyện lan truyền ngược sai số 55 3.3.2 Huấn luyện giải thuật di truyền 56 3.4 Xấp xỉ XOR – XOR 66 3.4.1 Huấn luyện mạng nơ ron 67 3.4.2 Huấn luyện giải thuật di truyền 70 Kết luận chương 73 KẾT LUẬN 74 TÀI LIỆU THAM KHẢO 75 v DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT ANN Artificial Neural Network (mạng nơron nhân tạo) BP Back propagation (giải thuật lan truyền ngược) GA Gennetic Algorithm (giải thuật di truyền) MLP Multi-Layer Perceptrons (Perceptron nhiều tầng) RBF Radial Basic Function (hàm sở bán kính) vi DANH MỤC CÁC BẢNG Bảng 2.1: Bảng trình chọn lọc cá thể có độ thích nghi tốt 32 Bảng 2.2: Bảng trình chọn lọc cá thể có độ thích nghi tốt 33 Bảng 3.1 Kết xấp xỉ hàm XOR sử dụng phương pháp lan truyền ngược sai số 51 Bảng 3.2 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 52 Bảng 3.3 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 53 Bảng 3.4 Một số mẫu( theo dịng) sinh chương trình 54 Bảng 3.5 Kết xấp xỉ hàm hình chng sử dụng giải thuật di truyền lần 57 Bảng 3.6 Kết xấp xỉ hàm hình chng sử dụng giải thuật di truyền lần 60 Bảng 3.7 Kết xấp xỉ hàm hình chng sử dụng giải thuật di truyền lần 64 Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần 68 Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần 69 Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 71 Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 72 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Cấu tạo nơ ron Hình 1.2: Mơ hình nơ ron Hình 1.3: Cấu trúc nơ ron Hình 1.4: Hàm kích hoạt bước nhảy Hình 1.5: Hàm kích hoạt hàm dấu Hình 1.6: Hàm kích hoạt hàm dốc Hình 1.7: Hàm kích hoạt sigmoid đơn cực 10 Hình 1.8: Hàm kích hoạt sigmoid đa cực 10 Hình 1.9: Mạng nơ ron truyền thẳng MLP 11 Hình 1.10: Học có giám sát 13 Hình 1.11: Học khơng có giám sát 15 Hình 1.12: Mạng MLP lan truyền ngược sai số 19 Hình 1.13: Thuật tốn lan truyền ngược sai số 23 Hình 2.1: Bánh xe rulet lựa chọn nhiễm sắc thể 36 Hình 2.2: Biểu diễn giá trị  40 Hình 3.1: Mã hóa trọng số biểu diễn thập phân mạng nơ ron 47 Hình 3.2: Sơ đồ giải thuật di truyền 48 MỞ ĐẦU Đặt vấn đề Như biết mạng nơ ron nhân tạo tái tạo kỹ thuật chức hệ thần kinh người Trong trình tái tạo tất chức não người tái tạo, mà có chức cần thiết Bên cạnh cịn có chức tạo nhằm giải toán định trước Mạng nơ ron bao gồm nơ ron liên kết với trọng số theo cấu trúc xác định Mạng nơ ron huấn luyện để thực nhiệm vụ khác Quá trình huấn luyện thiết lập trọng số cho liên kết nơ ron mạng Thuật toán huấn luyện lan truyền ngược thuật toán lịch sử phát triển mạng nơ ron nhân tạo, thuật toán ứng dụng cho mạng truyền thẳng nhiều lớp Thuật toán sử dụng phương pháp giảm gradient (giảm dốc nhất) để tối thiểu hàm sai số Giá trị hàm sai số Ek mẫu tính tốn dựa giá trị trọng số Các giá trị trọng số sau hiệu chỉnh trở thành giá trị trọng số để tính giá trị hàm sai số Ek+1 Hạn chế giải thuật huấn luyện lan truyền ngược sai số tốc độ chậm nhiều gặp phải vấn đề như: Mạng liệt: xảy trọng số điều chỉnh tới giá trị lớn Tổng đầu vào đơn vị ẩn đơn vị đầu mà đạt giá trị cao (hoặc dương âm), qua hàm kích hoạt sigmoid, đơn vị có giá trị kích hoạt gần gần Giá trị hiệu chỉnh trọng số gần 0, trình huấn luyện đến trạng thái dừng ảo Cực tiểu địa phương: bề mặt sai số mạng phức tạp đầy đồi thung lũng Bởi hạ độ dốc, mạng bị mắc bẫy cực tiểu địa phương có nhiều cực tiểu thấp gần bên cạnh Giải thuật di truyền kỹ thuật tìm kiếm tối ưu giúp ta giải vấn đề đặt trên, cho phép ta tìm kiếm lời giải tối ưu khơng gian lớn, nguyên tắc giải thuật di truyền mơ q trình chọn lọc tự nhiên Cho đến lĩnh vực nghiên cứu giải thuật di truyền thu nhiều thành tựu, giải thuật di truyền ứng dụng nhiều lĩnh vực phức tạp, vấn đề khó giải phương pháp thông thường [1-3] Như đề cập trình huấn luyện mạng nơ ron q trình cực tiểu hàm sai số để xác định trọng số mạng luận văn sử dụng giải thuật di truyền để xác định trọng số mạng thay sử dụng giải thuật huấn luyện Đối tượng phạm vi nghiên cứu - Mạng nơ ron nhân tạo sâu vào mạng truyền thẳng kỹ thuật huấn luyện lan truyền ngược sai số - Nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron truyền thẳng, thay kỹ thuật huấn luyện lan truyền ngược sai số Phương pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm Ý nghĩa khoa học đề tài Nghiên cứu mạng nơ ron, giải thuật di truyền sử dụng giải thuật di truyền huấn luyện mạng nơ ron CHƯƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Mạng nơ ron sinh học Mạng nơ ron bao gồm vô số nơ ron liên kết truyền thông với mạng, hình 1.1 phần mạng nơ ron bao gồm hai nơ ron Hình 1.1:Cấu tạo nơ ron Nơ ron cấu tạo gồm phần sau: Thân nơ ron: thường gọi soma có nhiệm vụ tổng hợp xử lý cho tín hiệu điện nhận từ rễ đầu vào Bản chất q trình việc lấy tổng cộng tất tín hiệu mà nơ ron nhận Các xúc tu: tua dài gắn liền với soma có chức truyền tín hiệu điện nhận từ mơi trường từ nơ ron khác để soma xử lý Trục cảm ứng: thành phần kết nối nơ ron lại với Nó có chức phát tín hiệu điện, truyền tín hiệu từ nơ ron nơi khác Thông thường axon trạng thái nghỉ, điện soma vượt ngưỡng cho phép axon phát xung điện 62 25 1.500, 1.500 0.011 0.030306 0.019 26 1.500, 2.000 0.002 0.021332 0.019 27 1.500, 2.500 0.000 0.015405 0.015 28 1.500, 3.000 0.000 0.008228 0.008 29 2.000, 0.000 0.018 0.045310 0.027 30 2.000, 0.500 0.014 0.030267 0.016 31 2.000, 1.000 0.007 0.021354 0.015 32 2.000, 1.500 0.002 0.015861 0.014 33 2.000, 2.000 0.000 0.012343 0.012 34 2.000, 2.500 0.000 0.010007 0.010 35 2.000, 3.000 0.000 0.008399 0.008 36 2.500, 0.000 0.002 0.021346 0.019 37 2.500, 0.500 0.002 0.015857 0.014 38 2.500, 1.000 0.001 0.012341 0.012 39 2.500, 1.500 0.000 0.010006 0.010 40 2.500, 2.000 0.000 0.008406 0.008 41 2.500, 2.500 0.000 0.007278 0.007 42 2.500, 3.000 0.000 0.006464 0.006 43 3.000, 0.000 0.000 0.012339 0.012 44 3.000, 0.500 0.000 0.010005 0.010 45 3.000, 1.000 0.000 0.008405 0.008 63 46 3.000, 1.500 0.000 0.007277 0.007 47 3.000, 2.000 0.000 0.006464 0.006 48 3.000, 2.500 0.000 0.005865 0.006 49 3.000, 3.000 0.000 0.005416 0.005 Sai số=0.835134  Lần thử nghiệm 64 Trọng số nối lớp vào lớp ẩn: -0.5802; -0.9808; 2.1761; -8.1327; 1.1130; 19.1482; Trọng số nối lớp ẩn lớp ra: 18.3444; -3.3106; -5.4977; Các kết xấp xỉ Bảng 3.7 Kết xấp xỉ hàm hình chng sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0.000, 0.000 1.000 0.991574 0.008 0.000, 0.500 0.779 0.804416 0.026 0.000, 1.000 0.368 0.378605 0.011 0.000, 1.500 0.105 0.111885 0.006 0.000, 2.000 0.018 0.037838 0.020 0.000, 2.500 0.002 0.017241 0.015 0.000, 3.000 0.000 0.010164 0.010 0.500, 0.000 0.779 0.867630 0.089 0.500, 0.500 0.607 0.526573 0.080 65 10 0.500, 1.000 0.287 0.185256 0.101 11 0.500, 1.500 0.082 0.056902 0.025 12 0.500, 2.000 0.014 0.022951 0.009 13 0.500, 2.500 0.002 0.012283 0.011 14 0.500, 3.000 0.000 0.008152 0.008 15 1.000, 0.000 0.368 0.371098 0.003 16 1.000, 0.500 0.287 0.222933 0.064 17 1.000, 1.000 0.135 0.089214 0.046 18 1.000, 1.500 0.039 0.032044 0.007 19 1.000, 2.000 0.007 0.015385 0.009 20 1.000, 2.500 0.001 0.009434 0.009 21 1.000, 3.000 0.000 0.006884 0.007 22 1.500, 0.000 0.105 0.083195 0.022 23 1.500, 0.500 0.082 0.058546 0.024 24 1.500, 1.000 0.039 0.045974 0.007 25 1.500, 1.500 0.011 0.020067 0.009 26 1.500, 2.000 0.002 0.011237 0.009 27 1.500, 2.500 0.000 0.007699 0.007 28 1.500, 3.000 0.000 0.006053 0.006 29 2.000, 0.000 0.018 0.020768 0.002 30 2.000, 0.500 0.014 0.011725 0.003 31 2.000, 1.000 0.007 0.025523 0.019 32 2.000, 1.500 0.002 0.013825 0.012 33 2.000, 2.000 0.000 0.008807 0.008 34 2.000, 2.500 0.000 0.006590 0.007 66 35 2.000, 3.000 0.000 0.005490 0.005 36 2.500, 0.000 0.002 0.006765 0.005 37 2.500, 0.500 0.002 0.002911 0.001 38 2.500, 1.000 0.001 0.014416 0.014 39 2.500, 1.500 0.000 0.010311 0.010 40 2.500, 2.000 0.000 0.007303 0.007 41 2.500, 2.500 0.000 0.005855 0.006 42 2.500, 3.000 0.000 0.005099 0.005 43 3.000, 0.000 0.000 0.002795 0.003 44 3.000, 0.500 0.000 0.001148 0.001 45 3.000, 1.000 0.000 0.007251 0.007 46 3.000, 1.500 0.000 0.008174 0.008 47 3.000, 2.000 0.000 0.006330 0.006 48 3.000, 2.500 0.000 0.005353 0.005 49 3.000, 3.000 0.000 0.004823 0.005 Sai số=0.787517 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số 3.4 Xấp xỉ XOR – XOR Tập mẫu huấn luyện: x(1,1)=0;x(2,1)=0;x(3,1)=0;t(1,1)=0; x(1,2)=0;x(2,2)=0;x(3,2)=1;t(1,2)=1; 67 x(1,3)=0;x(2,3)=1;x(3,3)=0;t(1,3)=1; x(1,4)=0;x(2,4)=1;x(3,4)=1;t(1,4)=0; x(1,5)=1;x(2,5)=0;x(3,5)=0;t(1,5)=1; x(1,6)=1;x(2,6)=0;x(3,6)=1;t(1,6)=0; x(1,7)=1;x(2,7)=1;x(3,7)=0;t(1,7)=0; x(1,8)=1;x(2,8)=1;x(3,8)=1;t(1,8)=1; 3.4.1 Huấn luyện mạng nơ ron  Lần thử nghiệm Cấu trúc mạng kết quả: Số vòng lặp = 28171 Trọng số nối lớp vào lớp ẩn: 7.1397; -3.7124; -4.5398; 4.3554; -7.4433; 4.3362; 68 -4.5138; -3.6295; 7.0462; 3.7394; 2.9330; 3.6868; Trọng số nối lớp ẩn lớp ra: -13.1193; 11.6113; -13.1117; 6.5330; Các kết xấp xỉ: Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017237 0.017237 0,0,1 1.000000 0.990006 0.009994 0,1,0 1.000000 0.996158 0.003842 0,1,1 0.000000 0.003412 0.003412 1,0,0 1.000000 0.989994 0.010006 1,0,1 0.000000 0.001985 0.001985 1,1,0 0.000000 0.003404 0.003404 1,1,1 1.000000 0.999880 0.000120 Sai số = 0.050000  Lần thử nghiệm 69 Cấu trúc mạng kết quả: Số vòng lặp=42774 Trọng số nối lớp vào lớp ẩn: -5.0718; -4.9291; 7.2390; -7.9202; 5.4066; 5.6653; -3.9506; 4.5609; -4.0060; 3.8011; -5.6406; 4.0070; Trọng số nối lớp ẩn lớp ra: -17.9348; 17.6400; -13.0473; 5.2703; Các kết xấp xỉ: Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017364 0.017364 70 0,0,1 1.000000 0.990049 0.009951 0,1,0 1.000000 0.989427 0.010573 0,1,1 0.000000 0.002231 0.002231 1,0,0 1.000000 0.991865 0.008135 1,0,1 0.000000 0.000106 0.000106 1,1,0 0.000000 0.001640 0.001640 1,1,1 1.000000 1.000000 0.000000 Sai số = 0.050000 3.4.2 Huấn luyện giải thuật di truyền  Lần thử nghiệm 1: 71 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -5.6162; 4.0340; 3.2334; -5.0049; -4.9609; 8.0635; 7.2351; -13.2947; 4.7033; -6.6923; 9.3657; -5.2643; Trọng số nối lớp ẩn lớp ra: 13.4032; -12.4144; 3.7364; -9.7347; Các kết xấp xỉ: Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.075524 0.075524 0,0,1 1.000000 0.984282 0.015718 0,1,0 1.000000 0.966097 0.033903 0,1,1 0.000000 0.000315 0.000315 1,0,0 1.000000 0.975579 0.024421 1,0,1 0.000000 0.000921 0.000921 1,1,0 0.000000 0.001098 0.001098 1,1,1 1.000000 0.999940 0.000060 Sai số = 0.151961  Lần thử nghiệm 2: 72 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -9.9758; 5.2061; 5.9228; -3.8144; -5.6591; 7.8712; 7.5191; 18.3072; 19.3022; -8.9224; 18.3472; -10.7797; Trọng số nối lớp ẩn lớp ra: 12.7463; -14.8163; 7.0871; -14.2979; Các kết xấp xỉ: Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.009562 0.009562 0,0,1 1.000000 0.993231 0.006769 0,1,0 1.000000 0.995569 0.004431 73 0,1,1 0.000000 0.000405 0.000405 1,0,0 1.000000 0.998845 0.001155 1,0,1 0.000000 0.000703 0.000703 1,1,0 0.000000 0.000822 0.000822 1,1,1 1.000000 0.999988 0.000012 Sai số = 0.023859 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số Kết luận chương Trong chương luận văn nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron Kết thử nghiệm toán hai phương pháp giải thuật huấn luyện lan truyền ngược sai số ứng dụng giải thuật di truyền huấn luyện mạng nơ ron kết cho thấy giải thuật di truyền cho kết tốt đồng thời khắc phục tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngược sai số thường gặp phải Kết cho thấy sử dụng giải thuật di truyền huấn luyện mạng nơ ron giải pháp thay tiềm hiệu phát triển rộng rãi có nghiên cứu cụ thể đến phạm vi tốn cần giải 74 KẾT LUẬN Luận văn đạt số kết sau: Nghiên cứu hệ thống kiến thực mạng nơ ron, giải thuật di truyền Đi sâu nghiên cứu mạng nơ ron truyền thẳng giải thuật huấn luyện lan truyền ngược sai số Nghiên cứu sâu giải thuật di truyền mã hóa số thực làm sở xây dựng giải thuật di truyền huấn luyện mạng nơ ron Đề xuất phương pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền thay giải thuật lan truyền ngược sai số truyền thống Thực nghiệm số toán, kết thực nghiệm khẳng định phương pháp huấn luyện sử dụng giải thuật di truyền cho kết không thua giải thuật lan truyền ngược sai số truyền thống Đưa giải thuật di truyền vào huấn luyện mạng nơ ron MLP Các phân tích, tính tốn cài đặt cho kết huấn luyện mong muốn Ngoài kết thực nghiệm cho thấy giải thuật di truyền huấn luyện mạng nơ ron cho hội tụ, khắc phục tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngược sai số giải thuật khác không thực Tuy nhiên nhận thức kết nghiên cứu bước đầu, việc thực nghiệm dừng lại số toán logic tốn xấp xỉ hàm hình chng, tốn chưa thể đại diện cho toán khác Trong thời gian tới tiến hành lựa chọn số lớp toán đủ rộng để tiến hành thực nghiệm đánh giá kết nhằm khẳng định thêm tính khả dụng giải pháp đề xuất 75 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] Đinh Mạnh Tường, Trí tuệ nhân tạo, Nhà xuât Khoa học kỹ thuật, 2000 [2] Nguyễn Đình Thúc, Trí tuệ nhân tạo - Lập trình tiến hố, Nhà xuất giáo dục, 2001 [3] Hoàng Kiếm,Giải thuật di truyền – Cách giải tự nhiên toán máy tính, Nhà xuất khoa học kỹ thuật, 2000 [4] Nguyễn Đình Thúc, Mạng nơ ron - Kỹ thuật lan truyền ngược, Nhà xuất khoa học kỹ thuật, 2000 TIẾNG ANH [5] Cheng Teng Lin, C S George Lee, Neural Fuzzy Systems, Prentice – Hall International, Inc ((1996)) [6] Randy L Haupt, Sue Ellen Haupt, Practical Genetic Algorithms, Second Edition, Copyright © 2004 John Wiley & Sons, Inc [7] Rustem Popa, Genetic Algorithms in Applications, Publisher: IN-TECH (March, 2012) ... cứu mạng nơ ron, giải thuật di truyền sử dụng giải thuật di truyền huấn luyện mạng nơ ron 3 CHƯƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Mạng nơ ron sinh học Mạng nơ ron. .. ỨNG DỤNG GIẢI THUẬT DI TRUYỀN TRONG HUẤN LUYỆN MẠNG NƠ RON 45 3.1 Xây dựng giải thuật di truyền huấn luyện mạng 45 iv 3.2 Một số kết huấn luyện mạng xấp xỉ hàm XOR 49 3.2.1 Sử dụng. .. liên kết nơ ron mạng Thuật toán huấn luyện lan truyền ngược thuật toán lịch sử phát triển mạng nơ ron nhân tạo, thuật toán ứng dụng cho mạng truyền thẳng nhiều lớp Thuật toán sử dụng phương pháp