Phương pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PHAN ANH TÚ PHƢƠNG PHÁP HUẤN LUYỆN MẠNG NƠ RON SỬ DỤNG GIẢI THUẬT DI TRUYỀN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨKHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS PHẠM THANH HÀ Thái Nguyên 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ii LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi dƣới định hƣớng thầy hƣớng dẫn, kiến thức luận văn đƣợc hệ thống từ tài liệu đƣợc công bố đƣợc trích dẫn đầy đủ Các kết nghiên cứu chạy thử nghiệm trung thực dựa chƣơng trình cài đặt kèm theo nghiên cứu Thái Nguyên, ngày 20 tháng năm 2015 Học viên Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iii LỜI CẢM ƠN Luận văn đƣợc thực trƣờng Đại học Công nghệ thông tin & Truyền thông – Đại học Thái Nguyên, dƣới hƣớng dẫn thầy TS Phạm Thanh Hà Tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy TS Phạm Thanh Hà; ngƣời có định hƣớng giúp tơi lựa chọn đề tài hoàn thành đề tài nghiên cứu Thầy ân cần bảo, giảng giải cho động viên nhiều trình thực đề tài Tơi xin gửi lời chân thành cảm ơn tới q thầy thuộc phịng Đào tạo, khoa công nghệ thông tin trƣờng Đại học Công nghệ thông tin truyền thông giúp đỡ tơi, tạo điều kiện thuận lợi để tơi hồn thành luận văn Cuối cùng, xin gửi lời cảm ơn tới gia đình cho tơi chỗ dựa vững để tơi hồn thành tốt q trình học tập thời gian qua Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ viii MỞ ĐẦU CHƢƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Mạng nơ ron sinh học 1.1.2 Khái niệm mạng nơ ron nhân tạo 1.2 Mạng nơ ron truyền thẳng nhiều lớp MLP 11 1.3 Các luật học mạng nơ ron 12 1.4 Thuật toán huấn luyện lan truyền ngƣợc sai số - Back Propagation 18 Kết luận chƣơng 26 CHƢƠNG 2: GIẢI THUẬT DI TRUYỀN 27 2.1 Các khái niệm giải thuật di truyền 27 2.2 Giải thuật di truyền mã hóa nhị phân 29 2.3 Cơ chế hoạt động giải thuật di truyền 33 2.4 Giải thuật di truyền mã hóa số thực 37 2.4.1 Nhóm tốn tử đột biến 39 2.4.2 Nhóm toán tử lai tạo 41 Kết luận chƣơng 44 CHƢƠNG 3: ỨNG DỤNG GIẢI THUẬT DI TRUYỀN TRONG HUẤN LUYỆN MẠNG NƠ RON 45 3.1 Xây dựng giải thuật di truyền huấn luyện mạng 45 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ v 3.2 Một số kết huấn luyện mạng xấp xỉ hàm XOR 49 3.2.1 Sử dụng phƣơng pháp lan truyền ngƣợc sai số truyền thống 50 3.2.2 Sử dụng phƣơng pháp huấn luyện nhờ giải thuật di truyền 51 3.3 Một số kết huấn luyện mạng xấp xỉ hàm hình chng 53 3.3.1 Huấn luyện lan truyền ngƣợc sai số 55 3.3.2 Huấn luyện giải thuật di truyền 56 3.4 Xấp xỉ XOR – XOR 66 3.4.1 Huấn luyện mạng nơ ron 67 3.4.2 Huấn luyện giải thuật di truyền 70 Kết luận chƣơng 73 KẾT LUẬN 74 TÀI LIỆU THAM KHẢO 75 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vi DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT ANN Artificial Neural Network (mạng nơron nhân tạo) BP Back propagation (giải thuật lan truyền ngƣợc) GA Gennetic Algorithm (giải thuật di truyền) MLP Multi-Layer Perceptrons (Perceptron nhiều tầng) RBF Radial Basic Function (hàm sở bán kính) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vii DANH MỤC CÁC BẢNG Bảng 2.1: Bảng trình chọn lọc cá thể có độ thích nghi tốt 32 Bảng 2.2: Bảng q trình chọn lọc cá thể có độ thích nghi tốt 33 Bảng 3.1 Kết xấp xỉ hàm XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số 51 Bảng 3.2 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 52 Bảng 3.3 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 53 Bảng 3.4 Một số mẫu( theo dịng) sinh chƣơng trình 54 Bảng 3.5 Kết xấp xỉ hàm hình chng sử dụng giải thuật di truyền lần 57 Bảng 3.6 Kết xấp xỉ hàm hình chng sử dụng giải thuật di truyền lần 60 Bảng 3.7 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 64 Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số lần 68 Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số lần 69 Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 71 Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 72 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ viii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Cấu tạo nơ ron Hình 1.2: Mơ hình nơ ron Hình 1.3: Cấu trúc nơ ron Hình 1.4: Hàm kích hoạt bƣớc nhảy Hình 1.5: Hàm kích hoạt hàm dấu Hình 1.6: Hàm kích hoạt hàm dốc Hình 1.7: Hàm kích hoạt sigmoid đơn cực 10 Hình 1.8: Hàm kích hoạt sigmoid đa cực 10 Hình 1.9: Mạng nơ ron truyền thẳng MLP 11 Hình 1.10: Học có giám sát 13 Hình 1.11: Học khơng có giám sát 15 Hình 1.12: Mạng MLP lan truyền ngƣợc sai số 19 Hình 1.13: Thuật tốn lan truyền ngƣợc sai số 23 Hình 2.1: Bánh xe rulet lựa chọn nhiễm sắc thể 36 Hình 2.2: Biểu diễn giá trị 40 Hình 3.1: Mã hóa trọng số biểu diễn thập phân mạng nơ ron 47 Hình 3.2: Sơ đồ giải thuật di truyền 48 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Đặt vấn đề Nhƣ biết mạng nơ ron nhân tạo tái tạo kỹ thuật chức hệ thần kinh ngƣời Trong q trình tái tạo khơng phải tất chức não ngƣời đƣợc tái tạo, mà có chức cần thiết Bên cạnh cịn có chức đƣợc tạo nhằm giải toán định trƣớc Mạng nơ ron bao gồm nơ ron đƣợc liên kết với trọng số theo cấu trúc xác định Mạng nơ ron đƣợc huấn luyện để thực nhiệm vụ khác Quá trình huấn luyện thiết lập trọng số cho liên kết nơ ron mạng Thuật toán huấn luyện lan truyền ngƣợc thuật toán lịch sử phát triển mạng nơ ron nhân tạo, thuật toán đƣợc ứng dụng cho mạng truyền thẳng nhiều lớp Thuật toán sử dụng phƣơng pháp giảm gradient (giảm dốc nhất) để tối thiểu hàm sai số Giá trị hàm sai số Ek mẫu đƣợc tính tốn dựa giá trị trọng số Các giá trị trọng số sau đƣợc hiệu chỉnh trở thành giá trị trọng số để tính giá trị hàm sai số Ek+1 Hạn chế giải thuật huấn luyện lan truyền ngƣợc sai số tốc độ chậm nhiều gặp phải vấn đề nhƣ: Mạng liệt: xảy trọng số đƣợc điều chỉnh tới giá trị lớn Tổng đầu vào đơn vị ẩn đơn vị đầu mà đạt giá trị cao (hoặc dƣơng âm), qua hàm kích hoạt sigmoid, đơn vị có giá trị kích hoạt gần gần Giá trị hiệu chỉnh trọng số gần 0, trình huấn luyện đến trạng thái dừng ảo Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ Cực tiểu địa phƣơng: bề mặt sai số mạng phức tạp đầy đồi thung lũng Bởi hạ độ dốc, mạng bị mắc bẫy cực tiểu địa phƣơng có nhiều cực tiểu thấp gần bên cạnh Giải thuật di truyền kỹ thuật tìm kiếm tối ƣu giúp ta giải đƣợc vấn đề đặt trên, cho phép ta tìm kiếm lời giải tối ƣu không gian lớn, nguyên tắc giải thuật di truyền mơ q trình chọn lọc tự nhiên Cho đến lĩnh vực nghiên cứu giải thuật di truyền thu đƣợc nhiều thành tựu, giải thuật di truyền đƣợc ứng dụng nhiều lĩnh vực phức tạp, vấn đề khó giải đƣợc phƣơng pháp thông thƣờng [1-3] Nhƣ đề cập trình huấn luyện mạng nơ ron q trình cực tiểu hàm sai số để xác định trọng số mạng luận văn sử dụng giải thuật di truyền để xác định trọng số mạng thay sử dụng giải thuật huấn luyện Đối tƣợng phạm vi nghiên cứu - Mạng nơ ron nhân tạo sâu vào mạng truyền thẳng kỹ thuật huấn luyện lan truyền ngƣợc sai số - Nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron truyền thẳng, thay kỹ thuật huấn luyện lan truyền ngƣợc sai số Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm Ý nghĩa khoa học đề tài Nghiên cứu mạng nơ ron, giải thuật di truyền sử dụng giải thuật di truyền huấn luyện mạng nơ ron Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 61 0.000, 1.500 0.105 0.105400 0.000 0.000, 2.000 0.018 0.028260 0.010 0.000, 2.500 0.002 0.008533 0.007 0.000, 3.000 0.000 0.003037 0.003 0.500, 0.000 0.779 0.827530 0.049 0.500, 0.500 0.607 0.605677 0.001 10 0.500, 1.000 0.287 0.134721 0.152 11 0.500, 1.500 0.082 0.004352 0.078 12 0.500, 2.000 0.014 0.001179 0.013 13 0.500, 2.500 0.002 0.000612 0.001 14 0.500, 3.000 0.000 0.000361 0.000 15 1.000, 0.000 0.368 0.346357 0.022 16 1.000, 0.500 0.287 0.206833 0.080 17 1.000, 1.000 0.135 0.120809 0.015 18 1.000, 1.500 0.039 0.068478 0.030 19 1.000, 2.000 0.007 0.020530 0.014 20 1.000, 2.500 0.001 0.000773 0.000 21 1.000, 3.000 0.000 0.000170 0.000 22 1.500, 0.000 0.105 0.118785 0.013 23 1.500, 0.500 0.082 0.071768 0.010 24 1.500, 1.000 0.039 0.045396 0.007 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 62 25 1.500, 1.500 0.011 0.030306 0.019 26 1.500, 2.000 0.002 0.021332 0.019 27 1.500, 2.500 0.000 0.015405 0.015 28 1.500, 3.000 0.000 0.008228 0.008 29 2.000, 0.000 0.018 0.045310 0.027 30 2.000, 0.500 0.014 0.030267 0.016 31 2.000, 1.000 0.007 0.021354 0.015 32 2.000, 1.500 0.002 0.015861 0.014 33 2.000, 2.000 0.000 0.012343 0.012 34 2.000, 2.500 0.000 0.010007 0.010 35 2.000, 3.000 0.000 0.008399 0.008 36 2.500, 0.000 0.002 0.021346 0.019 37 2.500, 0.500 0.002 0.015857 0.014 38 2.500, 1.000 0.001 0.012341 0.012 39 2.500, 1.500 0.000 0.010006 0.010 40 2.500, 2.000 0.000 0.008406 0.008 41 2.500, 2.500 0.000 0.007278 0.007 42 2.500, 3.000 0.000 0.006464 0.006 43 3.000, 0.000 0.000 0.012339 0.012 44 3.000, 0.500 0.000 0.010005 0.010 45 3.000, 1.000 0.000 0.008405 0.008 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 63 46 3.000, 1.500 0.000 0.007277 0.007 47 3.000, 2.000 0.000 0.006464 0.006 48 3.000, 2.500 0.000 0.005865 0.006 49 3.000, 3.000 0.000 0.005416 0.005 Sai số=0.835134 Lần thử nghiệm Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 64 Trọng số nối lớp vào lớp ẩn: -0.5802; -0.9808; 2.1761; -8.1327; 1.1130; 19.1482; Trọng số nối lớp ẩn lớp ra: 18.3444; -3.3106; -5.4977; Các kết xấp xỉ Bảng 3.7 Kết xấp xỉ hàm hình chng sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0.000, 0.000 1.000 0.991574 0.008 0.000, 0.500 0.779 0.804416 0.026 0.000, 1.000 0.368 0.378605 0.011 0.000, 1.500 0.105 0.111885 0.006 0.000, 2.000 0.018 0.037838 0.020 0.000, 2.500 0.002 0.017241 0.015 0.000, 3.000 0.000 0.010164 0.010 0.500, 0.000 0.779 0.867630 0.089 0.500, 0.500 0.607 0.526573 0.080 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 65 10 0.500, 1.000 0.287 0.185256 0.101 11 0.500, 1.500 0.082 0.056902 0.025 12 0.500, 2.000 0.014 0.022951 0.009 13 0.500, 2.500 0.002 0.012283 0.011 14 0.500, 3.000 0.000 0.008152 0.008 15 1.000, 0.000 0.368 0.371098 0.003 16 1.000, 0.500 0.287 0.222933 0.064 17 1.000, 1.000 0.135 0.089214 0.046 18 1.000, 1.500 0.039 0.032044 0.007 19 1.000, 2.000 0.007 0.015385 0.009 20 1.000, 2.500 0.001 0.009434 0.009 21 1.000, 3.000 0.000 0.006884 0.007 22 1.500, 0.000 0.105 0.083195 0.022 23 1.500, 0.500 0.082 0.058546 0.024 24 1.500, 1.000 0.039 0.045974 0.007 25 1.500, 1.500 0.011 0.020067 0.009 26 1.500, 2.000 0.002 0.011237 0.009 27 1.500, 2.500 0.000 0.007699 0.007 28 1.500, 3.000 0.000 0.006053 0.006 29 2.000, 0.000 0.018 0.020768 0.002 30 2.000, 0.500 0.014 0.011725 0.003 31 2.000, 1.000 0.007 0.025523 0.019 32 2.000, 1.500 0.002 0.013825 0.012 33 2.000, 2.000 0.000 0.008807 0.008 34 2.000, 2.500 0.000 0.006590 0.007 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 66 35 2.000, 3.000 0.000 0.005490 0.005 36 2.500, 0.000 0.002 0.006765 0.005 37 2.500, 0.500 0.002 0.002911 0.001 38 2.500, 1.000 0.001 0.014416 0.014 39 2.500, 1.500 0.000 0.010311 0.010 40 2.500, 2.000 0.000 0.007303 0.007 41 2.500, 2.500 0.000 0.005855 0.006 42 2.500, 3.000 0.000 0.005099 0.005 43 3.000, 0.000 0.000 0.002795 0.003 44 3.000, 0.500 0.000 0.001148 0.001 45 3.000, 1.000 0.000 0.007251 0.007 46 3.000, 1.500 0.000 0.008174 0.008 47 3.000, 2.000 0.000 0.006330 0.006 48 3.000, 2.500 0.000 0.005353 0.005 49 3.000, 3.000 0.000 0.004823 0.005 Sai số=0.787517 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số 3.4 Xấp xỉ XOR – XOR Tập mẫu huấn luyện: x(1,1)=0;x(2,1)=0;x(3,1)=0;t(1,1)=0; x(1,2)=0;x(2,2)=0;x(3,2)=1;t(1,2)=1; Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 67 x(1,3)=0;x(2,3)=1;x(3,3)=0;t(1,3)=1; x(1,4)=0;x(2,4)=1;x(3,4)=1;t(1,4)=0; x(1,5)=1;x(2,5)=0;x(3,5)=0;t(1,5)=1; x(1,6)=1;x(2,6)=0;x(3,6)=1;t(1,6)=0; x(1,7)=1;x(2,7)=1;x(3,7)=0;t(1,7)=0; x(1,8)=1;x(2,8)=1;x(3,8)=1;t(1,8)=1; 3.4.1 Huấn luyện mạng nơ ron Lần thử nghiệm Cấu trúc mạng kết quả: Số vòng lặp =28171 Trọng số nối lớp vào lớp ẩn: 7.1397; -3.7124; -4.5398; 4.3554; -7.4433; 4.3362; Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 68 -4.5138; -3.6295; 7.0462; 3.7394; 2.9330; 3.6868; Trọng số nối lớp ẩn lớp ra: -13.1193; 11.6113; -13.1117; 6.5330; Các kết xấp xỉ: Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017237 0.017237 0,0,1 1.000000 0.990006 0.009994 0,1,0 1.000000 0.996158 0.003842 0,1,1 0.000000 0.003412 0.003412 1,0,0 1.000000 0.989994 0.010006 1,0,1 0.000000 0.001985 0.001985 1,1,0 0.000000 0.003404 0.003404 1,1,1 1.000000 0.999880 0.000120 Sai số = 0.050000 Lần thử nghiệm Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 69 Cấu trúc mạng kết quả: Số vòng lặp=42774 Trọng số nối lớp vào lớp ẩn: -5.0718; -4.9291; 7.2390; -7.9202; 5.4066; 5.6653; -3.9506; 4.5609; -4.0060; 3.8011; -5.6406; 4.0070; Trọng số nối lớp ẩn lớp ra: -17.9348; 17.6400; -13.0473; 5.2703; Các kết xấp xỉ: Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017364 0.017364 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 70 0,0,1 1.000000 0.990049 0.009951 0,1,0 1.000000 0.989427 0.010573 0,1,1 0.000000 0.002231 0.002231 1,0,0 1.000000 0.991865 0.008135 1,0,1 0.000000 0.000106 0.000106 1,1,0 0.000000 0.001640 0.001640 1,1,1 1.000000 1.000000 0.000000 Sai số = 0.050000 3.4.2 Huấn luyện giải thuật di truyền Lần thử nghiệm 1: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 71 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -5.6162; 4.0340; 3.2334; -5.0049; -4.9609; 8.0635; 7.2351; -13.2947; 4.7033; -6.6923; 9.3657; -5.2643; Trọng số nối lớp ẩn lớp ra: 13.4032; -12.4144; 3.7364; -9.7347; Các kết xấp xỉ: Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.075524 0.075524 0,0,1 1.000000 0.984282 0.015718 0,1,0 1.000000 0.966097 0.033903 0,1,1 0.000000 0.000315 0.000315 1,0,0 1.000000 0.975579 0.024421 1,0,1 0.000000 0.000921 0.000921 1,1,0 0.000000 0.001098 0.001098 1,1,1 1.000000 0.999940 0.000060 Sai số = 0.151961 Lần thử nghiệm 2: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 72 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -9.9758; 5.2061; 5.9228; -3.8144; -5.6591; 7.8712; 7.5191; 18.3072; 19.3022; -8.9224; 18.3472; -10.7797; Trọng số nối lớp ẩn lớp ra: 12.7463; -14.8163; 7.0871; -14.2979; Các kết xấp xỉ: Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.009562 0.009562 0,0,1 1.000000 0.993231 0.006769 0,1,0 1.000000 0.995569 0.004431 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 73 0,1,1 0.000000 0.000405 0.000405 1,0,0 1.000000 0.998845 0.001155 1,0,1 0.000000 0.000703 0.000703 1,1,0 0.000000 0.000822 0.000822 1,1,1 1.000000 0.999988 0.000012 Sai số = 0.023859 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số Kết luận chƣơng Trong chƣơng luận văn nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron Kết thử nghiệm toán hai phƣơng pháp giải thuật huấn luyện lan truyền ngƣợc sai số ứng dụng giải thuật di truyền huấn luyện mạng nơ ron kết cho thấy giải thuật di truyền cho kết tốt đồng thời khắc phục đƣợc tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngƣợc sai số thƣờng gặp phải Kết cho thấy sử dụng giải thuật di truyền huấn luyện mạng nơ ron giải pháp thay tiềm hiệu phát triển rộng rãi có nghiên cứu cụ thể đến phạm vi tốn cần giải Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 74 KẾT LUẬN Luận văn đạt đƣợc số kết nhƣ sau: Nghiên cứu hệ thống đƣợc kiến thực mạng nơ ron, giải thuật di truyền Đi sâu nghiên cứu mạng nơ ron truyền thẳng giải thuật huấn luyện lan truyền ngƣợc sai số Nghiên cứu sâu giải thuật di truyền mã hóa số thực làm sở xây dựng giải thuật di truyền huấn luyện mạng nơ ron Đề xuất phƣơng pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền thay giải thuật lan truyền ngƣợc sai số truyền thống Thực nghiệm số toán, kết thực nghiệm khẳng định phƣơng pháp huấn luyện sử dụng giải thuật di truyền cho kết không thua giải thuật lan truyền ngƣợc sai số truyền thống Đƣa giải thuật di truyền vào huấn luyện mạng nơ ron MLP Các phân tích, tính tốn cài đặt cho đƣợc kết huấn luyện nhƣ mong muốn Ngoài kết thực nghiệm cho thấy giải thuật di truyền huấn luyện mạng nơ ron cho hội tụ, khắc phục đƣợc tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngƣợc sai số giải thuật khác không thực đƣợc Tuy nhiên nhận thức đƣợc kết nghiên cứu bƣớc đầu, việc thực nghiệm dừng lại số toán logic toán xấp xỉ hàm hình chng, tốn chƣa thể đại diện đƣợc cho toán khác Trong thời gian tới tiến hành lựa chọn số lớp toán đủ rộng để tiến hành thực nghiệm đánh giá kết nhằm khẳng định thêm tính khả dụng giải pháp đề xuất Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 75 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] Đinh Mạnh Tƣờng, Trí tuệ nhân tạo, Nhà xuât Khoa học kỹ thuật, 2000 [2] Nguyễn Đình Thúc, Trí tuệ nhân tạo - Lập trình tiến hố, Nhà xuất giáo dục, 2001 [3] Hoàng Kiếm,Giải thuật di truyền – Cách giải tự nhiên tốn máy tính, Nhà xuất khoa học kỹ thuật, 2000 [4] Nguyễn Đình Thúc, Mạng nơ ron - Kỹ thuật lan truyền ngƣợc, Nhà xuất khoa học kỹ thuật, 2000 TIẾNG ANH [5] Cheng Teng Lin, C S George Lee, Neural Fuzzy Systems, Prentice – Hall International, Inc ((1996)) [6] Randy L Haupt, Sue Ellen Haupt, Practical Genetic Algorithms, Second Edition, Copyright © 2004 John Wiley & Sons, Inc [7] Rustem Popa, Genetic Algorithms in Applications, Publisher: IN-TECH (March, 2012) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ... Mạng nơ ron nhân tạo sâu vào mạng truyền thẳng kỹ thuật huấn luyện lan truyền ngƣợc sai số - Nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron truyền thẳng, thay kỹ thuật huấn luyện. .. kết nơ ron mạng Thuật toán huấn luyện lan truyền ngƣợc thuật toán lịch sử phát triển mạng nơ ron nhân tạo, thuật toán đƣợc ứng dụng cho mạng truyền thẳng nhiều lớp Thuật toán sử dụng phƣơng pháp. .. 1.4 Thuật toán huấn luyện lan truyền ngƣợc sai số- Back Propagation Thuật toán lan truyền ngƣợc sai số thuật toán phổ biến đƣợc sử dụng trình huấn luyện mạng nơ ron Mạng nơ ron MLP sử dụng thuật