Phương pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PHAN ANH TÚ PHƢƠNG PHÁP HUẤN LUYỆN MẠNG NƠ RON SỬ DỤNG GIẢI THUẬT DI TRUYỀN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨKHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS PHẠM THANH HÀ Thái Nguyên 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ii LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu dƣới định hƣớng thầy hƣớng dẫn, kiến thức luận văn đƣợc hệ thống từ tài liệu đƣợc công bố đƣợc trích dẫn đầy đủ Các kết nghiên cứu chạy thử nghiệm trung thực dựa chƣơng trình cài đặt kèm theo nghiên cứu Thái Nguyên, ngày 20 tháng năm 2015 Học viên Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iii LỜI CẢM ƠN Luận văn đƣợc thực trƣờng Đại học Công nghệ thông tin & Truyền thông – Đại học Thái Nguyên, dƣới hƣớng dẫn thầy TS Phạm Thanh Hà Tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy TS Phạm Thanh Hà; ngƣời có định hƣớng giúp lựa chọn đề tài hoàn thành đề tài nghiên cứu Thầy ân cần bảo, giảng giải cho động viên nhiều trình thực đề tài Tôi xin gửi lời chân thành cảm ơn tới quý thầy cô thuộc phòng Đào tạo, khoa công nghệ thông tin trƣờng Đại học Công nghệ thông tin truyền thông giúp đỡ tôi, tạo điều kiện thuận lợi để hoàn thành luận văn Cuối cùng, xin gửi lời cảm ơn tới gia đình cho chỗ dựa vững để hoàn thành tốt trình học tập thời gian qua Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ viii MỞ ĐẦU CHƢƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Mạng nơ ron sinh học 1.1.2 Khái niệm mạng nơ ron nhân tạo 1.2 Mạng nơ ron truyền thẳng nhiều lớp MLP 11 1.3 Các luật học mạng nơ ron 12 1.4 Thuật toán huấn luyện lan truyền ngƣợc sai số - Back Propagation 18 Kết luận chƣơng 26 CHƢƠNG 2: GIẢI THUẬT DI TRUYỀN 27 2.1 Các khái niệm giải thuật di truyền 27 2.2 Giải thuật di truyền mã hóa nhị phân 29 2.3 Cơ chế hoạt động giải thuật di truyền 33 2.4 Giải thuật di truyền mã hóa số thực 37 2.4.1 Nhóm toán tử đột biến 39 2.4.2 Nhóm toán tử lai tạo 41 Kết luận chƣơng 44 CHƢƠNG 3: ỨNG DỤNG GIẢI THUẬT DI TRUYỀN TRONG HUẤN LUYỆN MẠNG NƠ RON 45 3.1 Xây dựng giải thuật di truyền huấn luyện mạng 45 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ v 3.2 Một số kết huấn luyện mạng xấp xỉ hàm XOR 49 3.2.1 Sử dụng phƣơng pháp lan truyền ngƣợc sai số truyền thống 50 3.2.2 Sử dụng phƣơng pháp huấn luyện nhờ giải thuật di truyền 51 3.3 Một số kết huấn luyện mạng xấp xỉ hàm hình chuông 53 3.3.1 Huấn luyện lan truyền ngƣợc sai số 55 3.3.2 Huấn luyện giải thuật di truyền 56 3.4 Xấp xỉ XOR – XOR 66 3.4.1 Huấn luyện mạng nơ ron 67 3.4.2 Huấn luyện giải thuật di truyền 70 Kết luận chƣơng 73 KẾT LUẬN 74 TÀI LIỆU THAM KHẢO 75 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vi DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT ANN Artificial Neural Network (mạng nơron nhân tạo) BP Back propagation (giải thuật lan truyền ngƣợc) GA Gennetic Algorithm (giải thuật di truyền) MLP Multi-Layer Perceptrons (Perceptron nhiều tầng) RBF Radial Basic Function (hàm sở bán kính) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vii DANH MỤC CÁC BẢNG Bảng 2.1: Bảng trình chọn lọc cá thể có độ thích nghi tốt 32 Bảng 2.2: Bảng trình chọn lọc cá thể có độ thích nghi tốt 33 Bảng 3.1 Kết xấp xỉ hàm XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số 51 Bảng 3.2 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 52 Bảng 3.3 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 53 Bảng 3.4 Một số mẫu( theo dòng) sinh chƣơng trình 54 Bảng 3.5 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 57 Bảng 3.6 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 60 Bảng 3.7 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 64 Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số lần 68 Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số lần 69 Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 71 Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 72 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ viii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Cấu tạo nơ ron Hình 1.2: Mô hình nơ ron Hình 1.3: Cấu trúc nơ ron Hình 1.4: Hàm kích hoạt bƣớc nhảy Hình 1.5: Hàm kích hoạt hàm dấu Hình 1.6: Hàm kích hoạt hàm dốc Hình 1.7: Hàm kích hoạt sigmoid đơn cực 10 Hình 1.8: Hàm kích hoạt sigmoid đa cực 10 Hình 1.9: Mạng nơ ron truyền thẳng MLP 11 Hình 1.10: Học có giám sát 13 Hình 1.11: Học giám sát 15 Hình 1.12: Mạng MLP lan truyền ngƣợc sai số 19 Hình 1.13: Thuật toán lan truyền ngƣợc sai số 23 Hình 2.1: Bánh xe rulet lựa chọn nhiễm sắc thể 36 Hình 2.2: Biểu diễn giá trị 40 Hình 3.1: Mã hóa trọng số biểu diễn thập phân mạng nơ ron 47 Hình 3.2: Sơ đồ giải thuật di truyền 48 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Đặt vấn đề Nhƣ biết mạng nơ ron nhân tạo tái tạo kỹ thuật chức hệ thần kinh ngƣời Trong trình tái tạo tất chức não ngƣời đƣợc tái tạo, mà có chức cần thiết Bên cạnh có chức đƣợc tạo nhằm giải toán định trƣớc Mạng nơ ron bao gồm nơ ron đƣợc liên kết với trọng số theo cấu trúc xác định Mạng nơ ron đƣợc huấn luyện để thực nhiệm vụ khác Quá trình huấn luyện thiết lập trọng số cho liên kết nơ ron mạng Thuật toán huấn luyện lan truyền ngƣợc thuật toán lịch sử phát triển mạng nơ ron nhân tạo, thuật toán đƣợc ứng dụng cho mạng truyền thẳng nhiều lớp Thuật toán sử dụng phƣơng pháp giảm gradient (giảm dốc nhất) để tối thiểu hàm sai số Giá trị hàm sai số Ek mẫu đƣợc tính toán dựa giá trị trọng số Các giá trị trọng số sau đƣợc hiệu chỉnh trở thành giá trị trọng số để tính giá trị hàm sai số Ek+1 Hạn chế giải thuật huấn luyện lan truyền ngƣợc sai số tốc độ chậm nhiều gặp phải vấn đề nhƣ: Mạng liệt: xảy trọng số đƣợc điều chỉnh tới giá trị lớn Tổng đầu vào đơn vị ẩn đơn vị đầu mà đạt giá trị cao (hoặc dƣơng âm), qua hàm kích hoạt sigmoid, đơn vị có giá trị kích hoạt gần gần Giá trị hiệu chỉnh trọng số gần 0, trình huấn luyện đến trạng thái dừng ảo Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ Cực tiểu địa phƣơng: bề mặt sai số mạng phức tạp đầy đồi thung lũng Bởi hạ độ dốc, mạng bị mắc bẫy cực tiểu địa phƣơng có nhiều cực tiểu thấp gần bên cạnh Giải thuật di truyền kỹ thuật tìm kiếm tối ƣu giúp ta giải đƣợc vấn đề đặt trên, cho phép ta tìm kiếm lời giải tối ƣu không gian lớn, nguyên tắc giải thuật di truyền mô trình chọn lọc tự nhiên Cho đến lĩnh vực nghiên cứu giải thuật di truyền thu đƣợc nhiều thành tựu, giải thuật di truyền đƣợc ứng dụng nhiều lĩnh vực phức tạp, vấn đề khó giải đƣợc phƣơng pháp thông thƣờng [1-3] Nhƣ đề cập trình huấn luyện mạng nơ ron trình cực tiểu hàm sai số để xác định trọng số mạng luận văn sử dụng giải thuật di truyền để xác định trọng số mạng thay sử dụng giải thuật huấn luyện Đối tƣợng phạm vi nghiên cứu - Mạng nơ ron nhân tạo sâu vào mạng truyền thẳng kỹ thuật huấn luyện lan truyền ngƣợc sai số - Nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron truyền thẳng, thay kỹ thuật huấn luyện lan truyền ngƣợc sai số Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm Ý nghĩa khoa học đề tài Nghiên cứu mạng nơ ron, giải thuật di truyền sử dụng giải thuật di truyền huấn luyện mạng nơ ron Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 61 0.000, 1.500 0.105 0.105400 0.000 0.000, 2.000 0.018 0.028260 0.010 0.000, 2.500 0.002 0.008533 0.007 0.000, 3.000 0.000 0.003037 0.003 0.500, 0.000 0.779 0.827530 0.049 0.500, 0.500 0.607 0.605677 0.001 10 0.500, 1.000 0.287 0.134721 0.152 11 0.500, 1.500 0.082 0.004352 0.078 12 0.500, 2.000 0.014 0.001179 0.013 13 0.500, 2.500 0.002 0.000612 0.001 14 0.500, 3.000 0.000 0.000361 0.000 15 1.000, 0.000 0.368 0.346357 0.022 16 1.000, 0.500 0.287 0.206833 0.080 17 1.000, 1.000 0.135 0.120809 0.015 18 1.000, 1.500 0.039 0.068478 0.030 19 1.000, 2.000 0.007 0.020530 0.014 20 1.000, 2.500 0.001 0.000773 0.000 21 1.000, 3.000 0.000 0.000170 0.000 22 1.500, 0.000 0.105 0.118785 0.013 23 1.500, 0.500 0.082 0.071768 0.010 24 1.500, 1.000 0.039 0.045396 0.007 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 62 25 1.500, 1.500 0.011 0.030306 0.019 26 1.500, 2.000 0.002 0.021332 0.019 27 1.500, 2.500 0.000 0.015405 0.015 28 1.500, 3.000 0.000 0.008228 0.008 29 2.000, 0.000 0.018 0.045310 0.027 30 2.000, 0.500 0.014 0.030267 0.016 31 2.000, 1.000 0.007 0.021354 0.015 32 2.000, 1.500 0.002 0.015861 0.014 33 2.000, 2.000 0.000 0.012343 0.012 34 2.000, 2.500 0.000 0.010007 0.010 35 2.000, 3.000 0.000 0.008399 0.008 36 2.500, 0.000 0.002 0.021346 0.019 37 2.500, 0.500 0.002 0.015857 0.014 38 2.500, 1.000 0.001 0.012341 0.012 39 2.500, 1.500 0.000 0.010006 0.010 40 2.500, 2.000 0.000 0.008406 0.008 41 2.500, 2.500 0.000 0.007278 0.007 42 2.500, 3.000 0.000 0.006464 0.006 43 3.000, 0.000 0.000 0.012339 0.012 44 3.000, 0.500 0.000 0.010005 0.010 45 3.000, 1.000 0.000 0.008405 0.008 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 63 46 3.000, 1.500 0.000 0.007277 0.007 47 3.000, 2.000 0.000 0.006464 0.006 48 3.000, 2.500 0.000 0.005865 0.006 49 3.000, 3.000 0.000 0.005416 0.005 Sai số=0.835134 Lần thử nghiệm Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 64 Trọng số nối lớp vào lớp ẩn: -0.5802; -0.9808; 2.1761; -8.1327; 1.1130; 19.1482; Trọng số nối lớp ẩn lớp ra: 18.3444; -3.3106; -5.4977; Các kết xấp xỉ Bảng 3.7 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0.000, 0.000 1.000 0.991574 0.008 0.000, 0.500 0.779 0.804416 0.026 0.000, 1.000 0.368 0.378605 0.011 0.000, 1.500 0.105 0.111885 0.006 0.000, 2.000 0.018 0.037838 0.020 0.000, 2.500 0.002 0.017241 0.015 0.000, 3.000 0.000 0.010164 0.010 0.500, 0.000 0.779 0.867630 0.089 0.500, 0.500 0.607 0.526573 0.080 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 65 10 0.500, 1.000 0.287 0.185256 0.101 11 0.500, 1.500 0.082 0.056902 0.025 12 0.500, 2.000 0.014 0.022951 0.009 13 0.500, 2.500 0.002 0.012283 0.011 14 0.500, 3.000 0.000 0.008152 0.008 15 1.000, 0.000 0.368 0.371098 0.003 16 1.000, 0.500 0.287 0.222933 0.064 17 1.000, 1.000 0.135 0.089214 0.046 18 1.000, 1.500 0.039 0.032044 0.007 19 1.000, 2.000 0.007 0.015385 0.009 20 1.000, 2.500 0.001 0.009434 0.009 21 1.000, 3.000 0.000 0.006884 0.007 22 1.500, 0.000 0.105 0.083195 0.022 23 1.500, 0.500 0.082 0.058546 0.024 24 1.500, 1.000 0.039 0.045974 0.007 25 1.500, 1.500 0.011 0.020067 0.009 26 1.500, 2.000 0.002 0.011237 0.009 27 1.500, 2.500 0.000 0.007699 0.007 28 1.500, 3.000 0.000 0.006053 0.006 29 2.000, 0.000 0.018 0.020768 0.002 30 2.000, 0.500 0.014 0.011725 0.003 31 2.000, 1.000 0.007 0.025523 0.019 32 2.000, 1.500 0.002 0.013825 0.012 33 2.000, 2.000 0.000 0.008807 0.008 34 2.000, 2.500 0.000 0.006590 0.007 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 66 35 2.000, 3.000 0.000 0.005490 0.005 36 2.500, 0.000 0.002 0.006765 0.005 37 2.500, 0.500 0.002 0.002911 0.001 38 2.500, 1.000 0.001 0.014416 0.014 39 2.500, 1.500 0.000 0.010311 0.010 40 2.500, 2.000 0.000 0.007303 0.007 41 2.500, 2.500 0.000 0.005855 0.006 42 2.500, 3.000 0.000 0.005099 0.005 43 3.000, 0.000 0.000 0.002795 0.003 44 3.000, 0.500 0.000 0.001148 0.001 45 3.000, 1.000 0.000 0.007251 0.007 46 3.000, 1.500 0.000 0.008174 0.008 47 3.000, 2.000 0.000 0.006330 0.006 48 3.000, 2.500 0.000 0.005353 0.005 49 3.000, 3.000 0.000 0.004823 0.005 Sai số=0.787517 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số 3.4 Xấp xỉ XOR – XOR Tập mẫu huấn luyện: x(1,1)=0;x(2,1)=0;x(3,1)=0;t(1,1)=0; x(1,2)=0;x(2,2)=0;x(3,2)=1;t(1,2)=1; Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 67 x(1,3)=0;x(2,3)=1;x(3,3)=0;t(1,3)=1; x(1,4)=0;x(2,4)=1;x(3,4)=1;t(1,4)=0; x(1,5)=1;x(2,5)=0;x(3,5)=0;t(1,5)=1; x(1,6)=1;x(2,6)=0;x(3,6)=1;t(1,6)=0; x(1,7)=1;x(2,7)=1;x(3,7)=0;t(1,7)=0; x(1,8)=1;x(2,8)=1;x(3,8)=1;t(1,8)=1; 3.4.1 Huấn luyện mạng nơ ron Lần thử nghiệm Cấu trúc mạng kết quả: Số vòng lặp =28171 Trọng số nối lớp vào lớp ẩn: 7.1397; -3.7124; -4.5398; 4.3554; -7.4433; 4.3362; Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 68 -4.5138; -3.6295; 7.0462; 3.7394; 2.9330; 3.6868; Trọng số nối lớp ẩn lớp ra: -13.1193; 11.6113; -13.1117; 6.5330; Các kết xấp xỉ: Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017237 0.017237 0,0,1 1.000000 0.990006 0.009994 0,1,0 1.000000 0.996158 0.003842 0,1,1 0.000000 0.003412 0.003412 1,0,0 1.000000 0.989994 0.010006 1,0,1 0.000000 0.001985 0.001985 1,1,0 0.000000 0.003404 0.003404 1,1,1 1.000000 0.999880 0.000120 Sai số = 0.050000 Lần thử nghiệm Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 69 Cấu trúc mạng kết quả: Số vòng lặp=42774 Trọng số nối lớp vào lớp ẩn: -5.0718; -4.9291; 7.2390; -7.9202; 5.4066; 5.6653; -3.9506; 4.5609; -4.0060; 3.8011; -5.6406; 4.0070; Trọng số nối lớp ẩn lớp ra: -17.9348; 17.6400; -13.0473; 5.2703; Các kết xấp xỉ: Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017364 0.017364 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 70 0,0,1 1.000000 0.990049 0.009951 0,1,0 1.000000 0.989427 0.010573 0,1,1 0.000000 0.002231 0.002231 1,0,0 1.000000 0.991865 0.008135 1,0,1 0.000000 0.000106 0.000106 1,1,0 0.000000 0.001640 0.001640 1,1,1 1.000000 1.000000 0.000000 Sai số = 0.050000 3.4.2 Huấn luyện giải thuật di truyền Lần thử nghiệm 1: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 71 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -5.6162; 4.0340; 3.2334; -5.0049; -4.9609; 8.0635; 7.2351; -13.2947; 4.7033; -6.6923; 9.3657; -5.2643; Trọng số nối lớp ẩn lớp ra: 13.4032; -12.4144; 3.7364; -9.7347; Các kết xấp xỉ: Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.075524 0.075524 0,0,1 1.000000 0.984282 0.015718 0,1,0 1.000000 0.966097 0.033903 0,1,1 0.000000 0.000315 0.000315 1,0,0 1.000000 0.975579 0.024421 1,0,1 0.000000 0.000921 0.000921 1,1,0 0.000000 0.001098 0.001098 1,1,1 1.000000 0.999940 0.000060 Sai số = 0.151961 Lần thử nghiệm 2: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 72 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -9.9758; 5.2061; 5.9228; -3.8144; -5.6591; 7.8712; 7.5191; 18.3072; 19.3022; -8.9224; 18.3472; -10.7797; Trọng số nối lớp ẩn lớp ra: 12.7463; -14.8163; 7.0871; -14.2979; Các kết xấp xỉ: Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.009562 0.009562 0,0,1 1.000000 0.993231 0.006769 0,1,0 1.000000 0.995569 0.004431 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 73 0,1,1 0.000000 0.000405 0.000405 1,0,0 1.000000 0.998845 0.001155 1,0,1 0.000000 0.000703 0.000703 1,1,0 0.000000 0.000822 0.000822 1,1,1 1.000000 0.999988 0.000012 Sai số = 0.023859 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số Kết luận chƣơng Trong chƣơng luận văn nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron Kết thử nghiệm toán hai phƣơng pháp giải thuật huấn luyện lan truyền ngƣợc sai số ứng dụng giải thuật di truyền huấn luyện mạng nơ ron kết cho thấy giải thuật di truyền cho kết tốt đồng thời khắc phục đƣợc tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngƣợc sai số thƣờng gặp phải Kết cho thấy sử dụng giải thuật di truyền huấn luyện mạng nơ ron giải pháp thay tiềm hiệu phát triển rộng rãi có nghiên cứu cụ thể đến phạm vi toán cần giải Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 74 KẾT LUẬN Luận văn đạt đƣợc số kết nhƣ sau: Nghiên cứu hệ thống đƣợc kiến thực mạng nơ ron, giải thuật di truyền Đi sâu nghiên cứu mạng nơ ron truyền thẳng giải thuật huấn luyện lan truyền ngƣợc sai số Nghiên cứu sâu giải thuật di truyền mã hóa số thực làm sở xây dựng giải thuật di truyền huấn luyện mạng nơ ron Đề xuất phƣơng pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền thay giải thuật lan truyền ngƣợc sai số truyền thống Thực nghiệm số toán, kết thực nghiệm khẳng định phƣơng pháp huấn luyện sử dụng giải thuật di truyền cho kết không thua giải thuật lan truyền ngƣợc sai số truyền thống Đƣa giải thuật di truyền vào huấn luyện mạng nơ ron MLP Các phân tích, tính toán cài đặt cho đƣợc kết huấn luyện nhƣ mong muốn Ngoài kết thực nghiệm cho thấy giải thuật di truyền huấn luyện mạng nơ ron cho hội tụ, khắc phục đƣợc tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngƣợc sai số giải thuật khác không thực đƣợc Tuy nhiên nhận thức đƣợc kết nghiên cứu bƣớc đầu, việc thực nghiệm dừng lại số toán logic toán xấp xỉ hàm hình chuông, toán chƣa thể đại diện đƣợc cho toán khác Trong thời gian tới tiến hành lựa chọn số lớp toán đủ rộng để tiến hành thực nghiệm đánh giá kết nhằm khẳng định thêm tính khả dụng giải pháp đề xuất Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 75 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] Đinh Mạnh Tƣờng, Trí tuệ nhân tạo, Nhà xuât Khoa học kỹ thuật, 2000 [2] Nguyễn Đình Thúc, Trí tuệ nhân tạo - Lập trình tiến hoá, Nhà xuất giáo dục, 2001 [3] Hoàng Kiếm,Giải thuật di truyền – Cách giải tự nhiên toán máy tính, Nhà xuất khoa học kỹ thuật, 2000 [4] Nguyễn Đình Thúc, Mạng nơ ron - Kỹ thuật lan truyền ngƣợc, Nhà xuất khoa học kỹ thuật, 2000 TIẾNG ANH [5] Cheng Teng Lin, C S George Lee, Neural Fuzzy Systems, Prentice – Hall International, Inc ((1996)) [6] Randy L Haupt, Sue Ellen Haupt, Practical Genetic Algorithms, Second Edition, Copyright © 2004 John Wiley & Sons, Inc [7] Rustem Popa, Genetic Algorithms in Applications, Publisher: IN-TECH (March, 2012) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ [...]...3 1 CHƢƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm về mạng nơ ron 1.1.1 Mạng nơ ron sinh học Mạng nơ ron bao gồm vô số các nơ ron đƣợc liên kết truyền thông với nhau trong mạng, hình 1.1 là một phần của mạng nơ ron bao gồm hai nơ ron Hình 1.1:Cấu tạo của một nơ ron Nơ ron đƣợc cấu tạo gồm các phần chính sau: Thân nơ ron: thƣờng gọi là soma có nhiệm vụ chính là tổng... truyền qua mạng nơ ron Quá trình huấn luyện tiến hành nhƣ sau: + Trƣớc tiên ta xét lan truyền tín hiệu qua từng lớp mạng: lớp nhập, lớp ẩn và lớp xuất Giả sử tín hiệu đƣa vào mạng nơ ron x = (x1, x2, , xm) với m là số nơ ron trong lớp nhập, l là số nơ ron trong lớp ẩn và n là số nơ ron trong lớp xuất Các nơ ron trong lớp nhập nhận và truyền tín hiệu sang lớp ẩn Đầu vào các nơ ron (nút) trong lớp ẩn thứ... nhận thấy rằng: 1.4 Thuật toán huấn luyện lan truyền ngƣợc sai số- Back Propagation Thuật toán lan truyền ngƣợc sai số là thuật toán rất phổ biến đƣợc sử dụng trong quá trình huấn luyện mạng nơ ron Mạng nơ ron MLP sử dụng thuật toán lan truyền ngƣợc sai số đƣợc gọi là mạng BP (Back Propagation Network) Hình 1.12 minh họa cấu trúc mạng với thuật toán lan truyền ngƣợc sai số Số hóa bởi Trung tâm Học liệu... trúc cho mạng n ron theo yêu cầu tính toán, chẳng hạn mạng cần xây dựng có (n + 1) n ron đầu vào (trong đó có n n ron cho biến vào và 1 n ron cho ngƣỡng x0), mạng có m n ron đầu ra, và khởi tạo các trọng số liên kết của mạng + Bước 2:Đƣa một véctơ x trong tập mẫu huấn luyện X vào mạng + Bước 3: Tính véctơ đầu ra v của mạng + Bước4: So sánh véctơ đầu ra mong muốn y đƣợc cho trong tập huấn luyện với... mạng nơ ron là điều rất quan trọng và cần thiết Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 27 2 CHƢƠNG 2: GIẢI THUẬT DI TRUYỀN 2.1 Các khái niệm cơ bản về giải thuật di truyền Giải thuật di truyền- Gennetic Algorithm, viết tắt là GA là giải thuật tìm kiếm, chọn lựa các giải pháp tối ƣu để giải quyết các bài toán khác nhau dựa trên cơ chế chọn lọc tự nhiên của ngành di truyền học Trong... mạng nơ ron truyền thẳng nhiều lớp MLP và thuật toán lan truyền ngƣợc sai số Một trong những khả năng quan trọng của mạng nơ ron là khả năng học, nhờ khả năng này mà mạng nơ ron có thể học và nhận dạng các tập mẫu cho trƣớc, ngoài ra mạng còn có khả năng dự đoán Kỹ thuật mạng nơ ron đã đƣợc ứng dụng để giải quyết nhiều bài toán thực tiễn nhƣ nhận dạng, dự báo, xấp xỉ hàm Do đó nghiên cứu sâu về mạng. .. của mạng nơ ron đã xây dựng Để thực hiện việc này, mạng nơ ron sử dụng các trọng số điều chỉnh với nhiều phƣơng pháp học khác nhau để có thể tính toán gần đúng ma trận W cần tìm đặc trƣng cho mạng Một cách chi tiết hóa quá trình học của mạng nơ ron là huyấn luyện sao cho với một tập các véctơ đầu vào X, mạng có khả năng tạo ra tập các véctơ đầu ra mong muốn Y của nó Tập X đƣợc sử dụng cho huấn luyện mạng. .. bào nơ ron này với các nơ ron khác, sự thay đổi trạng thái của một nơ ron cũng kéo theo sự thay đổi trạng thái của những nơ ron khác và do đó làm thay đổi toàn bộ mạng nơ ron Việc thay đổi trạng thái của mạng nơ ron có thể thực hiện qua một quá trình “dạy” hoặc do khả năng “học” tự nhiên Sự thay thế những tính chất này bằng một mô hình toán học tƣơng đƣơng đƣợc gọi là mạng nơ ron nhân tạo Mạng nơ ron. .. cho mạng nơ ron truyền thẳng nhiều lớp tổng quát nhƣ sau: Xét mạng nơ ron với lớp lan truyền thẳng, và là đầu vào và đầu ra của nơ ron thứ trong lớp nút nhập, nút xuất Gọi và tƣơng ứng Mạng có là trọng số liên kết từ nơ ron lớp đến nơ ron lớp Input: Tập mẫu huấn luyện {(x(k), d(k))}, Bƣớc 0 (khởi tạo): chọn (sai số lớn nhất), khởi tạo và trọng số với giá trị ngẫu nhiên nhỏ Đặt và Bƣớc 1 (vòng luyện) :... http://www.lrc-tnu.edu.vn/ 11 1.2 Mạng nơ ron truyền thẳng nhiều lớp MLP Có rất nhiều kiểu kiến trúc về mạng nơ ron nhân tạo Các kiểu kiến trúc mạng nơ ron nhân tạo này đƣợc tạo ra tùy thuộc vào yêu cầu của bài toán cần giải quyết Các tính năng của mạng nơ ron tùy thuộc vào cấu trúc, kiểu liên kết, các trọng số liên kết và quá trình tính toán của các nơ ron đơn lẻ Trong phạm vi nghiên cứu của luận văn