Phương pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền

i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu định hướng thầy hướng dẫn, kiến thức luận văn hệ thống từ tài liệu công bố trích dẫn đầy đủ Các kết nghiên cứu chạy thử nghiệm trung thực dựa chương trình cài đặt kèm theo nghiên cứu Thái Nguyên, ngày 20 tháng năm 2015 Học viên ii LỜI CẢM ƠN Luận văn thực trường Đại học Công nghệ thông tin & Truyền thông – Đại học Thái Nguyên, hướng dẫn thầy TS Phạm Thanh Hà Tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy TS Phạm Thanh Hà; người có định hướng giúp lựa chọn đề tài hoàn thành đề tài nghiên cứu Thầy ân cần bảo, giảng giải cho động viên nhiều trình thực đề tài Tôi xin gửi lời chân thành cảm ơn tới quý thầy cô thuộc phòng Đào tạo, khoa công nghệ thông tin trường Đại học Công nghệ thông tin truyền thông giúp đỡ tôi, tạo điều kiện thuận lợi để hoàn thành luận văn Cuối cùng, xin gửi lời cảm ơn tới gia đình cho chỗ dựa vững để hoàn thành tốt trình học tập thời gian qua iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH VẼ vii MỞ ĐẦU CHƯƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Mạng nơ ron sinh học 1.1.2 Khái niệm mạng nơ ron nhân tạo 1.2 Mạng nơ ron truyền thẳng nhiều lớp MLP 11 1.3 Các luật học mạng nơ ron 12 1.4 Thuật toán huấn luyện lan truyền ngược sai số - Back Propagation 18 Kết luận chương 26 CHƯƠNG 2: GIẢI THUẬT DI TRUYỀN 27 2.1 Các khái niệm giải thuật di truyền 27 2.2 Giải thuật di truyền mã hóa nhị phân 29 2.3 Cơ chế hoạt động giải thuật di truyền 33 2.4 Giải thuật di truyền mã hóa số thực 37 2.4.1 Nhóm toán tử đột biến 39 2.4.2 Nhóm toán tử lai tạo 41 Kết luận chương 44 CHƯƠNG 3: ỨNG DỤNG GIẢI THUẬT DI TRUYỀN TRONG HUẤN LUYỆN MẠNG NƠ RON 45 3.1 Xây dựng giải thuật di truyền huấn luyện mạng 45 iv 3.2 Một số kết huấn luyện mạng xấp xỉ hàm XOR 49 3.2.1 Sử dụng phương pháp lan truyền ngược sai số truyền thống 50 3.2.2 Sử dụng phương pháp huấn luyện nhờ giải thuật di truyền 51 3.3 Một số kết huấn luyện mạng xấp xỉ hàm hình chuông 53 3.3.1 Huấn luyện lan truyền ngược sai số 55 3.3.2 Huấn luyện giải thuật di truyền 56 3.4 Xấp xỉ XOR – XOR 66 3.4.1 Huấn luyện mạng nơ ron 67 3.4.2 Huấn luyện giải thuật di truyền 70 Kết luận chương 73 KẾT LUẬN 74 TÀI LIỆU THAM KHẢO 75 v DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT ANN Artificial Neural Network (mạng nơron nhân tạo) BP Back propagation (giải thuật lan truyền ngược) GA Gennetic Algorithm (giải thuật di truyền) MLP Multi-Layer Perceptrons (Perceptron nhiều tầng) RBF Radial Basic Function (hàm sở bán kính) vi DANH MỤC CÁC BẢNG Bảng 2.1: Bảng trình chọn lọc cá thể có độ thích nghi tốt 32 Bảng 2.2: Bảng trình chọn lọc cá thể có độ thích nghi tốt 33 Bảng 3.1 Kết xấp xỉ hàm XOR sử dụng phương pháp lan truyền ngược sai số 51 Bảng 3.2 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 52 Bảng 3.3 Kết xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 53 Bảng 3.4 Một số mẫu( theo dòng) sinh chương trình 54 Bảng 3.5 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 57 Bảng 3.6 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 60 Bảng 3.7 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 64 Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần 68 Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần 69 Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 71 Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 72 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Cấu tạo nơ ron Hình 1.2: Mô hình nơ ron Hình 1.3: Cấu trúc nơ ron Hình 1.4: Hàm kích hoạt bước nhảy Hình 1.5: Hàm kích hoạt hàm dấu Hình 1.6: Hàm kích hoạt hàm dốc Hình 1.7: Hàm kích hoạt sigmoid đơn cực 10 Hình 1.8: Hàm kích hoạt sigmoid đa cực 10 Hình 1.9: Mạng nơ ron truyền thẳng MLP 11 Hình 1.10: Học có giám sát 13 Hình 1.11: Học giám sát 15 Hình 1.12: Mạng MLP lan truyền ngược sai số 19 Hình 1.13: Thuật toán lan truyền ngược sai số 23 Hình 2.1: Bánh xe rulet lựa chọn nhiễm sắc thể 36 Hình 2.2: Biểu diễn giá trị  40 Hình 3.1: Mã hóa trọng số biểu diễn thập phân mạng nơ ron 47 Hình 3.2: Sơ đồ giải thuật di truyền 48 MỞ ĐẦU Đặt vấn đề Như biết mạng nơ ron nhân tạo tái tạo kỹ thuật chức hệ thần kinh người Trong trình tái tạo tất chức não người tái tạo, mà có chức cần thiết Bên cạnh có chức tạo nhằm giải toán định trước Mạng nơ ron bao gồm nơ ron liên kết với trọng số theo cấu trúc xác định Mạng nơ ron huấn luyện để thực nhiệm vụ khác Quá trình huấn luyện thiết lập trọng số cho liên kết nơ ron mạng Thuật toán huấn luyện lan truyền ngược thuật toán lịch sử phát triển mạng nơ ron nhân tạo, thuật toán ứng dụng cho mạng truyền thẳng nhiều lớp Thuật toán sử dụng phương pháp giảm gradient (giảm dốc nhất) để tối thiểu hàm sai số Giá trị hàm sai số Ek mẫu tính toán dựa giá trị trọng số Các giá trị trọng số sau hiệu chỉnh trở thành giá trị trọng số để tính giá trị hàm sai số Ek+1 Hạn chế giải thuật huấn luyện lan truyền ngược sai số tốc độ chậm nhiều gặp phải vấn đề như: Mạng liệt: xảy trọng số điều chỉnh tới giá trị lớn Tổng đầu vào đơn vị ẩn đơn vị đầu mà đạt giá trị cao (hoặc dương âm), qua hàm kích hoạt sigmoid, đơn vị có giá trị kích hoạt gần gần Giá trị hiệu chỉnh trọng số gần 0, trình huấn luyện đến trạng thái dừng ảo Cực tiểu địa phương: bề mặt sai số mạng phức tạp đầy đồi thung lũng Bởi hạ độ dốc, mạng bị mắc bẫy cực tiểu địa phương có nhiều cực tiểu thấp gần bên cạnh Giải thuật di truyền kỹ thuật tìm kiếm tối ưu giúp ta giải vấn đề đặt trên, cho phép ta tìm kiếm lời giải tối ưu không gian lớn, nguyên tắc giải thuật di truyền mô trình chọn lọc tự nhiên Cho đến lĩnh vực nghiên cứu giải thuật di truyền thu nhiều thành tựu, giải thuật di truyền ứng dụng nhiều lĩnh vực phức tạp, vấn đề khó giải phương pháp thông thường [1-3] Như đề cập trình huấn luyện mạng nơ ron trình cực tiểu hàm sai số để xác định trọng số mạng luận văn sử dụng giải thuật di truyền để xác định trọng số mạng thay sử dụng giải thuật huấn luyện Đối tượng phạm vi nghiên cứu - Mạng nơ ron nhân tạo sâu vào mạng truyền thẳng kỹ thuật huấn luyện lan truyền ngược sai số - Nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron truyền thẳng, thay kỹ thuật huấn luyện lan truyền ngược sai số Phương pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm Ý nghĩa khoa học đề tài Nghiên cứu mạng nơ ron, giải thuật di truyền sử dụng giải thuật di truyền huấn luyện mạng nơ ron CHƯƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Mạng nơ ron sinh học Mạng nơ ron bao gồm vô số nơ ron liên kết truyền thông với mạng, hình 1.1 phần mạng nơ ron bao gồm hai nơ ron Hình 1.1:Cấu tạo nơ ron Nơ ron cấu tạo gồm phần sau: Thân nơ ron: thường gọi soma có nhiệm vụ tổng hợp xử lý cho tín hiệu điện nhận từ rễ đầu vào Bản chất trình việc lấy tổng cộng tất tín hiệu mà nơ ron nhận Các xúc tu: tua dài gắn liền với soma có chức truyền tín hiệu điện nhận từ môi trường từ nơ ron khác để soma xử lý Trục cảm ứng: thành phần kết nối nơ ron lại với Nó có chức phát tín hiệu điện, truyền tín hiệu từ nơ ron nơi khác Thông thường axon trạng thái nghỉ, điện soma vượt ngưỡng cho phép axon phát xung điện 61 0.000, 1.500 0.105 0.105400 0.000 0.000, 2.000 0.018 0.028260 0.010 0.000, 2.500 0.002 0.008533 0.007 0.000, 3.000 0.000 0.003037 0.003 0.500, 0.000 0.779 0.827530 0.049 0.500, 0.500 0.607 0.605677 0.001 10 0.500, 1.000 0.287 0.134721 0.152 11 0.500, 1.500 0.082 0.004352 0.078 12 0.500, 2.000 0.014 0.001179 0.013 13 0.500, 2.500 0.002 0.000612 0.001 14 0.500, 3.000 0.000 0.000361 0.000 15 1.000, 0.000 0.368 0.346357 0.022 16 1.000, 0.500 0.287 0.206833 0.080 17 1.000, 1.000 0.135 0.120809 0.015 18 1.000, 1.500 0.039 0.068478 0.030 19 1.000, 2.000 0.007 0.020530 0.014 20 1.000, 2.500 0.001 0.000773 0.000 21 1.000, 3.000 0.000 0.000170 0.000 22 1.500, 0.000 0.105 0.118785 0.013 23 1.500, 0.500 0.082 0.071768 0.010 24 1.500, 1.000 0.039 0.045396 0.007 62 25 1.500, 1.500 0.011 0.030306 0.019 26 1.500, 2.000 0.002 0.021332 0.019 27 1.500, 2.500 0.000 0.015405 0.015 28 1.500, 3.000 0.000 0.008228 0.008 29 2.000, 0.000 0.018 0.045310 0.027 30 2.000, 0.500 0.014 0.030267 0.016 31 2.000, 1.000 0.007 0.021354 0.015 32 2.000, 1.500 0.002 0.015861 0.014 33 2.000, 2.000 0.000 0.012343 0.012 34 2.000, 2.500 0.000 0.010007 0.010 35 2.000, 3.000 0.000 0.008399 0.008 36 2.500, 0.000 0.002 0.021346 0.019 37 2.500, 0.500 0.002 0.015857 0.014 38 2.500, 1.000 0.001 0.012341 0.012 39 2.500, 1.500 0.000 0.010006 0.010 40 2.500, 2.000 0.000 0.008406 0.008 41 2.500, 2.500 0.000 0.007278 0.007 42 2.500, 3.000 0.000 0.006464 0.006 43 3.000, 0.000 0.000 0.012339 0.012 44 3.000, 0.500 0.000 0.010005 0.010 45 3.000, 1.000 0.000 0.008405 0.008 63 46 3.000, 1.500 0.000 0.007277 0.007 47 3.000, 2.000 0.000 0.006464 0.006 48 3.000, 2.500 0.000 0.005865 0.006 49 3.000, 3.000 0.000 0.005416 0.005 Sai số=0.835134  Lần thử nghiệm 64 Trọng số nối lớp vào lớp ẩn: -0.5802; -0.9808; 2.1761; -8.1327; 1.1130; 19.1482; Trọng số nối lớp ẩn lớp ra: 18.3444; -3.3106; -5.4977; Các kết xấp xỉ Bảng 3.7 Kết xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0.000, 0.000 1.000 0.991574 0.008 0.000, 0.500 0.779 0.804416 0.026 0.000, 1.000 0.368 0.378605 0.011 0.000, 1.500 0.105 0.111885 0.006 0.000, 2.000 0.018 0.037838 0.020 0.000, 2.500 0.002 0.017241 0.015 0.000, 3.000 0.000 0.010164 0.010 0.500, 0.000 0.779 0.867630 0.089 0.500, 0.500 0.607 0.526573 0.080 65 10 0.500, 1.000 0.287 0.185256 0.101 11 0.500, 1.500 0.082 0.056902 0.025 12 0.500, 2.000 0.014 0.022951 0.009 13 0.500, 2.500 0.002 0.012283 0.011 14 0.500, 3.000 0.000 0.008152 0.008 15 1.000, 0.000 0.368 0.371098 0.003 16 1.000, 0.500 0.287 0.222933 0.064 17 1.000, 1.000 0.135 0.089214 0.046 18 1.000, 1.500 0.039 0.032044 0.007 19 1.000, 2.000 0.007 0.015385 0.009 20 1.000, 2.500 0.001 0.009434 0.009 21 1.000, 3.000 0.000 0.006884 0.007 22 1.500, 0.000 0.105 0.083195 0.022 23 1.500, 0.500 0.082 0.058546 0.024 24 1.500, 1.000 0.039 0.045974 0.007 25 1.500, 1.500 0.011 0.020067 0.009 26 1.500, 2.000 0.002 0.011237 0.009 27 1.500, 2.500 0.000 0.007699 0.007 28 1.500, 3.000 0.000 0.006053 0.006 29 2.000, 0.000 0.018 0.020768 0.002 30 2.000, 0.500 0.014 0.011725 0.003 31 2.000, 1.000 0.007 0.025523 0.019 32 2.000, 1.500 0.002 0.013825 0.012 33 2.000, 2.000 0.000 0.008807 0.008 34 2.000, 2.500 0.000 0.006590 0.007 66 35 2.000, 3.000 0.000 0.005490 0.005 36 2.500, 0.000 0.002 0.006765 0.005 37 2.500, 0.500 0.002 0.002911 0.001 38 2.500, 1.000 0.001 0.014416 0.014 39 2.500, 1.500 0.000 0.010311 0.010 40 2.500, 2.000 0.000 0.007303 0.007 41 2.500, 2.500 0.000 0.005855 0.006 42 2.500, 3.000 0.000 0.005099 0.005 43 3.000, 0.000 0.000 0.002795 0.003 44 3.000, 0.500 0.000 0.001148 0.001 45 3.000, 1.000 0.000 0.007251 0.007 46 3.000, 1.500 0.000 0.008174 0.008 47 3.000, 2.000 0.000 0.006330 0.006 48 3.000, 2.500 0.000 0.005353 0.005 49 3.000, 3.000 0.000 0.004823 0.005 Sai số=0.787517 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số 3.4 Xấp xỉ XOR – XOR Tập mẫu huấn luyện: x(1,1)=0;x(2,1)=0;x(3,1)=0;t(1,1)=0; x(1,2)=0;x(2,2)=0;x(3,2)=1;t(1,2)=1; 67 x(1,3)=0;x(2,3)=1;x(3,3)=0;t(1,3)=1; x(1,4)=0;x(2,4)=1;x(3,4)=1;t(1,4)=0; x(1,5)=1;x(2,5)=0;x(3,5)=0;t(1,5)=1; x(1,6)=1;x(2,6)=0;x(3,6)=1;t(1,6)=0; x(1,7)=1;x(2,7)=1;x(3,7)=0;t(1,7)=0; x(1,8)=1;x(2,8)=1;x(3,8)=1;t(1,8)=1; 3.4.1 Huấn luyện mạng nơ ron  Lần thử nghiệm Cấu trúc mạng kết quả: Số vòng lặp = 28171 Trọng số nối lớp vào lớp ẩn: 7.1397; -3.7124; -4.5398; 4.3554; -7.4433; 4.3362; 68 -4.5138; -3.6295; 7.0462; 3.7394; 2.9330; 3.6868; Trọng số nối lớp ẩn lớp ra: -13.1193; 11.6113; -13.1117; 6.5330; Các kết xấp xỉ: Bảng 3.8 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017237 0.017237 0,0,1 1.000000 0.990006 0.009994 0,1,0 1.000000 0.996158 0.003842 0,1,1 0.000000 0.003412 0.003412 1,0,0 1.000000 0.989994 0.010006 1,0,1 0.000000 0.001985 0.001985 1,1,0 0.000000 0.003404 0.003404 1,1,1 1.000000 0.999880 0.000120 Sai số = 0.050000  Lần thử nghiệm 69 Cấu trúc mạng kết quả: Số vòng lặp=42774 Trọng số nối lớp vào lớp ẩn: -5.0718; -4.9291; 7.2390; -7.9202; 5.4066; 5.6653; -3.9506; 4.5609; -4.0060; 3.8011; -5.6406; 4.0070; Trọng số nối lớp ẩn lớp ra: -17.9348; 17.6400; -13.0473; 5.2703; Các kết xấp xỉ: Bảng 3.9 Kết xấp xỉ hàm XOR-XOR sử dụng phương pháp lan truyền ngược sai số lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.017364 0.017364 70 0,0,1 1.000000 0.990049 0.009951 0,1,0 1.000000 0.989427 0.010573 0,1,1 0.000000 0.002231 0.002231 1,0,0 1.000000 0.991865 0.008135 1,0,1 0.000000 0.000106 0.000106 1,1,0 0.000000 0.001640 0.001640 1,1,1 1.000000 1.000000 0.000000 Sai số = 0.050000 3.4.2 Huấn luyện giải thuật di truyền  Lần thử nghiệm 1: 71 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -5.6162; 4.0340; 3.2334; -5.0049; -4.9609; 8.0635; 7.2351; -13.2947; 4.7033; -6.6923; 9.3657; -5.2643; Trọng số nối lớp ẩn lớp ra: 13.4032; -12.4144; 3.7364; -9.7347; Các kết xấp xỉ: Bảng 3.10 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.075524 0.075524 0,0,1 1.000000 0.984282 0.015718 0,1,0 1.000000 0.966097 0.033903 0,1,1 0.000000 0.000315 0.000315 1,0,0 1.000000 0.975579 0.024421 1,0,1 0.000000 0.000921 0.000921 1,1,0 0.000000 0.001098 0.001098 1,1,1 1.000000 0.999940 0.000060 Sai số = 0.151961  Lần thử nghiệm 2: 72 Cấu trúc mạng kết xấp xỉ: Trọng số nối lớp vào lớp ẩn: -9.9758; 5.2061; 5.9228; -3.8144; -5.6591; 7.8712; 7.5191; 18.3072; 19.3022; -8.9224; 18.3472; -10.7797; Trọng số nối lớp ẩn lớp ra: 12.7463; -14.8163; 7.0871; -14.2979; Các kết xấp xỉ: Bảng 3.11 Kết xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần TT Mẫu Kết Kết xấp xỉ Độ lệch 0,0,0 0.000000 0.009562 0.009562 0,0,1 1.000000 0.993231 0.006769 0,1,0 1.000000 0.995569 0.004431 73 0,1,1 0.000000 0.000405 0.000405 1,0,0 1.000000 0.998845 0.001155 1,0,1 0.000000 0.000703 0.000703 1,1,0 0.000000 0.000822 0.000822 1,1,1 1.000000 0.999988 0.000012 Sai số = 0.023859 Đánh giá: Kết huấn luyện xấp xỉ tốt, có trường hợp tốt mạng nơ ron với phương pháp huấn luyện lan truyền ngược sai số Kết luận chương Trong chương luận văn nghiên cứu ứng dụng giải thuật di truyền huấn luyện mạng nơ ron Kết thử nghiệm toán hai phương pháp giải thuật huấn luyện lan truyền ngược sai số ứng dụng giải thuật di truyền huấn luyện mạng nơ ron kết cho thấy giải thuật di truyền cho kết tốt đồng thời khắc phục tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngược sai số thường gặp phải Kết cho thấy sử dụng giải thuật di truyền huấn luyện mạng nơ ron giải pháp thay tiềm hiệu phát triển rộng rãi có nghiên cứu cụ thể đến phạm vi toán cần giải 74 KẾT LUẬN Luận văn đạt số kết sau: Nghiên cứu hệ thống kiến thực mạng nơ ron, giải thuật di truyền Đi sâu nghiên cứu mạng nơ ron truyền thẳng giải thuật huấn luyện lan truyền ngược sai số Nghiên cứu sâu giải thuật di truyền mã hóa số thực làm sở xây dựng giải thuật di truyền huấn luyện mạng nơ ron Đề xuất phương pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền thay giải thuật lan truyền ngược sai số truyền thống Thực nghiệm số toán, kết thực nghiệm khẳng định phương pháp huấn luyện sử dụng giải thuật di truyền cho kết không thua giải thuật lan truyền ngược sai số truyền thống Đưa giải thuật di truyền vào huấn luyện mạng nơ ron MLP Các phân tích, tính toán cài đặt cho kết huấn luyện mong muốn Ngoài kết thực nghiệm cho thấy giải thuật di truyền huấn luyện mạng nơ ron cho hội tụ, khắc phục tình trạng mạng bị liệt mà giải thuật huấn luyện lan truyền ngược sai số giải thuật khác không thực Tuy nhiên nhận thức kết nghiên cứu bước đầu, việc thực nghiệm dừng lại số toán logic toán xấp xỉ hàm hình chuông, toán chưa thể đại diện cho toán khác Trong thời gian tới tiến hành lựa chọn số lớp toán đủ rộng để tiến hành thực nghiệm đánh giá kết nhằm khẳng định thêm tính khả dụng giải pháp đề xuất 75 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] Đinh Mạnh Tường, Trí tuệ nhân tạo, Nhà xuât Khoa học kỹ thuật, 2000 [2] Nguyễn Đình Thúc, Trí tuệ nhân tạo - Lập trình tiến hoá, Nhà xuất giáo dục, 2001 [3] Hoàng Kiếm,Giải thuật di truyền – Cách giải tự nhiên toán máy tính, Nhà xuất khoa học kỹ thuật, 2000 [4] Nguyễn Đình Thúc, Mạng nơ ron - Kỹ thuật lan truyền ngược, Nhà xuất khoa học kỹ thuật, 2000 TIẾNG ANH [5] Cheng Teng Lin, C S George Lee, Neural Fuzzy Systems, Prentice – Hall International, Inc ((1996)) [6] Randy L Haupt, Sue Ellen Haupt, Practical Genetic Algorithms, Second Edition, Copyright © 2004 John Wiley & Sons, Inc [7] Rustem Popa, Genetic Algorithms in Applications, Publisher: IN-TECH (March, 2012) [...]... = 1 1.4 Thuật toán huấn luyện lan truyền ngược sai số- Back Propagation Thuật toán lan truyền ngược sai số là thuật toán rất phổ biến được sử dụng trong quá trình huấn luyện mạng nơ ron Mạng nơ ron MLP sử dụng thuật toán lan truyền ngược sai số được gọi là mạng BP (Back Propagation Network) Hình 1.12 minh họa cấu trúc mạng với thuật toán lan truyền ngược sai số 19 Hình 1.12: Mạng MLP lan truyền ngược... sau: + Trước tiên ta xét lan truyền tín hiệu qua từng lớp mạng: lớp nhập, lớp ẩn và lớp xuất Giả sử tín hiệu đưa vào mạng nơ ron x = (x1, x2, , xm) với m là số nơ ron trong lớp nhập, l là số nơ ron trong lớp ẩn và n là số nơ ron trong lớp xuất Các nơ ron trong lớp nhập nhận và truyền tín hiệu sang lớp ẩn Đầu vào các nơ ron (nút) trong lớp ẩn thứ nhất có dạng: (1.12) = Trong đó wqj là trọng số liên... thống nhất để giải quyết một vấn đề cụ thể nào đó Một mạng n ron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, ) thông qua một quá trình học từ tập các mẫu 5 huấn luyện Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các n ron Mạng nơ ron bao gồm vô số các nơ ron liên kết truyền thông với nhau trong mạng Nơ ron có thể liên kết với các nơ ron khác... của mạng nơ ron đã xây dựng Để thực hiện việc này, mạng nơ ron sử dụng các trọng số điều chỉnh với nhiều phương pháp học khác nhau để có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho mạng Một cách chi tiết hóa quá trình học của mạng nơ ron là huyấn luyện sao cho với một tập các véctơ đầu vào X, mạng có khả năng tạo ra tập các véctơ đầu ra mong muốn Y của nó Tập X được sử dụng cho huấn luyện mạng. .. Một trong những khả năng quan trọng của mạng nơ ron là khả năng học, nhờ khả năng này mà mạng nơ ron có thể học và nhận dạng các tập mẫu cho trước, ngoài ra mạng còn có khả năng dự đoán Kỹ thuật mạng nơ ron đã được ứng dụng để giải quyết nhiều bài toán thực tiễn như nhận dạng, dự báo, xấp xỉ hàm Do đó nghiên cứu sâu về mạng nơ ron là điều rất quan trọng và cần thiết 27 2 CHƯƠNG 2: GIẢI THUẬT DI TRUYỀN... giải thuật tìm kiếm tiến hoá Khác với phần lớn các giải thuật khác tìm kiếm theo điểm, giải thuật GA thực hiện tìm kiếm song song trên một tập được gọi là quần thể các lời giải có thể Thông qua việc áp dụng các toán tử di truyền, giải thuật GA tráo đổi thông tin giữa các cực trị và do đó làm giảm thiểu khả năng kết thúc giải thuật tại một cực trị địa phương Trong thực tế, giải thuật GA đã được áp dụng. .. những nơ ron khác và do đó làm thay đổi toàn bộ mạng nơ ron Việc thay đổi trạng thái của mạng nơ ron có thể thực hiện qua một quá trình “dạy” hoặc do khả năng “học” tự nhiên Sự thay thế những tính chất này bằng một mô hình toán học tương đương được gọi là mạng nơ ron nhân tạo Mạng nơ ron nhân tạo có thể được chế tạo bằng nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơ ron nhân... sau: Xét mạng nơ ron với = 1, 2, … , lớp lan truyền thẳng, là đầu vào và đầu ra của nơ ron thứ trong lớp nút nhập, nút xuất Gọi và và tương ứng Mạng có là trọng số liên kết từ nơ ron lớp 1 đến nơ ron lớp Input: Tập mẫu huấn luyện {(x(k), d(k))}, Bước 0 (khởi tạo): chọn = 1, 2, … , > 0 và trọng số với giá trị ngẫu nhiên nhỏ Đặt (sai số lớn nhất), khởi tạo = 0 và = 1 Bước 1 (vòng luyện) : sử dụng mẫu... hoạt sigmoid đa cực (1.11) 11 1.2 Mạng nơ ron truyền thẳng nhiều lớp MLP Có rất nhiều kiểu kiến trúc về mạng nơ ron nhân tạo Các kiểu kiến trúc mạng nơ ron nhân tạo này được tạo ra tùy thuộc vào yêu cầu của bài toán cần giải quyết Các tính năng của mạng nơ ron tùy thuộc vào cấu trúc, kiểu liên kết, các trọng số liên kết và quá trình tính toán của các nơ ron đơn lẻ Trong phạm vi nghiên cứu của luận văn... là giải thuật di truyền Các nguyên lý cơ bản của giải thuật được tác giả Holland đề xuất lần đầu vào năm 1962 Nền tảng toán học của giải thuật GA được tác giả công bố trong cuốn sách “Sự thích nghi trong các hệ thống tự nhiên và nhân tạo” xuất bản năm 1975 Giải thuật GA được xem như một phương pháp tìm kiếm có bước chuyển ngẫu nhiên mang tính tổng quát để giải các bài toán tối ưu hoá.[2] 28 Giải thuật