Khảo sát và đánh giá khả năng nội suy của mạng nơ ron rbf luận văn thạc sỹ ngành công nghệ thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI PHAN VĂN LIÊM KHẢO SÁT VÀ ĐÁNH GIÁ KHẢ NĂNG NỘI SUY CỦA MẠNG NƠ RON RBF LUẬN VĂN THẠC SỸ KỸ THUẬT TP Hồ Chí Minh – 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI PHAN VĂN LIÊM KHẢO SÁT VÀ ĐÁNH GIÁ KHẢ NĂNG NỘI SUY CỦA MẠNG NƠ RON RBF Ngành: Công nghệ thông tin Mã số: 60.48.02.01 LUẬN VĂN THẠC SỸ KỸ THUẬT HƢỚNG DẪN KHOA HỌC TS PHẠM THANH HÀ TP Hồ Chí Minh – 2017 i LỜI CẢM ƠN Tôi xin chân thành cám ơn: Các Thầy Cơ giảng dạy tơi suốt khóa học, kiến thức mà nhận đƣợc giảng đƣờng hành trang giúp vững bƣớc tƣơng lai TS Phạm Thanh Hà định hƣớng luận văn, cung cấp tài liệu hƣớng dẫn tơi hồn thành luận văn Đƣợc hồn thành thời gian hạn hẹp, luận văn chắn nhiều thiếu sót Xin cảm ơn thầy cơ, bạn bè có ý kiến đóng góp chân thành cho nội dung luận văn để tiếp tục sâu vào tìm hiểu ứng dụng vào thực tiễn cơng tác Tp Hồ Chí Minh, tháng năm 2018 Học viên Phan Văn Liêm ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu không trùng lặp với cơng trình nghiên cứu khác, chƣa đƣợc cơng bố tạp chí Tp Hồ Chí Minh, tháng năm 2018 Học viên Phan Văn Liêm iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC BẢNG BIỂU v DANH MỤC HÌNH ẢNH vi DANH MỤC TỪ VIẾT TẮT vii MỞ ĐẦU CHƢƠNG TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO 1.1 Các khái niệm mạng nơ ron 1.1.1 Nơ ron sinh học: 1.1.2 Mạng Nơ ron nhân tạo 1.2 Phân loại mạng nơ ron: 10 1.2.1 Mạng Nơ ron lớp 11 1.2.2 Mạng Nơ ron truyền thẳng nhiều lớp 11 1.2.3 Mạng Nơ ron hồi quy 12 1.3 Huấn luyện mạng nơ ron 13 1.4 Một số ứng dụng mạng nơ ron 17 1.4.1 Khả ứng dung mạng nơ ron 17 1.4.2 Các ứng dụng tin học 17 1.4.3 Các ứng dụng viễn thông 19 1.4.4 Ứng dụng mạng nơ ron xử lý tín hiệu 19 1.5 Tóm tắt Chƣơng 22 CHƢƠNG MỘT SỐ PHƢƠNG PHÁP HUẤN LUYỆN MẠNG NƠ RON TRUYỀN THẲNG 23 2.1 Mạng nơ ron MLP phƣơng pháp huấn luyện lan truyền ngƣợc sai số 23 2.1.1 Mạng Perceptron lớp đơn 23 2.1.2 Mạng nơ ron truyền thẳng nhiều lớp MLP 29 2.1.3 Thuật toán huấn luyện lan truyền ngƣợc sai số 31 iv 2.2 Mạng nơ ron RBF phƣơng pháp huấn luyện 36 2.2.1 Kiến trúc mạng RBF 37 2.2.2 Huấn luyện mạng RBF 38 2.3 Cài đặt MLP RBF 41 2.3.1 Cài đặt mạng MLP: 41 2.3.2 Cài đặt mạng RBF: 53 2.4 Tóm tắt chƣơng 60 CHƢƠNG KHẢO SÁT KHẢ NĂNG NỘI SUY RBF 62 3.1 Khảo sát khả nội suy mạng nơ ron hàm biến 62 3.1.1.Chuẩn bị liệu 62 3.1.2 Kết khảo sát khả nội suy mạng nơ ron BPN 63 3.1.3 Khảo sát khả nội suy mạng nơ ron RBF 65 3.2 Khảo sát khả nội suy mạng nơ ron hàm biến 67 3.2.1.Chuẩn bị liệu 67 3.2.2 Kết khảo sát khả nội suy mạng nơ ron BPN 68 3.2.3 Kết khảo sát khả ngoại suy mạng nơ ron RBF 69 3.2.4 Kết khảo sát khả nội suy mạng nơ ron RBF 72 3.3 Tóm tắt chƣơng 74 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 75 TÀI LIỆU THAM KHẢO 76 v DANH MỤC BẢNG BIỂU Bảng 1.1: Véc tơ vào toán tách lỗi với mạng BAM 21 Bảng 2.1 Dữ liệu gốc liệu huấn luyện 62 Bảng 2.2 Dữ liệu gốc liệu huấn luyện 67 vi DANH MỤC HÌNH ẢNH Hình 1.1 – Cấu tạo nơ ron sinh học Hình 1.2 – Mơ hình nơ ron Hình 1.3 – Cấu trúc nơ ron m đầu vào, đầu Hình 1.4(a) – Đồ thị hàm kích hoạt – Hàm bƣớc nhảy Hình 1.4(b) – Đồ thị hàm kích hoạt – Hàm dấu Hình 1.4(c) – Đồ thị hàm kích hoạt – Hàm dốc Hình 1.4(d) – Đồ thị hàm kích hoạt – Hàm sigmoid đơn cực 10 Hình 1.4(e) – Đồ thị hàm kích hoạt – Hàm sigmoid lƣỡng cực 10 Hình 1.5 – Mạng nơ ron lớp 11 Hình 1.6 – Mạng nơ ron nhiều lớp 12 Hình 1.7 – Mơ hình huấn luyện mạng có giám sát 14 Hình 1.8 – Mơ hình huấn luyện mạng khơng giám sát 14 Hình 1.9 - Mạng BAM lớp 20 Hình 2.1 - Mạng Perceptron lớp đơn 23 Hình 2.2 - Mạng Perceptron nơ ron 24 Hình 2.3 – Đƣờng phân lớp đƣợc xác định nhờ Mạng Perceptron nơ ron 26 Hình 2.4 – Bài tốn XOR 29 Hình 2.5 – Mạng perceptron đa lớp cho tốn XOR 30 Hình 2.6 – Mạng truyền thẳng lớp lan truyền ngƣợc sai số 32 Hình 2.7 – Kiến trúc Mạng RBF 37 Hình 3.1 Kết khảo sát khả nội suy BPN 65 Hình 3.2 Kết khảo sát khả nội suy RBF 66 Hình 3.3 Kết khảo sát khả nội suy BPN 69 Hình 3.4 Kết khảo sát khả ngoại suy RBF 71 Hình 3.5 Kết khảo sát khả nội suy RBF 74 vii DANH MỤC TỪ VIẾT TẮT ANN Artificial neural networks (Mạng Nơ ron nhân tạo) MLP Multi Layer Perceptrons (Perceptron nhiều lớp) BP Back Propagation (Lan truyền ngƣợc) RBF Radial Basis Function (Hàm sở bán kính) ATM Asynchronous Transfer Mode (Giao thức truyền khơng đồng bộ) BPN Back Propagation networks (Mạng lan truyền ngƣợc) MỞ ĐẦU Tính cấp thiết đề tài Mạng nơ ron nhân tạo tái tạo kỹ thuật chức hệ thần kinh ngƣời Trong q trình tái tạo khơng phải tất chức não ngƣời đƣợc tái tạo, mà có chức cần thiết nhằm giải toán định trƣớc Mạng nơ ron bao gồm nơ ron đƣợc liên kết với trọng số theo cấu trúc xác định Có thể kể số lớp mạng quan trọng phổ biến nhƣ mạng nơ ron truyền thẳng, mạng nơ ron hồi quy, mạng nơ ron tự tổ chức… Mạng nơ ron đƣợc huấn luyện để thực nhiệm vụ khác Quá trình huấn luyện thiết lập trọng số cho liên kết nơ ron mạng Mạng nơ ron truyền thẳng nhiều lớp lớp mạng nơ ron nhân tạo quan trọng, đƣợc ứng dụng phân lớp liệu, nhận dạng mẫu, dự báo, nội suy hay ngoại suy từ tâp liệu mẫu Đề tài luận văn tập trung nghiên cứu khả nội suy mạng nơ ron RBF ứng dụng Hƣớng nghiên cứu luận văn - Nghiên cứu tổng quan mạng nơ ron, ứng dụng mạng nơ ron, mạng nơ ron truyền thẳng, giải thuật huấn luyện mạng nơ ron - Khảo sát, cài đặt đánh giá khả nội suy nhƣ khả ngoại suy mạng nơ ron RBF Đối tƣợng phạm vi nghiên cứu - Mạng nơ ron nhân tạo - Một số giải thuật huấn luyện mạng nơ ron - Mạng nơ ron RBF ứng dụng 62 CHƯƠNG KHẢO SÁT KHẢ NĂNG NỘI SUY RBF Để thực việc khảo sát sử dụng số hàm phi tuyến biến biến Việc khảo sát hàm nhiều biến làm tƣơng tự, nhiên khn khổ luận văn thời gian thực có hạn giới hạn số hàm biến biến 3.1 Khảo sát khả nội suy mạng nơ ron hàm biến 3.1.1.Chuẩn bị liệu Trong phần sử dụng hàm y=e-x với x thuộc [0,1], mở rộng khoảng xác định tùy ý, sử dụng phƣơng pháp rời rạc hóa miện xác định với độ dài khoảng chia 0.2 có liệu nguyên thủy nhƣ bảng dƣới [2] Để kiểm chứng khả nội suy khả ngoại suy, chia liệu thành phần Phần 1: Dữ liệu huấn luyện, liệu để khoảng 75% số lƣợng mẫu nguyên thủy Phần 2: Dữ liệu kiểm tra, liệu để kiểm tra liệu cịn lại, nhiên để có nhìn tồn diện chúng tơi sử dụng 100% liệu gốc để kiểm tra Bảng 2.1 Dữ liệu gốc liệu huấn luyện Nguyên thủy TT x Dữ liệu huấn luyện y=f(x) x y=f(x) 1 0.2 0.960789 0.2 0.960789 0.4 0.852144 0.4 0.852144 0.6 0.697676 0.367879 0.8 0.527292 1.2 0.236928 63 0.367879 1.4 0.140858 1.2 0.236928 1.6 0.077305 1.4 0.140858 1.8 0.039164 1.6 0.077305 2.4 0.003151 10 1.8 0.039164 2.6 0.001159 11 0.018316 2.8 0.000394 12 2.2 0.007907 13 2.4 0.003151 14 2.6 0.001159 15 2.8 0.000394 16 3.1.2 Kết khảo sát khả nội suy mạng nơ ron BPN examples=12;%So mau luyen % Cac tham so mang ins=1;%So nut nhap outs=1;%So nut xuat hids=15;%So nut an mu=0.9;%Toc hoc Kết huấn luyện kiểm tra so vong lap=83816 sai so=0.050000 Trong so noi lop vao va lop an a: 0.4796 -0.4720 0.4790 -0.4718 0.4790 -6.2279 64 0.4797 -0.4719 0.4804 -0.4719 0.4800 -0.4718 0.4794 -0.4718 0.4800 Trong so noi lop an va lop b: -1.4697 2.8913 -1.5364 2.9418 -1.5337 4.0165 -1.4619 2.9057 -1.4069 2.9056 -1.4388 2.9355 -1.4973 2.9439 -1.4382 Cac ket qua kiem tra - Noi suy - BPN mau 1: x=0.000000, y=1.000000, test y=0.992450, lect=0.007550 mau 2: x=0.200000, y=0.960789, test y=0.955744, lect=0.005046 mau 3: x=0.400000, y=0.852144, test y=0.856898, lect=0.004754 mau 4: x=0.600000, y=0.697676, test y=0.708868, lect=0.011191 mau 5: x=0.800000, y=0.527292, test y=0.536619, lect=0.009327 mau 6: x=1.000000, y=0.367879, test y=0.368708, lect=0.000828 mau 7: x=1.200000, y=0.236928, test y=0.232563, lect=0.004364 mau 8: x=1.400000, y=0.140858, test y=0.138346, lect=0.002512 mau 9: x=1.600000, y=0.077305, test y=0.079868, lect=0.002564 mau 10: x=1.800000, y=0.039164, test y=0.045736, lect=0.006573 mau 11: x=2.000000, y=0.018316, test y=0.026351, lect=0.008035 mau 12: x=2.200000, y=0.007907, test y=0.015405, lect=0.007498 mau 13: x=2.400000, y=0.003151, test y=0.009184, lect=0.006033 mau 14: x=2.600000, y=0.001159, test y=0.005598, lect=0.004439 mau 15: x=2.800000, y=0.000394, test y=0.003495, lect=0.003101 mau 16: x=3.000000, y=0.000000, test y=0.002236, lect=0.002236 65 Du lieu huan luyen Dulieu kiem tra 0.9 0.8 0.7 y 0.6 0.5 0.4 0.3 0.2 0.1 0 0.5 1.5 x 2.5 Hình 3.1 Kết khảo sát khả nội suy BPN Kết khảo sát cho thấy mạng có khả nội tốt, mẫu kiểm tra khả ngoại suy bám sát, không chênh lệch nhiều so với liệu gốc, liệu gốc không nằm tập mẫu huấn luyện (Phần in đậm) 3.1.3 Khảo sát khả nội suy mạng nơ ron RBF so vong lap=4679 sai so=0.000100 Trong so w noi cac tam mang va no ron dau ra: 1.3762 -0.8405 0.7351 0.2708 -0.0506 0.1124 -0.0165 0.0302 0.0050 0.0049 0.0037 -0.0014 Cac ket qua kiem tra - Noi suy - RBFN mau 1: x=0.000000, y=1.000000, test y=0.992790, lech= 0.007210 mau 2: x=0.200000, y=0.960789, test y=0.971763, lech= 0.010973 mau 3: x=0.400000, y=0.852144, test y=0.846864, lech= 0.005280 mau 4: x=0.600000, y=0.697676, test y=0.648212, lech= 0.049464 66 mau 5: x=0.800000, y=0.527292, test y=0.485795, lech= 0.041497 mau 6: x=1.000000, y=0.367879, test y=0.368643, lech= 0.000764 mau 7: x=1.200000, y=0.236928, test y=0.236145, lech= 0.000783 mau 8: x=1.400000, y=0.140858, test y=0.141437, lech= 0.000579 mau 9: x=1.600000, y=0.077305, test y=0.076941, lech= 0.000364 mau 10: x=1.800000, y=0.039164, test y=0.039319, lech= 0.000155 mau 11: x=2.000000, y=0.018316, test y=0.020127, lech= 0.001812 mau 12: x=2.200000, y=0.007907, test y=0.007467, lech= 0.000440 mau 13: x=2.400000, y=0.003151, test y=0.003108, lech= 0.000043 mau 14: x=2.600000, y=0.001159, test y=0.001273, lech= 0.000113 mau 15: x=2.800000, y=0.000394, test y=0.000242, lech= 0.000152 mau 16: x=3.000000, y=0.000000, test y=0.000085, lech= 0.000085 Du lieu huan luyen Dulieu kiem tra 0.9 0.8 0.7 y 0.6 0.5 0.4 0.3 0.2 0.1 0 0.5 1.5 x 2.5 Hình 3.2 Kết khảo sát khả nội suy RBF Kết khảo sát cho thấy mạng có khả ngoại suy tốt, mẫu kiểm tra khả ngoại suy bám sát, không chênh lệch nhiều so với liệu gốc, liệu gốc không nằm tập mẫu huấn luyện (Phần in đậm) 67 3.2 Khảo sát khả nội suy mạng nơ ron hàm biến 3.2.1.Chuẩn bị liệu Trong phần sử dụng hàm z=xy với x thuộc [0,1], mở rộng khoảng xác định tùy ý, sử dụng phƣơng pháp rời rạc hóa miện xác định với độ dài khoảng chia 0.2 có liệu nguyên thủy nhƣ bảng dƣới Để kiểm chứng khả nội suy khả ngoại suy, chia liệu thành phần Phần 1: Dữ liệu huấn luyện, liệu để khoảng 75% số lƣợng mẫu nguyên thủy Phần 2: Dữ liệu kiểm tra, liệu để kiểm tra liệu cịn lại, nhiên để có nhìn tồn diện sử dụng 100% liệu gốc để kiểm tra Bảng 2.2 Dữ liệu gốc liệu huấn luyện Nguyên thủy TT x y Dữ liệu huấn luyên z x y z 0 0 0 0.2 0 0.2 0.4 0 0.4 0.6 0 0.6 0.8 0 0.8 0 0.2 0 0.2 0.2 0.04 0.2 0.2 0.04 0.2 0.4 0.08 0.2 0.4 0.08 0.2 0.6 0.12 10 0.2 0.6 0.12 0.2 0.8 0.16 11 0.2 0.8 0.16 0.2 0.2 12 0.2 0.2 0.4 0.2 0.08 68 13 0.4 0 0.4 0.4 0.16 14 0.4 0.2 0.08 0.4 0.6 0.24 15 0.4 0.4 0.16 0.4 0.8 0.32 16 0.4 0.6 0.24 0.4 0.4 17 0.4 0.8 0.32 0.6 0.2 0.12 18 0.4 0.4 0.6 0.4 0.24 19 0.6 0 0.6 0.6 0.36 20 0.6 0.2 0.12 0.6 0.8 0.48 21 0.6 0.4 0.24 0.6 0.6 22 0.6 0.6 0.36 0.8 0.2 0.16 23 0.6 0.8 0.48 0.8 0.4 0.32 24 0.6 0.6 0.8 0.6 0.48 25 0.8 0 0.8 0.8 0.64 26 0.8 0.2 0.16 0.8 0.8 27 0.8 0.4 0.32 0 28 0.8 0.6 0.48 0.2 0.2 29 0.8 0.8 0.64 0.4 0.4 30 0.8 0.8 0.6 0.6 31 0 0.8 0.8 32 0.2 0.2 1 33 0.4 0.4 34 0.6 0.6 35 0.8 0.8 36 1 3.2.2 Kết khảo sát khả nội suy mạng nơ ron BPN Trong khảo sát sử dụng tập mẫu huấn luyện 2, kết chạy chƣơng trình cho thấy mạng bị liệt 69 Nguyên nhân tính chất liệu, số lƣợng liệu tăng, hạn chế lớp mạng Hình 3.3 Kết khảo sát khả nội suy BPN 3.2.3 Kết khảo sát khả ngoại suy mạng nơ ron RBF Trong khảo sát sử dụng tập mẫu huấn luyện 1, tham số mạng đƣợc xác định nhƣ sau m=32;%so mau r=16; %So lang rieng n=m;%so tam mang ins=2;% so dau vao outs=1;%so dau alpha=0.3; esl=0.0001; Kết so vong lap=12 sai so=0.000100 70 Trong so w noi cac tam mang va no ron dau ra: -0.0007 -0.0004 -0.0015 -0.0082 -0.0010 0.0383 0.0767 0.1153 0.1474 0.1861 -0.0005 0.0767 0.1546 0.2325 0.2984 0.3617 -0.0004 0.1154 0.2326 0.3458 0.4260 0.5153 -0.0015 0.1461 0.2942 0.4273 0.5593 0.7502 -0.0093 0.1831 0.3563 0.5740 Cac ket qua kiem tra - Ngoai suy - RBFN mau 1: x=0.000000, y=0.000000, z=0.000000, test z=0.000060, lect= 0.000060 mau 2: x=0.000000, y=0.200000, z=0.000000, test z=0.001111, lect= 0.001111 mau 3: x=0.000000, y=0.400000, z=0.000000, test z=0.000090, lect= 0.000090 mau 4: x=0.000000, y=0.600000, z=0.000000, test z=0.000086, lect= 0.000086 mau 5: x=0.000000, y=0.800000, z=0.000000, test z=0.000474, lect= 0.000474 mau 6: x=0.000000, y=1.000000, z=0.000000, test z=0.001193, lect= 0.001193 mau 7: x=0.200000, y=0.000000, z=0.000000, test z=0.000140, lect= 0.000140 mau 8: x=0.200000, y=0.200000, z=0.040000, test z=0.039568, lect= 0.000432 mau 9: x=0.200000, y=0.400000, z=0.080000, test z=0.079183, lect= 0.000817 mau 10: x=0.200000, y=0.600000, z=0.120000, test z=0.118747, lect= 0.001253 mau 11: x=0.200000, y=0.800000, z=0.160000, test z=0.159194, lect= 0.000806 mau 12: x=0.200000, y=1.000000, z=0.200000, test z=0.198017, lect= 0.001983 mau 13: x=0.400000, y=0.000000, z=0.000000, test z=0.000022, lect= 0.000022 mau 14: x=0.400000, y=0.200000, z=0.080000, test z=0.079190, lect= 0.000810 mau 15: x=0.400000, y=0.400000, z=0.160000, test z=0.158245, lect= 0.001755 mau 16: x=0.400000, y=0.600000, z=0.240000, test z=0.237250, lect= 0.002750 mau 17: x=0.400000, y=0.800000, z=0.320000, test z=0.317568, lect= 0.002432 mau 18: x=0.400000, y=1.000000, z=0.400000, test z=0.397380, lect= 0.002620 mau 19: x=0.600000, y=0.000000, z=0.000000, test z=0.000101, lect= 0.000101 mau 20: x=0.600000, y=0.200000, z=0.120000, test z=0.118729, lect= 0.001271 mau 21: x=0.600000, y=0.400000, z=0.240000, test z=0.237239, lect= 0.002761 mau 22: x=0.600000, y=0.600000, z=0.360000, test z=0.356032, lect= 0.003968 mau 23: x=0.600000, y=0.800000, z=0.480000, test z=0.477717, lect= 0.002283 mau 24: x=0.600000, y=1.000000, z=0.600000, test z=0.602284, lect= 0.002284 mau 25: x=0.800000, y=0.000000, z=0.000000, test z=0.000538, lect= 0.000538 71 mau 26: x=0.800000, y=0.200000, z=0.160000, test z=0.159271, lect= 0.000729 mau 27: x=0.800000, y=0.400000, z=0.320000, test z=0.317856, lect= 0.002144 mau 28: x=0.800000, y=0.600000, z=0.480000, test z=0.479297, lect= 0.000703 mau 29: x=0.800000, y=0.800000, z=0.640000, test z=0.641258, lect= 0.001258 mau 30: x=0.800000, y=1.000000, z=0.800000, test z=0.791486, lect= 0.008514 mau 31: x=1.000000, y=0.000000, z=0.000000, test z=0.001289, lect= 0.001289 mau 32: x=1.000000, y=0.200000, z=0.200000, test z=0.198037, lect= 0.001963 mau 33: x=1.000000, y=0.400000, z=0.400000, test z=0.399884, lect= 0.000116 mau 34: x=1.000000, y=0.600000, z=0.600000, test z=0.593150, lect= 0.006850 mau 35: x=1.000000, y=0.800000, z=0.800000, test z=0.054955, lect= 0.745045 mau 36: x=1.000000, y=1.000000, z=1.000000, test z=0.072157, lect= 0.927843 0.5 0.8 0.2 0.6 0.4 0.8 0.2 0.6 0.4 0.5 0 0.5 0.5 0 Hình 3.4 Kết khảo sát khả ngoại suy RBF Kết khảo sát cho thấy mạng có khả ngoại suy khơng tốt, số mẫu kiểm tra khả ngoại suy không bám sát, chênh lệch nhiều so với liệu gốc (Phần in đậm) 72 3.2.4 Kết khảo sát khả nội suy mạng nơ ron RBF Trong khảo sát sử dụng tập mẫu huấn luyện 2, tham số mạng đƣợc xác định nhƣ sau m=32;%so mau r=16; %So lang rieng n=m;%so tam mang ins=2;% so dau vao outs=1;%so dau alpha=0.3; esl=0.0001; Kết so vong lap=13 sai so=0.000097 Trong so w noi cac tam mang va no ron dau ra: 0.0000 -0.0012 -0.0005 -0.0005 -0.0014 -0.0086 0.0375 0.0766 0.1157 0.1476 0.1870 0.0747 0.1539 0.2333 0.3010 0.3708 0.1111 0.2305 0.3498 0.4495 0.5487 0.1373 0.2929 0.4486 0.5489 0.6598 -0.0165 0.1815 0.3622 0.5452 0.6599 0.9246 Cac ket qua kiem tra - Noi suy - RBFN mau 1: x=0.000000, y=0.000000, z=0.000000, test z=0.000061, lect= 0.000061 mau 2: x=0.000000, y=0.200000, z=0.000000, test z=0.000145, lect= 0.000145 mau 3: x=0.000000, y=0.400000, z=0.000000, test z=0.000000, lect= 0.000000 mau 4: x=0.000000, y=0.600000, z=0.000000, test z=0.000082, lect= 0.000082 mau 5: x=0.000000, y=0.800000, z=0.000000, test z=0.000406, lect= 0.000406 mau 6: x=0.000000, y=1.000000, z=0.000000, test z=0.000900, lect= 0.000900 mau 7: x=0.200000, y=0.000000, z=0.000000, test z=0.001441, lect= 0.001441 mau 8: x=0.200000, y=0.200000, z=0.040000, test z=0.039778, lect= 0.000222 73 mau 9: x=0.200000, y=0.400000, z=0.080000, test z=0.079467, lect= 0.000533 mau 10: x=0.200000, y=0.600000, z=0.120000, test z=0.119130, lect= 0.000870 mau 11: x=0.200000, y=0.800000, z=0.160000, test z=0.159508, lect= 0.000492 mau 12: x=0.200000, y=1.000000, z=0.200000, test z=0.198614, lect= 0.001386 mau 13: x=0.400000, y=0.000000, z=0.000000, test z=0.001947, lect= 0.001947 mau 14: x=0.400000, y=0.200000, z=0.080000, test z=0.079648, lect= 0.000352 mau 15: x=0.400000, y=0.400000, z=0.160000, test z=0.158879, lect= 0.001121 mau 16: x=0.400000, y=0.600000, z=0.240000, test z=0.238115, lect= 0.001885 mau 17: x=0.400000, y=0.800000, z=0.320000, test z=0.318343, lect= 0.001657 mau 18: x=0.400000, y=1.000000, z=0.400000, test z=0.398415, lect= 0.001585 mau 19: x=0.600000, y=0.000000, z=0.000000, test z=0.002922, lect= 0.002922 mau 20: x=0.600000, y=0.200000, z=0.120000, test z=0.119377, lect= 0.000623 mau 21: x=0.600000, y=0.400000, z=0.240000, test z=0.238317, lect= 0.001683 mau 22: x=0.600000, y=0.600000, z=0.360000, test z=0.357146, lect= 0.002854 mau 23: x=0.600000, y=0.800000, z=0.480000, test z=0.477519, lect= 0.002481 mau 24: x=0.600000, y=1.000000, z=0.600000, test z=0.596221, lect= 0.003779 mau 25: x=0.800000, y=0.000000, z=0.000000, test z=0.003421, lect= 0.003421 mau 26: x=0.800000, y=0.200000, z=0.160000, test z=0.160229, lect= 0.000229 mau 27: x=0.800000, y=0.400000, z=0.320000, test z=0.318803, lect= 0.001197 mau 28: x=0.800000, y=0.600000, z=0.480000, test z=0.477542, lect= 0.002458 mau 29: x=0.800000, y=0.800000, z=0.640000, test z=0.637832, lect= 0.002168 mau 30: x=0.800000, y=1.000000, z=0.800000, test z=0.805393, lect= 0.005393 mau 31: x=1.000000, y=0.000000, z=0.000000, test z=0.001750, lect= 0.001750 mau 32: x=1.000000, y=0.200000, z=0.200000, test z=0.197865, lect= 0.002135 mau 33: x=1.000000, y=0.400000, z=0.400000, test z=0.399164, lect= 0.000836 mau 34: x=1.000000, y=0.600000, z=0.600000, test z=0.596387, lect= 0.003613 mau 35: x=1.000000, y=0.800000, z=0.800000, test z=0.805349, lect= 0.005349 mau 36: x=1.000000, y=1.000000, z=1.000000, test z=0.991956, lect= 0.008044 74 0.5 0.8 0.2 0.6 0.4 0.8 0.2 0.6 0.4 0.5 0 0.5 0.5 0 Hình 3.5 Kết khảo sát khả nội suy RBF Kết khảo sát cho thấy mạng có khả nội suy tốt, mẫu kiểm tra khả nội suy bám sát, không chênh lệch nhiều so với liệu gốc, liệu gốc không nằm tập mẫu huấn luyện (Phần in đậm) 3.3 Tóm tắt chƣơng Các kết thực nghiệm toán nội suy hàm biến biến cho thấy: + Mạng nơ ron BPN có khả nội suy tốt tập liệu vừa phải, nhiên có hạn chế mạng dễ bị liệt liệu huấn luyện lớn, thời gian huấn luyện BPN lớn + Mạng nơ ron RBF có khả nội suy tốt tập liệu vừa phải, thời gian huấn luyện BPN nhanh, liệu huấn luyện lớn mạng hoạt động tốt, nhiên khả ngoại suy khả nội suy 75 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Luận văn đạt đƣợc số kết nhƣ sau: Nghiên cứu hệ thống đƣợc kiến thức mạng nơ ron nhƣ cấu trúc mạng nơ ron, phân loại mạng nơ ron, phƣơng pháp học, ứng dụng mạng nơ ron Đi sâu nghiên cứu mạng nơ ron truyền thẳng giải thuật huấn luyện lan truyền ngƣợc sai số BPN mạng nơ ron sử dụng hàm sở bán kính RBF Khảo sát khả nội suy mạng nơ ron BPN mạng nơ ron RBF sở cài đặt thuật toán huấn luyện lớp mạng Hƣớng phát triển Tuy nhiên nhận thức đƣợc kết nghiên cứu bƣớc đầu, khó khăn việc tiếp cận liệu nên luận văn tiến hành thực nghiệm cịn khiêm tốn Trong thời gian tới chúng tơi tiến hành khảo sát tập liệu lớn nhằm khẳng định thêm khả nội suy lớp mạng 76 TÀI LIỆU THAM KHẢO Tiếng Việt Phạm Thanh Hà (2013), Giáo trình Trí tuệ nhân tạo nâng cao, Đại học Giao thông vận tải, Hà Nội Đặng Thị Thu Hiền (2009), Bài toán nội suy mạng nơ ron RBF, Luận án Tiến sĩ Công nghệ Thông tin, Trƣờng Đại học giao thông, Hà Nội Hoàng Kiếm, Đinh Nguyễn Anh Dũng (2005), Giáo trình Trí tuyện Nhân tạo, Nhà xuất Đại học Quốc Gia Tp Hồ Chí Minh, Tp Hồ Chí Minh Đinh Mạnh Tƣờng (2000), Trí tuệ nhân tạo, Nhà xuât Khoa học kỹ thuật, Hà Nội Nguyễn Đình Thúc (2000), Mạng nơ ron - Kỹ thuật lan truyền ngược, Nhà xuất khoa học kỹ thuật, Hà Nội Tiếng Anh Bishop C.M (1995), Neural Networks for pattern recognition, Oxford University Press, New York Cheng T L., Lee C S G (1996), Neural Fuzzy Systems, Prentice – Hall International, Inc Haykin S (1994), Neural Networks, a comprehensive foundation, IEEE Press Hertz J , Krogh A , Palmer R.G (1991), Introduction to the theory of Neural Computation, Addison-Wesley 10 Li M.F (1994), Neural Networks in Computer Intelligence, Mc Graw-Hill, Inc International Editions