Ứng dụng mạng nơron trong mô hình dự báo mức độ tăng trưởng phương tiện cá nhân

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THỊ XUÂN QUYÊN ỨNG DỤNG MẠNG NƠRON TRONG MƠ HÌNH DỰ BÁO MỨC ĐỘ TĂNG TRƢỞNG PHƢƠNG TIỆN CÁ NHÂN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2015 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THỊ XUÂN QUYÊN ỨNG DỤNG MẠNG NƠRON TRONG MƠ HÌNH DỰ BÁO MỨC ĐỘ TĂNG TRƢỞNG PHƢƠNG TIỆN CÁ NHÂN Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS PHẠM THANH HÀ Thái Nguyên - 2015 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu dƣới hƣớng dẫn khoa học Tiến sĩ Phạm Thanh Hà, Trƣởng khoa khoa Công nghệ thông tin, Trƣờng Đại học Giao thông vận tải, kiến thức luận văn đƣợc hệ thống từ tài liệu đƣợc cơng bố đƣợc trích dẫn đầy đủ Các kết qủa nghiên cứu chạy thử nghiệm trung thực dựa chƣơng trình cài đặt kèm theo nghiên cứu Tôi xin chiụ trách nhiê ̣m về lời cam đoan này Thái Nguyên, ngày tháng năm 2015 Tác giả Vũ Thị Xuân Quyên LỜI CẢM ƠN Để hoàn thành luận văn, em xin chân thành cảm ơn Trƣờng Đại học Công nghệ Thông tin Truyền thơng, Đại học Thái Ngun, Phịng Đào tạo, thầy, cô giáo giảng dạy lớp cao học Khoa học máy tính K12E quan tâm, tạo điều kiện thuận lợi, tận tình giảng dạy giúp đỡ em thời gian theo học trƣờng Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến TS Phạm Thanh Hà, ngƣời dành nhiều thời gian, tâm huyết hƣớng dẫn em suốt trình nghiên cứu hoàn thành luận văn Em xin cảm ơn cán bộ, giảng viên đồng nghiệp Trƣờng Đại học Hùng Vƣơng tạo điều kiện thời gian để em học tập hồn thành luận văn Mă ̣c dù đã cố gắ ng hế t sƣ́c hoàn thiê ̣n luâ ̣n văn, nhiên chắ c chắ n vẫn cịn nhiều thiếu sót, rấ t mong sƣ̣ góp ý quý báu của qúy thầ y cô và các ba ̣n Xin trân trọng cảm ơn Thái Nguyên, ngày tháng năm 2015 Tác giả Vũ Thị Xuân Quyên i MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC i DANH MỤC CÁC TỪ VIẾT TẮT iii DANH MỤC BẢNG iv DANH MỤC HÌNH v MỞ ĐẦU Chƣơng TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO 1.1 Các khái niệm mạng nơron 1.2 Phân loại cấu trúc mạng nơron 10 1.2.1 Mạng nơron lớp 10 1.2.2 Mạng nơron truyền thẳng nhiều lớp 12 1.3 Các luật học 12 1.4 Mạng nơron truyền thẳng 14 1.4.1 Mạng Perceptron lớp đơn 14 1.4.2 Mạng truyền thẳng nhiều lớp MLP 15 Kết luận chƣơng 18 Chƣơng MƠ HÌNH DỰ BÁO SỬ DỤNG MẠNG NƠRON 19 2.1 Tổng quan dự báo mơ hình dự báo 19 2.1.1 Khái niệm dự báo 19 2.1.2 Đặc điểm dự báo 19 2.1.3 Các phƣơng pháp dự báo 20 2.2 Một số kỹ thuật dự báo đại 22 ii 2.2.1 Giới thiệu 22 2.2.2 Sự đời mô hình dự báo 23 2.2.3 Các kỹ thuật mơ hình hóa dự báo đại 24 2.3 Mô hình dự báo sử dụng mạng nơron 31 2.3.1 Mơ hình dự báo sử dụng mạng nơron BP (Back Propagation) 32 2.3.2 Mơ hình dự báo sử dụng mạng nơron RBF (Radial Basic Functions) 40 Kết luận chƣơng 46 Chƣơng 3.ỨNG DỤNG MƠ HÌNH DỰ BÁO SỬ DỤNG MẠNG NƠRON TRONG DỰ BÁO MỨC ĐỘ TĂNG TRƢỞNG PHƢƠNG TIỆN GIAO THÔNG TẠI TỈNH PHÚ THỌ 47 3.1 Bài toán dự báo tăng trƣởng phƣơng tiện giao thông 47 3.2 Ứng dụng mơ hình dự báo sử dụng mạng nơron BP 51 3.3 Ứng dụng mơ hình dự báo sử dụng mạng nơron RBF 55 Kết luận chƣơng 59 KẾT LUẬN VÀ ĐỊNH HƢỚNG PHÁT TRIỂN 60 TÀI LIỆU THAM KHẢO 61 PHỤ LỤC 63 65 u=a(ins+1,j);%Trong nguong for i=1:1:ins u=u+a(i,j)*x(i,n);%Tong hoa lop nhap y(j)=sigmoid(u); end; end; s=0; for k=1:1:outs v=b(hids+1,k);%Trong nguong for j=1:1:hids v=v+b(j,k)*y(j);%Tong hoa lop an end; z(k)=sigmoid(v); s=s+abs((z(k)-t(k,n))); end; out= s; Hàm lan truyền ngƣợc (m-file: back.m) function out=back(n) global hids; global outs; global ins; global z; global t; global z; 66 global dOut global b; global x; global y; global dHid; global p; for i=1:1:hids+1 q(i)=0; end; for k=1:1:outs p(k)=(z(k)-t(k,n))*z(k)*(1-z(k)); dOut(hids+1,k)=dOut(hids+1,k)+p(k);%Trong nguong for j=1:1:hids %Trong lop an dOut(j,k)=dOut(j,k)+p(k)*y(j); q(j)=q(j)+p(k)*b(j,k); end; end; for j=1:1:hids q(j)=q(j)*y(j)*(1-y(j)); dHid(ins+1,j)=dHid(ins+1,j)+q(j); for i=1:1:ins dHid(i,j)=dHid(i,j)+q(j)*x(i,n); end; end; 67 Hàm lan cập nhật số (m-file: changeweights.m) function out= changeweights() global ins;%So nut nhap global outs;%So nut xuat global hids;%So nut an global mu; global a;%Trong so lop an global b;%Trong so lop xuat global cHid;%Bien thien global cOut; global dHid;%Dao ham rieng global dOut; for j=1:1:hids for i=1:1:ins+1 a(i,j)=a(i,j)-mu*dHid(i,j); end; end; for k=1:1:outs for j=1:1:hids+1 b(j,k)=b(j,k)-mu*dOut(j,k); end; end; for i=1:1:ins+1 for j=1:1:hids+1 68 dHid(i,j)=0; end; end; for i=1:1:hids+1 for j=1:1:outs dOut(i,j)=0; end; end; Hàm tính kết đầu dựa đầu vào (m-file: forward1.m) function out=forward1(n) global ins; global outs; global examples global hids; global a; global x; global t; global b; global y; global z; global t; for j=1:1:hids u=a(ins+1,j);%Trong nguong for i=1:1:ins 69 u=u+a(i,j)*x(i,n);%Tong hoa lop nhap y(j)=sigmoid(u); end; end; s=0; for k=1:1:outs v=b(hids+1,k);%Trong nguong for j=1:1:hids v=v+b(j,k)*y(j);%Tong hoa lop an end; z(k)=sigmoid(v); end; out= z(1); % xor có đầu Chƣơng trình dự báo global ins;%So nut nhap global outs;%So nut xuat global examples;%So mau luyen global x; %Mang luu cac bien doc lap global t;%Mang luu cac bien phu thuoc global hids;%So nut an global mu;%Toc hoc global a;%Trong so lop an global b;%Trong so lop xuat global cHid;%Bien thien 70 global cOut; global dHid;%Dao ham rieng global dOut; global u;%Tong hoa cho nut an global y;%Ket xuat cua nut an global v;%Trong hoa nut xuat global z;%Ket xuat nut xuat global p; % deltaE/deltav %Cac mau huan luyen va tham so mang examples=3;%So mau luyen x(1,1)=1.03984;x(2,1)=0.61344;x(3,1)=0.56104;x(4,1)=0.268; t(1,1)=0.01702; x(1,2)=1.19034;x(2,2)=0.74574;x(3,2)=0.63117;x(4,2)=0.5589; t(1,2)=0.04702; x(1,3)=1.35750;x(2,3)=0.86200;x(3,3)=0.7405;x(4,3)=1.541; t(1,3)=0.20030; x(1,4)=1.42050;x(2,4)=0.90630;x(3,4)=0.7790;x(4,4)=3.300; t(1,4)=0.32201; % Cac tham so mang ins=4;%So nut nhap outs=1;%So nut xuat hids=3;%So nut an mu=0.9;%Toc hoc for i=1:1:ins 71 for j=1:1:hids dHid(i,j)=0; cHid(i,j)=0; end; end; for i=1:1:hids for j=1:1:outs dOut(i,j)=0; cOut(i,j)=0; end; end; initweights; h=0; while s=0; for n=1:1:examples s=s+forward(n); back(n); end; fprintf('sai so=%f\n',s); if(sd(l)) tg=d(k); d(k)=d(l); d(l)=tg; end end end tg=0; 75 for k=1:1:r+1 tg=tg+ d(k); end tg=sqrt(tg); tg=tg/r; if tg==0 tg=0.00000001; end; out= tg; Chƣơng trình dự báo sử dụng mạng nơron RBF global xn; global yn; global hh; global r; global m;%so mau huan luyen global ins; global outs; global w; global m; global n; r=1; m=3;%so mau n=3;%so tam mang ins=1;% so dau vao 76 outs=1;%so dau alpha=0.1; esl=0.001; %Tap mau xn(1,1)=2005;zn(1,1)=17020;; xn(2,1)=2010;zn(2,1)=47020; xn(3,1)=2014;zn(3,1)=200300; xn(4,1)=2020;zn(4,1)=322010; for i=1:1:m %m so mau huan luyen for j=1:1:n %n so tam mang-noron an u=0; for k=1:1:ins %so dau vao u=u+(xn(i,k)-xn(j,k))*(xn(i,k)-xn(j,k)); end; hh(i,j)=exp(-u/(sma(j,r)*sma(j,r))); end; end; for j=1:1:n %n so noron an-tam mang for k=1:1:outs w(j,k)=0; end; end; l=1; while 77 for i=1:1:m %m so mau for k=1:1:outs %outs so dau zz(i,k)=0; for j=1:1:n %n so noron an zz(i,k)=zz(i,k)+w(j,k)*hh(i,j); end; end; end; for i=1:1:m %m so mau dta=0; for k=1:1:outs for j=1:1:n %n so noron an dta=dta+hh(i,j)*(zn(j,k)-zz(j,k)); end; w(i,k)=w(i,k)+alpha*dta; %cap nhat w zz(i,k)=0; %dau ung voi mau i for j=1:1:n zz(i,k)=zz(i,k)+w(j,k)*hh(i,j); end; end; end; E=0; for i=1:1:m %m so mau for k=1:1:outs 78 E=E+(zn(i,k)-zz(i,k))*(zn(i,k)-zz(i,k)); end; end; E=E/2; fprintf('\n%f',E); if (E