Ứng dụng mạng nơ ron trong mô hình dự báo mức độ tăng trưởng phương tiện cá nhân

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THỊ XUÂN QUYÊN ỨNG DỤNG MẠNG NƠRON TRONG MÔ HÌNH DỰ BÁO MỨC ĐỘ TĂNG TRƢỞNG PHƢƠNG TIỆN CÁ NHÂN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2015 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THỊ XUÂN QUYÊN ỨNG DỤNG MẠNG NƠRON TRONG MÔ HÌNH DỰ BÁO MỨC ĐỘ TĂNG TRƢỞNG PHƢƠNG TIỆN CÁ NHÂN Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS PHẠM THANH HÀ Thái Nguyên - 2015 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu dƣới hƣớng dẫn khoa học Tiến sĩ Phạm Thanh Hà, Trƣởng khoa khoa Công nghệ thông tin, Trƣờng Đại học Giao thông vận tải, kiến thức luận văn đƣợc hệ thống từ tài liệu đƣợc công bố đƣợc trích dẫn đầy đủ Các kết qủa nghiên cứu chạy thử nghiệm trung thực dựa chƣơng trình cài đặt kèm theo nghiên cứu Tôi xin chiụ trách nhiê ̣m về lời cam đoan này Thái Nguyên, ngày tháng năm 2015 Tác giả Vũ Thị Xuân Quyên LỜI CẢM ƠN Để hoàn thành luận văn, em xin chân thành cảm ơn Trƣờng Đại học Công nghệ Thông tin Truyền thông, Đại học Thái Nguyên, Phòng Đào tạo, thầy, cô giáo giảng dạy lớp cao học Khoa học máy tính K12E quan tâm, tạo điều kiện thuận lợi, tận tình giảng dạy giúp đỡ em thời gian theo học trƣờng Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến TS Phạm Thanh Hà, ngƣời dành nhiều thời gian, tâm huyết hƣớng dẫn em suốt trình nghiên cứu hoàn thành luận văn Em xin cảm ơn cán bộ, giảng viên đồng nghiệp Trƣờng Đại học Hùng Vƣơng tạo điều kiện thời gian để em học tập hoàn thành luận văn Mă ̣c dù đã cố gắ ng hế t sƣ́c hoàn thiê ̣n luâ ̣n văn, nhiên chắ c chắ n vẫn nhiều thiếu sót, rấ t mong sƣ̣ góp ý quý báu của qúy thầ y cô và các ba ̣n Xin trân trọng cảm ơn Thái Nguyên, ngày tháng năm 2015 Tác giả Vũ Thị Xuân Quyên i MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC i DANH MỤC CÁC TỪ VIẾT TẮT iii DANH MỤC BẢNG iv DANH MỤC HÌNH v MỞ ĐẦU Chƣơng TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO 1.1 Các khái niệm mạng nơron 1.2 Phân loại cấu trúc mạng nơron 10 1.2.1 Mạng nơron lớp 10 1.2.2 Mạng nơron truyền thẳng nhiều lớp 12 1.3 Các luật học 12 1.4 Mạng nơron truyền thẳng 14 1.4.1 Mạng Perceptron lớp đơn 14 1.4.2 Mạng truyền thẳng nhiều lớp MLP 15 Kết luận chƣơng 18 Chƣơng MÔ HÌNH DỰ BÁO SỬ DỤNG MẠNG NƠRON 19 2.1 Tổng quan dự báo mô hình dự báo 19 2.1.1 Khái niệm dự báo 19 2.1.2 Đặc điểm dự báo 19 2.1.3 Các phƣơng pháp dự báo 20 2.2 Một số kỹ thuật dự báo đại 22 ii 2.2.1 Giới thiệu 22 2.2.2 Sự đời mô hình dự báo 23 2.2.3 Các kỹ thuật mô hình hóa dự báo đại 24 2.3 Mô hình dự báo sử dụng mạng nơron 31 2.3.1 Mô hình dự báo sử dụng mạng nơron BP (Back Propagation) 32 2.3.2 Mô hình dự báo sử dụng mạng nơron RBF (Radial Basic Functions) 40 Kết luận chƣơng 46 Chƣơng 3.ỨNG DỤNG MÔ HÌNH DỰ BÁO SỬ DỤNG MẠNG NƠRON TRONG DỰ BÁO MỨC ĐỘ TĂNG TRƢỞNG PHƢƠNG TIỆN GIAO THÔNG TẠI TỈNH PHÚ THỌ 47 3.1 Bài toán dự báo tăng trƣởng phƣơng tiện giao thông 47 3.2 Ứng dụng mô hình dự báo sử dụng mạng nơron BP 51 3.3 Ứng dụng mô hình dự báo sử dụng mạng nơron RBF 55 Kết luận chƣơng 59 KẾT LUẬN VÀ ĐỊNH HƢỚNG PHÁT TRIỂN 60 TÀI LIỆU THAM KHẢO 61 PHỤ LỤC 63 65 u=a(ins+1,j);%Trong nguong for i=1:1:ins u=u+a(i,j)*x(i,n);%Tong hoa lop nhap y(j)=sigmoid(u); end; end; s=0; for k=1:1:outs v=b(hids+1,k);%Trong nguong for j=1:1:hids v=v+b(j,k)*y(j);%Tong hoa lop an end; z(k)=sigmoid(v); s=s+abs((z(k)-t(k,n))); end; out= s; Hàm lan truyền ngƣợc (m-file: back.m) function out=back(n) global hids; global outs; global ins; global z; global t; global z; 66 global dOut global b; global x; global y; global dHid; global p; for i=1:1:hids+1 q(i)=0; end; for k=1:1:outs p(k)=(z(k)-t(k,n))*z(k)*(1-z(k)); dOut(hids+1,k)=dOut(hids+1,k)+p(k);%Trong nguong for j=1:1:hids %Trong lop an dOut(j,k)=dOut(j,k)+p(k)*y(j); q(j)=q(j)+p(k)*b(j,k); end; end; for j=1:1:hids q(j)=q(j)*y(j)*(1-y(j)); dHid(ins+1,j)=dHid(ins+1,j)+q(j); for i=1:1:ins dHid(i,j)=dHid(i,j)+q(j)*x(i,n); end; end; 67 Hàm lan cập nhật số (m-file: changeweights.m) function out= changeweights() global ins;%So nut nhap global outs;%So nut xuat global hids;%So nut an global mu; global a;%Trong so lop an global b;%Trong so lop xuat global cHid;%Bien thien global cOut; global dHid;%Dao ham rieng global dOut; for j=1:1:hids for i=1:1:ins+1 a(i,j)=a(i,j)-mu*dHid(i,j); end; end; for k=1:1:outs for j=1:1:hids+1 b(j,k)=b(j,k)-mu*dOut(j,k); end; end; for i=1:1:ins+1 for j=1:1:hids+1 68 dHid(i,j)=0; end; end; for i=1:1:hids+1 for j=1:1:outs dOut(i,j)=0; end; end; Hàm tính kết đầu dựa đầu vào (m-file: forward1.m) function out=forward1(n) global ins; global outs; global examples global hids; global a; global x; global t; global b; global y; global z; global t; for j=1:1:hids u=a(ins+1,j);%Trong nguong for i=1:1:ins 69 u=u+a(i,j)*x(i,n);%Tong hoa lop nhap y(j)=sigmoid(u); end; end; s=0; for k=1:1:outs v=b(hids+1,k);%Trong nguong for j=1:1:hids v=v+b(j,k)*y(j);%Tong hoa lop an end; z(k)=sigmoid(v); end; out= z(1); % xor có đầu Chƣơng trình dự báo global ins;%So nut nhap global outs;%So nut xuat global examples;%So mau luyen global x; %Mang luu cac bien doc lap global t;%Mang luu cac bien phu thuoc global hids;%So nut an global mu;%Toc hoc global a;%Trong so lop an global b;%Trong so lop xuat global cHid;%Bien thien 70 global cOut; global dHid;%Dao ham rieng global dOut; global u;%Tong hoa cho nut an global y;%Ket xuat cua nut an global v;%Trong hoa nut xuat global z;%Ket xuat nut xuat global p; % deltaE/deltav %Cac mau huan luyen va tham so mang examples=3;%So mau luyen x(1,1)=1.03984;x(2,1)=0.61344;x(3,1)=0.56104;x(4,1)=0.268; t(1,1)=0.01702; x(1,2)=1.19034;x(2,2)=0.74574;x(3,2)=0.63117;x(4,2)=0.5589; t(1,2)=0.04702; x(1,3)=1.35750;x(2,3)=0.86200;x(3,3)=0.7405;x(4,3)=1.541; t(1,3)=0.20030; x(1,4)=1.42050;x(2,4)=0.90630;x(3,4)=0.7790;x(4,4)=3.300; t(1,4)=0.32201; % Cac tham so mang ins=4;%So nut nhap outs=1;%So nut xuat hids=3;%So nut an mu=0.9;%Toc hoc for i=1:1:ins 71 for j=1:1:hids dHid(i,j)=0; cHid(i,j)=0; end; end; for i=1:1:hids for j=1:1:outs dOut(i,j)=0; cOut(i,j)=0; end; end; initweights; h=0; while s=0; for n=1:1:examples s=s+forward(n); back(n); end; fprintf('sai so=%f\n',s); if(sd(l)) tg=d(k); d(k)=d(l); d(l)=tg; end end end tg=0; 75 for k=1:1:r+1 tg=tg+ d(k); end tg=sqrt(tg); tg=tg/r; if tg==0 tg=0.00000001; end; out= tg; Chƣơng trình dự báo sử dụng mạng nơron RBF global xn; global yn; global hh; global r; global m;%so mau huan luyen global ins; global outs; global w; global m; global n; r=1; m=3;%so mau n=3;%so tam mang ins=1;% so dau vao 76 outs=1;%so dau alpha=0.1; esl=0.001; %Tap mau xn(1,1)=2005;zn(1,1)=17020;; xn(2,1)=2010;zn(2,1)=47020; xn(3,1)=2014;zn(3,1)=200300; xn(4,1)=2020;zn(4,1)=322010; for i=1:1:m %m so mau huan luyen for j=1:1:n %n so tam mang-noron an u=0; for k=1:1:ins %so dau vao u=u+(xn(i,k)-xn(j,k))*(xn(i,k)-xn(j,k)); end; hh(i,j)=exp(-u/(sma(j,r)*sma(j,r))); end; end; for j=1:1:n %n so noron an-tam mang for k=1:1:outs w(j,k)=0; end; end; l=1; while 77 for i=1:1:m %m so mau for k=1:1:outs %outs so dau zz(i,k)=0; for j=1:1:n %n so noron an zz(i,k)=zz(i,k)+w(j,k)*hh(i,j); end; end; end; for i=1:1:m %m so mau dta=0; for k=1:1:outs for j=1:1:n %n so noron an dta=dta+hh(i,j)*(zn(j,k)-zz(j,k)); end; w(i,k)=w(i,k)+alpha*dta; %cap nhat w zz(i,k)=0; %dau ung voi mau i for j=1:1:n zz(i,k)=zz(i,k)+w(j,k)*hh(i,j); end; end; end; E=0; for i=1:1:m %m so mau for k=1:1:outs 78 E=E+(zn(i,k)-zz(i,k))*(zn(i,k)-zz(i,k)); end; end; E=E/2; fprintf('\n%f',E); if (E[...]... kiện để các nhà quản lý hoạch định chính sách quản lý phƣơng tiện và xây dựng hạ tầng giao thông trên địa bàn tỉnh 2 Đối tƣợng và phạm vi nghiên cứu Mạng n ron nhân tạo, mô hình dự báo sử dụng mạng n ron Ứng dụng mô hình dự báo sử dụng mạng n ron trong dự báo mức độ tăng trƣởng phƣơng tiện giao thông 3 Hƣớng nghiên cứu của đề tài Nghiên cứu, đề xuất và xây dựng mô hình dự báo sử dụng mạng n ron nhân tạo... việc hệ thống lại các kiến thức cơ bản của mạng n ron nhƣ cấu trúc n ron, mạng n ron, phân loại mạng, các phƣơng pháp huấn luyện và ứng dụng của mạng Các khái niệm cơ bản trên sẽ là tiền đề để chúng ta đi sâu vào 2 lớp mạng sử dụng trong mô hình dự báo trong chƣơng 2 19 Chƣơng 2 MÔ HÌNH DỰ BÁO SỬ DỤNG MẠNG N RON 2.1 Tổng quan về dự báo và mô hình dự báo 2.1.1 Khái niệm về dự báo Dự báo là một khoa học... cho mô hình dự báo sử dụng mạng RBF 55 Bảng 3.11 Dữ liệu quá khứ cho mô hình dự báo sử dụng mạng RBF 56 v DANH MỤC HÌNH Hình 1.1 Một mạng n ron đơn giản gồm hai n ron …………………….6 Hình 1.2 Mô hình của một n ron …… 6 Hình 1.3 Cấu trúc của một n ron ……………………………………… 8 Hình 1.4 Các hàm kích hoạt 10 Hình 1.5 Mạng n ron một lớp .11 Hình 1.6 Mạng n ron hồi quy……………………… 11 Hình. .. trƣởng phƣơng tiện giao thông + Xây dựng mô hình dự báo sử dụng mạng n ron + Ứng dụng mô hình dự báo sử dụng mạng n ron trong dự báo mức độ tăng trƣởng phƣơng tiện giao thông cá nhân tại tỉnh Phú Thọ 4 Chƣơng 1 TỔNG QUAN VỀ MẠNG N RON NHÂN TẠO Các nghiên cứu về bộ não con ngƣời đã đƣợc tiến hành từ hàng nghìn năm nay Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tiến bộ trong ngành điện... Hình 2.4 Mạng n ron nhân tạo truyền thẳng 27 Hình 2.5 Biểu diễn sơ đồ của một tập hợp mô hình 28 Hình 2.6 Một cây quyết định đơn giản 30 Hình 2.7 Mô hình dự báo sử dụng mạng n ron 31 Hình 2.8 Mô hình dự báo sử dụng mạng n ron truyền thẳng 32 Hình 2.9 Mạng truyền thẳng ba lớp lan truyền ngƣợc sai số 33 Hình 2.10 Một ví dụ về mạng n ron truyền thẳng 37 Hình 2.11 Mô. .. số các n ron đƣợc liên kết truyền thông với nhau trong mạng, hình 1.1 là một phần của mạng n ron bao gồm hai n ron Rễ đầu ra của n ron 1 được nối với axon axon Rễ đầu ra Chiều thông tin axon axon được nối với rễ đầu vào của n ron 2 Nhân Hình 1.1 Một mạng n ron đơn giản gồm hai n ron N ron còn có thể liên kết với các n ron khác qua các rễ Chính vì cách liên kết đa dạng nhƣ vậy nên mạng n ron có độ liên... trọng số cho các liên kết giữa các n ron trong mạng Mạng n ron nhân tạo đƣợc chia ra làm nhiều loại, trong đó ngƣời ta quan tâm nhiều đến cấu trúc mạng n ron và giải thuật huấn luyện, về cấu trúc có thể chia ra các loại mạng nhƣ mạng n ron một lớp, nhiều lớp, mạng n ron hồi quy, mạng n ron truyền thẳng Mỗi cấu trúc mạng n ron có thể sử dụng để giải quyết một số bài toán nào đó, ví dụ nhƣ mạng n ron 1 lớp... mạng n ron N ron có các mối liên hệ đến các n ron khác nhờ các trọng số Một lớp n ron là một nhóm các n ron mà chúng đều có cùng các trọng số, nhận cùng số tín hiệu đầu vào đồng thời [6] w11 x1 w21 w1m x2 xm y1 y2 w2m y1 x1 x2 y2 xm yn yn wnm Hình 1.5 Mạng n ron 1 lớp Hình 1.6 Mạng n ron hồi quy x1 y1 x2 yn xm Hình 1.7 Mạng n ron nhiều lớp Trong ma trận trọng số, các hàng thể hiện các n ron, mỗi... có cơ chế quản lý và dự báo đƣợc mức độ tăng trƣởng của các phƣơng tiện giao thông ở mức trung hạn và dài hạn Từ đó hoạch định các chính sách về quản lý phƣơng tiện và xây dựng cơ sở hạ tầng cho giao thông Đề tài này sẽ nghiên cứu, đề xuất và xây dựng mô hình dự báo sử dụng mạng n ron nhân tạo và ứng dụng giải quyết bài toán dự báo mức độ tăng trƣởng phƣơng tiện giao thông cá nhân ở trung hạn và dài... n ron truyền thẳng 37 Hình 2.11 Mô hình dự báo sử dụng mạng n ron RBF 40 1 MỞ ĐẦU 1 Đặt vấn đề Hiện nay ở trên thế giới đã có một số mô hình dự báo nhƣ mô hình dự báo dựa trên thống kê, mô hình dự báo chuỗi thời gian, … tuy nhiên việc tiếp tục nghiên cứu và ứng dụng các kỹ thuật mới trong dự báo là cần thiết và có ý nghĩa Nhƣ chúng ta đã biết mạng n ron nhân tạo là sự tái tạo bằng kỹ thuật những