50 2.3.3 Công c Matlab ANN Toolbox Neural Network Toolbox.. Phƣơng trình dạng luỹ thừa:.. ợ2 .1 CÁC KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON NHIỀU LỚP LAN TRUYỀN NGƢỢC SAI SỐ BACK PROPAGATION NEU
Trang 1Hà Nội – Năm 2013
1708094064540b0842b98-5bae-45ea-8b4e-bf2ec8b1faec
17080940645409b5c5508-53c7-404a-941b-258c17744983
1708094064540fcc97b91-a750-4e7e-bff2-e2dd692e9506
Trang 2- - 2
n thuy t minh lu c hi n Các s li u s
Tác gi
Hà Ti n Huy
Trang 3- - 3
M C L C Ụ Ụ Trang ph bìa
L
Danh m c ký hi u và ch vit tt
Danh mc các bng bi u
Danh m c các hình v th
M uở đầ 10
Chương 1: Tổng quan v d báo ph t i và mề ự ụ ả ạng nơron nhân tạo 12
1.1 D báo ph t i 12
1.1.1 Gii thi u chung 12
1.1.2 Các loi d báo ph t i 14
1.1.3 Các y u t n ph t i 16
1.1.4 n 19
1.1.4.1 i suy 19
1.1.4.2 20
1.1.4.3 s i thu nh p 21
1.1.4.4 23
1.1.4.5 o 24
1.2 M 25 t o 1.2.1 L ch s phát tri n c a m 25 o 1.2.2 Lý thuy t m 27
1.2.2.1 Gii thi u ANN 27
1.2.2 Mô hình m2 30
1.2.2 Quá trình h c 3 34
1.2.2.4 M ng lan truy 33 c Kt lu 35
Trang 4- - 4
Chương 2: Ứng d ng mụ ạng nơ ron nhiề ớu l p lan truyền ngược sai s trong d ố ự báo đồ th ph t i ngày 36 ị ụ ả 2.1 Các khái nin v m u l p lan truyc sai s (back propagation neural network) 36
2.1.1 C u trúc m ng truy n th ng 36
2.1.2 Hu n luy n m ng 37
2.1.2.1 Thu t toán lan truy c (backpropagation) 37
2.1.2.2 Hu n luy n nhanh 39
2.1.2.3 So sánh b nh và t 45
2.2 Xây d ng mô hình m ng cho bài toán d báo ph t i ngày 45
2.2.1 L a chn thông s u ra cho mô hình 45
2.1.1 L2 a chu ra cho mô hình mng 45
2.2.1.2 L a chu vào cho mô hình mng 46
2.2.2 L a chn s l p n và s p n 48
2.3 S d ng Matlab, Guide và ANN toolbox mô ph ng m ng 49
2.3.1 Khái ni m v Matlab 49
2.3.2 c v Matlab GUIDE 50
2.3.3 Công c Matlab ANN Toolbox (Neural Network Toolbox) 53
3.3.12 Các l nh mô ph ng m o 54
3.3.22 Mô ph ng m hân to b ng giao di h a ANN toolbox 55
Kt lu 59
Chương 3: Xây d ng ph n m m mô ph ng mự ầ ề ỏ ạng nơ ron nhân tạo d báo ph ự ụ t i áp d ng cho Thành ph Hả ụ ố à N i ộ 60
3.1 Xây d ng ph n m m 60
3.1.1 li 60 d u 3.1.2 thu t toán 60
3.1.3 Ph n m m d báo ph t i ngày Thành ph Hà N i 61
Trang 5- - 5
3.1.4 Các mã l nh kh i to m 66
3.2 Xây d ng các mô hình d báo áp d ng cho Thành ph H N à i 68
3.2.1 Mô hình m ng v i thông s u vào là thông s ph t i 24h c a ngày
c ngày d báo(24xNx24) 69
3.2.2.1 Thi t lp các thông s u c a m ng 69
3.2.2.2 K t qu d báo 69
3.2.2 Mô hình m ng v i thông s ph t i 24h c c ngày d báo, nhi Tmax Tmin Ttrung bình c c và Tmax Tmin c a ngày d báo(29xNx24) 72
3.2.2 Mô hình m ng v i thông s ph t i 24h c c ngày d báo, nhi Tmax Tmin Ttrung bình cc và Tmax Tmin , ki u ngày c a ngày d báo(ngày làm vi c, ngày ngh ) (33xNx24) 74
3.3 Mt s bin pháp nâng cao hi u qu các mô hình d báo 77
3.3.1 Chia t p d u thành hai t p ngày làm vi li c và ngày ngh 77
3.3.2 Mt s bin pháp khác 80
Kt lu 80
Kt lun và ki n ngh 81
Tài li u tham kh o 82
Ph l c 83
Trang 10- 10 -
3 Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu
Luận văn gồm 3 chương:
Chương 1 - Tổng quan về dự báo phụ tải và mạng nơron nhân tạo
Chương 2 - Ứng dụng mạng nơron nhiều lớp lan truyền ngược sai số trong
dự báo đồ thị phụ tải ngày
Trình bày
Chương 3 - Xây dựng phần mềm mô phỏng mạng nơ ron nhân tạo dự báo
phụ tải áp dụng cho TP Hà Nội
Trình bày
Trang 11Hà Tiến Huy
Trang 12- 12 -
NHÂN TẠO Nội dung chương 1:
- Sơ lược lịch sử phát triển mạng nơ ron nhân tạo
- Lý thuyết tổng quan mạng nơ ron nhân tạo
1.1 DỰ BÁO PHỤ TẢI
1.1.1 Giới thiệu chung
thuc vào kh n c a n n kinh t quc dân N u d báo ph t i quá th p
vc
t i v i d báo dài h n có tính ch t chi c thì ch nêu lên nh
Trang 13- 13 -
Trang 14- 14 -
n
1.1.2 Các loại dự o ph t i bá ụ ả
- D báo dài h n: Ph m vi d báo bao g m m n t 10-2
- D báo ph t i ng n h c l p cho 1 gi n 168 gi t i K t qu d báo
Trang 15- 15 -
ti nh, ph t i là mt hàm c a th i ti t và c l p v i th i gian D ng i n hình ca
lp vi thi gian ca nó
Trong mô hình d báo th ph t i, ph t i là m t hàm c a th i gian D báo
chui th i gian ti t ng th im l y m u r i r c c a th i k d i m ca
Mô hình không gian trng thái có dng chung là:
Trang 16- 16 -
z(t) = cTx(t)
x(t+1) =A x(t) + B u(t) + w(t)
:
ng u nhiên
1.1.3 Các y u tế ố ảnh hưởng đến phụ tả i ng n h n ắ ạ
Trang 18- 18 -
d Truy n hình tr c ti p các s ề ự ế ự kiệ n th ể thao văn hoá
Trang 19- 19 -
e K ế hoạ ch s a ch a l n trong ngày có c ử ữ ớ ắt điện.
Trong quá trình th c hi n k hoch s a ch a l ng dây
Qua quá trình v n hành th c t và d liu th u viên, các
c thù c a các ngày trong tu n, ngày l , ngày t t là các y u t nh
ng l n nh n giá tr ph t i ngày
1.1.4 Các phương pháp dự báo cơ bản
1.4.1.1 Phương pháp ngoại suy
a Nội dung phương pháp
nghiên
tiêu iên
tiêu gian
Ðiều kiện chuỗi thời gian:
Trang 211.1.4.3 Phương pháp hệ số đàn hồi thu nhập
a Nội dung phương pháp
Trang 25- 25 -
1.2 MẠNG NƠRON NHÂN TẠO
1.2.1 L ch sị ử phát tri n cể ủa mạng nơron nhân tạo
th i k u ca vic t o ti m l c dài h n
Trang 26- 26 -
các mô hình phi tuy
s t kích ho t và mng s d ng t i môt tr ng thái k t thúc
nht, thut gi i h c c a m ng nhi u l p có th không hiu qu , ho c không h i t
Trang 27- 27 -
sigmoid Hu n luy c th c hi n theo ki u xu ng d c ng u nhiên Vi c s
ngun g c c a thut ng truy c Tuy nhiên, v b n ch là m t
truyn tín hing nh
1.2.2 Lý thuy t mế ạng ơ n ron
1.2.2.1 Gi i thi u ANN ớ ệ
nng c a não ng i Não ng m ngi g h tri u t bào n i v i nhau g i l n r à on
Hình 1 5: M h ho m t n ron si h c in ạ ộ ơ nh ọ
Trang 28 i n th ho t ng qua m t tr c th n k h Tr in c th n ki s nh ân phph i i n th
ho t ng nà y n các r on khác Sau khi át ph ra i n th ho t ng, thân s
gi i tr i n th v i n th ngh và nó ph, i ch m t ít thi g n c n khi ia ho
nó có th phát ra m t i n th khác h i gian ch u ng) (t
bên ngoài Vect ng tr s mô t các khp th n kinh t trng s vào t ng hô
tin B c ng (adde là m t s mô t c a thân ron sr) c ng t t c các thô tin ng
u o.và Hàm chuy n i th hi n m t giá tr nào ó mà i u khi n ron
phát ra, cu i cùng tr c th n kivà nh có th c mô t nh l m t vect u ra à
Hình 1 6: Mô hì toán h c c a n r nh ọ ủ ơ on
Các n r này ho t on ng nh các thi t b x lý s ong on s g M t
n ro n nhân t o là m t thi t b th c hi n các thao c toán h c n gi n i v i tá
trng w1, w2, , w s ( n), so sánh v i n ng b N u t ng nà v t qua th hà y ì m
Trang 30- 3 - 0
dùng ína t h ch t phi t uyn vào ch c n ng ho ng t c a n ron K t qu sau khi chuy n i là u c a n ron Tí ch t phi t ra nh uyn này bi u th tí nh
ch t v t lý c a n ron.
Hình 1.8: Hàm chuyển i đổ
1.2.2.2 Mô hình m ng n r ạ ơ on
Nói chun c u trúc c a Ag, NN g m có 3 ph n: l p u vào, l p n và
lp rau nh ch trên Hì 1.9 L p nh u vào là l p có k t n i v i th
gi i bê n ngoài L p u vào s nh n t ng hô tin t th gi i bên ngoài L p n không có k n i v i th gi i bên ngoài, nó ch k t n i v i l p u vào l p t và
Trang 31- 31 -
u ra L p u s ra cung c p u ra c a m ng ANN cho th gi i bên ngoài
`
Hình 1.9: Mô hì ANN t nh ổng quát
Có 4 lo i c u trúc A NN c dùng ph bi n, c th là, m ng mt
a/ M ng m t l p ạ ộ ớ : là m t c u trúc ANN hô k ng có l p n, ch trê n Hình 1.10 Vì l p u vào ôi khi không tínhc là m t l p, nên c u trúc
u ra
L P N
Trang 32- 32 -
b/ P ceptr er on nhi u l p ề ớ : là m t c u trúc ph bi n nh t Khô nh m ng ng
p eptron m t lec p, peceptr nhion u l p lu ôn có l p n, ôn lu ch trên Hìn 1.10 D ng h gi n nht c a pe ptron nhi u l p s có 3 l ce p, m t l p
u vào m, t l p n, và m t l p u ra V n không có p hung pháp nào t t
nh t xác nh s l p n s n r và on c a t ng l p n S này th ng c tìm
th y b ng phng pháp s nghi m e ist ) uy (h ur ic
c/ M ng Hopfield: ạ có th c phân lo i là m t m ng ANN ph n
thông tin t l p tr c ó mà c òn nhn t u tr c và b s T ra ia ng ro n n
n i v i nhau s có 2 giá tr u ra, -1 (OFF) ho c +1 (O ) ra N u c a m i
r on ph thu c vào ho t ng c a n ron tr c ó
Lu
ra
L p n
Hình 1.11: M ạng Hop eld fi
Trang 33- 33 -
d/ M ng ạ Ko honen: g m có các v u vào truy n th ng và mt
lp ph (bên) (lateral laye n ch trên Hì 1.12 L p ph có mr), nh t vài
th c hi n thà cô i m v nh ng nh c yêu cu H c là c tr ng chí c a nh
các quy tr h kháìn c nh u, a h c có th c chia thà 2 lo i: nh
a H c có giám sát ọ
so sánh gi a k t qu nh tí toán d a trên các u vào ã cho, và áp s d ki n
u ra Vì th mng s thay i cho n khi nó m tì c u ra ng, t c là
có th nói ra u d ki n ng v i m t u vào cho
b H c không có giám s ọ át
Trang 34- 34 -
Trong lo i này, q trình h c uá c da trên các xác su t M ng s
c thay i tr ng thái th ng kê u n thi t l p các m và c lo i, b ng
c h quác y nh và làm t i u hóa giá tr ch t l ng, các m c lo i c ch p
nh n Cá c phng pháp h c có g m sát iá c s d ng r ng rãi T nh n, uy iêcác lo i kh c a ác các mng n ron có th có c b ng c k cá thu t h c
d li u, m t tr ong s các mng kh ng giá sát có th ô m c dùng Có nhiu c u trúc kh c á nhau ca m ng n r mà hi u qu c a m on ng nhi u hay í tùy thu c t
b k) c ng c ac òn c g i l các m à ng i h quy Trong m hình này, trong m t ô
c th c hi n b i vi c hu n luy n c i u kh n b ng mt c ân n ài i tá nh go
lan truyn ngc có kh n ng t làm thích ng cá v i c tr ng s c a onr
t ng các lro p rut ng gian n m b t các m i an h gi a t p h p qu các thô tin ng
quen thu c c a u vào (patrons of entry) s truy n và t ng cng a nó
mãn các u vào m h thà ng ng nh t n th y tr ong ia g i o n hu n y n) lu
M t c u trúc n gin c a k t c u m ng i u lnh p lan truy n n c c trình
Trang 35- 35 -
Hình 1 : 13 C u tr c a m ng l truy n n ấ úc ủ ạ an ề gượ c
K t luế ận chương 1: Qua nh1 ta có th th m c tquan tr ng c a vi c d báo ph t i, các lo i d báo ph t i và các y u t ng
Trang 36- 36 -
Nội dung chương 2:
- Các khái niệm cơ bản v m ề ạng nơron nhiều lớp lan truy n sai s ề ố ngược
- Xây d ựng mô hình m ng cho bài toán dạ ự báo đồ th phụ tải ngày ị
- S d ng các công c trong phử ụ ụ ần mềm Matlab mô ph ng mỏ ạng nơron nhiều
lớp lan truy n sai sề ố ngư c ợ
TRUYỀN NGƯỢC SAI SỐ (BACK PROPAGATION NEURAL NETWORK)
không h i t v i m c c tr t ng th ng s M t khác, các
2.1.1 Cấu trúc m ng truy n th ng ạ ề ẳ
Trang 37- 37 -
nhau
2.1.2 Huấn luyện mạng
2.1.2.1 Thu t toán lan truy ậ ền ngược ( Backpropagation)
nht là c p nh t tr ng s ng tr c ti p sao cho hàm hi u su t gi m nhanh
xk+1 = xk - kgk
Trang 38- 38 -
gk: gradient hi n t i
k : t hc
khi c p nh t trng s
a Huấ n luy n incremental (ADAPT) ệ
nhiu thông s ph c thi t l ng d n hu n luy n ch incremental
net.inputWeight{I,j}.learnFcn và net.layerweights{i,j}.learnFcn Cu i cùng là
b Hàm gradient descent (LEARNGD)
learngd Hàm learngd có m t thông s h c là t c lr T h h c càng l n,
c nh y càng l n N u t h c quá l n, thu t toán s ông kh nh N u
t h c quá nh , thu t toán s h i t lâu
c Hàm gradient descent có quán tính (LEARNGD)
hin nh trên m t ph ng sai s
i tr ng s b ng t ng m t ph n s i tr ng s cu i cùng
Trang 39- 39 -
b ng 1, tr ng s i d a trên s i tr ng s qua giá tr gradient
d Huấ n luy n batch (TRAIN) ệ
e Chế độ hu n luy n Batch gradient descent (TRAINGD) ấ ệ
hun luy n gi m d c nh t chu n Tr ng s c c p nh t theo chi u
time, min_grad, max_fail và lr
f Chế độ hu n luy n Batch gradient descent v i momentum ấ ệ ớ
tích hi u su t c a thu t toán gi m d c nh t chu n K thu t này g m gi i
Trang 40- 40 -
Loi th hai s d ng k thu t t chu n Lo i này có ba k thu t t i
(traincgf, traincgb, traincgp, trainscg), quasi _ Newton (trainbfg, trainoss) và Levenberg _ Marquardt (trainlm)
a Gi i thuả ật tốc độ học thay đổi (TRAINDA,TRAINDX)
Trong gi i thu t gi m d c nht chu n, t hc gi c nh trong su t thi gian hu n luy n Hi u su t gi i thu t này r t nh y v i s i c a t c
h c N u t h c quá l n gi i thu t s b ng và không nh N u t c
h c quá nh gi i thu t s t n nhi u th h i t Trong th c t khó xác
luy n, khi gi i thu t di chuy n trên m t ph ng hi u su t
h i trong su t quá trình x lý hu n luy n T h c thích ng s c