Ứng dụng mạng Nôron vào dự báo phụ tải ngắn hạn trong ngành điện lực

pháp luận và một sô kết quả ban dâu cua nghiên cứu ứng d ụ n g mạng nơron vào trong dụ' háo phụ tai ngăn hạn cho hệ thon g điện.IVic uia xin chân thành cam ơn sự giúp đờ, đ ộ n g viên cu

DẠI IIỌC QUỐC GIA HÀ NỘI

TR UỒ NG ĐẠI HỌC CÔNG NGHỆ • • •

ỦNG DỤNG MẠNG NƠRON VÀO DỤ BÁO

PHỤ TẢI NGẨN HẬN TRONG NGÀNH ĐIỆN • • • Lực •

Chuyên ngành : Công nghệ thông tin

DẠI IIỌC QUỐC GIA HÀ NỘI

TR UỒ NG ĐẠI HỌC CÔNG NGHỆ • • •

ỦNG DỤNG MẠNG NƠRON VÀO DỤ BÁO

PHỤ TẢI NGẨN HẬN TRONG NGÀNH ĐIỆN • • • Lực •

Chuyên ngành : Công nghệ thông tin

MỤC LỤC

MỚ DAI ỉ 1

CHƯƠNG I: TỎNG QUAN vi ; I ) ự BẢO PIIỤ TAI NGẨN IIẠN 3

1.1 Vai trò cua dự báo phụ tai imấn hạn tronu cô nu tác điều độ 3

1.2 Các yếu tố ảnh hưởng trực tiếp đến phụ tải neàv 5

1.3 Phươnẹ hướna nehiên cứu dự báo phụ tái 61 - «—-1 • I CHƯƠNG II: PHƯƠNG PHÁP LUẬN GIẢI QƯYẺT BÀI TOÁN D ự BÁO Pl IỤ TẢI NGẮN MẠN THEO PHƯƠNG PHÁP HAI (HAI DOẠN 8

2.1 Đặc diêm của biêu đồ phụ tải ngày 8

2.2 Dụ- báo phụ tải ngan hạn cho 24 giờ sau .9

2.2.1 Kiểu của đồ thị phụ tải 10

2.2.2 Đỉnh và đáy của biểu đồ phụ t ả i 13

2.2.3 Dự báo phụ tải cho 24 giờ sau 13

CHƯƠNG III: CÁC KHÁI NIỆM c ơ BẢN VỀ MẠNG NƠRON 14

3.1 Giới thiệu về mạng n ơ r o n 14

3.1.1 Lịch sử phát triển 14

3.1.2 Úng d ụ n g 16

3.1.3 Căn nguyên sinh h ọ c 16

3.2 Nơron nhân tạo .18

3.3 Hàm xử lý .19

3.3.1 Hàm kết hợp 19

3.3.2 Hàm kích hoạt .19

3.4 c á u trúc của mạng n ơ r o n 21

3.4.1 Mạrm truyền thẳng 21

3.4.2 Mạns hồi qui 22

3.5 Luật học .23

3.6 Hàm mục t i ê u 24

CHƯƠNG IV: MẠNG N ơ RON TRIJYKN TIIÁNC VÀ THUẬT TOÁN I.AN TRUYHN NGƯỢC 25

4.1 Kiên trúc cơ h a n 25

4.2 Kha năim biêu diễn 26

4.3 Vấn dê thiết kế cấu trúc mạng .27

4.3.1 Số lớp ẳ n 27

4.3.2 Số noron trona lớp ẩ n 28

4.4 Tluiật toán lan truyền ngược (Back - Propagation Algorithm) 29

4.4.1 Mô tà thuật t o á n 30

4.4.2 Sử dụng thuật toán lan truyền ngược .36

4.4.3 Một số biến thể của thuật toán lan truyền ngược 41

4.4.4 Nhận x é t 43

CHƯƠNG V: ÚNG DỤNG MẠNG NƠRON TRUYỀN THẲNG TRONG D ự BÁO PHỤ TẢI ĐIỆN 47

5.1 Sơ lược về lĩnh vực dự b á o 47

5.2 Tlui thập phân tích và xử lý dừ l i ệ u 48

5.2.1 Kiểu của các biến .49

5.2.2 Thu thập dữ liệu 50

5.2.3 Phân tích dữ l i ệ u 51

5.2.4 Xứ lý dừ l i ệ u 52

5.2.5 Tông họp 55

5.3 Chương trinh dự báo đỉnh và đáy biêu đồ phụ tải 55

5.4 Dự báo phụ tải cho 24 giờ sau .70

KÍ: r I IỈẠN 75

TÀI L1IUJ THAM K H Ả O 77 PHỤ LỰC .I

- 1

-M Ở ĐẦ U

Dự báo là bài toán quan trọng m ang lại nhiêu lợi ích thiết thực phục vụ con người, nó ui úp con người năm băt được các qui luật vận đ ộ n g trong tự nhiên và trong đời sô n g kinh tê xã hội Trong n h ữ n g năm gân đây, các m ạ n g nơron truyền thãim nhiêu lớp được thực tiền ch ứng min h là khá m ạ n h và hiệu qu ả trong các bài toán d ự báo và phàn tích số liệu, đặc biệt trong các bài toán d ự báo phụ tải,

dụ báo kinh tế, dự báo thời tiết,

Cho đến nay đã có khá nhiều ph ư ơ ng pháp luận cho hoạt đ ộ n g d ự báo, trong đó

da so các p h ư ơ n g ph áp luận đều m an g tính chất kinh n g h i ệ m thuần tuý D ù n g cách uiái qu yế t theo kinh nghiệm vào việc dự báo là c hư a đầv đủ, vì cách làm ấy hoàn toàn ch 1 dựa vào kinh nghiệm cua giai đoạn quá khứ, m à các kinh nghiệm â) không phai lúc nào cũ n g có thê vận d ụ n g vào hoàn cảnh đã thay đôi so với tnrớc

Việc nghiên cứu ứ n g d ụ n g các mô hình dự báo khác nh au ch o phép ta có cơ sở tiòp cận tới việc lựa chọn các ph ươ ng pháp d ự báo, đá nh giá m ức độ chính xác cua dự báo đ ồ n g thời xác định kh oáng thời gian lớn nhất có thề d ù n g d ự báo

Dự báo phụ tái ngắn hạn(giờ, ngày hoặc tuần) có vai trò quan trọng trong vận hành, lập p h ư ơ n g thức ngày, ph ươ ng thức tuần Nếu c h ú n g ta d ự báo phụ tải quá thừa so với nhu cầu sứ d ụ n g thì hậu quả là phải huy đ ộ n g n g u ồ n d ự ph ò n g đắt tiên lớn hơn mức cân thiêt Ngược lại, nêu d ự báo phụ tải qu á thâp so với nhu cầu thì sẽ dẫn đến kết quả nguồn d ự ph ò n g thấp, giảm an toàn c ung cấp điện, khôn g đáp ứng đủ nhu cầu điện cho các hộ tiêu thụ, và làm thiệt hại cho nền kinh

tê quốc dân

Mục đích cua luận văn này lả tìm hiểu, làm sánu tỏ m ộ t so khía cạnh về m ạ n g noron truyên th ăng nhi êu lớp, thuật toán lan truyền n g ư ợ c , giới thiệu p h ư ơ n g

pháp luận và một sô kết quả ban dâu cua nghiên cứu ứng d ụ n g mạng nơron vào trong dụ' háo phụ tai ngăn hạn cho hệ thon g điện.

IVic uia xin chân thành cam ơn sự giúp đờ, đ ộ n g viên cua các giảng viên trường Cao dăng Diện lực, các chuyên viên điêu độ thuộc trung tâm điêu độ hệ thôníi diện quôc gia Đặc biệt, tác giả xin chân thành cảm ơn PGS TS Đinh Mạnh 1’ưòng, nmrời thầy đã giúp đỡ các ý kiến quí báu về khoa học đê tác giả có the hoàn thành tôt luận văn này

Hà nội, tháng 11 năm 2004

Nguyễn Hữu Quỳnh

C H Ư Ơ N G I: T Ô N G Q U A N VÈ D ự B Á O PHỤ TẢI N G Ẩ N HẠN

1.1 Vai trò của dụ báo phụ tái ngắn hạn trong công tác điều độ

Diện năim là một san p hâ m đặc biệt quan trọng đổi với sự phát triên kinh tế, đời sórm dân sinh và môi t r ườ ng của bât cứ quôc gia nào trên thê giới Không giông như các d o a nh nghiệp sản xuất các sản phấm khác trong nền kinh tế thị trường với mục tiêu là lợi nh uậ n - khi k h ô ng có lợi nhuận thì n g ừ ng sản xuất, điện là san phâm đặc biệt k h ô n g thê thiêu được, nên ngành điện được coi là một ngành

t h u ộ c CO' s ở h ạ t ầ n g Đ i ệ n đ ư ợ c p h â n b i ệ t v ớ i c á c s ả n p h ẩ m h à n g h o á k h á c n h ờ khá năng, đá p ứng nhanh c hó ng n h ữ n g biên đôi của nhu câu tại mọi thời điêm và tính hầu n h ư k h ôn g thế d ự trữ được Do đó vấn đề dự báo phụ tải một cách chính xác cùng n h ư toàn bộ các dây truyền sản xuất, truyền tải, phân phối phải luôn ở tình trạng sẵn sàng đáp ứng nhu cầu phụ tải là yếu tố cơ bản ảnh h ưởn g đến hiệu quâ phục vụ khách hà n g c ủa toàn hệ thống

Trong c ông tác vận hành, lập p hư ơ n g thức ngày và p h ư ơ n g thức tuần của người làm công tác điều độ, d ự báo phụ tải ngan hạn bao gồm dự báo trước một giờ, một ngày hoặc mộ t tuần đ ó n g mộ t vai trò vô cùng quan trọng N hữ n g phương thức vận hành cơ bản tro ng ngày như huy động nguồn, phối hợp thuỷ điện và nhiệt điện, truy ền tai c ô n g suất giữa các miền, giải quyết các công tác sửa chữa tròn lưới điện và đánh giá mức độ an toàn hệ thống đ iện (H T Đ) đều đòi hỏi phải

có dự báo phụ tải chính xác

Việc dụ' báo phụ tai ngày H T Đ với sai số cao có ảnh h ư ở n g rất lớn đến giá thành vận hành Dụ' báo phụ tải cao hơn thực tế sẽ làm chi phí tăng cao, do huy động kliôim cần thiết các n g u ồ n điện dự ph ò n g đắt tiền n hư diesel, Dự báo phụ tải thấp hơn thực tê sẽ dẫn đên kết quả nguồn dự phòn g thâp, giam độ an toàn cung

c a p diện, có thê phủi căt điện do việc huy đ ộ n g thiêu nguôn, gây thiệt hại ca vê

k i m tè an ninh xã hội, đời sông sinh hoạt cua nhân dân và uy tín phục vụ cua ngành dôi với khách hàng

Dô với thục tè vận hành HTĐ Việt Na m, do th àn h ph ần phụ tai sinh hoạt và dịch vụ còn chiêm ty lệ khá cao nên sự chênh lệch phụ tải cao điêm (phụ tải cao nhũ troniì nuày p nm) và phụ tải thấp đ iê m (p h ụ tai thấp nhất trong ngày p mm) là rât ớn (k h o á n g 2.5 đến 3 lần) Đây chính là hai giá trị phụ tải đặc biệt trong đồ thị ohụ tai ngày, và được người làm công tác điều độ quan tâm nhiều nhất trong

q u á trinh vận hành, v ề mặt vận hành với đồ thị phụ tải biến động lớn, thành

p h a i thay đôi, quá trình khởi động máy diễn ra t h ư ờ n g xuyên ảnh hưởng đến

tu ô thọ và chỉ tiêu kinh tế kỳ thuật của nh à máy, tôn thất công suất và điện năng

c ũ n ’ sẽ gây nhiều bất lợi Phụ tải cao điểm là nh ân tổ q uy ết định việc huy động cáic nguồn nhiệt điện, tua-bin khí, diesel d ự p h ò n g n h ằ m đảm bảo đủ nguồn phủ

đỉ nil và dự p h ò n g nóng, tăng độ an toàn cung cấp điện Phụ tải thấp điểm quyết

J ị nil việc p h ổ i h ợ p v à đ i ề u c h í n h c á c n g u ồ n t u a - b i n k h í , n h i ệ t đ i ệ n , t h u ỷ điện

n h à n đảm báo vận hành kinh tế, tránh cho nh à m á y thuỷ điện Hoà Bình vận hàim trong v ù n g công suất khôn g cho phép về kỹ thuật T r on g đó phụ tải lúc cao đi«ển pmax là khâu quan trọng nhất trong ngày

l)iự XIo chính xác phụ tải cao điếm có hiệu quả lớn về kinh tế vào mùa lũ khi cần khia thác toi da nguồn thuỷ điện, trong khi nước các hồ chứa đang xả thì các nuui >n điện khác huy đ ộ n g chi nhằm mục đích an toàn Nếu sai số dự báo phụ tại ca-0 điểm giám 2 %, theo tính toán sơ bộ thì ngà nh điện tiết kiệm được khoảng SOiVW n s u ồ n tua-bin khí chạy dầu đắt tiền ( k h o ả n g 102.800.000đ) Việc hạn1,'h'ê phụ tai lúc cao điêm cũng thường xảy ra trong m ùa lũ khi thiêu nguôn phủ iliinl Tính chính xác được lượng công suất thiếu đê ch ủ động cat phụ tải không

-5-qnan trọng, tránh căt thừa hoặc căt thiêu, tránh sa thải phụ tái do báo vệ tần số thấp tác độ n g c ũ n g có ý nghĩa lớn trong vận hành, góp phần giảm thiếu thiệt hại

d o iệc căt diện uây ra

I l i ệ i nay việc đàm bao độ tin cậy cung cấp điện, vận hành an toàn và kinh tế

1 1 1 ) cỏ ý nghĩa và ảnh hương lớn đôi với ngành điện nói riêng và nền kinh tế qucc dân nói chung T r o n g tương lai khi HT Đ Việt N am liên kết với HTĐ các

IU ICC A S E A N v à T r u n g Q u ô c , v â n đ ê t ă n g đ ộ t in c ậ y c u n a c ấ p đ i ệ n , v ậ n h à n h an toàr và kinh tế HT Đ c àn g trớ nên bức thiết Đó kh ôn g n h ữ n g là yếu tố đảm báo việc nântỉ, cao chất lượng phục vụ nhu cầu tiêu thụ điện năng trong sản xuất và

đò i sống sinh hoạt, góp phần vào sự tăng trưởng kinh tế của đất nước mà còn là yế‘11 tố đám bảo cho Điện lực Việt Nam hoàn thành n h ữ n g điều khoản cam kết troi g văn bản ký kết với H T Đ các nước trong khu vực

G iả quyết tốt vấn đề c u n g cấp điện có vai trò và ý nghĩa vô cùng to lớn, vì vậy

vi ệt áp d ụ n g và nghiên cứu mô hình dự báo khác nhau nhăm tìm ra mô hình dự báto tối ưu cho vấn đề d ự báo phụ tải là việc rất cần thiết

1 2 Các yếu tố ảnh h u ỏ n g trực tiếp đến phụ tái ngày

M ục tiêu cuối cù ng của tất cả các dự báo là kết quả dự báo phải bám sát giá trị ihiực tế M u ố n có dự báo ngày với sai số nhỏ, phải chọn p h ư ơ n g pháp dự báo tối

Q u i các sổ liệu thống kế và thực tế vận hành cho thấy phụ tải HTĐ Việt Nam phiụ tlniộc chu yếu vào các yếu tố sau:

• T h ứ cua ngày t r o n g tuần: giá trị phụ tải giờ trong các ngày làm việc thư ờn g cao hơn p hụ tải giờ của các nG,ày nghỉ cuối tuần

• Thời tiêt trong ngày: Thòi tiêt trong ngày bao gôm các thông sô: nhiệt độ,

độ âm, tôc độ gió và h ướ n g gió, cường độ ánh sáng trong các thông sô đó

nhiệt dộ là yêu tô ảnh hưở ng nhanh nhât đên phụ tải Có thẻ xem phụ tải làmột hàm sỏ phụ thuộc vào nhiệt độ.

(ìiùa phụ tai và nhiệt độ có môi quan hệ là nhiệt độ tăn g thi phụ tai tăng và niỊirợc lại Chi có tr ường hợp dặc biệt ơ miền Bẳc khi thời tiết quá lạnh phụ tải

có t h ê t ă i m d o v i ệ c s ư d ụ n 2 , c á c t h i ế t bị s ư ớ i ấ m

• Ngàv đặc biệt tro ng năm: N g à y đặc biệt trong nă m là các ngày lễ, ngàytêt, n h ư ngày tết âm lịch, tết d ư ơn g lịch, ngày 30/4 và 01/5, ngày 02/ 9, Phụ tải n h ữ n g ngày này trên toàn quốc giảm rất nhiều so với ngày thường Dự háo các imàv đặc biệt này k h ô ng áp dụng như ngày thường mà phải theo

Qua các số liệu thống kê, quá trình nghiên cứu thực tế và kinh nghiệm vận hành, các nhà nghiên cứu, các chuyên gia điều độ di đến kêt luận: nhiệt độ môi trường (thông sổ quan trọng nhất của thời tiết trong ngày), và đặc thù ngày đang xét (niĩày đặc biệt, ngày nghỉ cuối tuần, ngày lễ, ngày đặc biệt) là các biến ảnh liướnu, mạnh nhât đên giá trị phụ tải ngày

I P l i u o n g h u ó n g nghiên cứu d ự báo phụ tải

-6-Dự báo luôn ụiữ vai trò quan trọ nu tron 12, nhiêu lĩnh vực, quyêt định kê hoạch sản xuất, h ướ n g dâu tư phát triến trong tương lai, do đó có rất nhiều các mô hình toán học áp d ụ n g cho d ự báo C ũ n g như các dự báo khác, dự báo phụ tải ngày cùng phai dựa vào sô liệu thôn g kê, phân tích và áp d ụ n g thuật toán đô xác định mòi quan hệ iiiữa phụ tai và các yêu tô ánh hưởng, từ đ ó dự báo phụ tải dựa trên cúc yêu tỏ ánh hưởng đó.

1 rước đây các mô hình toán học truyền th ống hay được áp dụng cho dự báo như: Mồi qui tuyến tính(linear regression), san trung b ì n h ( m ov in g averages), hệ

sô ngầu nhiên(stochatic), san hà m mũ (expodential smoothing),

A G R i M A ( Autoreg res siv e Intergarated M o v i n g Average)

Nghiên cứu p h ư ơ n g pháp dự báo phụ tải ngày là n g hi ên cứu và áp d ụ n g các

ph ư ơ ng pháp đế tìm quan hệ giữa phụ tải ng ày và các yế u tổ chủ yếu ảnh h ư ở n g đèn phụ tải ngày Việc áp dụng m ạ n g nơ ron nhân tạo cho dự báo phụ tải của

I II I) Việt N a m dựa trên các yêu cầu: p h ư ơ n g pháp đơn giản, có tính đến ảnh liươnu của biến nhiệt độ và đặc thù ngày, cho d ự báo với sai số nhỏ là p h ư ơ n g hướng của ngiên cứu này

C H Ư Ơ N G II: P H Ư Ơ N G P H Á P LUẬN GIẢI Q U Y É T BÀ ĩ T O Á N DỤ B Á O PIIỤ TẢI N G Ẩ N H Ạ N T H E O P H Ư Ơ N G P H Á P HAI GIAI Đ O Ạ N • • •

2.1 Dặc điêni của biêu đô phụ tai ngày

Phụ tai ngày HTĐ Việt Nam là phụ tải có thành phần điện sinh hoạt và dịch vụ cliiôm ty lệ khá cao Việc giám tỷ trọng điện nă n g tiêu thụ trong công nghiệp và tăne ty trọng tiêu thụ trong sinh hoạt làm chế độ tiêu thự điện năng xấu đi, hệ số phụ tai íiiani, đồ thị phụ tải nhọn hơn, gây nhiều k h ó kh ăn cho việc đảm bao an toàn cunu, cap điện

I lình 2.1 là đồ thị phụ tải ngày HTĐ Quốc gia được xây d ự n g theo giá trị phụ tải cua 24 giờ trong ngày Đồ thị trên hình biến thiên theo giá trị phụ tải từng giờ, phụ tai p max lớn gấp 2 ^ 3 lần so với p min Phụ tải p max th ườ ng xảy ra vào 19h- 20h vào mùa hè, 18h-19h vào mùa đông T h ấp đi ểm xảy ra vào ban đêm kh o ả n g 3h-4h vào mùa hè, 2h-3 h vào mùa đông

-9-Tro ig quá trình vận hành cua trung tâm Điều độ, phụ tai cao điếm (Pmax) và phụ tai tiâp diêm ( P mm) là hai diêm quan trọng nhất trong đồ thị phụ tải ngày Phụ tải

diệr và nhiệt điện trong lập ph ươ n g thức ngày trong điều hành HTĐ

*\''ì , 0 cao diêm tối phụ tải tăng đặc biệt nhanh

• 1 luv đ ộn g các nguồn điện đắt tiền như tuabin khí chạy dầu phái trước cao

đ i ê m tôi t h ờ i g i a n ít n h ấ t là 3 0 p h ú t đ ê k h ở i đ ộ n g v à n â n g d ầ n c ô n g suất.

• Khi thiêu nguôn mới huy độ n g tuabin khí chạy dâu sẽ không kịp gây tần

số thấp và sa thải phụ tải do rơle tần sổ thấp tác động

• T r o n g t n r ờ ng hợp sự cố thiếu nguồn, người ta cần phải dự báo công suất thiến de chuẩn bị trước ph ươ n g án cắt tái sau đó phối hợp với các điều độ miền ph ân bổ công suất cần phải cắt cho các điều độ lưới điện phân phổi Cắt tái có chuấn bị trước t h ư ò ng ít gây thiệt hại về kinh tế hơn do rơ le tần

sô thấp tác động

*1 (I) thấp điểm đêm p h ụ tải giảm rất thấp

• Cần phải điều chỉnh các nguồn tuabin khí chạy dầu, nhiệt điện sao cho các

tô máy của Hoà Bình kh ôn g vận hà nh trong vùng cô n g suất không cho phép bao đảm vận hành an toàn các tồ máy và thoả mãn các chỉ tiêu về kinh tế.Nêu dự báo ch ính xác được p max và p mm , người ta có thế huy độn g và điều chỉnh ngucn hợp lý, cũ n g như vận hành hệ thôn g điện an toàn và hiệu quả

2.2 Dự báo phụ tải ngắn hạn cho 24 giò’ sau

Mục đích của D B P T cho 24 gi ờ sau là đưa ra các giá trị phụ tải dự báo theo từng uicv sát vói thực tế Nói cách khác giảm sai số là vấn đề quan trọng trong quá trill]', dự báo

-10-Ọuá trình phàn tích, so sánh dô thị phụ tai cua HTĐ Việt Nam trong một thời gian dài cho thây kiêu biêu đồ phụ tải ngày chu yếu bị anh hưởnu, bơi các thói quen tô chức sinh hoạt, cách phân công sắp xếp công việc của khách hàng Nghĩa

là kiêu B Đ P T có mối liên quan chặt chẽ với môi trường hoạt động, ngày tháng( làm việc, nghi ngơi, lễ têt, hội hè ) cua riêng từng khách hàng và của cả cộng dong Còn đáy và đinh phụ tải lại là h à m của các biến thời tiết như nhiệt độ, độ

âm mâv, lượng mưa, vận tôc và h ướ ng gió

Nói cách khác, kiêu của B Đ P T và giá trị đỉnh, đáy p h ụ thuộc vào các yếu tố tirơnu, đôi dộc lập với nhau Điêu này có ý nghĩa vô cù n g quan trọng đổi với vẩn

đ ê d ự b á o p h ụ tải n g ắ n h ạ n D ự a v à o đ ặ c đ i ế m n à y c h ú n g ta s ê p h â n q u á t r ì n h d ự báo phụ tải th ành hai giai đoạn dự báo khác nhau B Đ P T sẽ được xác định hoàn toàn nếu ta xác định được kiểu của BĐ PT , giá trị đỉnh và giá trị đáy của BĐPT

Do cỉó bài toán dự báo phụ tải được chia thành hai bài toán nhỏ:

• Xác định kiêu B Đ P T ngày cần dự báo

• Dự báo đỉnh và đáy B Đ P T ngày cần dự báo

2.2.1 Kiến của đồ thị p h ụ tải

Xét đồ thị phụ tải HT Đ hình 2.2, đây là biểu đồ phụ tải H T Đ Quốc gia ngày làm việc 12/6/2003 được xây dựng theo giá trị phụ tải của 24 giờ trong ngày Giá trị phụ tải phân bố kh ô ng đều, dạng biểu đồ nhọn và sự c hên h lệch giữa 2 giá trị dinh và đáy rất lớn

Hình 2.2 Đồ thị phụ tải n g à y l 2 / 6 / 2 0 0 3 của H T Đ Quốc gia

Đặt: giá trị p h ụ tải của giờ thứ i là P(i), với i = l , 2, 24, giá trị phụ tải đinh là

sê CC giá trị kh ác nhau

ỉ)ê thu được kiêu B Đ P T ngày chuân, ta sẽ qui chuân phụ tải từng giờ theo công

t h ứ c

P ( i ) - P

/>(/) = r l Ầ""" , với i = l , 2 , ,24

max m i l lPn(i) là phụ tái qui chuân cùa gi ờ thứ i

Dựa trên uiá trị phụ tai qui chuân thu được cua 24 giờ tro ng ngày, ta xây dựng dược B ị) PT nuày chuân hoá Đô thị phụ tải này còn dược gọi là véc tơ biêu đồ phụ tai.

Nếu đặt véc tơ B Đ P T là p, ta có:

p = [ p , p : P2j] ' = [ P „ ( 1),P„(2) p„(24)]'V(Vi Pn( i ) là phụ tai được chuân hoá của gi ờ t h ứ i

1 lình 2.3 là đồ thị phụ tải ngày chuân hoá, biê đồ phụ tải được qui chuấn vẫn giữ nmivên dạ n g biên thiên cùa mình và các giá trị phụ tái được qui chuẩn nằm irong kh oả ng [0,1], Đặc diêm này khô ng phụ thuộc vào giá trị đinh va đáy cua biêu đô phụ tải trong ngày được qui chuân nhận các giá trị lớn hay nhỏ đên mứcnào

-13-2.2.2 Dinh và dây của biếu dồ phụ tái

Xác định hai giá trị đặc biệt trên đô thị phụ tai, phụ tai cao diêm và phụ tai thấp diêm là mục tiêu quan trọng hàng đâu của người làm c ô n g tác d ự báo Tính kinh

tè, hiệu qua, p hư ơ n g thức vận hành điều độ trong ngày cũng n hư hư ớ n g đầu tư phát triên tronu tương, lai của HTĐ phụ thuộc rất lớn vào độ chính xác của việc dụ- báo hai uiá trị này

Sau khi xác định được hai giá trị quan trọn g pm a x và p mm các giá trị phụ tải RĨỜ khác trong n g à y sẽ được xác định theo môi quan hệ của c h ú n g đổi với đinh và đáy cua B Đ P T th ôn g q ua kiêu B Đ P T của n gà y d ự báo

2.2.3 Dụ báo p h ụ tái cho 24 g iờ sau

Ncu biết:

• D ạn g biêu đô phụ tải qui ch uân(xác định đưọc Pn(i), với i = l , 2, 24)

• Xác định được p max, p min của biếu đồ phụ tải trong ngày

Ta sẽ tính đượ c phụ tải của t ừng giờ trong n gà y theo c ô n g thức:

-14-CIIIJONC; III: C Á C KHÁI NIỆM c o BẢN VẼ M Ạ N G N O R O N

3.1 Gi<Vi thiệu về m ạng noron• • C T

ỉ I ỉ L ịc h su plíát triển

Dirới dây ỉà các môc đá n g chú ý trong lịch sứ phát triển củ a m ạn g nơron

• Cuòi thê kỷ 19 đâu thê ky 20 sự phát triên chu yếu chí là những công việc

cỏ sự tham gia của cả ba ngành Vật lý học, Tâm lý học, và thần kinh học, bởi các nhà khoa học như He rm a nn von Hem ho ltz , Ernst Mach, Ivan Pavlov Các công trinh nghiên cứu cua họ chủ yếu đi sâu vào các lý thuyết tỏng quát vê HỌC, NHIN, và lập luận, và k h ôn g đưa ra các mô hình toán học cụ thê mô tả hoạt động của các nơron

• Mọi ch u y ện thực sự bắt đầu vào n h ữ n g năm 1940 với công trình c ủ a Warren M c C u llo c h và Walter Pitts Họ chi ra rằng về nguyên tắc, mạng cua các nơron nhân tạo có the tính toán bất kỳ m ộ t hà m sổ học hay logic nào

• Tiếp theo là Donald Hebb, ông đã phát biểu ràng việc thuyết lập luận cổ điên ( n h ư Pavlov) đưa ra là hiện thực bởi do các thuộc tính của từng nơron riêng biệt, ông cùng nêu ra một p h ư ơ n g p h áp học của các nơron nhân tạo

• Ú nu d ụ n g thực ngh iệm đầu tiên của các nơ ron nhân tạo có được vào cuối

n h ữ ng nă m 50 cùng với phát minh của m ạ n g nhận thức và luật học tương ứng bởi Frank Rosenblatt M ạ n g này có khả nă ng nhận dạng các mẫu Điều này đà m ở ra rất nhiều hy vọ ng cho việc ngiên cứu m ạ n g nơron Tuy nhiên

nỏ có hạn chế là chỉ có thể giải quyết m ột sổ lớp hữu hạn các bài toán

• C ù n g thời gian đó, Bernard W id ro w và M a r ci a n H o f f đã đưa ra một thuật toán học mới và sử dụng nó đê huân luyện cho các m ạ n g nơron tuyên tính thích nghi, mạng có câu trúc và chức nă n g tư ơn g tự như mạng của

-15-Rosenblatt Luật học Widr ow H o f f vẫn còn đ ượ c sử dụ ng cho đến ngày nay

• Tuy nhiên cả Rosenblatt và W id ro w H o f f đều cù ng vấp phái một vấn

dê do Ma rvin Mins ky và Seymour Papert phát hiện ra, đó là các mạng nhận thức chi có khả năng giải quyết được các bài toán tách được tuyến tính Họ

cô uăng cải tiên luật học và m ạn g đê có thê vượt qua được hạn chế này nhirnw họ đã khô n g thành công trong việc cải tiến luât học để có thế huấn luyện đượ c các m ạn g có câu trúc phức tạp hơn

• Do n h ữ n g kêt quả cúa Minsky Papert nên việc ng hi ên cứu về mạng nơrongần như bị c hữn g lại trong suốt mộ t thập kỷ 70 do ng uyên nhân là không có được các máy tính đủ mạnh đê có thế thực nghiệm

• Mặc dù vậy, vẫn có mộ t vài phát kiến quan trọng vào nh ữ n g năm 70 Năm

1972, T e u v o K o h o n e n và Jam es an derson độc lập nh au phát triển một loại mạng mới có thể hoạt đô n g như mộ t bộ nhớ Stephen Gro ssberg cũng rất tích cực trong việc khảo sát các m ạ n g tự tô chức

• Vào n h ữ n g năm 80, việc nghiên cứu m ạn g nơron phát triến rât mạnh mẽ cùng với sự ra đời của PC C ó hai khái niệm mới liên quan đến sự hồi sinh này, đó là:

-Việc sử dụng các ph ươ n g pháp thốn g kê để giải thích hoạt động của một lớp các m ạ n g hồi qui có thể được dù n g n h ư bộ nhớ liên hợp trong

cô ng trình của nhà vật lý học John Hopfield

-Sự ra đời của thuật toán lan truyền ngược để luyện các m ạn g nhiều lớpđược một vài nh à nghiên cứu độc lập tìm ra như: David Rumelhart,

Ja m es Mc Celland, đó cũng là câu trả lời cho Minsky-Papert

-16-1.2 ỬIĨỊỊ (lụnỵ:

11 D i g quá trình phát triên, m ạ n g nơron đã đ ượ c ứ n g d ụ n g tr o ng rất nhiều lĩnh

v ụ c

• Tài chính: Định giá bàt độn g sán, cho vay, kiêm tra tài sản cầm cố, đánh

má mức độ hợp tác, phân tích đ ườ n g tín dụng, c h ư ơ n g trình thưon g mại qua giây tò', phân tích tài chính liên doanh, d ự báo tỷ giá tiền tệ

• Ngân hàng: Bộ đọc séc và các tài liệu, tính tiền của thẻ tín dụng

• Giải trí: Hoạt hình, các hiệu ứng đặc biệt

• Bao hiêm: Đánh giá việc áp dựng chính sách, tối ưu hoá sản phẩm

• Điện tư học: Dự báo mã tuần tự, sơ đồ chip IC, điều khiển tiến trình, phân tích ng uy ên nhân hon g chip, nhận dạ ng tiếng nói, m ô hình phi tuyến

• Quốc phòng: Định vị - phát hiện vũ khí, dò mục tiêu, phát hiện đổi tượng, nhận dạ n g nét mặt, các bộ cảm biến thế hệ mới, x ử lý ảnh radar,

• Tự động: Các hệ thống dẫn đ ườ n g tự động cho ô tô, các bộ phân tích hoạt dộng c ủa xe

• H à n g k h ô n g : Phi c ô n g t ự động, giả lập đ ườ ng bay, các hệ thống điều khiên lái m áy bay, bộ phát hiện lỗi

•

ỉ tỉ.ĩ Căn nguyên sinh học

8 0 lào con người chứa khoảng 10 11 các phần tử liên kết chặt chẽ với nhau(klhcảnu 10J liên kết đối với mỗi phần tử) gọi là các nơron Dưới con mắt của

nh lìm người làm công tác tin học, một nơron được cấu tạo bởi các thành phần : 1J h.o hình cây(dendrite) - tế bào thân (cell body) và sợi trục thần kinh(axon) Te bà'0 hì nil cây có nhiệm vụ m ang các tín hiệu điện tới tế bào thân, tế bào thân sẽ

-17-ilụiv hiện u,ộp và phân ng ưỡ ng các tín hiệu đên Sơi trục thân kinh làm nhiệm vụ

■ ra tin hiệu từ tế bào thân ra bên ngoài

D i ê n tiêp xúc giữa một sợi trục thân kinh cua nơron này và tê bào hình cây của mộ: noron khác được gọi là khớp thân kinh (synapse) Sự săp xêp cua các nơron

va mức tiộ mạnh yêu của các khớp thân kinh được quyêt định bơi các quá trình hoú học phức tạp, sè thiết lập chức năng của m ạ n g nơron

Vl.ộ vài nơron có sẵn từ khi sinh ra, các phần khác được phát triển thông qua

vi ệi học, ở đó có sự thiết lập các liên kết mới và loại bó các liên kết cũ

( 'ai trúc cua m ạ n g nơron luon luôn phát triên Các thay đôi sau này có khuynh hiróng bao g ồ m chu yếu là việc làm tăng hay giảm độ m ạn h của các mối liên kết

th ô Ìg qua các kh ớp thần kinh

Mlạig nơron nhân tạo khô ng tiếp cận đến sự phức tạp của bộ não Mặc dù vậy,

c ó 'ìai sự t ư ơ n g quan cơ bản giữa m ạ n g nơro n nhân tạo và sinh học Th ứ nhất, câiu trúc khối tạo thành c h ún g đều là các thiết bị tính toán đơn giản, được liên kết

c h ặ chẽ với nhau T hứ hai, các liên kết giữa các nơr on quyết định chức năng của miạrg

Ciầr chú ý rang mặc dù m ạn g nơron sinh học hoạt động rât chậm so với các linh

ki Ộ! điện tư (10 ‘3 giây so với 10'9 giây), như ng bộ não có khả năng thực hiện nhiiiu công việc nhanh hơn nhiều so v ớ i các m áy tính th ông thường Đó một

p h ầ i là do cấu trúc song song của m ạ n g nơ ron sinh học: toàn bộ các nơron hoạt cỉộro, một cách đồn g thời tại mọt thời điểm M ạ n g nơron nhân tạo cũng chia sẻ dộicđiếm này Mặc dù hiện nay, các m ạ n g nơr on chủ yếu được thực nghiệm trên cáicmáy tính sô, như n g câu trúc song song của c hú ng khiên c hú ng ta có thê thày côm trúc phù hợp nhất là thực nghiệm c hún g trên các vi mạch tích hợp lớn, các th.iớ bị q u a n g và các bộ x ử lý song song

V - L C / 4 C 3

-18-3.2 Noron nhân tạo

Mộ noron nhân tạo (Hình 3.1), còn được gọi là một đơn vị xử lý hay một nút, thực hiện một chức nă n g : nhận tín hiệu vào từ một ngu ồ n bên ngoài hay từ các don vị phía trước và tính tín hiệu ra từ các tín hiệu vào sau đó lan truyền sang các -tem vị khác

W|j :các trọng số t ư ơ n g ứng với các đầu vào

Oị : m ư ờ n g cua nơ ron thứ j

a, : tòng đâu vào của nơron thứ j (net input)

: cẩu ra cua nơron

g(.): hàm c hu y ên (hàm kích hoạt)

Một nơron tronu m ạ n g có thế có nhiều đầu vào (X|, x2, ,xn) như ng chỉ có mộtilầu a Zj Đau vào của một nơron có thể là từ bên ngoài mạng, hoặc đầu ra của

n ộ t n o r o n khác, hay là đâu ra của chính nó

Trorụ mạnu nơron có ba kiêu nơron:

• Nơron đâu vào, nhận tín hiệu từ bên ngoài

• Nơron ẩn, tín hiệu vào và ra của nó nằm troníĩ m ạ n g

Nè LI W ji >0 n ơr on được coi là ớ trạng thái kích thích Ne u Wji<0 nơron đượccoi

là o trạng thái kiềm chế

3.3.2 Hùm kích hoạtịhàm chuyên)

Quá trình biến đổi giá trị a_j thành tín hiệu đầu ra Zj được thực hiện bới hàm kích hoạt z l=g(aJ) H àm kích hoạt th ườ ng bị ép vào một k h o ả n g giá trị xác định Các hàm kích hoạt hav được sử dụ ng là:

a,l làm tuyên tính (Linear function):

c , l i a n Sigmoid (Sigmoid function)

Hàn này rất thuận lợi khi sử dụng cho các mạng được huấn luyện bàng thuật toán Lan truyền ngược BP, bởi lẽ nó dễ lấy đạo hàm, do đó nó có thể giảm đáng

kế t n h toán tron g quá trình huấn luyện Hàm này được ứn g dụ ng cho các bài toán mà các đầu ra mong muốn rơi vào khoảng [0, 1 ]

-21-d,l 1.1111 Sigmoid lường cực(Bipolar Sigmoid function)

I làn này có các đặc trưng tương tự hàm Sigmoid N h ư n g được ứng dụng cho các bài toán có dâu ra m on g muôn rơi vào kh oảng [ -1 , 1]

H à n kích hoạt của các nơron đầu ra được chọn sao cho phù hợp với sự phân phố của các giá trị đích mon g muốn

3.4 Câu trúc của m ạ n g noron

CYu trúc của m ạn g nơ ron được xác định bởi : sô lớp, sô nơron trên mỗi lớp, và

sự lên kết giừa các noron Dựa trên cách thức liên kết các nơron người ta chia làm hai loại:

3.4.1 Mạ/ì” truyền thẳng

D ò n g dừ liệu t ừ nơron dâu vào đên nơron đâu ra chỉ đượ c truyền thắng Không

có các liên kêt từ no'ron đâu ra đên các nơron đầu vào trong cùng một lớp hay cua các lớp trước đó

2 3

-3.5 L u ậ t hoc

1 h à n h phân quan trọng nhât và khôn g thê thiêu cua m ạn g nơron đó là luật học, được dùng đê điêu chỉnh các trọng sô đê mạng nhận biêt được quan hệ giữa đâu vào và đích m o n g muốn Có nhiều thuật toán học đã được phát minh để tìm ra tập trọng sô tối ưu đê làm giải pháp cho các bài toán Các thuật toán đó có thê

c h i a làm hai nhó m chính: học có thầy và học khôn g có thầy

• H ọ c có t h ầ y : Mạ ng được huấn luyện dựa trên tập ví dụ huấn luyện( các

cặp mẫu đầu vào X và đầu ra m on g muốn t) Sự khác biệt giữa các đầu ra thực tế với đầu ra m o ng muốn được thuật toán sử dụ n g để điều chinh các trọnu sô Điêu này th ư ờ ng được đưa ra n h ư một bài toán xấp xỉ hàm sô - cho dừ liệu huân luyện, mục đích là tìm ra hàm f(x) thoả mã n tât cả các mẫu học đẩu vào

Dũ’ liệu h uâ n l uyện

-24-một cách tự động Tr ong thực tê, phân lớn các biên thê của học k hô n g có thầy, các đích trùng với đầu vào Nói cách khác, họ c k h ô n g có thầy luôn thực hiện một công việc tư ơng tự n hư một m ạ n g tự liên hợp, cô đ ọ n g th ông tin từ dừ liệu vào

3.6 Hàm mục tiêu

Đè huấn luyện một m ạn g và xét xem nó thực hiện tốt đến đâu, ta cần xây dự ng một hàm mục tiêu đê cung câp cách thức đá n h giá kh ả n ă n g của hệ thông Việcchọn hàm mục tiêu là rất quan trọng bởi vì h à m này thê hiện các mục tiêu thiết

kế và quyết định thuật toán huấn luyện nào có thể được sử dụng Đê xây dự n g một hàm mục tiêu đo được chính xác cái c h ú n g ta m u ố n k h ô n g phải là việc dễ dàng Trong số những hàm cơ bản được sử d ụ n g r ộn g rãi là hà m tông bình phươnu lồi (su m o f squares error function)

ÍỊ = \ i = 1

Ở đày:

Q : sô ví dụ tro ng tập ví dụ huân luyện

N : sô đơn vị đầu ra

t q i : đâu ra m o n g muô n của nơron ra i trên ví dụ t h ứ q

ỵqi : đẩu ra thực tê của nơron ra i trên ví dụ thứ q

\1 ạ 11 £2, truyên thăng nhiêu lớp bao gôm một lớp vào, một hoặc nhiêu lớp ân và một lóp ra Các noron đầu vào thực chất k h ông phải là nơron theo đúng nghĩa, bivi lè chúng k h ô n g thực hiện bất kỳ một tính toán nào trên dừ liệu vào, đơn giản

no chi tiếp n h ậ n các d ừ liệu vào và chuyển cho các lớp kế tiếp Các nơron ở lớp

ân và lóp ra mới thực sự thực hiện các tính toán, kêt quả được định dạng bởi hàm kích hoạt cua nơron đẩu ra

Hình 4.1: M ạ n g noron truyền thẳng nhiều lóp

ở đây:

P: ma trận đầu vào(R h à n g , 1 cột)

W : ma trận t rọ ng sổ của các nơron lớp thứ i

b' ma trận độ lệch cua lớp thứ i

n' : lònu liên két đâu vào(net input)

f : hàm kích hoạt cua lớp thứ i

a': ma trận dâu ra của lớp thứ i

©: I làm tính tông liên kết đầu vào

Mồi liên kết gan với một trọng số, trọng số này được điều chỉnh trong quá trình till hiệu đi qua liên kêt đó Trọng số dương thê hiện trạng thái kích thích, các irọim sô âm thê hiện trạng thái kiêm chê Mồi nơron tính toán mức kích hoạt của

ch Ún 12, băng cách tính tông các đâu vào và đưa đên hàm kích hoạt Khi tất cả các noron trong một lớp m ạ n g cụ thể đã tính toán xon g đầu ra thì lớp kế tiếp có thể bắt dâu thực hiện, bởi vì đầu ra của lớp hiện tại chính là đầu vào của lớp kế tiếp Khi tàt cá các nơron của m ạ n g đà thực hiện xo n g tính toán thì đầu ra của nơron lớp ra là kết quả của m ạn g Tuy nhiên, có thể chưa là kết quả m o ng muốn, khi

dó ta cần điều chỉnh các trọng số bằng cách áp dụ n g một th uật toán huấn luyện Mạng có nhiều lớp có kh ả năng tốt hơn là các mạng chỉ có một lớp, chẳng hạn như mạng hai lớp với lớp thứ nhất sử dụng hà m Sigmoid và lớp thứ hai sử dụnghàm tuyên tính có thê áp dụ n g đê xấp xỉ các hà m toán học khá tốt, trong khi cácmạng chi có m ột lớp thi không có khả năng này

4.3 Vấn đề thiết kế cấu trúc mạng

Vẻ mặt lý thuy ết có tồn tại m ột mạng có thê mô phỏ n g mộ t bài toán với độ chính xác bât kỳ N h ư n g kh ôn g phải đơn giản đê có thê tìm ra được m ạn g này Với một bài toán cụ thê đê xác định chính xác mộ t kiên trúc m ạ n g như: cần bao nhiêu lớp ẩn, mồi lớp ẩn cần bao nhiêu nơron là một công việc hết sức khó khăn

4.3.1 S ổ lớp ẩn

Vê mặt lý thuyết, các m ạn g có hai lớp ân có thê biêu diễn các hà m với dáng điệu bất kỳ, nên k h ô n g có lý do nào sử dụng m ạn g có nhiều hơn hai lớp ẩn Người ta

đã xác định ràn g đối với phần lớn các bài toán cụ thể, chỉ cần sử dụng một lớp ẩn

là đủ Các bài toán sử dụng hai lớp ẩn hiếm khi xảy ra trong thực tế Việc huấn luyện m ạ n g th ư ờ n g rất chậm khi sử dụng nhiều lớp ấn Bởi lẽ:

• Phân lớn các thuật toán luyện mạng cho các m ạ n g nơron truyền thắng đều dựa trẽn ph ư ơ n g pháp gradient Các lớp thêm vào sẽ thêm việc phải lan truyên các lôi làm cho vé ct ơ gradient rât k h ông ôn định Sự thành công của bât kỳ một thuật toán tối ưu theo gradient phụ thuộc vào độ không thay đôi cua h ư ớ n g khi mà các tham số thay đôi

• Số các cực trị địa p h ư ơ n g tăng lên rất lớn khi có nhiều lớp ấn Phần lớn các thuật toán tối ưu dựa trên gradient chi có thê tìm r a c á c c ự c trị địa

phuơng, do vậy c h ú n g có thê không tìm ra cực trị toàn cục Mặc dù thuật toán luyện m ạn g có thê tìm ra cực trị toàn cục, n h ư n g xác suất khá cao là chúng ta sẽ bị tăc tro ng một cực trị địa phương.

• Tuy nhiên, có thê đổi với mộ t bài toán cụ thế, sử dụ n g nhiều hơn một lớp

ân với sô ít noron thì tôt hơn là sử dụng ít lớp ân với số nơron là lớn, đặc biệt đôi các m ạn g cân phải học các hàm không liên tục v ề tông thê người

ta cho rằng việc đầu tiên là nên xem xét m ạn g chi có mộ t lớp ẩn Nếu dùng một lớp ân với m ột lượng lớn các nơron mà k h ô n g có hiệu quả thì nên sử dụng thêm một lớp ân nữa với mộ t sô ít các nơron

4.3.2 Số II o r on trong lớp ẩn

Vấn đề quan trọng tro ng thiết kế mộ t m ạng là mỗi tần g cần có bao nhiêu nơron

Số nơron tro ng mỗi lớp quá ít có thể dẫn đến việc k hô n g thể nhận dạng được tín hiệu đây đủ trong m ộ t tập dừ liệu phức tạp, hay thiếu ăn khớp Sử dụng quá nhiều noron sẽ tăng thời gian luyện mạng, có lẽ là quá nhiều để luyện khi mà không thê luyện m ạn g trong mộ t thời gian hợp lý Sô lượng lớn các nơron có thê dần đen tình trạng quá khớp, trong t rường hợp này m ạ n g có quá nhiều thông tin, hoặc lượng thông tin trong tập ví dụ huấn luyện khô n g đủ các dữ liệu đặc trưng

dê huân luyện mạng

Số lượng thích hợp các nơro n ẩn phụ thuộc vào rất nhiều yếu tố như: sổ đầu vào,

sổ đầu ra cua mạng, số t rư ờng hợp trong tập mẫu, độ nhiễu của dữ liệu đích, độ phức tạp của hàm lồi, kiến trúc m ạ n g và thuật toán luyện mạng

Cỏ rất nhiều luật để lựa chọn sổ nơron trong các lớp ẩ n ( x e m [ l 0]), chẳng hạn:

• III e [/,//] : giữa k h o ả n g kích thước lớp vào, lớp ra

-29-• I I I < 2/ : n h ỏ h ơ n h a i l ầ n k í c h t h ư ớ c l ớ p v à o

• ni \t.n : căn bậc hai cua tích kích thước lớp vào và lớp ra

Các luật này chi được coi n h ư là các lựa chọn thô khi chọn lựa kích thước cua các lớp C h ú n g không phản ánh được thực tế, bởi lẽ c h ún g chỉ xem xét đến nhân

lố kích thước đầu vào, đầu ra m à bó qua các nhân tố quan trọng khác như: sô trirờim hợp dưa vào huấn luyện, độ nhiễu ơ các đâu ra m o n g muôn, độ phức tạp cua hàm lỗi, kiến trúc củ a m ạn g và thuật toán học,

Tronu phần lớn các t r ườ ng hợp, k h ô n g có mộ t cách để có thế dề dàng xác định dược số tối ưu các đơn vị trong lớp ấn mà cách tốt nhất là dùng phương pháp

T h ử - Sai Trong thực tế có thể lựa chọn ph ươ ng pháp Lựa chọn tiến hay Lựa chọn lùi đê xác định số đơn vị trong lớp ân

Lụa chọn tiến bat đâu với việc chọn m ộ t luật hợp lý cho việc đánh giá hiệu năng cua mạng Sau đó, ta ch ọ n mộ t sổ nhỏ các nơro n ẩn, luyện và thử mạng, ghi lại hiệu năng c ủa mạng Tiế p theo tăng m ộ t số ít các nơron ẩn, luyện và thử lại cho den khi lồi là chấp nhận được, hoặc không có tiến triên đáng kê so với trước Ngược lại, Lựa chọn lùi bắt đầu với m ột sổ lớn nơron trong lớp ẩn, sau đó giảm dần Quá trình này rất mất thời gian nhưng sẽ giúp ta tìm được số lượng nơron phù hợp cho lớp ân

4.4 Thuật toán lan truyền n g u ọ c ( B a c k - Propagation Algorithm)

Phần này mô tả thuật toán học sử d ụ n g để điều chỉnh hiệu năng của mạng sao cho mạng có khả năng sinh ra được các kết quả m o n g muôn

Các mạng nơron truyền th ẳn g nhiều lớp được huấn luyện bằng ph ươ ng pháp học

có thầy Ph ư ơn g pháp này căn bản dựa trên việc yêu cầu m ạn g thực hiện chức nănu cua nó và sau đó trả lại kết quả, kết hợp kết quả này với các đầu ra mong muôn dè diêu chỉnh các tham số của mạng

4.4 ỉ Mô tá thuật toán

Ta sẽ sư d ụ n g d ạ n g t ôn g quát của m ạ n g nơron truyên thăng nhiêu lớp như ơ hình4.1 Khi đó đầu ra c ủa m ộ t lớp trớ thành đầu vào của lớp kế tiếp:

am+1= r +l( W m+1am+ b nvH) với m = 0 , 1

ớ đây M là sổ lớp t ro ng mạng, các nơron lớp thứ nhất nhận tín hiệu từ bên ngoài:

a°=pđâu ra cua lớp cuôi c ù n g là đầu ra của m ạng

a = a m

C h i số hiệu năng (perform ance index)

Thuật toán lan truy ền ngượ c sử d ụ n g chi số hiệu năng là trung bình bình phương lồi cua đầu ra so với giá trị đích Đầu vào của m ạn g là tập ví dụ huấn luyện:

Upi.ti), (P2,t2), (Pqtq)}

ơ đây p, là đầu vào và tj là đầu ra đích tương ứng (với i=l,2, q) Mồi đầu vào đưa vào mạng, sau khi tính toán cho đầu ra, đầu ra này được đem so sánh với đầu ra morm muốn T h u â t toán sẽ điều chỉnh các th am số của manẹ, để tối thiểu hoá trim ụ bình bình p h ư ơ n g lỗi:

F ( x ) = EÌe2 = E Ì ( t - a ) 2\

-32-Vậy dạo hàm trong (1) và (2) sẽ là :

Õ F Õ F on]

0 ')ir'/í

7 /w ^ m ->/ m

bị õn " ỡbị

tron li đó hạnu, thức thứ hai ở vê phải cua ph ư ơ ng trình (1 ’) và (2 ’) được tính một

c á c h d ề d à n g , b ơ i vì đ â u v à o c ủ a l ớ p m c ủ a m ạ n g là m ộ t h à m c ủ a t r ọ n g s ố v à đ ộ lệch trong tang đó:

m

on „

La n truyền ngược độ nhạy cảm

Bây gi ừ ta cần tính toán nốt ma trận độ nhạy cảm s m Đ e thực hiện điều này cần

sứ dụng m ột áp dụ ng khác của luật xích Qu á trình này cho ta khái niệm về sự

“ Lan truyền ngược” bởi vi nó mô tả mối quan hệ hồi qui trong đó độ nhạy cảm

Đê dần đên quan hệ đó, ta sẽ sử dụng ma trận Jacobian:

Bây uiờ ta có thê thây độ nhạy cảm được lan truyền ngược qua m ạng từ lớp cuối

cù nu trơ vê lớp đâu tiên:

( ’ăn nhân m ạn h răng ơ đây thuật toán lan truyền ngược lồi sư dụng cùng một kỳ thuật uiám theo h ư ớ n g như thuật toán LMS Sự phức tạp duy nhất là ở chỗ đế tính gradient ta cân phải lan truyền n2,ược độ nhạy cảm từ các lớp về các lớp trước

Bây uiò ta cần biết điểm bắt đầu lan truyền ngược, xét độ nhạy cảm s mtại lớp

sA/ = -2 F (nM) ( t - a )

Tóm lại, thuật toán lan truyền ngược có thế biểu diễn n hư sau: