CHƯƠNG I NGHIÊN CỨU TỔNG QUAN VỀ MÔ HÌNH DỰ BÁO NGHIÊN CỨU TỔNG QUAN VỀ MÔ HÌNH DỰ BÁO
2.3. ỨNG DỤNG MẠNG NEEURAL NHIỀU LỚP VÀ THUẬT TOÁN AN
Qu nhiều nghiên u và th nghiệm ngƣ i t ã h ng tỏ rằng h tiếp ận ài to n o ằng h sử ụng m ng Neur l huấn luyện ởi thuật to n l n truyền ngƣ m o h nh x o và tỉ lệ s i số thấp.
2.3.1 Các ƣớc xây dựng ài toán dự áo phụ tải điện năng
Tiếp ận ài to n o ằng h sử ụng m ng Neur l l n truyền thẳng huấn luyện ởi thuật to n l n truyền ngƣ ể t ƣ ƣ mụ tiêu ài to n o phụ t i iện n ng ề r .
V vậy t ph i huấn luyện ể l họn tối ƣu th m số ần thiết:
- Số l p ẩn;
- K h thƣ l p ẩn;
- Hệ số học;
- Hệ số qu n t nh: thƣ ng ph i l a chọn hệ số họ và hệ số qu n t nh s o cho v i p kh ng l n hơn qu nhiều;
- C t n hiệu vào nên huẩn ho s o ho t n hiệu vào nằm trong kho ng [0;1]. C nghiên u th c nghiệm ã hỉ r t n hiệu vào nên nằm trong kho ng [0.2,0.8];
- D ng hàm k h ho t: Thƣ ng chọn hàm Sigmoi kh ng c
- Khởi t o trọng số n ầu: C gi trị n ầu cần g n gi trị ngẫu nhiên nhỏ nằm trong kho ng [0;1]
Đối v i ài to n o ph c t p òi hỏi h nh x o ngƣ i t thƣ ng ng thuật to n l n truyền ngƣ ể ng dụng trong lĩnh v c d o nhận d ng, ph n l p. C ƣ h nh trong qu tr nh thiết kế và x y ng m t ng dụng d trên m ng Neural nhiều l p lan truyền ngƣ c sai số bao gổm:
Bước1: Lựa chọn các iến đầu vào
Đối v i ài to n o phụ t i iện gi trị phụ t i nhiệt và số ngày nghỉ lễ tương ng từng v i ngày là liệu ầu vào ho m ng.
Bước2: Thu thập dữ liệu
Xem x t kh n ng thu thập liệu liệu s u khi thu thập ƣ ần ph i kiểm tr t nh h p lệ h ng.
Bước3: Xử lý dữ liệu
D liệu ầu vào th hất là gi trị th m số ầu vào ầu r ể tối thiểu ho nhiễu. V ầu vào liệu phụ t i và nhiệt rất l n nên t ph i huẩn ho s o ho gi trị liệu ầu vào ở trong kho ng [0.2,0.8].
Bước 4: Phân chia tập dữ liệu
Để huấn luyện m ng t ph i hi tập liệu thành tập huấn luyện và tập kiểm tr . Tập huấn luyện thƣ ng là l n hơn tập kiểm tr tập huấn luyện thƣ ng h kho ng 70% - 90% toàn tập liệu. Tập kiểm tr sử ụng ể kiểm tr t nh ng n m ng s u khi ã huấn luyện ó h i h x ịnh tập kiểm tr m t là lấy ngẫu nhiên mẫu từ tập huấn luyện n ầu h i là hỉ lấy tập liệu gần v i hiện t i hơn v nó qu n trọng hơn liệu trong qu kh .
Bước 5: Xác định cấu trúc mạng
Để x y ng m t m ng Neur l hoàn hỉnh t ần x ịnh yếu tố s u:
- S đầu vào: X ịnh số ầu vào l p vào n vào liệu ầu vào và qu tr nh huấn luyện m ng.
- S lớp ẩn: Đối v i ài to n o nói hung th ng thƣ ng ngƣ i t sử ụng m t l p ẩn v th tế ã ó nhiều nghiên u t m hiểu xem việ thêm l p ẩn ó làm t ng n ng l họ hoặ tố họ m ng kh ng. Tuy nhiên hƣ ó lập luận lý thuyết nào ng h ho việ thêm l p ẩn. V i m t l p ẩn m ng ó thể t nh to n xấp xỉ m t hàm liên tụ ất kỳ ối v i iến tương ng là t n hiệu ầu vào. Còn v i nhiều l p ẩn mặ ó thể t nh to n xấp xỉ m t hàm ất kỳ tuy vậy số Neur l trong l p ẩn ó thể t ng theo hàm mũ ối v i số ầu vào ẫn ến ng th t nh to n ầu vào ầu r ph t p hơn và việ huấn luyện m ng sẽ hậm hơn. Cho ến n y vẫn hƣ ó nh ng ơ sở lý luận ầy ể kh o s t hàm ó thể xấp xỉ nh m ng nhiều l p.
- S Neural trong lớp ẩn: Chư ó phương ph p nào ó thể họn ư số tối ưu Neur l sử ụng trong l p ẩn. Chỉ ó m t số phương ph p ho t l họn n ầu nhƣng muốn ó ƣ số tối ƣu Neur l trong l p ẩn th ngƣ i thiết kế m h nh ần ph i th hiện nhiều th nghiệm. Đổng th i việ họn l số ầu vào m ng ũng m ng t nh hất quyết ịnh ến ấu tr m ng ể ó kh n ng tổng qu t ho tốt. Th ng thƣ ng t ó thể l họn số Neur l l p ẩn xấp xỉ 2n/n (v i n là số ầu vào). T ần th hiện huấn luyện kiểm tr lỗi toàn tập mẫu ể ó thể t ng hoặ gi m Neur l l p ẩn.
- S Neural đầu ra: C n vào mụ tiêu ụ thể từng ài to n o ể x ịnh ầu r tương ng.
Bước 6: Ti u chuẩn đánh giá:
Có nhiều h nh gi h nh x ài to n o nhƣng thƣ ng họn hàm SSE (Sum of Squares Errors): T nh tổng nh phương s i số trên toàn tập mẫu họ hoặ hàm MSE (Mean Sum of Squares Errors): T nh trung nh tổng nh phương s i số trên toàn tập mẫu họ .
Bước 7: Huấn luyện mạng
Huấn luyện m ng họ liệu ằng h lần lƣ t ƣ mẫu vào ng v i nh ng gi trị mong muốn. Mụ tiêu việ huấn luyện m ng là t m r tập trọng số s o ho gi trị nhỏ nhất toàn ụ hàm lỗi. M t u hỏi ặt r là khi nào ngừng
huấn luyện? Th ng thƣ ng ó h i iện ph p: Th nhất ngừng huấn luyện khi kh ng ó tiến triển nào hàm lỗi n v i liệu trên m t số tập th m số m ng. Th hất iện ph p này là x ịnh ƣ kh n ng t ến tiểu toàn ụ l n nhất. Biện ph p th h i là ần th hiện xem x t thƣ ng xuyên kh n ng tổng qu t ho ằng h s u mỗi hu kỳ nào ó th hiện kiểm tr tổng qu t ho m ng và s u ó qu y l i qu tr nh huấn luyện.
Việ th hiện huấn luyện m ng òn ần xem x t kh n ng v i m t số nào ó lần th hiện huấn luyện m ng trên tập khởi t o n ầu th m số. S u khi th hiện huấn luyện trên tất th m số này ần th hiện nh gi l i kết qu từ ó ƣ r kết luận về số lần tối th hiện huấn luyện ho m ng ho từng ài to n ụ thể.
M t phương ph p kh là th hiện việ vẽ ổ thị ể ó thể theo i tr ng th i lỗi m ng. Từ ó ó thể qu n s t ƣ v ng mà m ng ó tr ng th i kh ng th y ổi v i liệu vào h y v ng h i tụ hậm. Th ng thƣ ng số lần th hiện huấn luyện m ng ó kho ng iến thiên kh l n từ vài ngh n ến vài hụ ngh n hu kỳ. Việ theo i ƣ tr ng th i m ng v i tập huấn luyện và kh n ng tổng qu t ho ể ó thể ngừng khi ần là qu n trọng. Cần ph i ập nhật ổ thị s u mỗi hu kỳ ể ó thể theo i ƣ th m số huấn luyện m ng.
Bước 8: Thực thi
M ng Neur l ó kh n ng xử lý t nh to n song song o vậy m ng Neur l tốt nhất nên ƣ ài ặt trên vi m h iện tử. Trong ó m i trƣ ng m y t nh nh n l i ph h p trong qu tr nh huấn luyện ể ài ặt ồng th i ó kh n ng linh ho t p ng nhiều ài to n.
CHƯƠNG 3