Để cải thiện nhƣợc điểm của các phƣơng pháp dự báo phụ tải truyền thống, các nhà khoa học đã ứng dụng kỹ thuật dự báo hiện đại nhƣ: fuzzy logic (FL), mạng Nơ ron, phép phân tích wavelet,…hay sự kết hợp giữa các phƣơng pháp. Các phƣơng pháp dự báo hiện đại trên ngày càng đƣợc quan tâm vì kết quả dự báo khá chính xác.
2.2.2.1. Phương pháp dự báo bằng Fuzzy logic (logic mờ)
Hệ thống chuyên gia mờ là chƣơng trình khung tính toán dựa trên mối quan hệ giữa thuyết mờ, luật mờ nếu thì và suy diễn mờ. Cấu trúc của suy diễn mờ gồm 3 thành phần thông dụng nhƣ sau [3]
- Sự lựa chọn cơ sở luật mờ
- Cơ sở dữ liệu định rõ hàm thuộc. Những hàm thuộc này đƣợc sử dụng trong luật mờ.
- Cơ chế suy luận những luật trên và thu đƣợc ngõ ra thực tế đáng tin cậy.
Hàm thuộc đƣợc lựa chọn bằng phƣơng pháp thử nghiệm và sai số; có bốn dạng hàm thuộc cơ bản: Dạng hình tam giác, hình thang, hình Gauss, hình chuông.
* Tập mờ và hoạt động mờ
Hai tập mờ A và B với hàm thuộc tƣơng ứng là A x và B x , những tập mờ này đƣợc kết hợp với nhau theo nhiều cách để thu đƣợc mong muốn giá trị ngõ ra mong muốn.
- Hợp giữa hai tập mờ C = A B: AB x maxA x,B xxX
17 - Tổng của hai tập mờ C = A + B: x supzxyminA x ,B x xX
* Hệ thống logic mờ đƣợc sử dụng trong dự báo phụ tải:
Hình 2.1: Hệ thống logic mờ được sử dụng trong dự báo phụ tải
(Nguồn: Theo Craig Stuart Carlson, 2012)
2 2 2 1 x e x f (25) Trong đó:
- : trị trung bình cùa hàm suy rộng
- : độ lệch chuẩn của hàm suy rộng
Vị trí () và độ rộng () của mỗi hàm thuộc cho tập mờ ngõ vào, ngõ ra đƣợc chọn trên phƣơng pháp thử và sai số để đạt kết quả chính xác nhất.
2.2.2.2. Mạng Nơ - ron nhân tạo (neural network)
18 Trong đó:
- Pi là lớp vào bao gồm các tín hiệu đầu vào (nhiệt độ, độ ẩm, ngày nghỉ hoặc làm việc…);
- b1 và b2 là lớp ẩn - b3 là lớp ra
- d là hàm số điện năng, công suất ngày, giờ.
Việc chọn lựa số lƣợng các tín hiệu đầu vào phụ thuộc vào bài toán cụ thể và chỉ có thể xác định dựa trên đánh giá ảnh hƣởng của các yếu tố đầu vào và phụ tải điện. Kết quả đầu ra phụ thuộc vào cấu trúc của mạng Nơ - ron và dữ liệu quá khứ.
* Huấn luyện mạng Nơ - ron
Để có thể mô phỏng bài toán cần giải quyết, mạng phải đƣợc huấn luyện với các dữ liệu mẫu để điều chỉnh các trọng số cho phù hợp. Khi hoàn thành huấn luyện, mạng Nơ - ron sẽ tạo ra hàm quan hệ giữa nhu cầu phụ tải điện với các yếu tố ảnh hƣởng (nhiệt độ, độ ẩm, ngày nghỉ hoặc làm việc…).
* Mạng Nơ - ron có nhiều cấu trúc mạng với nhiều giải thuật khác nhau nhƣ mạng Function Link net (FLN), Maccalox, Perception, Hopfied, Hemmin, … Tuy nhiên giải thuật lan truyền ngƣợc (back propagation) là một trong các giải thuật quan trọng nhất trong lịch sử phát triển của mạng Nơ - ron nhân tạo. Giải thuật đƣợc sử dụng để huấn luyện các mạng truyền thẳng nhiều lớp với các phần tử xử lý trong mạng có hàm tác động là hàm phi tuyến. Mạng truyền thẳng nhiều lớp với giải thuật lan truyền ngƣợc còn đƣợc gọi là mạng truyền ngƣợc.
Nếu cho tập hợp các mẫu huấn luyện vào - ra [x(k),d(k)] với k=1,2,…p. Giải thuật sẽ cung cấp một thủ tục cho việc cập nhật các trọng số kết nối trong mạng truyền ngƣợc từ lớp Nơ - ron đầu ra đến lớp Nơ - ron đầu vào. Giải thuật vận hành theo hai luồn dữ liệu, đầu tiên các mẫu dữ liệu đƣợc truyền từ lớp Nơ - ron đầu vào đến lớp Nơ - ron đầu ra và cho kết quả thực y(k) của lớp Nơ - ron đầu ra. Sau đó các
19 tín hiệu sai lệch giữa đầu ra mong muốn và đầu ra thực đƣợc truyền ngƣợc từ đầu ra đến các lớp đứng trƣớc để cập nhật các trọng số kết nối trong mạng.[4]
Lƣu đồ giải thuật lan truyền ngƣợc:
START
Initialize weights W for all neurons
Get pattern X and feed forward
Compute cycle Error X
Adjust weights for output layer using
F(w, x, d) More hidden layers? More patterns?
Get desired using The equation
Adjust weights for output layer using
F(w, x, d) E<Emax? E=0 STOP No yes No yes No yes
20
Chƣơng 3: TỔNG QUAN VỀ MẠNG NƠ - RON NHÂN
TẠO (ANN) 3.1. Giới thiệu về mạng Nơ - ron nhân tạo
3.1.1. Khái niệm chung
Mạng Nơ - ron nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng Nơ ron, neural network, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ Nơ - ron sinh học. Nó đƣợc tạo lên từ một số lƣợng lớn các phần tử (gọi là phần tử xử lý hay Nơ ron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc nhƣ một thể thống nhất để giải quyết một vấn đề cụ thể nào đó.
Một mạng Nơ - ron nhân tạo đƣợc cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, ...) thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các Nơ ron.
Các nghiên cứu về mạng thần kinh nhân tạo đã bắt đầu từ thập niên 1940. Năm 1944, McCulloch và Pitts công bố công trình nghiên cứu về liên kết của các tế bào thần kinh. Năm 1949, Hebb công bố về tính thích nghi của mạng thần kinh. Cuối những năm 1950, Rosenblatt đƣa ra mạng Perceptron. Năm 1985 mạng Hopfield ra đời và sau đó là mạng lan truyền ngƣợc.
Từ cuối thập niên 80, đầu thập niên 90 đến nay, mạng Nơ - ron đã khẳng định đƣợc vị trí của mình trong nhiều ứng dụng khác nhau:
- Lĩnh vực hàng không, vũ trụ: ứng dụng trong kỹ thuật thiết kế máy bay
không ngƣời lái, mô phỏng đƣờng bay, hệ thống điều khiển máy bay, nâng cao khả năng bay tự động, tìm kiếm lỗi, hƣ hỏng trong máy bay, mô hình hóa các bộ phận của máy bay.
- Ngân hàng: kiểm tra thẻ tín dụng, định giá độ tin cậy của đầu tƣ
21 - Quốc phòng: điều khiển tên lửa, các thiết bị bay, hệ thống định vị nhƣ sonar,
radar, các loại cảm biến mới.
- Lĩnh vực điện: dự báo phụ tải, chế tạo chip trong các mạch tích hợp, chip
phân tích, phƣơng pháp điều khiển động cơ.
- Trong y học: phân tích và phát hiện tế bào ung thƣ, lƣu giữ thời gian nằm và
ra viện của bệnh nhân.
- Trong sản xuất: kiểm tra theo dõi quá trình sản xuất, thử nghiệm phân tích,
phân loại sản phẩm, dự báo, lên kế hoạch và điều khiển quá trình sản xuất.
3.1.1.1. Ưu điểm
Có khả năng tự thích nghi, tự học cao bằng cách tự tổ chức lại mạng lƣới. Tổng quát hóa thành quy luật từ tập dữ liệu để xây dựng hệ thống luật dùng cho các phƣơng pháp khác.
Phù hợp với dạng dữ liệu số, có tính liên tục.
3.1.1.2. Nhược điểm
Mạng chỉ có thể làm việc với những dữ liệu số.
Để mạng đạt hiệu quả cao cần phải có dữ liệu mẫu đủ lớn (gồm tất cả các mẫu đặc trƣng).
Mạng chỉ có tính nội suy, khả năng ngoại suy kém. Mạng không thể đƣa ra cơ chế giải thích.
Các giải thuật học của mạng chƣa đảm bảo hội tụ cần thiết.
3.2. Mạng nơron và mạng nơron lan truyền ngƣợc 3.2.1. Giới thiệu về mạng Nơron 3.2.1. Giới thiệu về mạng Nơron
Đặc điểm bộ não ngƣời: hệ xử lý thông tin phức tạp, phi tuyến và song song, có khả năng học, ghi nhớ, tổng quát hóa, xử lý lỗi và có khoảng tế bào thần kinh.
22
Hình 3.1: Tế bào thần kinh
Tế bào thần kinh nhân tạo: đƣợc biết nhƣ là mô hình toán học đơn giản của bộ não con ngƣời.
Đặc điểm: Cần đƣợc huấn luyện trƣớc khi sử dụng, các nghiên cứu về lĩnh vực này bắt từ 1940. Hiện nay có rất nhiều mạng và các thuật toán huấn luyện tƣơng ứng đƣợc công bố để giải quyết các bài toán khác nhau.
Mạng thần kinh nhân tạo: Nó bao gồm các tế bào thần kinh kết nối với nhau bởi các liên kết, mỗi liên kết kèm theo một trọng số. Các vectơ tín hiệu ngõ vào và vectơ trọng số của tế bào thần kinh.
Theo tài liệu [2] ta có thể định nghĩa nhƣ sau: Mạng nơron (thần kinh) nhân tạo, Artificial Neural Network (ANN) là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó đƣợc tạo nên từ một số lƣợng lớn các phần tử (nơron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc nhƣ một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơron nhân tạo đƣợc cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân
Sợi nhánh Thanh nơ ron Nhân Bao mi-ê-lin Eo răng-vi-ê Sợi trục
23 loại dữ liệu, ...) thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron.
Hình 3.2: Mạng thần kinh nhân tạo
Các thành phần cơ bản của một nơron nhân tạo bao gồm:
Tập các đầu vào: là các tín hiệu vào của nơron, các tín hiệu này thƣờng đƣợc đƣa vào dƣới dạng một vector N chiều.
Tập các liên kết: mỗi liên kết đƣợc thể hiện bởi một trọng số liên kết – Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thƣờng đƣợc kí hiệu là Wij. Thông thƣờng, các trọng số này đƣợc khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và đƣợc cập nhật liên tục trong quá trình học mạng.
Bộ tổng (Summing function): thƣờng dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó.
Ngƣỡng (còn gọi là một độ lệch - bias): ngƣỡng này thƣờng đƣợc đƣa vào nhờ một thành phần của hàm truyền.
Hàm truyền (Transfer function): hàm này đƣợc dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngƣỡng.
Đầu ra: là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra.
24 Xét về mặt toán học, cấu trúc của một nơron k, đƣợc mô tả bằng biểu thức sau: Hàm xử lý ngõ vào: Hàm tuyến tính: 1 ( ) n T i ij j i j f net w x W X (26) Hàm toàn phƣơng: 2 1 ( ) n ij ij i j f net w x (27) Hàm cầu: 2 2 2 1 ( ( ) ) ( ) ( ) n T ij ij i j f net w x X W X W (28)
Hàm xử lý ngõ ra _ Hàm kích hoạt: Y = a(f), bao gồm: Hàm nấc.
Hàm dấu. Hàm tuyến tính. Hàm dốc bão hòa. Hàm tuyến tính bão hòa. Hàm dạng S.
Hình 3.3: Một số hàm tác động.
Threshold Linear
25
3.2.2. Một số kiểu mạng nơron
3.2.2.1. Mạng truyền thẳng một lớp
Hình 3.4: Mạng truyền thẳng một lớp.
Là mạng chỉ gồm một lớp tế bào thần kinh xử lý. Tín hiệu chỉ truyền theo một chiều từ ngõ vào đến ngõ ra.
3.2.2.2. Mạng truyền thẳng nhiều lớp
Hình 3.5: Mạng truyền thẳng nhiều lớp.
Là mạng gồm nhiều lớp tế bào thần kinh xử lý. Tín hiệu chỉ truyền theo một chiều từ ngõ vào đến ngõ ra.
26
3.2.2.3. Mạng hồi quy một lớp
Hình 3.6: Mạng hồi quy một lớp.
Là mạng chỉ gồm một lớp trong đó có tín hiệu hồi tiếp từ ngõ ra trở về ngõ vào.
3.2.2.4. Mạng hồi quy nhiều lớp
Hình 3.7: Mạng hồi quy nhiều lớp.
Là mạng gồm nhiều lớp tế bào thần kinh xử lý. Trong đó có tín hiệu hồi tiếp từ ngõ ra trở về ngõ vào.
27
Hình 3.8: Phân loại kiểu học
3.3.1. Học có giám sát
Hình 3.9: Học có giám sát
Học có giám sát: Là quá trình học có sự tham gia giám sát của một “thầy giáo”. Cũng giống nhƣ việc ta dạy một em nhỏ các chữ cái. Ta đƣa ra một chữ “a” và bảo với em đó rằng đây là chữ “a”. Việc này đƣợc thực hiện trên tất cả các mẫu chữ cái. Sau đó khi kiểm tra ta sẽ đƣa ra một chữ cái bất kì (có thể viết hơi khác đi) và hỏi em đó đây là chữ gì?
Nhƣ vậy với học có giám sát, số lớp cần phân loại đã đƣợc biết trƣớc. Nhiệm vụ của thuật toán là phải xác định đƣợc một cách thức phân lớp sao cho với mỗi vector đầu vào sẽ đƣợc phân loại chính xác vào lớp của nó.
28
3.3.2. Học củng cố
Học củng cố: đôi khi còn đƣợc gọi là học thƣởng-phạt (rewardpenalty learning), là sự tổ hợp của cả hai mô hình trên. Phƣơng pháp này cụ thể nhƣ sau: với vector đầu vào, quan sát vector đầu ra do mạng tính đƣợc. Nếu kết quả đƣợc xem là “tốt” thì mạng sẽ đƣợc thƣởng theo nghĩa tăng các trọng số kết nối lên; ngƣợc lại mạng sẽ bị phạt, các trọng số kết nối không thích hợp sẽ đƣợc giảm xuống.
Hình 3.10: Học củng cố
3.3.3. Học không giám sát
Hình 3.11: Học không giám sát
3.4. Một số mạng Nơ - ron nhân tạo 3.4.1. Mạng Maccalox 3.4.1. Mạng Maccalox
Vào năm 1943, Maccalox và học trò của ông là Pet đã đƣa ra những học thuyết cơ bản của bộ não con ngƣời. Kết quả là họ đã đƣa ra đƣợc mô hình Nơ - ron nhƣ một phần tử xử lý đơn giản có thể tính giá trị đầu ra qua giá trị đầu vào, hàm truyền và bộ trọng số.
29 x1 x2 xr y n . . . w1 w2 wr b f Hình 3.12: Mô hình mạng Maccalox
Điểm yếu của mô hình này là hàm truyền có dạng ngƣỡng, tức là từng Nơ - ron xác định tổng trạng thái của các Nơ - ron khác và so sánh với ngƣỡng để xác định giá trị của mình; vì thế mạng này huấn luyện rất khó.
n n n f y 0 1 ) ( (29) Với θ là ngƣỡng xác định giá trị y. 3.4.2. Mạng Hopfiled
Hopfiled là ngƣời đầu tiên đƣa ra mô hình toán học bộ nhớ trong mạng Nơ ron, mạng Hopfiled cấu tạo bởi một lớp Nơ - ron duy nhất với số Nơ - ron bằng số đầu vào và đầu ra, các Nơ - ron kết nối với nhau bằng các trọng số, với việc sử dụng luật Hebb để lập trình cho mạng.
x1 x2 xn neural 1 neural2 neural m y1 y2 ym Hình 3.13: Mô hình mạng Hopfield
30 Ở trạng thái ban đầu trọng số đƣợc xác định nhƣ sau:
j i j i x x w k j m k k i ij 0 1 0 (30)
Trong đó i, j là hệ số tƣơng ứng với Nơ - ron trƣớc và sau k i
x , k j
x là phần tử thứ i và j của vector k.
Thuật toán huấn luyện mạng Hopfield (p vòng lặp): cho tín hiệu bất kỳ vào đầu vào mạng, thực tế nó bằng giá trị đầu ra. Số 0 trong ngoặc thể hiện bƣớc lặp 0.
yi (0) = xi, với i = 0, 1…, n-1
Trạng thái mới của các Nơ ron:
1 0 ) ( ) 1 ( n i i ij j p w y p s , với j = 0,…, n-1
Và giá trị mới đầu ra
( 1)
) 1
(p f s p
yj j , trong đó f là hàm truyền dạng nấc nhƣ hình vẽ
Kiểm tra có thay đổi giá trị đầu ra hay không trong bƣớc tính toán cuối cùng. Nếu có thì chuyển sang mục 2, nếu không thì kết thúc; khi đó giá trị đầu ra lặp lại tốt giá trị đầu vào.
3.4.3. Mạng Hemmin
Mạng Hemmin tạo từ 2 lớp, lớp đầu tiên và lớp thứ hai có cùng số Nơ - ron là