Các nghiên cứu đã chứng tỏ rằng không có một mạng nơ ron nào hoàn hảo cho tất cả các bài toán, ngay cả cho một bài toán nhưng với nhiều mẫu số liệu khác nhau. Hay nói cách khác, ta cần xác định mạng nơ ron “tốt” cho mỗi bài toán cụ thể, cho mỗi bộ số liệu cụ thể. Để có được mạng nơ ron tối ưu, ta cần xem xét các thông số sau:
• Số lớp Nn của mạng
• Kích thước các lớp Nn (số nơ ron trong mỗi lớp Nn)
• Dạng hàm kích hoạt (hàm sigmoid, tangsing) của các nơ ron
• Dải giá trị của các dữ liệu sẽ đưa vào mạng
• Thuật toán học và các tham số của thuật toán đó: hằng số học, hằng số quán tính, ngưỡng sai số tìm kiếm,....
• ...
Bài toán dự báo là một bài toán phức tạp. Để tăng chất lượng dự báo ta cần có nhiều các dữ liệu quá khứ, đồng thời có các phương pháp hạn chế số lượng đầu vào không liên quan để nhằm giảm kích thước của mô hình tính toán.
Các bước chính trong quá trình thiết kế và xây dựng một ứng dụng dựa trên mạng nơ ron bao gồm các bước sau:
• Thu thập dữ liệu
• Xử lý dữ liệu
− ChuNn hoá dữ liệu;
− Phân tích, loại bỏ các dữ liệu không có ảnh hưởng lớn.
• Phân chia tập dữ liệu thành tập huấn luyện và tập kiểm tra
• Xác định cấu trúc mạng
− Số đầu vào;
− Số lớp Nn;
− Số nơ ron trong các lớp Nn;
− Số nơ ron đầu ra;
− Các hàm kích hoạt;
• Xác định tiêu chuNn đánh giá
• Huấn luyện mạng
• Thực thi trong thực tế
Bước 1: Chọn lựa các biến
Trong bài toán dự báo phụ tải điện thì mối quan hệ giữa phụ tải và các yếu tố ảnh hưởng sẽ giúp chọn lựa các biến là các nhân tố quan trọng. Đối với một bài toán cụ thể ngoài việc nghiên cứu các vấn đề lý thuyết mà còn phải xuất phát từ thực tiễn của điều kiện thực tế của từng vùng mà từ đó sẽ xác định được các nhân tố ảnh hưởng đến bài toán. Tại bước này trong quá trình thiết kế, điều cần quan tâm đó là các dữ liệu thô từ đó có thể phát triển thành các chỉ số quan trọng. Các chỉ số này sẽ tạo ra các đầu vào cho mạng. Trong luận văn này các thông số được sử dụng dự báo
sẽ là các số liệu phụ tải trong quá khứ, đồng thời có bổ sung thêm thông số thời tiết (nhiệt độ max, min trong ngày trước đó).
Bước 2: Thu thập dữ liệu
Cần xem xét khả năng có thể thu thập được các dữ liệu. Các dữ liệu sau khi thu thập cần được kiểm tra tính hợp lệ của chúng. Đồng thời, các dữ liệu bị thiếu sót cần được xử lý cNn thận, có thể bỏ qua chúng hoặc giả sử rằng các dữ liệu bị thiếu đó không thay đổi so với dữ liệu trước nó. Luận văn này sẽ sử dụng các số liệu được thu thập tại trạm biến áp 220kV của Công ty Điện lực Sóc Trăng.
Bước 3: Tiền xử lý dữ liệu
Tiền xử lý dữ liệu liên quan đến việc phân tích và chuyển đổi giá trị các tham số đầu vào, đầu ra mạng để tối thiểu hóa nhiễu, nhấn mạnh các đặc trưng quan trọng, phát hiện các xu hướng và cân bằng phân bố của dữ liệu. Các đầu vào, đầu ra của mạng nơ ron thường được chuNn hóa vào khoảng biến thiên mạnh của hàm truyền đạt để tăng tính hiệu quả của các thuật toán sử dụng gradient.
Bước 4: Phân chia tập dữ liệu
Trong thực tế khi huấn luyện mạng, người ta thường chia tập dữ liệu thành các tập: Huấn luyện và kiểm tra. Tập huấn luyện thường là tập lớn nhất được sử dụng để huấn luyện cho mạng. Tập kiểm tra thường chứa khoảng 10% đến 30% tập dữ liệu huấn luyện, được sử dụng để kiểm tra mức độ tổng quát hóa của mạng sau khi huấn luyện.
Có hai cách thực hiện xác định tập kiểm tra. Một là lấy ngẫu nhiên các mẫu từ tập huấn luyện ban đầu. Lợi điểm của cách này là có thể tránh được nguy hiểm khi mà đoạn dữ liệu được chọn có thể chỉ điển hình cho một tính chất của dữ liệu (đang tăng hoặc đang giảm). Hai là chỉ lấy các dữ liệu ở phần sau của tập huấn luyện, trong trường hợp các dữ liệu gần với hiện tại là quan trọng hơn các dữ liệu quá khứ. Tuy nhiên trong luận văn này, do số liệu thu thập tại địa phương chỉ hạn chế trong ba năm 2004, 2005 và 2006 nên ta sẽ sử dụng các số liệu của hai năm đầu tiên
(2004, 2005) để làm số liệu học (xây dựng mô hình), số liệu năm 2006 sẽ được dùng để kiểm tra mô hình.
Bước 5: Xác định cấu trúc mạng
Phương pháp thực hiện xây dựng MN R bao gồm việc xác định sự liên kết giữa các nơ ron, đồng thời xác định cấu trúc của mạng bao gồm số lớp Nn, số nơ ron trong từng lớp. Tuy nhiên, các thực nghiệm cho thấy rằng, số lớp Nn sử dụng trong mạng không nên vượt quá 2 lớp. Ngoài ra, không có phương pháp nào có thể chọn được số tối ưu các phần tử sử dụng trong lớp Nn trong mọi bài toán. Mặc dù vậy cũng có một số phương pháp cho ta lựa chọn gần đúng. Thông thường, để có được số tối ưu các phần tử trong các lớp Nn thì ta cần tiến hành xây dựng nhiều mạng có cấu trúc khác nhau và kiểm tra so sánh trực tiếp giữa chúng. Bên cạnh đó, việc chọn lựa số các đầu vào mạng cũng mang một tính chất quyết định đến cấu trúc của mạng để có được khả năng tổng quát hóa tốt.
Đối với mạng MLP, do thực tế là phần lớn các ứng dụng chỉ sử dụng hàm một lớp Nn (có rất ít ứng dụng dùng hai lớp Nn) nên việc lựa chọn cấu trúc được đưa về nhiệm vụ lựa chọn số phần tử trong lớp ẩn hay còn gọi là số nơ ron Nn. Số nơ ron
Nn quá nhỏ sẽ khiến cho mạng không đủ độ phi tuyến để mô hình hóa liên hệ giữa đầu vào và đầu ra, số nơ ron Nn quá lớn sẽ khiến cho mạng trở nên cồng kềnh, quá trình tối ưu hóa phức tạp hơn.
Bước 6: Xác định tiêu chuẩn đánh giá
Có nhiều cách chọn hàm sai số để đánh giá chất lượng mạng, thường chọn hàm SSE (Sum of Squares Errors): tính tổng các bình phương sai số trên toàn bộ tập mẫu học hoặc hàm MSE (Mean Sum of Squares Errors) tính tổng trung bình các bình phương sai số trên toàn bộ tập mẫu học.
Bước 7: Huấn luyện mạng
Mục tiêu của việc huấn luyện mạng đó là tìm ra tập các trọng số ghép nối trong mạng nơ ron sao cho giá trị hàm sai số nhỏ hơn một ngưỡng chấp nhận được. Quá trình này cũng đã được phần nào thực hiện trong bước 5, nhưng tại đây không
có vấn đề xác định cấu trúc nên ta có thể sử dụng các thuật toán tối ưu hóa tốt hơn nhưng có yêu cầu thời gian tính toán lớn hơn.
Bước 8: Triển khai áp dụng:
Mô hình mạng nơ ron sau khi đã được xác định trên các tập số liệu mẫu sẽ được sử dụng như những mô hình phi tuyến khác. Trong quá trình sử dụng này, các thông số của mạng sẽ được giữ nguyên, không thay đổi. Tuy nhiên cũng tương tự như những mô hình phi tuyến khác, nếu khi sử dụng mà ta có nhu cầu hiệu chỉnh đáp ứng của mạng thì ta có thể tiến hành lại quá trình học như đã nêu trên.
Kết luận:
Trong quá trình dự báo Pmax và Pmin việc lựa chọn thông số đầu vào cho mạng nơ ron việc hết sức phức tạp vì ta không thể biết được chính xác yếu tố nào có ảnh hưởng cao nhất và thấp nhất lên Pmax và Pmin. Việc ứng dụng hệ số tương quan được xem là một giải pháp, nó sẽ cho ta biết được ảnh hưởng của các yếu tố khác lên yếu tố cần xét như thế nào, nhằm giảm kích thước đầu vào cho mạng và loại bỏ đi những nhân tố có ảnh hưởng thấp đến Pmax và Pmin cần dự báo và cũng có thể các nhân tố này khi đưa vào mạng sẽ làm tăng nhiễu cho mạng và làm giảm độ tổng quát hoá của mạng.
Mạng nơ ron nhiều lớp với kỹ thuật lan truyền ngược sai số được xem là giải pháp tốt để tính toán lổi trong các hệ thống phức tạp. Nó là một trong các thuật toán gradient tương tự như các thuật toán gradient theo cách tiếp cận trí tuệ nhân tạo.
Nhược điểm lớn nhất của phương pháp lan truyền ngược truyền thống là nó bị ảnh hưởng rất lớn của gradient địa phương, tốc độ hội tụ chậm và không đảm bảo hội tụ về điểm cực trị toàn cục. Các nhà nghiên cứu đã đưa ra nhiều phương pháp cải tiến, mà gần đây là phương pháp Levenberg – Marquardt một phương pháp được coi là hiệu quả nhất để làm giảm nhanh hàm bình phương tối thiểu, làm tăng độ hội tụ. Tuy nhiên phương pháp này sử dụng một lượng trọng số lớn và quá trình tính toán hết sức phức tạp, sử dụng thuật toán huấn luyện mạng đòi hỏi máy tính phải có cấu hình cao hơn vì tiêu tốn nhiều bộ nhớ máy tính.
CHƯƠNG 6
KẾT QUẢ TÍNH TOÁN MÔ PHỎNG
Dự báo là một bài toán khó. Do vậy, việc cân nhắc để có thể chọn được mô hình phù hợp cho việc dự báo dữ liệu là một việc rất khó khăn. Và chỉ có thể bằng phương pháp thí nghiệm nhiều lần rồi đánh giá và so sánh. Trong luận văn này sẽ xây dựng nhiều mô hình dự báo khác nhau, sau đó sẽđánh giá sai số trên từng mô hình để có thể
lựa chọn được mô hình tốt nhất.