Dựa vào các kết quả trên ta có nhận xét:
- Thuật toán di truyền tỏ ra ưu thế hơn so với 2 thuật toán còn lại. Vì vậy, trong thử nghiệm sau này, tôi đều lấy thuật toán di truyền để xây dựng các phương án dự báo.
- Thử nghiệm kết hợp hai phương pháp chỉ hiệu quả hơn thuật toán lan truyền ngược mà không tốt hơn thuật toán di truyền. Nguyên nhân là bởi vì bộ trọng số mà giải thuật di truyền tìm ra đã rất gần tới cực tiểu, do đó rất khó để chọn hệ số học thích hợp cho mạng, làm cho thuật toán khó chạy ổn định.
- Ta không nên học quá nhiều. Hệ thống chỉ nên dừng học ở mức 1000- 2000 vòng lặp với sai số 2-2.2%. Có 2 lý do chính là:
o Khi gần tới các điểm cực trị, mạng học rất chậm. Đối với giải thuật di truyền thì các cá thể của các thế hệ sau càng giống nhau hơn, vì vậy toán tử lai ghép và đột biến tỏ ra không có tác dụng. Phương án tăng cường đột biến cho giai đoạn gần cực trị toàn cục cũng tỏ ra không hiệu quả. Còn đối với thuật toán lan truyền ngược, khi đến gần điểm cực trị thì việc chọn hệ số học rất khó khăn, dễ gây dao động lớn.
o Sai số học quá nhỏ dễ gây hiện tượng học quá khớp. Theo bảng trên khi sai số huấn luyện giảm xuống 1.8-2.0% thì sai số kiểm thử lại tăng lên 2.3- 2.5%. Điều này xảy ra là do bộ dữ liệu huấn luyện chưa đủ để tổng quát hóa triệt để cho mạng.
3.2.2.2 Thử nghiệm đánh giá chọn bộ dữ liệu học
i. Thử nghiệm với bộ dữ liệu học không đủ
Ta chọn tập dữ liệu là phụ tải ngày của hệ thống điện miền Bắc từ 01/01/2009 đến 31/12/2012, nhưng được chia thành 2 tập:
- Tập huấn luyện: từ 01/01/2009- 31/12/2010. Ta không dùng đến dữ liệu tháng năm 2009.
- Tập kiểm thử: từ 01/01/2012- 31/12/2012.
Kết quả huấn luyện với 1000 vòng lặp cho lỗi 1.851%, lỗi kiểm thử là 3.374%. Như vậy là trường hợp này đã xảy ra lỗi học quá khớp, mạng có tính tổng quát hóa thấp. Nguyên nhân chủ yếu là do bộ dữ liệu học không đầy đủ hoặc bị nhiễu. Ở đây, nếu ta thêm vào tập học dữ liệu của năm 2009 thì vấn đề được giải quyết :
Bảng 3.6: Kết quả huấn luyện hệ thống sau khi bổ sung thêm dữ liệu học
Lần thử nghiệm MAPE huấn luyện MAPE kiểm thử 1 2.104 2.291 2 2.213 2.302 3 2.204 2.229
ii.Thử nghiệm với bộ dữ liệu thực
Chọn bộ số liệu thực tế với những tín hiệu nhiễu từ hệ thống thu thập số liệu, chúng ta không tiến hành bước kiểm tra tính đúng đắn của dữ liệu đầu vào mà đưa vào học ngay. Mỗi lần thử nghiệm chúng ta sẽ tiến hành chuẩn hóa lại một phần dữ liệu và có bảng kết quả như sau :
Bảng 3.7: Ảnh hưởng của nhiễu đến kết quả dự báo
Lần thử nghiệm
Cường độ nhiễu
Giá trị nhiễu MAPE huấn luyện MAPE kiểm thử 1 10 10 2.256 2.551 2 20 10 2.340 3.219 3 30 10 2.382 3.432 4 10 20 2.137 3.124 5 20 20 2.671 3.944 6 30 20 2.890 5.679 Dựa vào bảng trên ta có nhận xét rằng:
- Mạng có khả năng học được nhiễu ở mọi mức độ (sai số học trung bình trong khoảng 2-4%).
- Nhiễu càng lớn thì hiện tượng học quá khớp (over-fitting) càng rõ rệt.
- Nhiễu ở mức độ dưới 10% (10% số lượng mẫu học và cường độ giá trị nhiễu cho mỗi mẫu không quá lớn) thì mạng vẫn đáp ứng được (cho kết quả dự báo chấp nhận được).
3.5 ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM
Dựa vào những kết quả thử nghiệm ở trên, ta có thể tóm tắt lại kết quả thử nghiệm mô hình như bảng dưới đây:
Bảng 3.8: Tổng hợp kết quả đánh giá thử nghiệm mô hình
Loại dự báo
MAPE
Yêu cầu thực tế Huấn luyện Kiểm thử
Giờ tới 0.4% 0.6%
3%- 5% 24 giờ 4.3% 4.5%
Ngày tới 2.3% 2.4% Tháng tới 3.7% 3.5%