ngược sai số để tối ưu hoá trọng số mạng nơ-ron nhân tạo
2.3.1 Đặt vấn đề
Mặc dù GA có khả năng đạt tới cực trị toàn cục cho quá trình tìm kiếm nhưng do có kết hợp những yếu tố ngẫu nhiên nên tốc độ tìm kiếm nói chung là rất chậm. Mặt khác nó không thể hoàn toàn đạt được tới cực trị toàn cục mà chỉ cho những kết quả xung quanh đó. Đối lập với GA, giải thuật lan truyền ngược sai số (BP) lại cho phép đạt được những cực trị nếu như điểm xuất phát của quá trình tìm kiếm nằm trong vùng cực trị toàn cục. Để chứng minh nhận xét này chúng ta sẽ xem xét thử nghiệm sau:
Thử nghiệm được tiến hành với bài toán XOR có các tham số như trong thử nghiệm 2.2.5c. Riêng giá trị sai số dừng lặp giảm đi 100 lần là: 0.0005. Khi đạt được giá trị sai số rất nhỏ như vậy có thể coi mạng đã đạt được gần chính xác vị trí cực tiểu toàn cục. Thử nghiệm so sánh hai giải thuật:
GA‟ - giải thuật di truyền sử dụng phương pháp đột biến đề xuất (2.2.6) BP - giải thuật lan truyền ngược sai số
Sau đây là bảng thống kê số bước lặp để mạng hội tụ với mỗi phương án trong 100 lần thử nghiệm khác nhau.
Bảng 2.6 Kết quả thử nghiệm so sánh GA’ và BP với ngưỡng sai số 0.0005
STT GA’ BP STT GA’ BP STT GA’ BP
1 - 4329 36 - 3150 71 - -
2 - - 37 2216 - 72 - 3811
3 - 7599 38 - 6215 73 - -
4 - 5122 39 - 3299 74 - 5214
6 1791 - 41 - 4142 76 - 5388 7 - 6796 42 - - 77 - 3458 8 - - 43 - 9778 78 - - 9 2882 - 44 - - 79 - - 10 - 6960 45 - 6099 80 - - 11 - - 46 - 4066 81 6291 - 12 - 3792 47 - 3420 82 - - 13 - 2905 48 - 3974 83 - 4567 14 3860 - 49 - - 84 - - 15 - 6098 50 - - 85 - - 16 - - 51 - 3424 86 - 5535 17 - 5307 52 - 7975 87 - 5532 18 - 5935 53 - - 88 - 4443 19 - - 54 - 4838 89 - - 20 - 4014 55 - 6510 90 - - 21 - - 56 - 3979 91 - - 22 - 4710 57 - - 92 - 3523 23 - - 58 - 5583 93 - - 24 - 4314 59 - 3207 94 - - 25 - - 60 - 4802 95 - 6073 26 - 3798 61 - 5154 96 - 5708 27 - 3735 62 - 4030 97 - 4090 28 - 7098 63 - 5222 98 - - 29 - - 64 - - 99 - - 30 - - 65 - 3916 100 - - 31 - - 66 - 3940 32 - 8349 67 - - Số lần mạng hội tụ 6 57 33 - - 68 - 6560 34 - 2987 69 - 3149 Trung bình 2985.67 4956.39 35 874 5030 70 - 4121
Qua thử nghiệm này có thể dễ dàng nhận thấy rằng chỉ rất ít trường hợp GA‟ đạt được giá trị sai số mong muốn. Kết hợp các kết quả trong bảng 2.4, 2.5 và 2.6 ta có thể tóm tắt khả năng hội tụ của mạng với hai phương pháp học: giải thuật di truyền và giải thuật lan truyền ngược sai số khi ngưỡng sai số dừng lặp khác nhau.
Bảng 2.7 So sánh khả năng hội tụ của mạng khi sử dụng hai phương pháp học GA’ và BP với sai số dừng lặp khác nhau
Sai số dừng lặp
Số lần hội tụ trong 100 lần thử nghiệm
GA‟ BP
0.05 89 58
Từ bảng 2.7 ta có nhận xét: GA có thể đạt đến vùng chứa cực tiểu toàn cục (sai số 0.05) dễ dàng hơn so với BP (89 lần so với 58 lần). Tuy nhiên, để đạt đến chính xác vị trí cực tiểu toàn cục (sai số 0.0005) thì GA lại rất kém (chỉ có 6 lần). Trong khi đó, hầu hết các trường hợp BP khi đã đưa mạng đến được vùng chứa cực tiểu toàn cục (sai số 0.05) thì BP sẽ đưa mạng đến chính xác cực tiểu toàn cục (sai số 0.0005). Do đó, việc kết hợp GA và BP có nhiều cơ hội đưa mạng đến được chính xác cực tiểu toàn cục.
2.3.2 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số
Có thể kết hợp cả GA và BP nhằm đạt tới một kết quả trọn vẹn của bài toán tối ưu trọng số mạng nơ-ron nhân tạo. Trong giải thuật kết hợp này, GA được sử dụng như một bộ khởi tạo cho BP. Tập trọng số được mã hoá thành các nhiễm sắc thể và được tiến hoá nhờ GA. Kết thúc quá trình tiến hoá, bộ trọng số tốt nhất tương ứng với cá thể ưu việt nhất trong quần thể được lựa chọn làm những trọng số khởi tạo cho giải thuật BP. Nó chính là bộ tham số cho phép xác định điểm gần cực trị nhất của hàm giá.
Với sự kết hợp này, giải thuật BP sẽ cần phải được thay đổi một vài yếu tố : - Giải thuật không tự khởi tạo trọng số mà nhận các trọng số từ GA. - Thành phần quán tính được loại bỏ để làm tăng tốc độ của quá trình
hội tụ và loại bỏ dao động.
Hình 2.6 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số
Khởi tạo tập trọng số
Giải thuật di truyền
Giữ lại nhiễm sắc thể tốt nhất
Tập các trọng số
Học bằng giải thuật lan truyền ngược sai số có thay đổi
Việc thử nghiệm giải thuật kết hợp này được tiến hành với bài toán XOR ngưỡng sai số mong muốn là 0.0005. Giải thuật di truyền sử dụng phương pháp đột biến đề xuất (2.2.6). Các tham số cũng như các phần trước. Giải thuật gồm hai bước chính :
- (1) GA sẽ đưa mạng đạt đến sai số 0.05
- (2) BP sẽ nhận bộ trọng số tốt nhất của GA đóng vai trò là trọng số khởi tạo (có sai số 0.05) để đưa mạng đến sai số mong muốn 0.0005.
Bảng 2.8 Kết quả thử nghiệm giải thuật kết hợp GA’ và BP với ngưỡng sai sô 0.0005
STT (1) (2) STT (1) (2) STT (1) (2) 1 352 1366 36 4273 - 71 434 1793 2 924 2354 37 396 3428 72 - - 3 2520 1853 38 2636 - 73 320 1325 4 591 1260 39 509 1858 74 - - 5 362 1511 40 - - 75 751 1436 6 6949 1750 41 336 1988 76 876 1420 7 604 1768 42 568 922 77 - - 8 695 1730 43 4159 3411 78 1138 4423 9 348 2058 44 4235 1436 79 6986 1736 10 304 2372 45 265 2013 80 439 2724 11 2108 3171 46 2929 1548 81 640 3496 12 6109 1406 47 257 2692 82 472 2014 13 2615 1328 48 674 327 83 - - 14 653 3173 49 2370 5923 84 5173 1530 15 416 1265 50 242 2906 85 520 2769 16 2702 1783 51 594 1948 86 - - 17 535 2177 52 4925 861 87 3675 881 18 2856 1426 53 127 1248 88 373 2266 19 347 814 54 622 2006 89 632 1244 20 2800 1474 55 784 536 90 851 1331 21 1281 1184 56 272 6247 91 3852 1901 22 - - 57 8297 2247 92 3728 2300 23 3090 1399 58 7299 1356 93 1700 2806 24 426 2177 59 634 1434 94 - - 25 1685 1961 60 442 6227 95 3448 1020 26 1373 3254 61 220 1978 96 772 1850 27 1249 1993 62 3227 4801 97 332 4244 28 165 941 63 1177 - 98 1253 1826 29 605 1439 64 - - 99 764 1480 30 895 2082 65 704 4860 100 952 1499 31 708 2301 66 3922 1161 32 6097 2084 67 460 958 Số lần mạng hội tụ 90 87 33 260 3072 68 613 1305 34 8761 1914 69 - - Trung bình 1778.956 2103.506
35 308 2376 70 164 1850
Nhận xét:
- Cũng giống như lần thử nghiệm trước giải thuật di truyền sử dụng đột biến kết hợp (2.2.6), kết quả mạng hội tụ với sai số 0.05 rất cao (90/100). - Trong 90 lần nhận trọng số khởi tạo từ GA, BP có 87 lần đưa mạng từ sai
số 0.05 về sai số 0.0005. Chỉ có 3 lần BP không đưa mạng đến yêu cầu sai số mong muốn (lần thử nghiệm thứ 36, 38, 63).
- So sánh với việc sử dụng GA và BP riêng rẽ thì giải thuật kết hợp này cho kết quả tốt hơn rất nhiều.
Kết luận chương
Trong chương này chúng ta đã nghiên cứu các khái niệm và khả năng ứng dụng của giải thuật di truyền cũng như cách thức để tiến hành thực hiện một bài toán bằng giải thuật di truyền. Giải thuật di truyền được biết đến như một giải thuật tìm kiếm dựa trên học thuyết về chọn lọc tự nhiên và nó cho phép ta đạt được tới cực trị toàn cục. Do đó, áp dụng giải thuật di truyền vào bài toán tối ưu hoá trọng số mạng nơ- ron nhân tạo là một cách tiếp cận tiềm năng. Trong chương này chúng tôi đã nghiên cứu và thử nghiệm một số phương án và đưa ra một số cải tiến về phương pháp đột biến giúp cho quá trình học của mạng nơ-ron được tốt hơn. Ngoài ra chúng tôi cũng kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số nhằm đạt tới một kết quả trọn vẹn của bài toán tối ưu trọng số mạng nơ-ron nhân tạo. Trong chương tiếp theo chúng ta sẽ nghiên cứu việc ứng dụng mạng nơ-ron nhân tạo với các phương pháp học kết hợp đã đề cập trong chương này vào việc dự báo lưu lượng nước đến hồ Hoà Bình.
C CHHƯƯƠƠNNGG 33 -- ỨỨNNGG DDỤỤNNGG MMẠẠNNGG NNƠƠ RROONN NNHHÂÂNN T TẠẠOO VVÀÀOO VVIIỆỆCC DDỰỰ BBÁÁOO LLƯƯUU LLƯƯỢỢNNGG NNƯƯỚỚCC ĐĐẾẾNN H HỒỒ HHOOÀÀ BBÌÌNNHH
Luận văn đề cập tới bài toán dự báo lưu lượng dòng chảy đến hồ Hoà Bình phục vụ tốt mục tiêu điều tiết vận hành hồ. Nguồn nước chính cung cấp cho hồ Hoà Bình