Cùng với những nghiên cứu trước đây sử dụng mạng thần kinh nhân tạo TKNT dự báo nhiệt độ tối cao, chúng tôi đã thử nghiệm dự báo nhiệt độ tối thấp cho khu vực nghiên cứu bằng việc sử dụ
Trang 128 _
Mạng thần kinh nhân tạo truy hồi thời gian trễ
và ứng dụng dự báo nhiệt độ tối thấp cho khu vực
đồng bằng phía Bắc Việt Nam
Nguyễn Hướng Điền1,*, Hoàng Thanh Vân1, Hoàng Phúc Lâm2
1Khoa Khí tượng Thủy văn và Hải dương học, Trường Đại học Khoa học Tự nhiên, ĐHQGHN
2Trung tâm Dự báo Khí tượng Thuỷ văn Trung ương
Ngày nhận 02 tháng 01 năm 2009
Tóm tắt Cùng với những nghiên cứu trước đây sử dụng mạng thần kinh nhân tạo (TKNT) dự báo
nhiệt độ tối cao, chúng tôi đã thử nghiệm dự báo nhiệt độ tối thấp cho khu vực nghiên cứu bằng
việc sử dụng một loại mạng TKNT nữa - mạng truy hồi thời gian trễ Kết quả đạt được với bài
toán dự báo là khả quan, hệ số tương quan rất lớn (luôn >0,93) và sai số nằm trong ngưỡng cho
phép của dự báo nghiệp vụ (RMSE trong khoảng từ 1,490C đến 1,590C và MAE xấp xỉ 1,10C)
Tuy nhiên chất lượng dự báo nhiệt độ tối thấp của mô hình mạng TKNT trong mùa đông và mùa
xuân chưa được cao lắm
1 Giới thiệu về mạng thần kinh nhân tạo
truy hồi thời gian trễ∗
Nhận thức đa lớp là thuật toán mạng phổ
biến nhất, nhưng nó chỉ có thể giải quyết các
thông tin đồng thời, do trong hệ thống của nó
không có bộ nhớ và chỉ thực hiện lan truyền
tiến Trong khoa học, kỹ thuật, việc xử lý các
tín hiệu, các giá trị đại lượng tại các thời điểm
khác nhau có liên hệ với nhau, đòi hỏi các hệ
thống phải có bộ nhớ Điều này đặc biệt có ý
nghĩa trong khí tượng, khi các đại lượng khí
tượng đều có quán tính, có tính thống nhất theo
thời gian Một động lực nữa đòi hỏi phải sử
dụng bộ nhớ đó là hồi tiếp (Feedback), hay đơn
giản là sử dụng có hiệu quả các thông tin sẵn
có Đó cũng chính là lý do cho sự ra đời của
mạng truy hồi Nhưng các mạng TKNT truy hồi đầy đủ rất khó luyện để đạt tới trạng thái ổn định Việc xây dựng một thuật toán khác (không phải thuật toán truy hồi), dựa trên mạng nhận thức đa lớp nhưng có thêm một hệ thống con để chứa các thông tin trong quá khứ là cần thiết và thích hợp hơn Những hệ thống con này
được gọi là các cấu trúc bộ nhớ ngắn hạn
(Short-term memory structures) [Jose C
Principe, 2000] Sự kết hợp của mạng nhận thức đa lớp và các cấu trúc bộ nhớ ngắn hạn được gọi là mạng thời gian trễ (Time-Lagged Network), các cấu trúc bộ nhớ thậm chí có thể
là truy hồi, nhưng chỉ là hồi tiếp địa phương (để tính ổn định dễ đảm bảo hơn) Khi kết hợp mạng truy hồi với các cấu trúc bộ nhớ thì ta có
mạng truy hồi thời gian trễ (Time-Lagged
Recurrent Network) Thông thường, với một mạng thời gian trễ tổng quát nhất, bộ nhớ sẽ được đặt ở tất cả các thành phần của mạng, điều
∗ Tác giả liên hệ ĐT: 84-4-38584943
E-mail: diennh@yahoo.com
Trang 2đó sẽ tăng khả năng của mạng rất nhiều nhưng
cũng sẽ mất rất nhiều thời gian để luyện và số
liệu cũng cần nhiều để đảm bảo tính đặc trưng
của mạng Một trong những thuật toán giúp đơn
giản hoá vấn đề này là thuật toán tập trung
(Focused), trong đó bộ nhớ ngắn hạn chỉ được
đặt ở lớp nhập Chức năng của bộ nhớ ngắn hạn
trong mạng thời gian trễ tập trung là chứa các thông tin, tín hiệu trong quá khứ của lớp nhập,
trong khi các phần tử hoạt động phi tuyến cung cấp các ánh xạ tương tự như ở mạng nhận thức
đa lớp Trong bài báo này, mạng truy hồi thời gian trễ là lựa chọn số một cho bài toán phân
tích chuỗi thời gian dự báo nhiệt độ tối thấp
Hình 1 Mạng thời gian trễ với thuật toán tập trung
Cấu trúc bộ nhớ đơn giản nhất được xây
dựng từ chuỗi trì hoãn (delay line) hay bộ nhớ
trễ Bộ nhớ trễ là một hệ thống nhập đơn - xuất
đa, có duy nhất một tham số là kích thước bộ
nhớ K Loại bộ nhớ này được sử dụng rất hiệu
quả cùng với mạng thời gian trễ (Time-delay
Neural Network) trong việc nhận dạng giọng nói
và xác định hệ thống (Kung, 1993) (hình 2)
Một cơ chế khác cho bộ nhớ tuyến tính đó
là hồi tiếp (hình 3) Hồi tiếp cho phép hệ thống nhớ các sự kiện trong quá khứ Không giống như bộ nhớ trì hoãn, bộ nhớ hồi tiếp còn cung cấp cho hệ thống luyện tham số µ, giúp chỉnh
độ dài của bộ nhớ Bộ nhớ hồi tiếp được sử dụng cùng với mạng Elman và Jordan [Haykin, 1994]
Hình 2 Bộ nhớ trễ
Hình 3 Bộ nhớ hồi tiếp
Trang 3Ta có thể kết hợp ưu điểm của bộ nhớ hồi
tiếp và bộ nhớ trễ trong các hệ thống tuyến tính,
được gọi là chuỗi khuếch tán trễ (Dispersive
Delay Lines) Bộ nhớ được dùng nhiều nhất
thuộc loại này là bộ nhớ gamma (hình 4) Bộ
nhớ gamma có một tham số tự do là µ, dùng để
điều khiển độ dài bộ nhớ (là khoảng thời gian
giữa thời điểm xung trả lời đầu tiên và thời
điểm tác động cuối cùng K: D = K/µ) dựa trên
độ phân giải của bộ nhớ (số kết xuất trong một
đơn vị thời gian: R=µ) Tham số µ có thể được điều chỉnh để đạt được sai số nhỏ nhất Đây chính là ưu điểm của bộ nhớ gamma so với bộ nhớ hồi tiếp
Hình 4 Bộ nhớ gamma
Ưu điểm của thuật toán tập trung là các
trọng số mạng nhận thức đa lớp vẫn có thể được
điều chỉnh bằng thuật toán lan truyền ngược
Lớp bộ nhớ giúp mang thêm thông tin trong quá
khứ, làm tăng giá trị của ánh xạ Khi sử dụng
bộ nhớ trễ, sự lan truyền ngược cũng có thể
được sử dụng vì khi này chỉ có các trọng số của
mạng nhận thức đa lớp là các thông số được
điều chỉnh Khi sử dụng bộ nhớ gamma, thông
số lặp được điều chỉnh trong một hệ thống thích
ứng toàn phần Phương trình dùng để thích ứng
các thông số cho các loại bộ nhớ được cho
trong hình vẽ tương ứng ở trên
Trong bài báo này, nhóm nghiên cứu sử
dụng mạng truy hồi thời gian trễ với 1 lớp nhập,
1 lớp ẩn và 1 lớp xuất để dự báo nhiệt độ tối
thấp Số liệu đầu vào là chuỗi số liệu quan trắc
nhiệt độ tối thấp liên tục trong 9 năm từ 1981 đến 1989 của 4 trạm là Láng (Hà Nội), Phủ Liễn (Hải Phòng), Thanh Hóa và Vinh; số liệu năm
1990 được sử dụng để đánh giá chất lượng mạng Qua quá trình thử nghiệm và đánh giá cho các loại mạng khác nhau với số lượng nút ẩn khác nhau: lần lượt là 3, 5 và 10 nút ẩn Kết quả cho thấy mạng có một lớp ẩn với 5 nút ẩn cho chất lượng tốt nhất
2 Kết quả dự báo nhiệt độ tối thấp và nhận xét
Kết quả đánh giá cho 4 trạm tiêu biểu nêu trên với mạng TKNT có một lớp ẩn và 5 nút ẩn được trình bày trong các bảng và hình vẽ dưới đây:
Trang 4Bảng 1 Các chỉ số đánh giá dự báo nhiệt độ tối thấp Láng Phủ Liễn Thanh Hóa Vinh
Ghi chú:
MAE: Sai số tuyệt đối trung bình,
RMSE: Sai số quân phương,
E-max: Sai số dự báo hụt nhiều nhất,
E+max: Sai số dự báo vượt nhiều nhất,
NE<2: Số dự báo có sai số tuyệt đối nhỏ hơn
20C,
DP: Số cặp quan trắc - Dự báo trùng khớp
(sai số nhỏ hơn 0.050C),
AC: Hệ số tương quan,
N: Số quan trắc
Kết quả đánh giá dự báo độc lập cho thấy chất lượng của mạng TKNT rất khả quan, RMSE chỉ dao động trong khoảng 1,490C (trạm Thanh Hóa) đến 1,590C (trạm Láng), đồng thời MAE đều xấp xỉ 1,10C Hệ số tương quan luôn đạt ở mức cao (0.93 và 0,94), số dự báo có sai
số tuyệt đối nhỏ hơn 20C dao động trong khoảng từ 84,7% (Láng) tới 86,8% (Vinh) Tuy nhiên đôi khi mạng TKNT cũng cho kết quả không thực sự tốt, sai số dự báo vượt cực đại lên tới 7 - 80C còn sai số dự báo hụt lớn nhất cũng từ 3 đến 40C Để có đánh giá chi tiết hơn,
ta chia nhỏ giai đoạn đánh giá ra thành từng mùa ba tháng một
Bảng 2 Các chỉ số đánh giá dự báo nhiệt độ tối thấp theo 3 tháng
Láng Phủ Liễn
Chỉ số/Tháng 1-2-3 4-5-6 7-8-9 10-11-12 1-2-3 4-5-6 7-8-9 10-11-12
ME (0C) 0.06 -0.12 -0.20 0.16 0.09 -0.02 -0.26 0.07
E-max (0C) -3.07 -2.88 -2.15 -2.63 -3.69 -2.75 -3.86 -3.36
Chỉ số/Tháng 1-2-3 4-5-6 7-8-9 10-11-12 1-2-3 4-5-6 7-8-9 10-11-12
ME (0C) 0.08 -0.15 -0.13 0.12 0.07 -0.11 -0.11 0.12
E-max (0C) -2.57 -2.82 -3.05 -2.89 -3.16 -3.26 -2.04 -4.00
Bảng 2 cho ta thấy xu thế khá thú vị của các
mô hình mạng TKNT cho tất cả các trạm, đó là
các mô hình mạng TKNT thường có xu hướng dự
báo nhiệt độ tối thấp lớn hơn thực tế trong các tháng mùa đông và mùa xuân (từ tháng 10 năm trước đến tháng 3 năm sau) và dự báo thấp hơn
Trang 5thực tế trong các tháng mùa hè và thu 3 tháng 7,
8 và 9 cũng thường cho kết quả dự báo tốt nhất
(RMSE trong 3 tháng này nhỏ nhất, trừ trạm Phủ Liễn đạt cực tiểu trong 3 tháng 10, 11 và 12)
5.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Láng
Hình 5 Kết quả đánh giá trạm Láng
5.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Phủ Liễn
Hình 6 Kết quả đánh giá trạm Phủ Liễn
Trang 65.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Thanh Hóa
Hình 7 Kết quả đánh giá trạm Thanh Hóa
5.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Vinh
Hình 8 Kết quả đánh giá trạm Vinh
3 Kết luận
Cùng với những nghiên cứu trước đây
[Nguyễn Hướng Điền, Hoàng Phúc Lâm, 2006,
2007, 2008], mạng TKNT đã cho thấy khả năng
ứng dụng cao trong các bài toán từ phức tạp đến đơn giản Đây là những kết quả thử nghiệm với một loại mạng TKNT nữa - mạng truy hồi thời gian trễ Kết quả đạt được với bài toán dự báo nhiệt độ tối thấp là khả quan, hệ số tương quan
Trang 7rất lớn và sai số nằm trong ngưỡng cho phép
của dự báo nghiệp vụ Tuy nhiên vẫn còn
những tồn tại cần tiếp tục nghiên cứu giải
quyết, đó là chất lượng dự báo nhiệt độ tối thấp
của mô hình mạng TKNT trong mùa đông và
mùa xuân chưa được cao lắm
Bài báo là một phần kết quả của đề tài
NCCB mã số 705306
Tài liệu tham khảo
[1] J.C Principe, Artificial Neural Network, CRC
Press LLC, 2000
[2] S Haykin, Neural Networks: A Comprehensive
Foundation, New York, 1994
[3] Nguyễn Hướng Điền, Hoàng Phúc Lâm, Dự báo tổng lượng bứcc xạ ngày cho khu vực đồng bằng phía Bắc Việt Nam bằng phương pháp sử dụng
mạng thần kinh nhân tạo, Tạp chí Khoa học Đại học Quốc gia Hà Nội, Chuyên san Khoa học Tự
nhiên và Công nghệ, tập 22, số 2B PT (2006) 9
[4] Hoàng Phúc Lâm, Nghiên cứu ứng dụng mạng TKNT dự báo một số yếu tố khí tượng cho các tỉnh đồng bằng phía Bắc Việt Nam, Luận văn
cao học, 2007
[5] Hoàng Phúc Lâm, Nguyễn Hướng Điền, Dự báo nhiệt độ tối cao cho khu vực đồng bằng phía Bắc
Việt Nam bằng mạng thần kinh nhân tạo, Tạp chí Khí tượng Thuỷ văn, số 571 (2008) 20 [6] Nguyễn Đình Thúc, Hoàng Đức Hải, Mạng nơron: Quy tắc và ứng dụng, NXB Giáo dục,
2000.
Time-lagged recurrent neural network and application in minimum temperature forecasting
for Northern Vietnam flat area Nguyen Huong Dien1, Hoang Thanh Van1, Hoang Phuc Lam2
1Faculty of Hydro-Meteorology & Oceanography, College of Science, VNU
2 National Centre for Hydrometeorological Forecasting
After success in using neural network in radiation and maximum temperature, we try to use another type of neural network: time-lagged recurrent network to make the time-series analysis of minimum temperature for northern Vietnam flat area By training and evaluating the results, 1 hidden layer with 5 nodes time-lagged network was chosen as the best one for this problem RMSE ranges from 1.49 to 1.59 degree while MAE around 1.1, especially the correlations are always greater than 0.93 However, when we access the maximum over and under-estimated forecast, the model is still not really good, the former one is about 7 - 8 degree and the later is around 3 - 4 degree In order to get more detail assessment, the test data set was divided into 4 parts and the season from July to September often got the best verification results These results support for the conclusions in the previous papers that the neural network with suitable configuration always gives a reasonable assessment
