ỨNG DỤNG MẠNG THẦN KINH NO RON để dự báo mực nước lũ tại hệ THỐNG SÔNG THU bồn VU GIA

MỤC LỤC MỤC LỤC DANH MỤC HÌNH VẼ .3 THÔNG TIN KẾT QUẢ NGHIÊN CỨU INFORMATION ON RESEARCH RESULTS PHẦN MỞ DẦU 1 Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài nước Tính cấp thiết .1 Mục tiêu .2 Cách tiếp cận .2 Phương pháp nghiên cứu .2 Đối tượng phạm vi nghiên cứu .2 Nội dung nghiên cứu CHƯƠNG I: TỔNG QUAN NGHIÊN CỨU 1.1 Đặc điểm điều kiện tự nhiên vùng nghiên cứu .4 1.1.1 Vị trí địa lý, địa hình .4 1.1.2 Địa chất, thổ nhưỡng .5 1.1.3 Thực vật 1.1.4 Đặc điểm khí hậu thuỷ văn 1.1.5 Đặc điểm thuỷ văn .11 1.2 Tình hình lũ lụt Việt Nam công tác dự báo 12 1.2.1 Các hình thời tiết gây mưa lớn 12 1.2.2 Chế độ mưa 14 1.2.3 Hệ thống mạng sông 15 1.2.4 Mức báo động lũ 19 1.2.5 Chế độ lũ .20 1.2.6 Độ lớn lũ .22 1.2.7 Diễn biến mưa lũ số trận lũ lớn 23 1.3 Dự báo lũ .27 1.3.1 Khái quát tình hình nghiên cứu dự báo lũ 27 1.3.2 Lý thuyết mơ hình thủy văn 28 1.3.3 Mơ hình thủy văn 29 1.3.4 Mơ hình trí tuệ nhân tạo 33 CHƯƠNG II: PHƯƠNG PHÁP NGHÊN CỨU 34 2.1 Mạng thần kinh truyền thẳng nhiều lớp (MLP) 34 2.1.1 Giới thiệu mạng Nơ-ron 34 2.1.2 Mạng thần kinh truyền thẳng nhiều lớp 36 2.1.3 Huấn luyện mạng 40 2.1.4 Thiết kế cấu trúc mạng 45 2.2 Mạng thần kinh tái phát (RNN) .46 2.2.1 Huấn luyện RNN 47 2.2.2 Mạng LSTM 47 2.2.3 Cấu trúc mạng .48 2.3 Thu thập xử lý liệu 50 2.3.1 Dữ liệu 50 2.3.2 Điều chỉnh tỉ lệ (rescale data) 51 2.3.3 Chuẩn hóa liệu (standardize data) 51 2.3.4 Bình thường hóa liệu (normalize data) 51 2.3.5 Phân chia tập liệu 52 2.3.6 Chuẩn hóa liệu 56 2.4 Các số đánh giá độ xác mơ hình 57 CHƯƠNG III: CẤU TRÚC MƠ HÌNH VÀ KẾT QUẢ NGHIÊN CỨU .58 3.1 Mạng thần kinh truyền thẳng nhiều lớp (MLP) 58 3.2 Mơ hình nhớ dài-ngắn (LSTM) 58 3.3 Kết kiểm định mơ hình 58 3.4 Kết dự báo lưu lượng 59 KẾT LUẬN VÀ KIẾN NGHỊ 61 TÀI LIỆU THAM KHẢO 64 DANH MỤC HÌNH VẼ Hình Sơ đồ phân chia tiểu lưu vực sông Thu Bồn - Vu Gia Hình Đường trình nhiệt độ năm trạm lưu vực 10 Hình Đường trình lưu lượng dịng chảy năm 12 Hình Lưu vực hệ thống sông Vu Gia – Thu Bồn .17 Hình Các tượng thủy văn 28 Hình Sơ đồ tính mơ hình thủy văn - thủy lực 30 Hình Sơ đồ mơ mơ hình MIKE SHE [27] 31 Hình Mơ tả vật lý quan hệ mưa dịng chảy mơ hình GR4J [25] 32 Hình So sánh mạng thần kinh sinh học (BNNs) mạng nơ ron nhân tạo (ANN) 33 Hình 10 Mơ hình thần kinh truyền thẳng nhiều lớp [34] 35 Hình 11 Cấu tạo tế bào nơ-ron sinh học .35 Hình 12 Đơn vị xử lý mạng thần kinh truyền thẳng nhiều lớp 36 Hình 13 Hàm truyền tuyến tính 37 Hình 14 Hàm bước nhị phân (Binary step function) 38 Hình 15 Đồ thị hàm Sigmoid 38 Hình 16 Hàm sigmoid lưỡng cực 39 Hình 17 Mơ hình Học có thầy (Supervised learning model) .41 Hình 18 Mạng nơ-ron truyền thẳng nhiều lớp 42 Hình 19 Quy trình tối ưu hóa gradient descent 43 Hình 20 Mức lỗi tối thiểu lớn 43 Hình 21 Mạng nơ-ron hồi quy (Recurrent neural network) .44 Hình 22 Ví dụ minh họa cho trừng hợp thiếu ăn khớp (underfitting), vừa khớp (just right) thừa ăn khớp (overfitting) 46 Hình 23 Vịng lặp mạng nơ-ron hồi quy 46 Hình 24 Vịng lặp mạng nơ-ron hồi quy 47 Hình 25 Mạng nhớ dài-ngắn (Long Short Term Memory networks) 48 Hình 26 Tầng cổng quên 49 Hình 27 Tầng cổng vào 49 Hình 28 Quyết định cập nhập 49 Hình 29 Tầng cổng 50 Hình 30 Chuẩn hóa liệu 52 Hình 31 Xác định xác thời điểm overfitting .53 Hình 32 Phương pháp Hold-out 55 Hình 33 Phương pháp Train-Validation-Test Split .55 Hình 34 Phương pháp Cross Validation .56 Hình 35 Các dịng chảy quan trắc dịng chảy mơ hình trạm Nông Sơn giai đoạn đào tạo, xác nhận thử nghiệm từ tháng năm 1991 đến tháng 12 năm 2010 .60 DANH MỤC BẢNG BIỂU Bảng Đặc trưng trung bình tháng, năm yếu tố khí tượng Bảng Lượng mưa tháng, năm lưu vực sông Thu Bồn (Đơn vị: mm) 10 Bảng Lưu lượng trung bình trung bình thời kỳ quan trắc (1977 - 1999) (Đơn vị; m3/s) 11 Bảng Phân bố lượng mưa bình quân nhiều năm trạm 15 Bảng Đặc trưng hình thái lưu vực Hệ thống sơng Thu Bồn-Vu Gia .18 Bảng Mức báo động lũ đỉnh lũ lớn trạm .19 Bảng Số trận lũ xảy tháng X tháng XI từ 1976 -2000 20 Bảng Đặc trưng biên độ lũ trạm Nông Sơn Thành Mỹ 21 Bảng Đỉnh lũ năm lớn từ năm 1977 đến 2004 số trạm 23 Bảng 10 Đặc trưng trận lũ từ ngày 18 đến 21 tháng 11 năm 1998 24 Bảng 11 Đặc trưng mưa từ ngày đến ngày tháng 11 năm 1999 24 Bảng 12 Đặc trưng lũ từ ngày 01 đến 08/11/1999 25 Bảng 13 Đặc trưng lũ từ ngày 01 đến 11/12/1999 25 Bảng 14 Thời gian trì mực nước cấp báo động .26 Bảng 15 Các mơ hình LSTM mơ hình MPL đề xuất 58 Bảng 16 Kết mơ hình giai đoạn thử nghiệm .59 ĐẠI HỌC ĐÀ NẴNG CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT Độc lập - Tự - Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: ỨNG DỤNG MẠNG THẦN KINH ĐỂ DỰ BÁO MỰC NƯỚC LŨ TẠI HỆ THỐNG SÔNG THU BỒN - VU GIA, VIỆT NAM - Mã số: T2020-0s6-155 - Chủ nhiệm: ThS Lưu Duy Vũ - Thành viên tham gia: - Cơ quan chủ trì: Trường Đại học Sư phạm Kỹ thuật - Thời gian thực hiện: 11/2020 – 11/2021 Mục tiêu: Huấn luyện, hiệu hỉnh kiểm tra mơ hình mạng thần kinh nhân tạo sử dụng chuỗi số liệu lượng mưa lưu lượng để dự báo lưu lượng lũ hệ thống sông Thu Bồn - Vu Gia Tính sáng tạo: Nghiên cứu chứng minh khả dự báo lũ mơ hình mạng thần kinh sử dụng liệu chuổi thời gian lưu vực Thu Bồn-Vu gia Tóm tắt kết nghiên cứu: Các mơ hình mạng thần kinh đề xuất đáng tin cậy để dự báo lũ lưu vực giá trị RMSE NSE mơ hình khoảng 320 m3/ s 0,5 Tên sản phẩm: Bài báo khoa học đăng kỷ yếu hội nghị quốc tế có danh mục SCOPUS Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: Là tiền đề để áp dụng lưu vực lân cận Nhằm xây dựng hệ thống dự báo lũ sớm cho khu vực miền Trung Mơ hình cịn sử dụng ví dụ giảng dạy lĩnh vực xây dựng, môi trường cơng nghệ thơng tin Hình ảnh, sơ đồ minh họa chính: Các dịng chảy quan trắc dịng chảy mơ hình trạm Nơng Sơn giai đoạn đào tạo, xác nhận thử nghiệm từ tháng năm 1991 đến tháng 12 năm 2010 Hội đồng KH&ĐT đơn vị (ký, họ tên) Đà Nẵng, Ngày 26 tháng 10 năm 2021 Chủ nhiệm đề tài (ký, họ tên) XÁC NHẬN CỦA TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT INFORMATION ON RESEARCH RESULTS General information: Project title: Flood Prediction Using Machine Learning at Thu Bon-Vu Gia Catchment, Vietnam Code number: T2020-06-155 Coordinator: Luu Duy Vu Implementing institution: The University of Danang – University of Technology and Education, 48 Cao Thang, Danang,Vietnam Duration: from November 2020 to November 2021 Objective(s): To train, calibrate and test neural network models using rainfall and discharge data series to predict flood discharge in the Thu Bon - Vu Gia river system Creativeness and innovativeness: Demonstrate the flood forecasting capability of neural network models using time series data in Thu Bon-Vu Gia basin Research results: Proposed neural network models are reliable to forecast the flood in the catchment when the values of RMSE and NSE of the models are about 320 m3/s and 0.5 respectively Products: A scientific article published in the proceedings of international conferences included in the SCOPUS directory Effects, transfer alternatives of reserach results and applicability: It is a premise for application in neighboring basins It allows us to build an early flood forecasting system for the central region The models can also be used as a case study in the fields of construction, environment and information technology PHẦN MỞ DẦU Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài ngồi nước • Các đề tài thực ngồi nước Biến đổi khí hậu năm gần mang hình thái phức tạp, tác động sâu rộng đời sống kinh tế xã hội người Tuy nhiên, tiến việc ứng dụng các mơ hình dự báo thảm họa thiên nhiên góp phần giảm thiểu rủi ro, đề xuất sách, cung cấp giải pháp hiệu tiết kiệm chi phí Nhiều phương pháp tiếp cận cách sử dụng mạng trí tuệ nhân tạo (AI) việc dự báo số thông số khí tượng liên quan đến biến đổi khí hậu nghiên cứu giới thiệu ước lượng xạ mặt trời [1], dự báo lượng mưa, dòng chảy [2, 3] đặc biệt dự báo dòng chảy lũ [4] Mukerji [5] sử dụng mơ hình mạng thần kinh nhân tạo (ANN), mơ hình hệ thống giao thoa mờ thần kinh thích nghi (ANFIS) hệ thống tích hợp thần kinh-GA (ANGIS) để so sánh hiệu dự báo lũ khu vực lưu vực sông Ajay, Ấn Độ Lohani [6] đề xuất hệ thống suy luận mờ dựa phân cụm Takagi Sugeno để tăng cường khả dự báo lũ M Rezaeianzadeh [7] cho thấy việc sử dụng mơ hình hồi quy mang lại kết dự báo đáng tin cậy Mặc dù thực tế số kỹ thuật AI đề xuất chứng minh mang lại kết tiềm dự báo dòng chảy lũ nhiên loại hình khí tượng cịn tượng phi tuyến ngẫu nhiên tự nhiên cần nghiên cứu thêm • Các đề tài thực nước Các mô hình vật lý dùng để dự báo dịng chảy lũ địi hỏi kiến thức chun mơn sâu thơng số thủy văn [8, 9] Do tính phức tạp liệu, nghiên cứu mơ hình vật lý bị giới hạn khả dự đốn lũ ngắn hạn Việc ứng dụng trí tuệ nhân tạo dự báo lũ tác giả nước tập trung nghiên cứu năm gần nhiên cịn [10, 11].Vì việc phát triển mơ hình dự báo dịng chảy lũ có độ tin cậy cao sử dụng trí tuệ nhân tạo vấn đề cấp thiết cần nghiên cứu Tính cấp thiết Hệ thống sông Thu Bồn - Vu Gia hệ thống sông lớn khu vực Trung Trung Bộ, hệ thống sông lớn miền Trung, hệ thống sông lớn nước Diện tích lưu vực hệ thống sơng Thu Bồn - Vu Gia 10.300 km2, chiều dài sông 205 km Hệ thống sơng nguồn cung cấp nước cho sinh hoạt sản xuất Quảng Nam Đà Nẵng Tuy nhiên, lũ lụt Hình 30 Chuẩn hóa liệu 2.3.5 Phân chia tập liệu Tập liệu đầu vào thường chia thành tập huấn luyện mơ hình (training set), kiểm chứng mơ hình (validation set) kiểm thử mơ hình (testing set) Tập huấn luyện (training set) tập liệu sử dụng để huấn luyện mơ hình Các thuật tốn học máy học mơ hình từ tập huấn luyện Việc học khác tùy thuộc vào thuật tốn mơ hình sử dụng Ví dụ, sử dụng mơt hình Hồi quy tuyến tính (Linear Regression), điểm tập huấn luyện sử dụng để tìm hàm số hay đường phù hợp mơ tả quan hệ đầu vào đầu tập liệu huấn luyện cách sử dụng số phương pháp tối ưu hóa cơng thức nghiệm trước thuật toán tối ưu gần gradient descent hay stochastic gradient descent Trong thực tế, tập liệu huấn luyện thường bao gồm cặp vectơ đầu vào vectơ đầu tương ứng, vector đầu thường gọi nhãn (label target) Các thuật tốn nói chung tìm cách 52 tối ưu sai số dự đoán tập huấn luyện đến mức đủ tốt Trong trường hợp overfitting sai số dự đốn mơ hình tập huấn luyện thấp Tập liệu kiểm chứng (validation set) cung cấp đánh giá công phù hợp mơ hình tập liệu huấn luyện trình huấn luyện Validation set có chức kết hợp: vừa liệu huấn luyện sử dụng để thử nghiệm Nó bước trung gian cho phép lựa chọn mơ hình phù hợp Validation set có tác dụng giúp tìm kiếm mơ hình tốt ứng viên huấn luyện từ training set Nó sử dụng để so sánh hiệu suất mơ hình ứng viên định mơ hình tốt cuối cách so sánh độ đo hiệu suất độ xác, độ nhạy cảm, độ hồi tưởng,R 2, MSE,… đạt Nó giúp cho q trình điều chỉnh siêu tham số mơ hình chẳng hạn số lượng đơn vị ẩn (lớp chiều rộng lớp) mạng nơ-ron để đạt mơ hình phù hợp Validation set giúp phát dừng sớm (early stopping) trình huấn luyện mơ hình lỗi validation set tăng lên đột biến, dấu hiệu mơ hình overfitting Kỹ thuật early stopping kỹ thuật sử dụng phổ biến để tránh việc overfitting Mặc dù nhìn đơn giản, việc thực thực tế lại phức tạp Sỡ dĩ lỗi dự đoán validation set dao động q trình huấn luyện, tạo nhiều cực tiểu địa phương Sự phức tạp dẫn đến việc có nhiều quy tắc đặc biệt xây dựng đề xuất để xác định xác thời điểm overfitting thực bắt đầu dựa lỗi dự đoán tập validation set Hình 31 Xác định xác thời điểm overfitting 53 Như hình vẽ trên, ta thấy dừng việc huấn luyện vị trí có thay đổi rõ rệt sai số tập validation set Đây thời điểm xảy khớp (overfitting) Overfitting tượng mơ hình xây dựng thể chi tiết liệu huấn luyện Điều có nghĩa liệu nhiễu, liệu bất thường tập huấn luyện chọn học để đưa quy luật mơ hình Những quy luật khơng có ý nghĩa nhiều áp dụng với liệu có dạng liệu nhiễu khác Khi đó, ảnh hưởng tiêu cực tới độ xác mơ hình nói chung Mục tiêu machine learning tạo mơ hình có khả tổng qt hóa để dự đoán tốt liệu chưa thấy (nằm ngồi tập huấn luyện), đó, để biết thuật tốn hay mơ hình có tốt hay khơng sau huấn luyện, mơ hình cần đánh giá hiệu thông qua liệu kiểm thử (testing set) Bộ liệu sử dụng để tính độ xác sai số mơ hình dự đốn huấn luyện Chúng ta biết nhãn thực điểm tập hợp liệu kiểm thử này, tạm thời giả vờ đưa giá trị đầu vào tập vào mơ hình dự đốn để nhận kết dự đốn đầu Sau nhìn vào nhãn thực so sánh với kết dự đốn đầu vào tương ứng xem liệu mơ hình có dự đốn hay khơng Việc tính tổng trung bình tồn lỗi tính toán lỗi dự đoán tập kiểm thử Tập liệu kiểm thử tốt tập liệu độc lập với tập liệu huấn luyện (để khơng tham gia vào q trình huấn luyện), tuân theo phân phối xác suất tập liệu huấn luyện Điều giúp cho việc đánh giá khơng bị thiên vị Nếu mơ hình phù hợp với trainining set lại sai khác testing set, việc có khả bị overfitting Ngược lại, sai số khơng q nhiều thường chúng mơ hình phù hợp Các lỗi dự đốn đánh giá thơng qua nhiều số khác R MAE Một lưu ý số đo mức độ hiệu mơ hình tập kiểm thử khác với lossfunction hay objective function sử dụng để tối ưu hóa mơ hình tập huấn luyện Nghĩa trình kiểm thử trình huấn luyện hoàn toàn độc lập với nhau, liệu lẫn cách thức so sánh số Thông thường hạn chế tài nguyên thời gian, ba tách từ liệu quan sát cung cấp Thực xây dựng riêng testing set, hay validation set riêng, điều khơng cần thiết tốn nhiều thời gian Phương án tối ưu chia từ liệu quan sát cung cấp sẵn Về bản, có nhiều cách phân chia tập liệu khác phụ thuộc vào số lượng liệu quan sát cung cấp mơ hình thực 54 tế huấn luyện Có cách chia tập liệu thường sử dụng thực tế là: Hold-out: Đây phương pháp chia tập liệu quan sát cung cấp thành hai tập con, tập để huấn luyện (thường chiếm 80% lượng liệu 70% liệu) tập bỏ (Hold-out) ngồi tập huấn luyện đóng vai trị testing set, phần lại liệu cung cấp (thường 20% lượng liệu 30% liệu cịn lại) Hình 32 Phương pháp Hold-out Train-Validation-Test Split: Đây phương pháp có sử dụng liệu validation set Cách thức chia tương tự trường hợp Hold-out, tức để riêng liệu để kiểm thử (testing set), lượng liệu lại lại chia nhỏ thành phần, phần để train mơ hình (thường khoảng 80% lượng liệu lại), phần để kiểm chứng hiệu chỉnh mơ hình (validation – 20% liệu cịn lại) Hình 33 Phương pháp Train-Validation-Test Split Cross Validation: Đây phương pháp chủ yếu sử dụng để đánh giá thuật tốn huấn luyện dạng mơ hình huấn luyện khơng phải mơ hình huấn luyện Khi đó, trình huấn luyện kiểm thử thực lặp lặp lại nhiều lần Trong lần tập liệu quan sát chia thành phần (training testing), phần training sử dụng cho việc huấn luyện, phần testing sử dụng cho kiểm thử Sau kết kiểm thử lần cộng lại lấy trung bình Nếu kết trung bình tốt có nghĩa thuật tốn huấn luyện dạng mơ hình sử dụng tốt có độ ổn định cao Cách chia tập training – testing 55 cross validation lại khác dựa số lượng liệu chia, kể đến như: Leave-p-out cross-validation (để lượng liệu p quan sát làm kiểm thử), Leave-one-out cross-validation (lấy điểm liệu để kiểm thử sau lần), phổ biến k-fold validation (chia liệu thành kphần, phần để kiểm thử k−1 phần để huấn luyện) Ý tưởng thực tồn q trình huấn luyện – đánh giá k lần tính trung bình độ xác qua lần Ví dụ: 5-fold cross validation, lấy 20% liệu để tính tốn accuracy, precision, recall, F1-Score… Sau đó, thực kiểm thử tiếp 20% liệu thứ hai tính tốn lại thống kê Quy trình lặp lặp lại lần lần testing set phân đoạn liệu khác Cuối tính trung bình tất độ xác, hiểu rõ cách mơ hình hoạt động Hình 34 Phương pháp Cross Validation 2.3.6 Chuẩn hóa liệu Mơ hình MLP LSTM khơng thể ngoại suy phạm vi tập liệu huấn luyện Tuy nhiên góc độ biến đổi khí hậu, nguy lũ lụt kỷ lục lớn xảy Do đó, chuẩn hóa tất liệu giải pháp lý tưởng để ngoại suy Tất liệu đầu vào chuẩn hóa dựa phương trình sau: (8) (9) (10) 56 Trong Xi liệu đầu vào, trung bình Xi; Std độ lệch chuẩn X i; Si Xi khơng chuẩn hóa; N tổng số liệu 2.4 Các số đánh giá độ xác mơ hình Để huấn luyện mạng xét xem thực tốt đến đâu, ta cần xây dựng hàm mục tiêu (hay hàm giá) để cung cấp cách thức đánh giá khả hệ thống cách không nhập nhằng Việc chọn hàm mục tiêu quan trọng hàm thể mục tiêu thiết kế định thuật tốn huấn luyện áp dụng Để phát triển hàm mục tiêu đo xác muốn khơng phải việc dễ dàng Một vài hàm sử dụng rộng rãi Một số chúng hàm tổng bình phương lỗi (sum of squares error function) RMSE độ lệch chuẩn phần dư (lỗi dự đoán) Phần dư thước đo khoảng cách từ điểm liệu đường hồi quy; RMSE thước đo mức độ lan truyền phần dư Nói cách khác, cho bạn biết mức độ tập trung liệu xung quanh dòng phù hợp Lỗi bình phương trung bình thường sử dụng khí hậu học, dự báo phân tích hồi quy để xác minh kết thí nghiệm Với RMSE nhỏ tức sai số bé mức độ ước lượng cho thấy độ tin cậy mơ hình đạt cao Hệ số hiệu (Nash Sutcliffe Efficiency - NSE): sử dụng để đo mức độ liên kết giá trị thực đo mô Hệ số đề xuất Nash-Sutcliffe (1970) Với NSE tiến tới 1, sai số bé Có nghĩa mơ hình có mức độ tin cậy cao (1) (2) Trong đó: : giá trị ước lượng Yi: giá trị thực đo n: số tổng lượng quan sát 57 CHƯƠNG III: CẤU TRÚC MÔ HÌNH VÀ KẾT QUẢ NGHIÊN CỨU Mơ hình MLP LSTM xây dựng để ghi nhận tạo mối quan hệ lượng mưa trạm Trà My, Tiên Phước, Hiệp Đức Nông Sơn liệu lưu lượng trạm đo Nông Sơn lưu vực Thu Bồn - Vu Gia Đề tài sử dụng liệu ngày Dữ liệu đầu vào lượng mưa trạm Trà My, Tiên Phước, Hiệp Đức Nông Sơn, liệu lưu lượng Nông Sơn liệu đầu từ năm 1991 đến 2010 Tập liệu chia thành tập huấn luyện mơ hình (training set), kiểm chứng mơ hình (validation set) kiểm thử mơ hình (testing set) Tập huấn luyện mơ hình sử dụng liệu từ 1991 đến 2007, số liệu năm 2008 2009 sử dụng cho mục đích kiểm chứng mơ hình (validation set) kiểm thử mơ hình (testing set) sử dụng liệu năm 2010 Số lượng nơ-ron lớp đâu vào đầu hai mơ hình MLP LSTM nơ-ron lơp đầu vào để nhận số liệu mưa Trà My, Tiên Phước, Hiệp Đức Nông Sơn liệu lưu lượng trạm đo Nông Sơn nơ-ron đầu sẻ cho số liệu lưu lượng dự báo trạm Nông Sơn 3.1 Mạng thần kinh truyền thẳng nhiều lớp (MLP) Đề tài xây dựng mơ hình dự báo lũ MLP khu vực sông Thu Bồn - Vu Gia Đề lựa cho mơ hình tối ưu, đề tài tập trung lựa chọn thơng số mơ hình sau: bước thời gian, số epoch, batch_size lớp ẩn Trong mơ hình số lớp ẩn giới hạn môt lớp, learning rate 0.001, dropout rate 0.1 3.2 Mơ hình nhớ dài-ngắn (LSTM) Tương tự mơ hình MLP, nhiều mơ hình LSTM với thơng số mơ hình sau: bước thời gian, số epoch, batch_size lớp ẩn thử nghiệm để lựa chọn mơ hình tối ưu 3.3 Kết kiểm định mơ hình Trong trình xác nhận, dự án sử dụng giá trị RMSE NSE để tìm mơ hình LSTM ANN tối ưu từ mơ hình đề xuất với siêu tham số khác Bảng 15 Các mơ hình LSTM mơ hình MPL đề xuất Mơ hình LSTM 58 Mơ hình MPL Bước thời days gian Số lớp ẩn Biến số - Learning rate: 0.001 - Số epochs: 138 - Số batch_size: 73 - Dropout rate: 0.1 - Early stopping: có days Số neuron lớp đầu vào, lớp ẩn lớp đầu 5, 7, and 5, 4, and 1 - Learning rate: 0.001 - Số epochs: 93 - Số batch_size: 73 - Dropout rate: 0.1 - Early stopping: có 3.4 Kết dự báo lưu lượng Các mơ hình chọn sử dụng liệu thử nghiệm chưa thấy, năm 2010, để đánh giá khả dự báo chúng Dữ liệu năm 2010 chọn để kiểm tra trận lũ lịch sử xảy vào tháng 11 năm 2010 So sánh hai mơ hình thể Bảng 17 Hình 38 Giá trị RMSE không cao, khoảng 320 m3/s so với đỉnh lớn lưu lượng 6.520 m 3/s Các giá trị NSE gần Hơn nữa, có khác biệt nhỏ tiêu chí đánh giá mơ hình hai mơ hình Bảng 16 Kết mơ hình giai đoạn thử nghiệm Mơ hình RMSE (m3/s) NSE Đỉnh lũ mơ hình (m3/s) LSTM 321.607 MLP 315.172 0.524 0.592 6,262 6,064 59 Đỉnh lũ quan trắc (m3/s) 6,520 6,520 Lỗi (%) Hình 35 Các dịng chảy quan trắc dịng chảy mơ hình trạm Nơng Sơn giai đoạn đào tạo, xác nhận thử nghiệm từ tháng năm 1991 đến tháng 12 năm 2010 Hình 38 minh họa mối quan hệ lưu lượng mơ hình hóa liệu quan sát từ tháng năm 1991 đến tháng 12 năm 2010 Có xu hướng tương tự liệu quan sát liệu mơ hình Cả mơ hình LSTM MLP có khả tạo kết gần với kết quan sát lưu vực Chúng dự báo đỉnh lũ Tuy nhiên, mơ hình LSTM MLP thường đánh giá thấp đỉnh lũ lịch sử Nguyên nhân vận hành hồ chứa khiến lưu lượng xả bất ngờ lớn điểm xảy lũ Do đó, nghiên cứu cần xem xét việc vận hành hồ chứa lưu vực Nguyên nhân vấn đề xả lũ hồ chứa thượng nguồn vào thời điểm Do đó, dịng lũ trở nên lớn bất thường Vào ngày có mưa lớn kết tất yếu lưu lượng tăng lên Mơ hình MLP LSTM học điều Tuy nhiện hoạt xả lũ thủy điện không phụ thuộc vào lượng mưa lưu lượng lịch sử mà nhiều lý khác để định mức xả lũ Thế nên mơ hình MLP LSTM dựa vào lưu lượng lượng mưa lịch sử dự báo lưu lượng dòng chảy tăng thêm nhà máy thủy điện xả ngày có lũ Một lý khác đến từ khác biệt đất bị bão hòa thời kỳ mùa mưa lưu vực kéo dài từ tháng đến tháng 12 Đất bão hịa cho phép hình thành dòng chảy mặt trời mưa kết lưu lượng dòng chảy tăng mạnh Điều dẫn đến số liệu thực đo thường lớn so với số liệu ước tính Nghiên cứu phát triển so sánh khả mơ hình LSTM MLP việc dự báo lưu lượng nước thải lưu vực Thu Bồn-Vu Gia Điều chứng tỏ LSTM MLP có khả dự báo lũ lưu vực 60 KẾT LUẬN VÀ KIẾN NGHỊ Tỉnh Quảng Nam TP Đà Nẵng nằm vùng hạ du hệ thống sông Thu Bồn Vu Gia, sơng lớn Việt Nam Hệ thống song có nguồn nước phong phú, thuận lợi cho phát triển kinh tế xã hôi khu vực Tuy nhiên bên cạnh hệ thống sơng có tác động bất lợi đến đời sống người dân lũ lụt, lũ quét, hạn hán, xâm nhập mặn, sạt lở bờ sông, bờ biển chế độ thủy văn Tài nguyên nước hệ thống song Một tác động nghiêm trọng lũ lụt Dựa đặc điểm địa lý tự nhiên, hình thời tiết gây mưa lớn hình thành lũ lớn hệ thống sơng này, có ba giải pháp phịng chống lũ lụt, là: giải pháp phi cơng trình, giải pháp cơng trình giải pháp tránh lũ sống chung với lũ (giải pháp kết hợp) Trong đề tài ứng dụng mạng nơ-ron thần kinh để xây dựng phương án dự báo lũ, giải pháp phi cơng trình, cho hệ thống sơng Hiện có ba loại mơ hình thủy văn để dự báo lũ, mơ hình khái niệm, mơ hình thực nghiệm mơ hình vật lý Tuy nhiên cứu điều kiện số liệu có lưu vực chưa đầy đủ Nghiên cứu nhằm đánh giá khả dự đốn lưu lượng hệ thống sơng Thu Bồn - Vu Gia mơ hình MLP LSTM Ưu điểm phương pháp khơng u cầu nhiều tham số để tạo kết xác Điều có ý nghĩa quan trọng cho lưu vực Thu Bồn - Vu Gia khu vực thiếu nhiều liệu xác Nghiên cứu chứng minh khả mơ hình MLP LSTM tạo lưu lượng hàng ngày dựa lượng mưa lưu lượng hàng ngày Mơ hình huấn luyện số liệu từ 1991 đến 2010 Sau q trình huấn luyện mơ hình có 61 thể đưa dự báo lũ dựa số liệu mưa lũ lịch sử Ví dụ mơ hình dự báo gần xác đỉnh lũ tháng 11 năm 2010 Số liệu mô khoảng 6,200 m 3/s, số liệu thực đo 6,520 m3/s Đây kết tương đối khả quan mơ hình u cầu số liệu đầu vào gồm có liệu mưa lưu lượng Sai số đến từ tác động từ hoạt động người Một nguyên nhân kể đến hoạt động xả lũ đột ngột nhà máy thủy điện lưu vực Hoạt động xả lũ kiến số liệu thực đo tăng cao bất thường Điều mơ hình gần khơng thể dự đốn Một lý khác đất bão hịa Sai số chấp nhận liệu đầu vào mơ hình hạn chế, bao gồm lượng mưa lưu lượng Tại nước phát triển, hay nơi khó khơng thể thu thập liệu, phương pháp MLP LSTM giải pháp khả thi để dự báo lũ sớm Chúng ta xây dựng trạm lưu lượng lượng mưa tự động khu vực thượng nguồn Hệ thống liên tục gửi số liệu trực tiếp trung tâm điều kiển Mơ hình MLP LSTM liên tục đưa dự báo thời gian thực dựa số liệu truyền Các dự báo liên tục cập nhật mơ hình MLP LSTM khơng u cầu thời gian dài để thực Ngồi phương pháp khơng u cầu thơng tin địa hình thủy văn, làm giảm lượng thời gian dành cho việc thu thập phân tích liệu giảm sai số dự liệu khơng xác 62 63 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] Z Boussaada, O Curea, A Remaci, H Camblong, and N Mrabet Bellaaj, "A nonlinear autoregressive exogenous (NARX) neural network model for the prediction of the daily direct solar radiation," Energies, vol 11, no 3, p 620, 2018 D N Kumar, K S Raju, and T Sathish, "River flow forecasting using recurrent neural networks," Water resources management, vol 18, no 2, pp 143-161, 2004 F Kratzert, D Klotz, C Brenner, K Schulz, and M Herrnegger, "Rainfall–runoff modelling using long short-term memory (LSTM) networks," Hydrology and Earth System Sciences, vol 22, no 11, pp 6005-6022, 2018 A Mosavi, P Ozturk, and K.-w Chau, "Flood prediction using machine learning models: Literature review," Water, vol 10, no 11, p 1536, 2018 A Mukerji, C Chatterjee, and N S Raghuwanshi, "Flood forecasting using ANN, neuro-fuzzy, and neuro-GA models," Journal of Hydrologic Engineering, vol 14, no 6, pp 647-652, 2009 A K Lohani, N Goel, and K Bhatia, "Improving real time flood forecasting using fuzzy inference system," Journal of hydrology, vol 509, pp 25-41, 2014 M Rezaeianzadeh, H Tabari, A A Yazdi, S Isik, and L Kalin, "Flood flow forecasting using ANN, ANFIS and regression models," Neural Computing and Applications, vol 25, no 1, pp 25-37, 2014 V Đ Long, T N Anh, H T Bình, and Đ Đ Khá, "Giới thiệu công nghệ dự báo lũ hệ thống sông Bến Hải Thạch Hãn sử dụng mô hình MIKE 11," ed: Tạp chí Khoa học ĐHQGHN, Khoa học Tự nhiên công nghệ, 2010 T T Nguyễn, "Nghiên cứu dự báo dòng chảy lũ đến hồ Tuyên Quang sông Gâm: Luận văn thạc sĩ Chuyên ngành Thủy văn học: 60-44-90," 2015 N V Quận, Đ P Thảo, N X Thịnh, and N V Tiến, "NGHIÊN CỨU ỨNG DỤNG MẠNG THẦN KINH NHÂN TẠO (ANN) TRONG DỰ BÁO LƯU LƯỢNG NƯỚC ĐẾN HỒ CHỨA CỬA ĐẠT." N T T Thúy and N H Thân, "Ứng dụng mạng nơron hồi quy tổng quát thuật toán nội suy đánh giá chất lượng nước mặt sông chi lưu sơng Đồng Nai, tỉnh Bình Dương năm 2012-2018," Tạp chí Khoa học Trường Đại học Cần Thơ, pp 8595, 2019 M Rast, J Johannessen, and W Mauser, "Review of understanding of Earth’s hydrological cycle: Observations, theory and modelling," Surveys in Geophysics, vol 35, no 3, pp 491-513, 2014 D R Maidment, Handbook of hydrology McGraw-Hill New York, 1993 M Robinson and R C Ward, Hydrology: principles and processes Iwa Publishing, 2017 J Bartholmes and E Todini, "Coupling meteorological and hydrological models for flood forecasting," Hydrology and Earth System Sciences Discussions, vol 9, no 4, pp 333-346, 2005 R Clarke, "A review of some mathematical models used in hydrology, with observations on their calibration and use," Journal of hydrology, vol 19, no 1, pp 1-20, 1973 H Wheater, S Sorooshian, and K D Sharma, Hydrological modelling in arid and semi-arid areas Cambridge University Press, 2007 G K Devia, B P Ganasri, and G S Dwarakish, "A review on hydrological models," Aquatic Procedia, vol 4, pp 1001-1007, 2015 64 [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] M B Abbott, J C Bathurst, J A Cunge, P E O'Connell, and J Rasmussen, "An introduction to the European Hydrological System—Systeme Hydrologique Europeen,“SHE”, 1: History and philosophy of a physically-based, distributed modelling system," Journal of hydrology, vol 87, no 1-2, pp 45-59, 1986 M Abbott, J Bathurst, J Cunge, P O'connell, and J Rasmussen, "An introduction to the European Hydrological System—Systeme Hydrologique Europeen,“SHE”, 2: Structure of a physically-based, distributed modelling system," Journal of hydrology, vol 87, no 1-2, pp 61-77, 1986 J C Refsgaard, "Parameterisation, calibration and validation of distributed hydrological models," Journal of hydrology, vol 198, no 1-4, pp 69-97, 1997 G Sahoo, C Ray, and E De Carlo, "Calibration and validation of a physically distributed hydrological model, MIKE SHE, to predict streamflow at high frequency in a flashy mountainous Hawaii stream," Journal of Hydrology, vol 327, no 1-2, pp 94-109, 2006 J Thompson, H R Sørenson, H Gavin, and A Refsgaard, "Application of the coupled MIKE SHE/MIKE 11 modelling system to a lowland wet grassland in southeast England," Journal of Hydrology, vol 293, no 1-4, pp 151-179, 2004 C E McMichael, A S Hope, and H A Loaiciga, "Distributed hydrological modelling in California semi-arid shrublands: MIKE SHE model calibration and uncertainty estimation," Journal of Hydrology, vol 317, no 3-4, pp 307-324, 2006 D Harlan, M Wangsadipura, and C M Munajat, "Rainfall-Runoff Modeling of citarum hulu river basin by using GR4j," in Proceedings of the world congress on engineering, 2010, vol 2, pp 4-8 V Simonneaux, L Hanich, G Boulet, and S Thomas, "Modelling runoff in the Rheraya Catchment (High Atlas, Morocco) using the simple daily model GR4J Trends over the last decades," in 13th IWRA World Water Congress, Montpellier, France, 2008 J Refshaard and B Storm, "MIKE SHE," Computer models of watershed hydrology., pp 809-846, 1995 M Campolo, P Andreussi, and A Soldati, "River flood forecasting with a neural network model," Water resources research, vol 35, no 4, pp 1191-1197, 1999 A H Halff, H M Halff, and M Azmoodeh, "Predicting runoff from rainfall using neural networks," in Engineering hydrology, 1993, pp 760-765: ASCE K l Hsu, H V Gupta, and S Sorooshian, "Artificial neural network modeling of the rainfall‐runoff process," Water resources research, vol 31, no 10, pp 25172530, 1995 H V Gupta, K.-l Hsu, and S Sorooshian, "Superior training of artificial neural networks using weight-space partitioning," in Proceedings of International Conference on Neural Networks (ICNN'97), 1997, vol 3, pp 1919-1923: IEEE N Karunanithi, W J Grenney, D Whitley, and K Bovee, "Neural networks for river flow prediction," Journal of computing in civil engineering, vol 8, no 2, pp 201-220, 1994 M Markus, J D Salas, and H S Shin, "Predicting streamflows based on neural networks," in Proceedings of the 1st International Conference on Water Resources Part (of 2), 1995, pp 1641-1646: ASCE P T H Nhung and H Q Thụy, "Nghiên cứu, sử dụng mạng nơ-ron nhân tạo dự báo lưu lượng nước đến hồ Hồ Bình trước 10 ngày," Hội thảo Quốc gia Một số vấn đề chọn lọc Công nghệ thông tin Truyền thông, lần thứ X, Đại Lải, Vĩnh Phúc, vol 9, p 2007, 2007 65 [35] S Hochreiter and J Schmidhuber, "LSTM can solve hard long time lag problems," Advances in neural information processing systems, pp 473-479, 1997 66 ... lưu lượng để dự báo lưu lượng lũ hệ thống sông Thu Bồn - Vu Gia Tính sáng tạo: Nghiên cứu chứng minh khả dự báo lũ mô hình mạng thần kinh sử dụng liệu chuổi thời gian lưu vực Thu Bồn- Vu gia 4 Tóm... cấp thiết Hệ thống sơng Thu Bồn - Vu Gia hệ thống sông lớn khu vực Trung Trung Bộ, hệ thống sông lớn miền Trung, hệ thống sơng lớn nước Diện tích lưu vực hệ thống sông Thu Bồn - Vu Gia 10.300... chảy sơng tồn mùa lũ, mùa kiệt dòng chảy từ thượng nguồn bé 16 Hình Lưu vực hệ thống sông Vu Gia – Thu Bồn 1.2.3.2 Sông Vu Gia Sông Vu Gia hai sông hợp thành hệ thống sông Thu Bồn sông lớn thứ hai