Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00055 SỬ DỤNG MƠ HÌNH HỌC MÁY TRONG HỖ TRỢ DIỄN ĐỐN THỦY LỰC, THỦY VĂN TRÊN HỆ THỐNG BẮC HƯNG HẢI Nguyễn Văn Nam, Trần Mạnh Tuấn, Đặng Thị Thu Hiền, Nguyễn Huy Đức, Kiều Tuấn Dũng, Đỗ Oanh Cường, Nguyễn Tu Trung DS Lab, Khoa Công nghệ thông tin, Trường Đại học Thủy Lợi namnv@tlu.edu.vn, tmtuan@tlu.edu.vn, hiendt@tlu.edu.vn, dungkt@tlu.edu.vn, cuongdo@tlu.edu.vn, trungnt@tlu.edu.vn TÓM TẮT: Bài toán diễn đoán thủy văn, thủy lực nhiều nhà khoa học lĩnh vực thủy lợi, toán học, tin học tập nghiên cứu phần thu kết Tuy nhiên, trạm thủy lợi thuộc hệ thống thủy lợi Bắc Hưng Hải, việc áp dụng công cụ hỗ trợ để diễn đoán thủy văn, thủy lực từ hệ thống máy chưa thực quan tâm nhiều Trong báo này, tập trung vào việc xây dựng mơ hình học máy làm cơng cụ mơ máy tính để hỗ trợ giải toán diễn đoán thủy văn, thủy lực trạm thủy lợi hệ thống thủy lợi Bắc Hưng Hải dựa số liệu thu thập từ trạm để hỗ trợ việc vận hành hệ thống thủy lợi trạm Từ khóa: học máy, diễn đốn, thủy lực, thủy văn, Bắc Hưng Hải I GIỚI THIỆU Ngày nay, với phát triển nhanh chóng cơng nghệ thông tin, lượng liệu tạo lưu trữ thiết bị điện tử không ngừng tăng lên Dữ liệu tích lũy với tốc độ bùng nổ từ nhiều lĩnh vực sống hàng ngày như: khoa học, kinh doanh, giao dịch, thương mại, chứng khốn, v.v Để tổng hợp phân tích, khai thác thông tin dự báo tương lai vấn đề phức tạp Dự báo khoa học rộng lớn Như tài doanh nghiệp dự báo q trình xem xét khứ, nhìn nhận dự đốn tình hình tài doanh nghiệp tương lai viễn cảnh định Khi dự báo giúp doanh nghiệp chủ động hoạch định chiến lược phát triển tương lai giảm khả rủi đến với doanh nghiệp [1] Như tự nhiên việc phân tích xem xét số liệu địa chất để dự báo khả thiên tai xảy [2] Việc dự báo xác mực nước hệ thống thủy lợi yêu cầu cấp bách nhằm trợ giúp việc giảm thiểu rủi ro lũ gây có ý nghĩa quan trọng việc xây dựng phương án phịng, chống lũ Một số mơ hình số thủy lực thủy văn truyền thống sử dụng để dự báo Việt Nam giới Các mơ hình u cầu số lượng lớn liệu đầu vào như: đặc điểm lưu vực, quan hệ mưa - dịng chảy, địa hình, dự báo lượng mưa, quan hệ lưu lượng - mực nước theo thời gian số vị trí Để khắc phục điều nhà khoa học thời gian gần nghiên cứu phương pháp học máy để giải toán dự báo mực nước hệ thống thủy lợi Các mơ hình học máy coi cơng cụ việc phân tích liệu lớn, dự báo tốn thực tế phải đối mặt như: thiên tai, tài chính, y tế, giáo dục,… Việc giải toán dự báo nhà khoa học nghiên cứu, thời gian gần có số cơng trình nghiên cứu việc giải vấn đề dự báo mơ hình học máy, cụ thể phương pháp như: phương pháp phân lớp, mạng nơron, để phân tích liệu khứ để từ dự báo tương lai Nhiều phương pháp học máy đề xuất học có giám sát dự báo điều kiện sóng đại dương [3], random forest kết hợp với fuzzy logic sử dụng để xác định loại bão cách tự động [4], sử dụng mơ hình fuzzy random forest để tạo phân hoạch mờ với ưu điểm vượt trội độ xác khả xử lý với nhiễu trình phân hoạch [5], Do đóng góp báo trình bày việc áp dụng mơ hình học máy diễn đoán thủy lực, thủy văn hệ thống Bắc Hưng Hải Ý nghĩa nghiên cứu hỗ trợ có hiệu việc điều tiết mực nước trạm thủy lợi hệ thống Bắc Hưng Hải Phần báo tổ chức sau: phần II, chúng tơi trình bày mơ hình học máy sử dụng Phần III trình bày số kết thực liệu thực đánh giá hiệu mơ hình học máy trình bày Cuối kết luận hướng phát triển thời gian tới II MỘT SỐ MƠ HÌNH HỌC MÁY Trong phần này, mục 2.1 trình bày tốn diễn đốn thủy lực, thủy văn Mục 2.2 trình bày số phương pháp học máy sử dụng giải toán diễn đoán thủy lực, thủy văn 2.1 Bài toán diễn đoán báo thủy lực, thủy văn Diễn đoán thủy lực, thủy văn toán dự báo thủy lực, thủy văn Dự báo khoa học nghệ thuật tiên đoán yếu tố xảy tương lai Tính khoa học dự báo thể chỗ tiến hành dự báo người ta phải Nguyễn Văn Nam, Trần Mạnh Tuấn, Đặng Thị Thu Hiền, Kiều Tuấn Dũng, Đỗ Oanh Cường, Nguyễn Tú Trung 431 liệu phản ánh tình hình thực tế khứ tại, vào xu sở khoa học để dự đoán việc xảy tương lai Bài toán dự báo toán yêu cầu đưa dự đoán tương lai dựa liệu khứ và phổ biến cách phân tích xu hướng Hầu hết toán dự báo tập trung bước thực phương pháp Một số vấn đề chung chung xuất đối mặt với câu hỏi vậy: Làm để đánh giá không chắn? Làm để giữ cho phương pháp dự báo đơn giản? Làm để thực biểu diễn thực tế liên kết thu kết với bối cảnh (siêu hệ thống)? Làm để đạt thỏa thuận nhóm làm việc bao gồm chuyên gia với nhiều lực tầm nhìn khác nhau? Những lý do, nhân ngây thơ phù hợp với dự báo cụ thể? Bài toán diễn đoán thủy văn, thủy lực hệ thống Bắc Hưng Hải dựa số liệu thu thập lưu lượng, mực nước thông qua thiết bị thu thập để dự báo lưu lượng nước thông trạm thủy lợi từ hỗ trợ vận hành hệ thống thủy lợi trạm Bài toán diễn đoán thủy văn, thủy lực nhiều nhà khoa học lĩnh vực thủy lợi, toán học, tin học tập nghiên cứu phần thu kết Tuy nhiên, trạm thủy lợi thuộc hệ thống thủy lợi Bắc Hưng Hải, việc áp dụng cơng cụ hỗ trợ để diễn đốn thủy văn, thủy lực từ hệ thống máy chưa thực quan tâm nhiều 2.2 Một số mơ hình máy học giải toán diễn đoán thủy lực, thủy văn hệ thống Bắc Hưng Hải Hình Mơ hình xử lý thơng tin dự báo Trong hình mơ hình xử lý thơng tin dự báo Với liệu thu thập phục vụ dự báo, cần tổ chức quản lý liệu thu thập thực việc xử lý liệu khai thác liệu để đưa liệu đầu yếu tố dự báo Trong trình xử lý, khai thác liệu sử dụng mơ hình học máy để đưa kết dự báo Trong nội dung nghiên cứu nghiên cứu thử nghiệm mơ hình học máy: hồi quy tuyến tính mạng nơron I Mơ hình hồi quy tuyến tính Mơ hình hồi quy tuyến tính (Linear Regression-LR) [6] chia thành loại: hồi quy đơn biến (là mơ hình hồi quy với biến) hồi quy đa biến (là mơ hình hồi quy với nhiều biến) Xét mơ hình hồi quy tổng quát để giải toán diễn đoán thủy lực, thủy văn xác định mức độ hài lòng hộ dân dùng dịch vụ nước tưới tiêu, thông thường viết sau: Y= E(X,β ) (1) Trong X: Các biến dự báo/độc lập (predictor/independent variables); Y: Các biến đáp ứng/phụ thuộc (responses/dependent variables); β : Các hệ số hồi quy (regression coefficients) X dùng đề giải thích biến đổi đáp ứng Y Y dùng để mô tả tượng (phenomenon) quan tâm giải thích Quan hệ Y X diễn tả phụ thuộc hàm Y X β mô tả ảnh hưởng X Y II Mạng nơron nhân tạo Mạng nơron nhân tạo (Artificial Neural Network- ANN [7]) bao gồm nhiều nơron độc lập liên kết với Trước định nghĩa mạng nơron nhân tạo, tìm hiểu mơ hình nơron nhân tạo Một nơron nhân tạo phản ánh tính chất nơron sinh học Mỗi nơron nhân tạo đơn vị xử lý thông tin làm sở cho hoạt động mạng nơron Nó có chức nhận tín hiệu vào, tổng hợp xử lý tín hiệu vào để tính tín hiệu (hình 2) Dưới mơ hình nơron nhân tạo: 432 SỬ DỤNG MƠ HÌNH HỌC MÁY TRONG HỖ TRỢ DIỄN ĐỐN THỦY LỰC, THỦY VĂN TRÊN HỆ THỐNG… Hình Mơ hình nơron Trong đó: xi với i= 1,2, ,n tín hiệu đầu vào; wij với i=1,2, ,n trọng số liên kết tương ứng với đầu vào nơron j; bj ngưỡng kích hoạt nơron j; netj tín hiệu tổng hợp đầu vào nơron j; f(netj) hàm kích hoạt; yi tín hiệu nơron j Đầu vào nơron nhân tạo gồm n tín hiệu xi với i = 1,2, ,n Mỗi tín hiệu đầu vào tương ứng vói trọng số wij, thể mức độ ảnh hưởng tín hiệu xi đến nơron j Tín hiệu đầu vào nơron liệu từ bên mạng, đầu nơron khác, đầu Nhằm tăng khả thích nghi mạng nơron trình học, người ta sử dụng thêm tham số (Bias) gán cho nơron Tham số cịn gọi trọng số nơron, ta kí hiệu trọng số nơron thứ j b k Các tín hiệu đầu vào nơron tổng hợp cộng, kết cho ta giá trị gọi net j nơron thứ j Ta giả định netj hàm tín hiệu xi trọng số wij Có nhiều cách để tính tổng tín hiệu vào noron, netj = x1w1j + x2w2j + + xnwnj = ∑ xiwij (2) netj = max[min(xi, wij)], với i = 1,2, ,n (3) Nếu wij > nơron coi trạng thái kích thích Ngược lại, wij < nơron trạng thái kiềm chế Sau tổng hợp tín hiệu đầu vào netj, sử dụng hàm kích hoạt f biến đổi netj để thu tín hiệu đầu outj Yj = outj = f(netj) (4) Quá trình huấn luyện mạng nơron dựa lỗi hồi quy giá trị dự đoán giá trị quan sát biến đích, giải thuật huấn luyện điều chỉnh trọng số kết nối mạng nơ-ron nhằm cực tiểu hóa lỗi hồi quy mẫu huấn luyện Sau mạng huấn luyện thành cơng, tri thức tích luỹ q trình huấn luyện mạng (các ma trận trọng số, tham số tự do,…) cập nhật vào sở tri thức để sử dụng trình dự đốn Có nhiều loại mạng nơron, nhiều tầng dùng cho tốn học có giám sát học không giám sát III Máy véctơ hỗ trợ hồi quy Máy véc-tơ hỗ trợ hồi quy (Support Véctơ Regression- SVR) [8] tìm siêu phẳng qua tất điểm liệu với độ lệch chuẩn ε Trong hồi quy ε - SV, mục đích tìm hàm f(X) cơng thức (5) có sai số nhỏ ε so với biến đích Yi: ( ) ( ) (5) Trong w RM, (X) biểu thị hàm phi tuyến chuyển từ không gian RM vào không gian nhiều chiều Mục đích cần tìm w b để giá trị X=x xác định cách tối thiểu hóa lỗi hồi quy Từ dẫn đến giải tốn quy hoạch tồn phương sau: Với điều kiện: ( ) ‖ ‖ ∑ ( ) (6) Nguyễn Văn Nam, Trần Mạnh Tuấn, Đặng Thị Thu Hiền, Kiều Tuấn Dũng, Đỗ Oanh Cường, Nguyễn Tú Trung ( {( 433 ) ) Ở đây, i, i* hai biến bù [8] C > dùng để chỉnh độ rộng lề lỗi Để giải tốn (6), trước tiên phải tìm cực tiểu hàm L theo w, b, i, i* Với i, i*, i, ( ∑ i* ) ( ( ) ‖ ‖ ∑ ) hệ số Lagrange thỏa mãn điều kiện: ∑( ( i, i*, ) i, * i ∑( 0, i=1 N ( ) Lấy đạo hàm cấp phương trình (16), hồi quy phi tuyến SVR sử dụng hàm lỗi { với ràng buộc: ∑ ( ∑ ( )( ) ( [ ) ) ∑ ( ) ∑ ) ) (7) tính sau: ( ] )} (8) (9) Giải biểu thức (8) với ràng buộc (9) xác định nhân tử Lagrange i, i* Khi đó, mơ hình hồi quy SVR trình bày (5), với Trong Xj Xk véctơ hỗ trợ, ̂ ) ∑( ( ) ̂ ( ) ̂( ) SVR dùng hàm nhân khác để giải lớp tốn hồi quy phi tuyến mà khơng cần thay đổi mặt thuật tốn, hàm nhân dùng thơng dụng như: Hàm nhân đa Gaussian RBF có dạng: ( Hàm nhân đa thức bậc d > 0: ( ) ( ) ) III KẾT QUẢ THỰC NGHIỆM 3.1 Mô tả thực nghiệm Dữ liệu dùng thực nghiệm thu thập thông qua thiết bị đo đạc lưu lượng chảy qua mặt cắt trạm thủy lợi: Kim Son, Dien Bien, Cuu An, Tay Ke Sat, Nam Ke Sat, Dinh Dao, Trang Ky, Cau Xe, An Tho, Luong Tai, Thanh Khoi, Quang Lang, An Tao, Hoa Binh, Bac Ho hệ thống thủy lợi Bắc Hưng Hải Các trạm thủy lợi hệ thống Bắc Hưng Hải có liên thơng với Thời gian thu thập 1h lần, 00h00 ngày 01/01/2015 đến 23h00, ngày 31/12/2015 Chương trình viết ngơn ngữ Python 3.7.2, chạy thực nghiệm máy DELL với vi xử lý core i5 Đánh giá hiệu mơ hình dự báo chúng tơi sử dụng độ đo MSE (Mean Squared Error), MAE (Mean Absolute Error) thực nghiệm nghiên cứu Nếu ̂ véctơ với n thành phần dự đoán véctơ giá trị quan sát tương ứng với đầu vào hàm tạo dự đốn ̂ độ đo MSE ước lượng công thức sau [9]: ∑ (̂ ) ∑ (10) Điều có nghĩa độ đo MSE trung bình bình phương sai số Chỉ số tính tốn cách dễ dàng cho mẫu đặc thù Giá trị tốt độ đo MSE giá trị nhỏ Bên cạnh độ đo MSE, độ đo MAE sử dụng để tính tốn sai số dự đốn thường dùng phân tích chuỗi thời gian Trong thống kê, MAE đại lượng dùng để đánh giá xem dự đoán gần với đầu thực Công thức xác định độ đo MAE cho [10]: ∑ Trong : thành phần dự đốn, ∑ giá trị thực Giá trị độ đo MSA nhỏ tốt (11) 434 SỬ DỤNG MÔ HÌNH HỌC MÁY TRONG HỖ TRỢ DIỄN ĐỐN THỦY LỰC, THỦY VĂN TRÊN HỆ THỐNG… 3.2 Kết thực nghiệm Kết thực nghiệm với tiêu chí đánh giá MSE, MAE mơ hình học máy báo lưu lượng nước trạm thủy lợi trình bày mục 2.2 Từ liệu ban đầu ta lấy số liệu từ tháng đến tháng 11 làm training tháng 12 làm testing Dựa vào kết thực nghiệm bảng thấy tốn mơ hình hồi quy tuyến tính cho kết dự báo tốt hai mơ hình mạng nơron máy véc-tơ hỗ trợ hồi quy Dựa vào bảng kết diễn đoán lưu lượng nước trạm Dien Bien tốt so với trạm lại Bảng Kết thực nghiệm mơ hình Trạm Kim Son Dien Bien Cuu An Tay Ke Sat Nam Ke Sat Dinh Dao Trang Ky Cau Xe An Tho Luong Tai Thach Khoi Quang Lang An Tao Hoa Binh Bac Ho LR 0.01406 0.01406 2.52485 0.27068 0.00351 5.83401 0.01450 3.60262 3.84258 0.00551 0.03982 0.07195 0.04319 0.00409 0.00333 MSE ANN 3.09201 0.11462 4.88205 2.50244 0.29133 2.12993 0.60915 1.48335 3.57039 0.14551 1.88600 1.00073 0.11614 0.43995 0.35905 SVR 2.97719 0.09302 3.82201 2.13695 0.23820 4.47081 0.56286 3.98478 3.82726 0.07811 1.58231 0.20650 0.06176 0.41027 0.28675 MAE ANN 2.49755 0.26966 4.83643 4.70765 0.38109 3.57732 0.63333 4.03364 2.49470 0.30660 1.20860 0.93903 0.25434 0.52249 0.49065 LR 0.07528 0.07528 2.42116 0.32533 0.03165 2.44774 0.07405 1.58267 1.62404 0.04754 0.10304 0.19881 0.12293 0.03415 0.03126 SVR 2.49309 0.25952 4.73316 4.58325 0.36024 3.45292 0.58842 3.97368 2.46116 0.24948 1.08419 0.81462 0.18277 0.48584 0.43644 Kết thực nghiệm thể hình so sánh giá trị thực nghiêm mơ hình với giá trị thực tế đo số trạm Khi ta thấy đường mơ hình hồi quy gần với đường giá trị thực tế a) Trạm Dien Bien b) Trạm Nam Ke Sat c) Trạm Luong Tai d) Trạm Bac Ho Hình Kết thực nghiệm dự báo số trạm Nguyễn Văn Nam, Trần Mạnh Tuấn, Đặng Thị Thu Hiền, Kiều Tuấn Dũng, Đỗ Oanh Cường, Nguyễn Tú Trung 435 IV KẾT LUẬN Trong báo cáo trình bày số mơ hình học máy để diễn đoán thủy lực, thủy văn cho hệ thống Bắc Hưng Hải thông qua lưu lượng nước đo trạm thủy lợi hệ thống Bắc Hưng Hải Các kết thực nghiệm dựa độ đo cho thấy phương pháp học máy có hiệu tốt dự báo lưu lượng nước trạm thủy lợi Các kết dự báo làm tiền đề tư vấn, trợ giúp cho trình điều tiết hệ thống thủy lợi hệ thống Bắc Hưng Hải Các kết nghiên cứu làm tiền đề cho nghiên cứu việc sử dụng mô hình học máy diễn đốn thủy lực, thủy văn hệ thống thủy lợi TÀI LIỆU THAM KHẢO [1] Nguyễn Trọng Hoài (chủ biên), Dự báo phân tích liệu kinh tế tài chính, NXB Thống kê, 2009 [2] N.Đ Xuyên, N.Q Hỷ, N.V Hữu, T.Đ Quỳ, N.X Bình, T Cảnh, Lập hàm dự báo chấn cấp động đất cực đại lãnh thổ Việt Nam phương pháp xấp xỉ ngẫu nhiên, Tạp chí Các KH Trái đất, T.22 (2000), (81-89) [3] James, S C., Zhang, Y., & O'Donncha, F (2018) A machine learning framework to forecast wave conditions Coastal Engineering, 137, 1-10 [4] De Matteis, A D., Marcelloni, F., & Segatori, A (2015, August) A new approach to fuzzy random forest generation In Fuzzy Systems (FUZZ-IEEE), 2015 IEEE International Conference on (pp 1-8) IEEE [5] Williams, J K., & Abernethy, J (2008, January) Using random forests and fuzzy logic for automated storm type identification In AMS Sixth Conference on Artificial Intelligence Applications to Environmental Science [6] Trevor Hastie, Robert Tibshirani, Jerome Friedman, T Hastie, J Friedman, and R Tibshirani The elements of statistical learning, volume Springer, 2009 [7] Christopher M Bishop et al Neural networks for pattern recognition 1995 [8] Alex J Smola and Bernhard Schölkopf A tutorial on support véctơ regression Statistics and computing, 14(3):199222, 2004 [9] Lehmann, E L., & Casella, G (1998), Theory of point estimation, Springer Science & Business Media [10] Hyndman, R J., & Koehler, A B (2006), “Another look at measures of forecast accuracy”, International journal of forecasting, 22(4), 679-688 USING MACHINE LEARNING MODELS TO SUPPORT THE FORECAST OF HYDRAULIC, HYDROLOGY FORECAST ON BAC HUNG HAI Nguyen Van Nam, Tran Manh Tuan, Dang Thi Thu Hien, Kieu Tuan Dung, Do Oanh Cuong, Nguyen Tu Trung ABSTRACT: Hydraulic and hydrology forecast problem grasped the attention from many researchers in different fields such as irrigation, mathematics and informatics Some typical results were obtained from these researches However, at the irrigation stations in Bac Hung Hai irrigation system, the application of support tools into hydraulic and hydrology forecast using machine system has not been paid much attention In this paper, we focus on proposing a machine learning model as a simulation tool on computer in order to solve problem of hydraulic and hydrology forecast at irrigation stations in Bac Hung Hai irrigation system The experiments on real data collected from each station are also performed to support in handling the irrigation system at this station ... thông tr? ??m thủy lợi từ h? ?? tr? ?? vận h? ?nh h? ?? thống thủy lợi tr? ??m Bài toán di? ??n đoán thủy văn, thủy lực nhiều nhà khoa h? ??c lĩnh vực thủy lợi, toán h? ??c, tin h? ??c tập nghiên cứu phần thu kết Tuy nhiên,... Trong : thành phần dự đốn, ∑ giá tr? ?? thực Giá tr? ?? độ đo MSA nhỏ tốt (11) 434 S? ?? DỤNG MƠ H? ?NH H? ??C MÁY TRONG H? ?? TR? ?? DI? ??N ĐỐN THỦY LỰC, THỦY VĂN TR? ?N H? ?? THỐNG… 3.2 Kết thực nghiệm Kết thực nghiệm với... đoán thủy lực, thủy văn h? ?? thống Bắc H? ?ng H? ??i H? ?nh Mơ h? ?nh xử lý thơng tin dự báo Trong h? ?nh mơ h? ?nh xử lý thơng tin dự báo Với liệu thu thập phục vụ dự báo, cần tổ chức quản lý liệu thu thập thực