Nghiên cứu xây dựng mô hình dự báo lưu lượng nước đến hồ thủy điện a lưới dựa trên thuật toán máy học (tt)

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN HỮU HUY NGHIÊN CỨU XÂY DỰNG MƠ HÌNH DỰ BÁO LƯU LƯỢNG NƯỚC ĐẾN HỒ THỦY ĐIỆN A LƯỚI DỰA TRÊN THUẬT TOÁN MÁY HỌC Chuyên ngành: Quản lý xây dựng Mã số: 8580302 TÓM TẮT LUẬN VĂN THẠC SĨ QUẢN LÝ XÂY DỰNG Đà Nẵng – Năm 2022 Công trình hồn thành THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: PGS TS PHẠM ANH ĐỨC Phản biện 1: PGS TS ĐẶNG CÔNG THUẬT Phản biện 2: TS ĐẶNG VIỆT DŨNG Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ ngành Quản lý Xây dựng họp Trường Đại học Bách khoa vào ngày 27 tháng 03 năm 2022 Có thể tìm hiểu luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa - Thư viện Khoa Quản lý Dự án, Trường Đại học Đà Nẵng – ĐHĐN THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội MỞ ĐẦU TÍNH CẤP THIẾT CỦA ĐỀ TÀI Biến đổi khí hậu có nhiều ảnh hưởng tác động đến thay đổi lưu lượng vùng, lưu vực giới nói chung Việt Nam nói riêng, lượng mưa có ảnh hưởng trực tiếp đến diễn biến dịng chảy, tác động tới cơng tác quản lý vận hành hồ chứa nước, thách thức ngày lớn điều kiện biến đổi khí hậu, địi hỏi cần phải giải toán dự báo trước lưu lượng đến hồ để xây dựng quy trình vận hành hồ hợp lý có ý nghĩa quan trọng cơng tác quản lý vận hành hệ thống hồ chứa thủy lợi nói chung vận hành hồ chứa thủy điện nói riêng việc phát điện Do nhiều yếu tố ảnh hưởng biến đổi lớn thiên nhiên, dự báo dịng chảy tốn phức tạp, khối lượng tính tốn lớn cần nhiều thơng số đầu vào Vì vậy, nhà quản lý vận hành ln nghiên cứu cải tiến phương pháp để đưa phương pháp dự báo hạn chế lệ thuộc nhiều u tố đầu vào để tính tốn Tại Việt Nam, số mơ hình dự báo đưa vào áp dụng ETA, RAMS, WRF Mỗi mơ hình có sai số sinh số liệu ban đầu, q trình tham số hóa chưa chuẩn xác Do trước áp dụng mơ hình cần phải phân tích ưu nhược điểm để khai thác khắc phục, mang lại hiệu cao cho cơng tác dự báo Xây dựng mơ hình dự báo lưu lượng nước hồ chứa dựa thuật toán máy học hướng có nhiều ưu điểm mơ hình tính tốn mô hoạt động não người Đây mô hình có tính mềm dẻo, chấp nhận thơng tin khơng xác, dễ thích nghi, làm giảm đáng kể độ phức tạp thời gian tính tốn Luận văn xây dựng mơ hình dự báo lưu lượng nước THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội Hồ thủy điện A Lưới, tỉnh Thừa Thiên Huế dựa thuật tốn máy học, xác định thơng số hợp lý mạng, thông số huấn luyện mạng theo thuật toán lan truyền ngược thực nghiệm, sở lập hệ dự báo để dự báo cách nhanh chóng biến đổi số thơng số khí tượng Xuất phát từ lý trên, tác giả kiến nghị lựa chọn đề tài: “Xây dựng mô hình dự báo lưu lượng nước hồ thủy điện A Lưới dựa thuật toán máy học” để nghiên cứu MỤC TIÊU NGHIÊN CỨU Nghiên cứu ứng dụng thuật tốn máy học để xây dựng mơ hình dự báo lưu lượng hồ thủy điện A Lưới, huyện A Lưới, tỉnh TT Huế ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU - Đối tượng nghiên cứu: Lưu lượng nước hồ thủy điện A Lưới - Phạm vi nghiên cứu: Hồ chứa cơng trình thủy điện A Lưới, huyện A Lưới, tỉnh Thừa Thiên Huế NỘI DUNG NGHIÊN CỨU - Thu thập tài liệu thủy văn lượng mưa lưu lượng nước lưu vực hồ chứa cơng trình thủy điện A Lưới; - Nghiên cứu sở lý thuyết thuật toán máy học để xây dựng mơ hình dự báo lưu lượng nước đến hồ thủy điện A Lưới, tỉnh Thừa Thiên Huế PHƯƠNG PHÁP NGHIÊN CỨU - Nghiên cứu tổng quan phương pháp dự báo - Phương pháp phân tích liệu: Thu thập, đánh giá liệu lưu lượng nước hồ thủy điện A Lưới theo tháng năm Bao gồm: chuỗi liệu lưu lượng nước hồ, lượng mưa giai đoạn lập thiết kế dự án (31 năm) chuỗi liệu lưu lượng hồ, lượng mưa THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội giai đoạn vận hành (12 năm) - Phương pháp xây dựng mơ hình: Ứng dụng thuật tốn máy học để xây dựng mơ hình dự báo (Prediction model) lưu lượng nước hồ thủy điện A Lưới dựa mơ hình trí tuệ nhân tạo support vector machine, artficial neural network, evolutionary multivariate regression… Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN Kết nghiên cứu cung cấp thêm phương pháp dựa thuật toán máy học để xây dựng mơ hình dự báo lưu lượng nước hồ chứa Qua giúp cho Chủ đầu tư Nhà máy thủy điện chủ động công tác quản lý vận hành hồ chứa, điều tiết nước hợp lý phát điện chủ động việc xây dựng kế hoạch sản xuất điện năm CHƯƠNG TỔNG QUAN VỀ PHƯƠNG PHÁP NGHIÊN CỨU 1.1 Các phương pháp nghiên cứu dự báo lưu lượng nước Trong thời kỳ đầu (khoảng năm 1960-1975), phương pháp dự báo mưa-dòng chảy chủ yếu dựa phân tích diễn biến lịch sử, đường cong lũy tích chu kỳ nguồn nước, phân tích xu Từ năm 1975, cơng tác dự báo có nhiều bước tiến mới, ứng dụng kỹ thuật máy tính phát triển phương trình đơn lẻ phân tích thống kê phương trình hồi quy tương quan dòng chảy với mưa với đặc trưng dòng chảy theo thời gian…Trong giai đoạn này, Sử dụng số phương pháp dự báo biến động dòng chảy như: • Mơ hình thống kê đa biến, • Mơ hình nhận dạng, • Sử dụng hàm điều hịa, THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội • Phân tích chuỗi thời gian mơ hình ARIMA, • Mơ hình mạng thần kinh nhân tạo ANN…lập tương quan dòng chảy với dự báo dòng chảy tháng mùa lũ mùa cạn sử dụng lưu vực sơng 1.2 Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài nước 1.2.1 Ứng dụng trí tuệ nhân tạo lĩnh vực 1.2.2 Ứng dụng thuật toán máy học dự báo lưu lượng nước giới 1.2.3 Ứng dụng thuật toán máy học dự báo lưu lượng nước nước Cho đến nay, nghiên cứu dự báo lưu lượng vào hồ chứa nói riêng, hay dự báo mơ lưu lượng/q trình mưadịng chảy sử dụng mơ hình thủy văn phân bố hay bán phân bố khác Các mơ hình loại dược xây dựng để mơ đặc tính vật lý q trình dịng chảy Do khả mơ có độ xác cao q trình vật lý phân tích độ nhạy cảm cách tồn diện, mơ hình hữu ích cho nhà khoa học việc giải thích tồn q trình ẩn đẳng sau, mơ hình loại áp dụng rộng rãi nhiều khu vực giới Tuy nhiên, việc sử dụng mơ hình thường u cầu lượng liệu chi tiết đặc tính lưu vực số liệu thơng tin địa lý, mưa, dịng chảy, địa chất… Bên cạnh việc hiệu chỉnh kiểm định mơ hình phức tạp địi hỏi nhiều thời gian, kinh nghiệm kiến thức người chạy mơ hình lưu vực cụ thể Vì vậy, khả áp dụng loại mơ hình nhiều khu vực toán dự báo thời đoạn ngắn bị hạn chế Những hạn chế mơ hình truyền thống nêu THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội khuyến khích phát triển mơ hình dựa vào số liệu (datadriven models), mà phổ biến gần kể đến phương pháp máy học (Machine Learning - ML) Các mơ hình ML cơng cụ tiềm việc dự báo dòng chảy mơ hình xây dựng dựa nhanh chóng, dễ dàng, khơng địi hỏi phải có hiểu biết trình vật lý ẩn đằng sau Ngoài ra, lượng liệu yêu cầu tối thiểu, với khả tính tốn, hiệu chỉnh kiểm định nhanh so với mơ hình vật lý truyền thống, cách sử dụng phức tạp ưu điểm lớn mà mơ hình dựa vào số liệu mang lại Trong năm qua, với sức mạnh cách mạng 4.0, trí tuệ nhân tạo ứng dụng nhiều lĩnh vực hoạt động doanh nghiệp công tác quản lý Với nội dung đề tài nghiên cứu có nhiều chủ đầu tư nhà máy thủy điện, hồ chứa thủy lợi ứng dụng trí tuệ nhân tạo việc dự báo lưu lượng nước hồ chứa, hữu ích cơng tác quản lý kế hoạch sản xuất kinh doạnh, an tồn hồ đập lưu vực sơng, phục vụ phịng tránh giảm nhẹ thiên tai, cụ thể: Nhà máy thủy điện Hịa Bình: Nghiên cứu phương pháp Deep learning để phân tích, dự báo trung hạn lưu lượng nước đổ hồ Hịa Bình trước 10 ngày [49, 50], từ giúp hỗ trợ cơng tác định điều hành hồ chứa Các phương pháp học máy tiếng khác LASSO, hồi quy, K láng giềng, véc-tơ hỗ trợ hồi quy, rừng ngẫu nhiên nghiên cứu, cài đặt thử nghiệm so sánh với Deep learning để đánh giá hiệu mô hình dự báo Kết thực nghiệm cho thấy phương pháp Deep learning cho kết dự báo tốt với R2 đạt 92% vượt trội so với phương pháp khác so sánh dựa R2 RMSE Các hồ chứa lưu vực Sông Ba: Áp dụng mơ hình trí tuệ THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội nhân tạo dự báo lưu lượng đến hồ lưu vực Sông Ba [1] Trong nghiên cứu này, hai mơ hình AI Random Forest (RF) Support Vector Machine (SVM/SVR) áp dụng thử nghiệm hồ chứa lớn - hồ Sông Hinh lưu vực Sơng Ba, Việt Nam Ba trường hợp tính tốn dự báo lưu lượng trung bình ngày, ngày tháng (tương ứng với ngắn, trung dài hạn) đến hồ sử dụng số liệu khí tượng, thủy văn khu vực xây dựng để kiểm nghiệm khả dự báo hai mô hình RF SVR Kết cho thấy, hai mơ hình đưa kết dự báo với độ xác cao thể qua số NSE trung bình đạt 0,8, đặc biệt số trường hợp tính tốn dự báo lưu lượng trung hạn dài hạn, số NSE trung bình 0,9 Thủy điện Bn Kuốp: Ứng dụng trí tuệ nhân tạo để dự báo lũ sớm Với mục tiêu hoàn thiện hệ thống cảnh báo lũ, Công ty Thủy điện Buôn Kuốp [51] (Tổng công ty Phát điện 3) tích cực triển khai chuyển đổi số hệ thống thu thập liệu thủy văn, cảnh báo lũ xây dựng đồ số vùng hạ du nhà máy thủy điện Buôn Tua Srah, Buôn Kuốp, Srêpốk kỹ sư Công ty Thủy điện Buôn Kuốp tự nghiên cứu xây dựng Dựa liệu thu thập, kỹ sư ứng dụng AI (trí tuệ nhân tạo) để phân tích, dự báo tình hình cung cấp cảnh báo sớm Đến nay, mơ hình thu kết khả quan Qua trình đối chiếu, so sánh với số liệu đo đạc tình hình thực tế, mơ hình dự báo lưu lượng hồ Bn Tua Srah có độ xác khoảng 75% so với thực tế trở thành kênh hữu ích để cơng ty tham khảo Đối với vùng hạ du, hệ thống cảnh bảo xả lũ Công ty Thủy điện Buôn Kuốp vận hành từ năm 2009 dần chuyển sang cảnh báo từ xa qua sóng điện thoại di dộng Hiện 20 trạm cảnh báo bố trí dọc theo bờ sông vùng hạ du, đảm bảo thông báo tình hình chạy máy, thơng báo THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội điều tiết xả nước nhà máy đến với quyền người dân vùng Hồ chứa nước Cửa Đạt, tỉnh Thanh Hóa có nhiệm vụ cấp nước tưới cho nông nghiệp kết hợp phát điện, thiết kế chưa đề cập đến yếu tố biến đổi khí hậu nên năm gần biến đổi khí hậu ảnh hưởng xấu đến việc vận hành hồ chứa Bên cạnh đó, theo đà phát triển xã hội nhu cầu nước thay đổi, theo xu hướng tăng, dẫn đến thay đổi vận hành, phân phối nước Vì vậy, yêu cầu đặt cần dự báo lượng nước đến hồ phục vụ cho việc vận hành, phân phối nước an toàn hiệu [2] Kết dự báo lưu lượng nước đến hồ chứa Cửa Đạt sở ứng dụng mạng thần kinh nhân tạo truyền thẳng nhiều lớp (ANN) sử dụng thuật toán lan truyền ngược đem lại hướng công tác dự báo Nghiên cứu ứng dụng mạng thần kinh nhân tạo truyền thẳng nhiều lớp (ANN) sử dụng thuật toán lan truyền ngược để dự báo lưu lượng nước đến hồ chứa Cửa Đạt trước ngày sở phân tích, đánh giá hai kịch bản: (1) Dự báo lưu lượng đến hồ xét đến yếu tố lưu lượng dòng chảy (2) xét đến yếu tố lưu lượng dòng chảy yếu tố lượng mưa Kết cho thấy, có xét thêm yếu tố lượng mưa cho độ xác cao Cụ thể, với liệu trạm Cửa Đạt, sai số quân phương RMSE giảm từ 75.04091 m3/s xuống 56.35318 m3/s số xác định R2 nâng cao từ 0.68 lên 0.72, tương tự với trạm Cẩm Thủy, sai số RMSE giảm xuống số xác định R2 tăng lên Kết nghiên cứu cung cấp phương pháp hữu ích tốn dự báo, đặc biệt có ý nghĩa cơng tác quản lý nguồn nước góp phần quan trọng việc xây dựng phương án quản lý vận hành hồ chứa chủ động THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội CHƯƠNG CƠ SỞ LÝ THUYẾT CƠ BẢN CÁC THUẬT TOÁN MÁY HỌC NÂNG CAO 2.1 Cơ sở lý thuyết thuật tốn máy học 2.1.1 Mơ hình mạng nơ-ron nhân tạo (ANN) 2.1.2 Mơ hình máy học vectơ hỗ trợ (Support Vector Machine Model) 2.1.3 Cây phân loại hồi quy (CART TREE) 2.1.4 Tự động phát tương tác Chi-squared (CHAID) 2.1.6 Thuật toán Machine Learning Hồi quy tuyến tính ( Ordinary Least Squares Regression) 2.1.7 Kết hợp nhiều phương pháp (Ensemble Methods) 2.2 Nguồn liệu tham số đầu vào mơ hình nghiên cứu 2.2.1 Nguồn liệu a) Đặc điểm liệu: Bộ liệu bao gồm lượng mưa X (mm) lưu lượng nước lưu vực hồ thủy điện A Lưới Q (m3/s) Bao gồm liệu 02 giai đoạn: • Chuỗi liệu lưu lượng nước hồ, lượng mưa giai đoạn lập thiết kế, thi công dự án (34 năm: từ năm 1977 đến 2011), liệu X, Q giai đoạn tính tốn chuyển đổi theo phương pháp lưu vực tương tự • chuỗi liệu lưu lượng hồ, lượng mưa giai đoạn vận hành (09 năm: từ năm 2012 đến 2020), liệu X, Q giai đoạn giá trị thưc đo lưu vực hồ A Lưới trình vận hành khai thác hồ chứa b) Xử lý, phân tích liệu: c) Dữ liệu sau xử lý: Dữ liệu sau xử lý tổng hợp thành 01 file excel THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 10 Bảng 2.2 Lựa chọn biến số dự báo lưu lượng nước hồ trung bình trước 03 ngày Ký hiệu Đầu vào X1 X2 X3 X4` Q1 Q2 Q3 Q4 Y+03day Thuộc tính Mưa trung bình 02 ngày sau liền kề Mưa trung bình 03 ngày trước liền kề Mưa trung bình 06 ngày trước liền kề Mưa ngày bình 03 ngày sau liền kề (Lấy từ nguồn Windy dự báo) Lưu lượng trung bình 02 ngày sau liền kề Lưu lượng trung bình 03 ngày trước liền kề Lưu lượng trung bình 06 ngày trước liền kề Lưu lượng ngày dự báo Lưu lượng dự báo trung bình trước ngày Đơn vị mm mm Mm (Xt+X(t-1))/2 (X(t-1)+X(t-2)+X(t-3)/3 (X(t-1)+X(t-2)+ +X(t6)/6 (Xt+X(t+1)+X(t+2)/3 Mm (Qt+Q(t-1))/2 m3/s m3/s m3/s m3/s m3/s (Q(t-1)+Q(t-2)+Q(t-3)/3 (Q(t-1)+Q(t-2)+ +Q(t6)/6 Qday (Qday+Q(t+1)+Q(t+2))/3 Dữ liệu TH2: dự báo lưu lượng nước hồ trung bình trước 07 ngày cho liệu từ tháng đến tháng chuỗi liệu 43 năm: Dữ liệu huấn luyện gồm lượng mưa X lưu lượng Q tháng (1977 đến 2020), tháng (2012 đến 2020); Dữ liệu năm 2021 để kiểm tra thông số lựa chọn THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 11 Bảng 2.3 Lựa chọn biến số dự báo lưu lượng nước hồ trung bình trước 07 ngày Ký hiệu Đầu vào X1 X2 X3 X4` Q1 Q2 Q3 Q4 Y+07day Thuộc tính Mưa ngày dự báo Mưa trung bình 07 ngày trước liền kề Mưa trung bình 14 ngày trước liền kề Mưa ngày bình 07 ngày tương lai liền kề (lấy từ nguồn Windy dự báo) Lưu lượng ngày dự báo Lưu lượng trung bình 07 ngày trước liền kề Lưu lượng trung bình 14 ngày trước liền kề Lưu lượng 02 ngày trước liền kề Lưu lượng dự báo trung bình trước ngày Đơn vị mm mm Mm Xday (X(t-1)+X(t-2)+ +X(t-7)/7 (X(t-1)+X(t-2)+ +X(t14)/14 (Xt+X(t+1)+…+X(t+6)/7 Mm m3/s m3/s m3/s m3/s m3/s Qday (Q(t-1)+Q(t-2)+ +Q(t-7)/7 (Q(t-1)+Q(t-2)+ +Q(t14)/14 (Qt+Q(t-1))/2 (Qt+Q(t+1)+…+Q(t+6))/7 CHƯƠNG PHÂN TÍCH LỰA CHỌN THUẬT TỐN MÁY HỌC ĐỂ XÂY DỰNG MƠ HÌNH DỰ BÁO LƯU LƯỢNG NƯỚC VỀ HỒ THỦY ĐIỆN A LƯỚI 3.1 Các thuật toán máy học đề tài nghiên cứu Dự báo lưu lượng nước hồ chứa thời gian ngắn hạn trung bình 03 ngày trung bình 07 ngày có ý nghĩa quan trọng việc chủ động vận hành phát điện, cảnh báo lưu lượng lũ để THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 12 vận hành xả tràn tham gia đăng ký sản lượng điện phát thị trường điện cạnh tranh Mục tiêu khái phá liệu có cách kết hợp phương pháp công nghệ nhiều lĩnh vực khác nhau, bao gồm khoa học máy tính, thống kê, phân tích liệu trực tuyến, máy học hệ thống chuyên gia [67] Ứng dụng thuật toán máy học ANN: Mạng Nơ ron thần kinh; SVM: náy hỗ trợ véc tơ; REGRESSION: Hồi quy tuyến tính; CHAID: tự động phát tương tác Chi-Squared; C&R TREE: Phân hoại hồi quy thuật tốn kết hợp trình bày chương để dự báo lưu lượng nước hồ chứa thủy điện A Lưới, tỉnh TT Huế thời đoạn: trung bình 03 ngày trung bình 07 ngày Hình 3.1 Sơ đồ khối mơ hình dự báo lưu lượng nước đến hồ thủy điện A Lưới Các thuật tốn sử dụng chương trình SPSS IBM [68] Năm 1965, Nilsson giới thiệu ý tưởng mơ hình kết hợp cho vấn đề phân loại dự liệu Kỹ thuật mơ hình tổng hợp, tổ hợp điểm mạnh mơ hình riêng lẻ với mục đích tạo mơ hình dự báo tốt Bởi kết hợp nhiều mơ hình riêng lẻ tạo mơ hình dự báo mạnh tính tổng quát cao Nghiên cứu THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 13 sử dụng kết thu từ mơ hình riêng lẻ tốt sau tổng hợp xây dựng mơ hình kết hợp để dự báo lưu lượng nước đến hồ thủy điện A Lưới Mơ hình tổng hợp sử dụng thuật toán logic chéo k-fold liệu thu thập trước 3.2 Các phương pháp đánh giá mơ hình 3.2.1 Các tiêu đánh giá mơ hình (Performance Measures) Các phương pháp đo lường sử dụng để đánh giá độ xác mơ hình dự đốn đề xuất: • Hệ số tương quan tuyến tính (Linear Correlation Coefficient - R) R= n  y y '− (  y )(  y ') (14) n (  y ) − (  y ) n (  y '2 ) − (  y ') 2 Trong y ' giá trị dự đoán; y giá trị thực đo; n số lượng điểm đo hay kích thước mẫu đo • Sai số phần trăm tuyệt đối trung bình (Mean Absolute Percentage Error - MAPE) MAPE = n y − y'  y n i =1 (15) • Sai số tuyệt đối trung bình (Mean Absolute Error - MAE) n MAE =  y − y ' n i =1 (16) • Sai số bình phương trung bình (Root Mean Squared Error RMSE) RMSE = n ( y '− y )2  n i =1 (17) Hơn nữa, để nhận đánh xếp hạng giá tổng số tổng hợp (Synthesis Index - SIx) sử dụng thông qua đại THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 14 lượng đo lường (1-R, MAPE, MAE, RMSE), công thức tiêu tổng hợp trình bày (18): m Pi − Pmin,i SIx =  ( ) m i =1 Pmax,i − Pmin,i (18) Trong đó, m = số lượng tiêu đo lường; Pi = tiêu đo lường thứ ith Khoảng giá trị SIx nằm khoảng 0–1; giá trị SIx tiến đến biểu thị cho độ xác mơ hình dự đốn tốt 3.2.2 Thuật toán đánh giá chéo (Cross-fold Validation Algorithm) Độ xác hai hay nhiều mơ hình thường so sánh thuật toán k-fold cross-validation nhằm tối thiểu hóa độ chệch liên quan đến việc chia liệu q trình huấn luyện mơ hình Nghiên cứu Kohavi (1995) cho thấy liệu chia thành 10 folds tốt [69] Vì mục đích này, việc chia 10-fold đề xuất để đảm bảo khả qt tổng hóa mơ hình Tồn liệu chia thành 10 tập riêng biệt (subsets folds), tập sử dụng để đánh giá mơ hình, tập cịn lại sử dụng để huấn luyện mơ hình (Hình 8) Cách thực lặp 10 lần, tất 10 tập đánh giá Kết cuối nhận giá trị trung bình 10 lần thực [70] Các tiêu đánh giá kết mơ hình đề xuất R, RMSE, MAE MAPE Giá trị R cao giá trị RMSE, MAE MAPE thấp xem số báo hiệu kết mơ hình đề xuất tốt THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 15 Hình 3.2 Phương pháp đánh giá chéo 10-fold 3.3 Huấn luyện kiểm định liệu 3.3.1 Phương pháp khai phá liệu Thu thập liệu lượng mưa ngày (Xmm) lưu lượng nước trung bình ngày hồ thủy điện A Lưới (Q m3/s) từ hồ sơ thiết kế cơng trình 1977-2011 từ năm vận hành nhà máy 2012 đến hết năm 2020; Lọc, làm liệu khơng phù hợp; Tính tốn biến đầu vào: Lượng mưa X1, X2, X3, X4; Lưu lượng nước Q1, Q2, Q3, Q4 theo bảng 2,3,4 nêu trên; Lập file chạy liệu, chia liệu thành 10 fold gồm liệu huấn luyện (training)và liệu kiểm tra (testing) 3.3.2 Huấn luyện mơ hình - Sử dụng phần mềm Clementine 12 để khai phá liệu [71] - Nhánh training: Dữ liệu huấn luyện theo 10 fold - Nhánh testing: Dữ liệu kiểm tra lại, lựa chọn thông THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 16 số 05 mơ hình máy học: ANN (N); REGRESSION (E); SVM (S); C&R TREE (R); CHAID (R1) 3.3.3 Huấn luyện mơ hình Fold 01 trường hợp dự báo trước 03 ngày: a Khai phá liệu cho mơ hình đơn: b Khai phá liệu cho mơ hình kết hợp: Trình tự bước thực khai phá liệu tìm thơng số thuật tốn nhánh training testing mục b nêu trên, riêng thuật toán kết hợp dựa số đánh giá cao thực bước hình sau: Hình 3.3 Các thuật toán phối hợp tổng thể Các kết dự báo theo thuật toán đơn kết hợp lưu liệu thành file excel để tính tốn số đánh giá lựa chọn mơ hình tối ưu Việc thực cho fold lại thực tương tự 3.3.4 Kết huấn luyện kiểm định mơ hình: a) Trường hợp 1: Dự báo lưu lượng nước hồ trước trung bình 03 ngày THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 17 Bảng 3.1 Dữ liệu huấn luyện Attributes X1 X2 X3 X4 Q1 Q2 Q3 Q4 Y+03day Unit mm mm mm mm m3/s m3/s m3/s m3/s m3/s Minimum 0.00 0.00 0.00 0.00 1.93 2.01 2.29 1.33 2.01 Maximun 98.10 65.50 37.17 65.50 82.02 71.13 61.31 109.68 71.13 Average 5.30 5.30 5.32 5.29 10.38 10.38 10.37 10.38 10.38 Bảng 3.2 Tổng hợp tính tốn hệ số tương quan mơ hình Performance measure R (%) Dataset Predictive technique N: NORON S: SVM E: REGRES R: C&R TREE R1: CHAID1 N+E S+E N+R1 S-R1 E+R1 Best Accuracy 0.92 0.93 0.94 0.92 0.90 0.93 0.93 0.93 0.93 0.94 Testing set Average Accuracy 0.87 0.89 0.90 0.84 0.84 0.89 0.89 0.88 0.88 0.90 Best fold 5 5 5 5 Bảng 3.3 Tổng hợp kết tính tốn số sai số quân phương RMSE Performance measure Predictive technique RMSE (m3/s) Dataset N: NORON S: SVM E: REGRES R: C&R TREE R1: CHAID1 N+E S+E N+R1 S-R1 E+R1 Best Accuracy 2.67 2.15 2.33 2.83 2.57 2.55 2.42 2.44 2.08 2.26 Testing set Average Accuracy 3.85 3.59 3.10 3.90 3.79 3.28 3.50 3.49 3.43 3.13 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Best fold 10 3 7 3 Lưu hành nội 18 Bảng 3.4 Tổng hợp kết tính tốn số sai số phần trăm tuyệt đối trung bình MAPE Performance measure MAPE (%) Dataset Predictive technique N: NORON S: SVM E: REGRES R: C&R TREE R1: CHAID1 N+E S+E N+R1 S-R1 E+R1 Best Accuracy 0.18 0.18 0.15 0.17 0.15 0.16 0.17 0.14 0.15 0.14 Testing set Average Accuracy 0.29 0.21 0.17 0.19 0.18 0.22 0.24 0.21 0.18 0.16 Best fold 1 5;6;9 1 1 1 Bảng 3.5 Tổng hợp kết tính tốn số sai số tuyệt đối trung bình MAE Performance measure Predictive technique MAE (M3/S) Dataset N: NORON S: SVM E: REGRES R: C&R TREE R1: CHAID1 N+E S+E N+R1 S-R1 E+R1 - Best Accuracy 1.89 1.68 1.51 1.79 1.63 1.75 1.72 1.60 1.48 1.43 Testing set Average Accuracy 2.64 2.09 1.78 2.09 2.01 2.07 2.20 2.10 1.86 1.73 Best fold 10 10 3 3 10 Lựa chọn thông số tối ưu: Bộ thông số tối ưu thỏa mãn điều kiện R đạt max; RMSE, MAPE MAE đạt min, cụ thể: THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 19 Bảng 3.6 Đánh xếp hạng giá tổng hơp theo số tổng hợp (Synthesis Index - SIx) ` N S E R R1 N+E S+E N+R1 S-R1 E+R1 Min Max R 0.92 0.93 0.94 0.92 0.90 0.93 0.93 0.93 0.93 0.94 0.90 0.94 RMSE 2.67 2.15 2.33 2.83 2.57 2.55 2.42 2.44 2.08 2.26 2.08 2.83 MAPE 0.18 0.18 0.15 0.17 0.15 0.16 0.17 0.14 0.15 0.14 0.14 0.18 MAE 1.89 1.68 1.51 1.79 1.63 1.75 1.72 1.60 1.48 1.43 1.43 1.89 0.79 0.48 0.21 0.76 0.62 0.48 0.55 0.32 0.19 0.07 10.00 5.00 3.00 7.00 6.00 4.00 4.00 3.00 2.00 1.00 SI Rank b) Trường hợp 2: Dự báo lưu lượng nước hồ trước trung bình 07 ngày Bảng 3.7 Dữ liệu huấn luyện Attributes Unit Minimum Maximun Average X1 X2 mm mm 0.00 0.00 151.60 34.21 5.30 5.31 X3 X4 mm mm 0.00 0.00 23.05 34.21 5.28 5.30 Q1 m3/s 1.33 109.68 10.38 Q2 Q3 m3/s m3/s 2.27 2.46 59.60 40.58 10.34 10.31 Q4 Y+07day m3/s m3/s 1.93 2.27 82.02 59.60 10.38 10.39 Bảng 3.8 Tổng hợp tính tốn hệ số tương quan mơ hình Performance Predictive measure technique R (%) Dataset Testing set Best Accuracy Average Accuracy Best fold N: NORON 0.83 0.79 S: SVM 0.85 0.81 E: REGRES 0.85 0.81 R: C&R TREE 0.82 0.79 1;3 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 20 Performance measure Predictive technique Testing set Best Accuracy Average Accuracy Best fold R1: CHAID1 0.84 0.76 N+S 0.84 0.80 N+R 0.84 0.82 N+R1 0.86 0.81 S-R 0.85 0.82 S+R1 0.86 0.80 Bảng 3.9 Tổng hợp kết tính tốn số sai số quân phương RMSE Performance measure RMSE (m3/s) Dataset Testing set Predictive technique Best Accuracy Average Accuracy Best fold N: NORON 3.66 4.59 S: SVM 2.90 4.06 E: REGRES 2.92 3.66 R: C&R TREE 2.90 3.83 R1: CHAID1 2.97 4.01 N+S 3.31 4.05 N+R 3.25 3.83 N+R1 3.30 3.93 S-R 2.73 3.69 S+R1 2.71 3.79 Bảng 3.10 Tổng hợp kết tính tốn số sai số phần trăm tuyệt đối trung bình MAPE Performance measure MAPE (%) Testing set Predictive technique N: NORON Best Accuracy Average Accuracy Best fold 0.24 0.37 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 21 Performance measure Dataset Testing set Predictive technique Best Accuracy Average Accuracy Best fold S: SVM 0.19 0.22 E: REGRES 0.20 0.24 R: C&R TREE 0.21 0.24 R1: CHAID1 0.20 0.23 3;6 N+S 0.22 0.27 N+R 0.20 0.27 N+R1 0.20 0.27 S-R 0.18 0.21 S+R1 0.18 0.21 Bảng 3.11 Tổng hợp kết tính tốn số sai số tuyệt đối trung bình MAE Performance measure MAE (M3/S) Dataset - Testing set Predictive technique Best Average Accuracy Accuracy N: NORON 2.47 3.38 S: SVM 2.02 2.47 E: REGRES 2.00 2.40 R: C&R TREE 2.10 2.45 R1: CHAID1 2.03 2.48 N+S 2.34 2.70 N+R 2.14 2.60 N+R1 2.14 2.63 S-R 1.89 2.27 S+R1 1.89 2.29 Best fold Lựa chọn thông số tối ưu: Bộ thông số tối ưu thỏa mãn điều kiện R đạt max; RMSE, MAPE MAE đạt min, cụ thể: THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 22 Bảng 3.12 Đánh xếp hạng giá tổng hơp theo số tổng hợp (Synthesis Index - SIx) ` N S E R R1 N+S N+R N+R1 S-R S+R1 Min Max R 0.83 0.85 0.85 0.82 0.84 0.84 0.84 0.86 0.85 0.86 0.82 0.86 RMSE 3.66 2.90 2.92 2.90 2.97 3.31 3.25 3.30 2.73 2.71 2.71 3.66 MAPE 0.24 0.19 0.20 0.21 0.20 0.22 0.20 0.20 0.18 0.18 0.18 0.24 MAE 2.47 2.02 2.00 2.10 2.03 2.34 2.14 2.14 1.89 1.89 1.89 2.47 0.96 0.18 0.28 0.51 0.39 0.61 0.41 0.36 0.11 0.02 10.00 3.00 3.00 6.00 4.00 5.00 4.00 3.00 2.00 1.00 SI Rank 3.4 Bình luận kết phân tích: Qua phân tích, huấn luyện, kiểm định mơ hình thuật tốn máy học cho 02 trường hợp dự báo lưu lượng nước trung bình hồ thủy điện A Lưới trước ngày ngày nêu trên, nhận thấy: a Trường hợp dự báo lưu lượng nước hồ trước 03 ngày: - Các thuật toán đơn cho kết sai số phần trăm tuyệt đối trung bình (MAPE) khoảng từ 15% đến 18%; Hệ số tương quan tuyến tính R khoảng từ 90%-94% số tổng hợp SI khoảng từ 0.21 đến 0.79 - Các thuật toán kết hợp cho kết sai số phần trăm tuyệt đối trung bình (MAPE) khoảng từ 14% đến 16%; Hệ số tương quan tuyến tính R khoảng từ 93%-94% số tổng hợp SI khoảng từ 0.07 đến 0.55 b Trường hợp dự báo lưu lượng nước hồ trước 07 ngày: - Các thuật toán đơn cho kết sai số phần trăm tuyệt đối trung bình (MAPE) khoảng từ 18% đến 22%; Hệ số tương quan tuyến tính R khoảng từ 82%-86% số tổng hợp SI khoảng từ 0.11 đến 0.96 - Các thuật toán kết hợp cho kết sai số phần trăm tuyệt đối trung bình (MAPE) khoảng từ 18% đến 24%; Hệ số tương quan tuyến tính R khoảng từ 82%-86% số THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 23 tổng hợp SI khoảng từ 0.02 đến 0.61 Với điều kiện mơ hình thuật tốn tối ưu có giá trị R cao giá trị RMSE, MAE MAPE Do theo bảng tổng hợp chọn mơ hình thuật tốn E+R1 (Regression – CHAID1) để dự báo lưu lượng nước hồ trước 03 ngày thuật toán S+R1 (SVM+ CHAID1) để dự báo lưu lượng nước hồ trước 07 ngày KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Cơng trình thủy điện A Lưới, tỉnh Thừa Thiên Huế vận hành hồ chứa để phát điện từ năm 2012, năm thực tế vận hành, vấn đề dự báo lưu lượng đến hồ chứa Công ty quan tâm để chủ động việc vận hành phát điện chào giá bán điện thị trường điện cạnh tranh Đề tài có phương pháp nghiên cứu để dự báo lưu lượng nước đến hồ thủy điện A Lưới dựa sở liệu lượng mưa (Xmm) lưu lượng nước (Q m3/s) trung bình ngày lưu vực năm khứ, đề tài nghiên cứu ứng dụng thuật toán máy học để dự báo lưu lượng nước hồ thủy điện A Lưới trước trung bình 03 ngày trước trung bình 07 ngày Kết nghiên cứu lựa chọn thuật toán tối ưu sau: Bảng Trường hợp dự báo lưu lượng nước hồ chứa thủy điện A Lưới trước trung bình 03 ngày Mơ hình dự đốn REGRESSION CHAID1 + R MAE RMSE MAPE (%) (MPa) (MPa) (%) 94 1.43 2.26 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG 14 Lưu hành nội 24 Bảng Trường hợp dự báo lưu lượng nước hồ chứa thủy điện A Lưới trước trung bình 07 ngày Mơ hình dự đốn SVM+CHAID1 R (%) 86 MAE (MPa) 1.89 RMSE (MPa) 2.71 MAPE (%) 18 Việc ứng dụng thuật toán máy học để dự báo lưu lượng nước hồ thủy điện A Lưới trước trung bình 03 ngày 07 ngày phương pháp cho chủ hồ xem xét đưa định lựa chọn lưu lượng nước để phát điện so với phương pháp dự báo khác Đóng góp đề tài nghiên cứu đóng góp vào lĩnh vực nghiên cứu ứng dụng công nghê thông tin việc giải toán kỹ thuật hỗ trợ định thiết kế, quản lý Kiến nghị Đề tài dừng mức độ nghiên cứu ứng dụng thuật toán máy học để dự báo lưu lượng nước hồ thủy điện A Lưới, kết với số đánh giá cho thấy sai số dự báo tiếp tục cải thiện xem xét tối ưu thuật toán máy học khác Ứng dụng thuật toán máy học tiếp tục nghiên cứu cho dự báo lũ, dự báo lưu lượng hồ mùa khơ, mùa mưa Cần phải có nghiên cứu ứng dụng thuật toán máy học để dự báo lưu lượng hồ chứa cho khu vực khác, đặc biệt khu vực mà tài liệu đo đạc tốt để tổng kết đánh giá đưa mơ hình vào cơng tác dự báo tác nghiệp Nếu tiếp tục tận dụng cách mạng liệu thúc đẩy tiến ngành thủy văn Các yếu tố phát triển kiểu liệu mới, khám phá thông tin dự báo khí hậu, khám phá hướng phân tích để hỗ trợ giám sát dự đốn mơi trường tất mang lại hội phát triển./ THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội ... dự báo lưu lượng nước hồ thủy điện A Lưới d? ?a thuật toán máy học? ?? để nghiên cứu MỤC TIÊU NGHIÊN CỨU Nghiên cứu ứng dụng thuật tốn máy học để xây dựng mơ hình dự báo lưu lượng hồ thủy điện A Lưới, ... PHÂN TÍCH L? ?A CHỌN THUẬT TỐN MÁY HỌC ĐỂ XÂY DỰNG MƠ HÌNH DỰ BÁO LƯU LƯỢNG NƯỚC VỀ HỒ THỦY ĐIỆN A LƯỚI 3.1 Các thuật toán máy học đề tài nghiên cứu Dự báo lưu lượng nước hồ ch? ?a thời gian ngắn hạn... dụng thuật toán máy học dự báo lưu lượng nước nước Cho đến nay, nghiên cứu dự báo lưu lượng vào hồ ch? ?a nói riêng, hay dự báo mơ lưu lượng/ q trình mưadịng chảy sử dụng mơ hình thủy văn phân bố hay