ĐỒ ÁN TỐT NGHIỆP_XÂY DỰNG HỆ THỐNG ĐỂ KHAI THÁC DỮ LIỆU VỀ LƯU LƯỢNG NƯỚC, ÁP DỤNG VÀO DỰ BÁO LƯU LƯỢNG NƯỚC VỀ HỒ AN KHÊ

Đồ án tốt nghệp chuyên ngành công nghệ thông tin. GPA: 3.7 XÂY DỰNG HỆ THỐNG ĐỂ KHAI THÁC DỮ LIỆU VỀ LƯU LƯỢNG NƯỚC, ÁP DỤNG VÀO DỰ BÁO LƯU LƯỢNG NƯỚC VỀ HỒ AN KHÊ Hồ chứa nước là công trình trữ nước chính và hỗ trợ quá trình phân bố nước tự nhiên không đồng đều trong môi trường. Ngoài việc dự trữ nguồn nước từ lượng mưa để tạo thành dòng chảy cần thiết cho sản xuất thủy điện và cung cấp tưới tiêu, các hồ chứa còn giảm thiểu dòng chảy mạnh gây lũ lụt và giải pháp cung cấp nước tránh hạn hán. Các dòng chảy thường rất khó dự đoán do cường độ thay đổi cao, hành vi không cố định và có tính chất phi tuyến. Hoạt động của hồ chứa đòi hỏi một loạt các quyết định cần được đưa ra để giải quyết các vấn đề liên quan đến lưu trữ và xả nước kịp thời. Trong bối cảnh biến đổi khí hậu ngày càng phức tạp, việc xây dựng và quản lý các hồ chứa nước trở thành một thách thức quan trọng đối với môi trường sống và nguồn tài nguyên nước. Hiện nay, các sự biến động xấu như lũ lụt, hạn hán đe dọa sự ổn định của hệ thống thủy điện và nguồn nước, làm tăng nguy cơ cho sản xuất nông nghiệp và đời sống cộng đồng. Để ứng phó với những thách thức này, việc dự báo lưu lượng nước đến các hồ chứa trở nên ngày càng quan trọng, đặc biệt là đối với các khu vực như thủy điện An Khê - Ka Nak, nằm trong môi trường rừng núi khắc nghiệt của tỉnh Gia Lai, Việt Nam. Thuỷ điện An Khê - Ka Nak, với hai hồ chứa là hồ Ka Nak và hồ An Khê, đóng vai trò quan trọng trong việc cung cấp năng lượng thủy điện và hỗ trợ cấp nước cho khu vực lân cận. Tuy nhiên, vì nằm trên địa hình rừng núi khó khăn, thủy điện này đối mặt với những ảnh hưởng nặng nề từ thời tiết khắc nghiệt. Điều này đặt ra nhu cầu cần thiết về việc xây dựng một hệ thống dự báo lưu lượng nước chính xác để quản lý và bảo vệ hồ đập một cách hiệu quả. Trên toàn thế giới, nhiều phương pháp đã được áp dụng để dự báo lưu lượng nước đến các hồ chứa, đặc biệt là trong bối cảnh biến đổi khí hậu ngày càng phức tạp. Mô hình vật lý như SCS-CN, SWAT đã được sử dụng để mô phỏng quá trình dòng chảy và lưu lượng nước. Học máy, bao gồm các mô hình như Random Forest, Support Vector Regression, cũng được áp dụng để dự báo dựa trên dữ liệu lịch sử. Một xu hướng phổ biến là sự kết hợp của nhiều mô hình khác nhau. Mô hình hồi quy tuyến tính và phi tuyến vẫn giữ vai trò quan trọng trong dự báo lưu lượng nước. Tất cả những nỗ lực này 2 nhằm mục tiêu cải thiện hiệu suất của các mô hình để đối mặt với thách thức ngày càng lớn từ biến đổi khí hậu và quản lý nguồn nước. Các nghiên cứu gần đây đã chú trọng vào phát triển mô hình dự báo, từ các mô hình vật lý đến các mô hình học máy. Hiện nay tình hình nghiên cứu chính giải bài toán này đã được chỉ rõ trong [1]. Trong hoàn cảnh này, đồ án này đề xuất sử dụng một mô hình lai kết hợp, có khả năng xử lý dữ liệu phức tạp và tối ưu hóa tham số, là mô hình hiệu quả cho đến thời điểm hiện nay. Mô hình này sẽ được kiểm nghiệm trên bộ dữ liệu liên quan đến lưu lượng nước của hồ An Khê, kết hợp với dữ liệu từ các trạm mưa ảnh hưởng đến lưu lượng nước. Trong dồ án này sẽ sử dụng mô hình phi tuyến và mô hình kết hợp, những mô hình vẫn đang đem lại những kết quả tốt trong bài toán chuỗi thời gian và dự báo. Đánh giá mô hình sẽ dựa trên các độ đo quan trọng như MAE, MSE, R2 và RMSE để đảm bảo tính chính xác và hiệu quả của mô hình trong việc dự báo lưu lượng nước đến hồ An Khê. Trong đó, trình bày các bước giải thuật được đề xuất và xây dựng chương trình minh họa. Bố cục đồ án gồm có 3 chương: Chương 1: Tổng quan về bài toán dự báo lưu lượng nước Chương 2: Mô hình khai phá dữ liệu để dự báo lưu lượng nước đến hồ Chương 3: Cài đặt thực nghiệm

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ NÔNG NGHIỆP VÀ PTNT

TRƯỜNG ĐẠI HỌC THỦY LỢI

NGUYỄN HẢI NAM

XÂY DỰNG HỆ THỐNG ĐỂ KHAI THÁC DỮ LIỆU VỀ LƯU LƯỢNG NƯỚC, ÁP DỤNG VÀO DỰ BÁO LƯU LƯỢNG NƯỚC VỀ HỒ AN KHÊ

ĐỒ ÁN TỐT NGHIỆP

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ NÔNG NGHIỆP VÀ PTNT

TRƯỜNG ĐẠI HỌC THỦY LỢI

NGUYỄN HẢI NAM

XÂY DỰNG HỆ THỐNG ĐỂ KHAI THÁC DỮ LIỆU VỀ LƯU LƯỢNG NƯỚC, ÁP DỤNG VÀO DỰ BÁO

LƯU LƯỢNG NƯỚC VỀ HỒ AN KHÊ

Ngành : Công nghệ thông tin

Mã số: 7480201

NGƯỜI HƯỚNG DẪN 1 TS Trần Mạnh Tuấn

2 PGS.TS Trần Kim Châu

HÀ NỘI, NĂM 2023

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

- -

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP

Khoa: Công nghệ thông tin

1- TÊN ĐỀ TÀI:

Xây dựng hệ thống để khai thác dữ liệu về lưu lượng nước, áp dụng vào dự báo lưu lượng nước về hồ An Khê

2- CÁC TÀI LIỆU CƠ BẢN:

[1] Chau Hoang Thi Minh, Nam Nguyen Hai, Ngan Tran Thi, Giang Nguyen Long, Chau Tran Kim, "Dự báo lưu lượng nước về hồ An Khê sử dụng mô hình hồi quy

vector hỗ trợ với tham số được tối ưu bằng giải thuật di truyền," The 26th Vietnam

Conference of Selected ICT Problems - VNICT2023, pp 125-131, 2023

[2] Ibrahim, K.S.M.H., Huang, Y.F., Ahmed, A.N., Koo, C.H and El-Shafie, A., 2022 A review of the hybrid artificial intelligence and optimization modelling of hydrological streamflow forecasting Alexandria Engineering Journal, 61(1), pp.279-303

[3] V Vapnik, The Nature of Statistical Learning Theory, Springer Science & Business Media, Berlin, Germany, 2013

[4] Tao, H., Al-Sulttani, A.O., Salih Ameen, A.M., Ali, Z.H., Al-Ansari, N., Salih, S.Q and Mostafa, R.R., 2020 Training and testing data division influence on hybrid machine learning model process: application of river flow forecasting Complexity, 2020, pp.1-22

[5] Z M Yaseen, R C Deo, A Hilal et al., “Predicting compressive strength of lightweight foamed concrete using extreme learning machine model,” Advances

in Engineering Software, vol 115, pp 112–125, 2018

3 - NỘI DUNG CÁC PHẦN THUYẾT MINH VÀ TÍNH TOÁN: Tỷ lệ %

Chương 3: Xây dựng hệ thống mô phỏng và kết quả thực nghiệm

4 GIÁO VIÊN HƯỚNG DẪN TỪNG PHẦN

Chương 1: Tổng quan cơ sở lý thuyết TS Trần Mạnh Tuấn

Chương 2: Xây dựng phương pháp TS Trần Mạnh Tuấn

PGS.TS Trần Kim Châu Chương 3: Xây dựng hệ thống mô phỏng và

TRƯỜNG ĐẠI HỌC THUỶ LỢI

KHOA CÔNG NGHỆ THÔNG TIN

BẢN TÓM TẮT ĐỀ CƯƠNG ĐỒ ÁN TỐT NGHIỆP

Tên đề tài: Xây dựng hệ thống để khai thác dữ liệu về lưu lượng nước, áp dụng

vào dự báo lưu lượng nước về hồ An Khê

Sinh viên thực hiện: Nguyễn Hải Nam

Thủy điện An Khê - Ka Nak là nhà máy thủy điện nằm tại Sông Ba, huyện Kbang và thị

xã An Khê, tỉnh Gia Lai; huyện Tây Sơn, tỉnh Bình Định, Việt Nam Thủy điện gồm có hai hồ chứa: hồ Ka Nak và hồ An Khê Thủy điện An Khê - Ka Nak nằm trên địa hình rừng núi hiểm trở của tỉnh Gia Lai, vì vậy Thủy điện này chịu ảnh hưởng rất nặng nề của thời tiết khắc nghiệt[1], [2] Vì vậy, dự báo lưu lượng nước về hồ chứa chính xác

sẽ đóng góp tích cực đến công tác quản lý và bảo vệ hồ đập, đồng thời góp phần đảm bảo sản xuất đời sống cho đồng bào vùng hạ du

Các nghiên cứu gần đây thường tập trung vào các mô hình dự báo vật lý [3] và một số

mô hình học máy để dự báo[4], [5] Trong đề tài này, để giải quyết bài toán dự báo lưu lượng nước về hồ chứa, sử dụng mô hình lai kết hợp[6] có khả năng xử lý dữ liệu phức tạp và tối ưu hóa tham số, đảm bảo hiệu suất hoạt động và an toàn cho hồ đập Bộ dữ liệu để thử nghiệm mô hình là các số liệu liên quan đến lưu lượng nước về hồ An Khê, Gia Lai, Tây Nguyên và các trạm mưa có ảnh hưởng đến lưu lượng nước về hồ chứa

CÁC MỤC TIÊU CHÍNH

- Mục tiêu 1: Khai thác, phân tích dữ liệu liên quan đến lưu lượng nước chảy về

hồ An Khê Từ đó, xây dựng mô hình dự báo theo chuỗi thời gian để dự báo lưu lượng nước về hồ An Khê

- Mục tiêu 2: Xây dựng hệ thống tích hợp dữ liệu từ trang thông tin hồ thủy điện

và áp dụng mô hình đã xây dựng để dự báo lưu lượng nước về hồ An Khê

KẾT QUẢ DỰ KIẾN

- Báo cáo tổng kết của đồ án tốt nghiệp

- Chương trình demo mô hình dự báo lưu lượng nước về hồ An Khê

- Chương trình demo hệ thống khai thác dữ liệu và tạo ra được API với mô hình

dự báo AI cho việc tích hợp vào sản

i

LỜI CAM ĐOAN

Tác giả xin cam đoan đây là Đồ án tốt nghiệp của bản thân tác giả Các kết quả trong

Đồ án tốt nghiệp này là trung thực và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định

Tác giả ĐATN

Chữ ký

Nguyễn Hải Nam

Em xin gửi lời cảm ơn sâu sắc nhất đến thầy cô trong khoa nói chung và Tiến sĩ Trần Mạnh Tuấn nói riêng, người thầy đã tận tâm hướng dẫn, giúp đỡ em hoàn thành tốt đồ

án tốt nghiệp này Em xin gửi lòng biết ơn sâu sắc đến các thầy cô trong Khoa công nghệ thông tin đã dẫn lối cho em, em đã thấy rõ ràng hơn trên hướng đi của mình và thực sự biết bản thân cần gì Em xin cảm ơn những kiến thức và những kỹ năng quý báu, quan trọng mà thầy cô đã truyền đạt tới cho em – đây là những kiến thức nền tảng nhất

để em bước ra ngoài kia, bước ra ngoài xã hội Cuộc đời sinh viên trôi nhanh như một cơn gió, từ những ngày còn bỡ ngỡ đi nhập học đến giờ là môn học cuối cùng em cần phải vượt qua để có thể hoàn thành tốt những năm học tại trường Những kỷ niệm trên Đại học, những câu chuyện của thầy cô sẽ luôn hằn sâu trong ký ức của em

Đồ án tốt nghiệp được em cẩn thận thực hiện nỗ lực hết mình trong học phần cuối cùng này nhưng không thể tránh được một số thiếu sót, em rất mong sẽ nhận được sự đóng góp quý báu từ thầy cô và bạn bè để đồ án được hoàn thiện hơn nữa

Em xin chân thành cảm ơn!

iii

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

DANH MỤC CÁC HÌNH ẢNH v

DANH MỤC BẢNG BIỂU vi

DANH MỤC CÁC TỪ VIẾT TẮT VÀ GIẢI THÍCH CÁC THUẬT NGỮ vii

MỞ ĐẦU 1

CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN DỰ BÁO LƯU LƯỢNG NƯỚC 3

1.1 Mô tả bài toán 3

1.2 Tình hình nghiên cứu quốc tế và trong nước hiện nay 4

1.3 Khai phá dữ liệu 6

1.3.1 Tổng quan 6

1.3.2 Quy trình khai phá dữ liệu 7

1.3.3 Các phương pháp khai phá dữ liệu 12

1.4 Ngôn ngữ sử dụng Python 21

1.4.1 Tổng quan về ngôn ngữ lập trình 21

1.4.2 Các thư viện, hàm sử dụng 23

1.4.3 Nhận xét và đánh giá 24

CHƯƠNG 2 MÔ HÌNH KHAI PHÁ DỮ LIỆU ĐỂ DỰ ĐOÁN LƯU LƯỢNG NƯỚC ĐẾN HỒ 26

2.1 Mô hình tổng quát 26

2.2 Chi tiết các bước thực hiện 27

2.3 Mô hình hồi quy vector hỗ trợ (SVR - Support Vector Regression) 28

2.3.1 Cơ sở lý thuyết mô hình hồi quy SVR 28

2.3.1 Nhận xét và đánh giá 31

2.4 Giải thuật di truyền GA (Genetic Algorithms) 32

2.4.1 Cơ sở lý thuyết giải thuật di truyền GA 32

2.4.2 Nhận xét và đánh giá 34

2.5 Mô hình kết hợp SVR-GA 35

2.5.1 Cơ sở mô hình SVR-GA 35

2.5.2 Nhận xét và đánh giá 38

2.6 Mô hình hồi quy rừng ngẫu nhiên (RF - Random Forest Regression) 39

2.6.1 Cơ sở lý thuyết mô hình RF 39

iv

2.6.2 Nhận xét và đánh giá 41

2.7 Mô hình kết hợp RF-GA 42

2.7.1 Cơ sở mô hình RF-GA 42

2.7.2 Nhận xét và đánh giá 45

2.8 Nhận xét và đánh giá mô hình 46

CHƯƠNG 3 CÀI ĐẶT THỰC NGHIỆM 48

3.1 Mô tả dữ liệu 48

3.2 Tiền xử lý dữ liệu 50

3.3 Độ đo đánh giá 54

3.4 Môi trường thực nghiệm 56

3.5 Kết quả thực nghiệm 57

3.5.1 Cài đặt môi trường thực nghiệm 57

3.5.2 Nhận xét và đánh giá 60

3.6 Ứng dụng 65

3.6.1 Tổng quan hệ thống 65

3.6.2 Giao diện hệ thống 65

3.6.3 Triển khai chương trình thử nghiệm 69

3.7 Nhận xét và đánh giá 71

KẾT LUẬN 72

TÀI LIỆU THAM KHẢO 74

v

DANH MỤC CÁC HÌNH ẢNH

Hình 1 Hình biểu diễn quy trình khai phá tri thức [14] 8

Hình 2 Sơ đồ mô hình tổng quát 26

Hình 3 Mô hình SVR 29

Hình 4 Các bước cơ bản của giải thuật di truyền 33

Hình 5 Sơ đồ thuật toán SVR-GA 35

Hình 6 Nguyên tắc hoạt động của Bagging và Boosting 40

Hình 7 Sơ đồ thuật toán RF-GA 42

Hình 8 Hình ảnh hồ chứa An Khê - Ka Nak 48

Hình 9 Bộ dữ liệu được tạo nên từ việc kết hợp 3 bộ dữ liệu 50

Hình 10 Ma trận tương quan của 3 thuộc tính 51

Hình 11 Demo dữ liệu 53

Hình 12 Biểu đồ lưu lượng nước đến hồ chứa An Khê theo thời gian 53

Hình 17 Biểu đồ kết quả dự đoán với SVR với thời gian chảy truyền về hồ An Khê là 4h 61

Hình 18 Biểu đồ kết quả dự đoán với SVR-GA với thời gian chảy truyền về hồ An Khê là 4h 62

Hình 19 Biểu đồ kết quả dự đoán với RF với thời gian chảy truyền về hồ An Khê là 4h 62

Hình 20 Biểu đồ kết quả dự đoán với RF-GA với thời gian chảy truyền về hồ An Khê là 4h 62

Hình 25 Giao diện chức năng “Xem thông tin vận hành hồ chứa Ka Nak-An Khê” 66

Hình 26 Giao diện chức năng “Dự đoán trên số liệu nhập tay” 66

Hình 27 Giao diện trạng thái cảnh báo khi lưu lượng đến hồ An Khê bất thường 67

Hình 28 Giao diện trạng thái bình thường của lưu lượng đến hồ An Khê 67

Hình 29 Giao diện chức năng “Dự báo trên dữ liệu file excel” 68

Hình 30 Giao diện kết quả “Dự báo trên dữ liệu file excel” 68

Hình 31 Giao diện chức năng “Xem thông tin số liệu mưa An Khê” 69

Hình 32 Sơ đồ hệ thống 70

Hình 33 Sơ đồ hoạt động của ứng dụng 70

vi

DANH MỤC BẢNG BIỂU

Bảng 1 Thuộc tính của bộ dữ liệu hồ chứa Ka Nak 49

Bảng 2 Thuộc tính của bộ dữ liệu hồ chứa An Khê 49

Bảng 3 Thuộc tính của bộ dữ liệu Số liệu mưa ở các trạm giữa hồ Ka Nak và hồ An Khê 49

Bảng 4 So sánh hệ số của ba thuộc tính đầu vào 52

Bảng 5 So sánh MSE giữa việc sử dụng cả ba thuộc tính, hai thuộc tính và chỉ sử dụng một thuộc tính 52

Bảng 6 Cấu hình thiết bị chạy thực nghiệm 57

Bảng 7 Giá trị các tham số khi áp dụng SVR-GA 61

Bảng 8 Giá trị các tham số khi áp dụng RF-GA 61

Bảng 9 Giá trị các độ đo khi áp dụng SVR, SVR-GA, RF và RF-GA với thời gian chảy truyền về hồ An Khê là 2h, 4h và 6h 63

Bảng 10 Thời gian chạy (giây) của mô hình SVR và SVR-GA với thời gian chảy truyền về hồ An Khê là 2h, 4h ,6h 63

Bảng 11 Thời gian chạy (giây) của mô hình RF và RF-GA với thời gian chảy truyền về hồ An Khê là 2h, 4h ,6h 64

vii

DANH MỤC CÁC TỪ VIẾT TẮT VÀ GIẢI THÍCH CÁC THUẬT NGỮ

AI Artificial Intelligence Trí tuệ nhân tạo

ANN Artificial Neural Network Mạng nơ-ron nhân tạo

SVR Support Vector Regression Hồi quy vector hỗ trợ

SVR - GA Support Vector Regression - Genetic

Algorithms

Mô hình kết hợp Hồi quy vector

hỗ trợ và giải thuật di truyền GA

RF - GA Random Forest - Genetic Algorithms Mô hình kết hợp hồi quy rừng

ngẫu nhiên và giải thuật di truyền GA

MAE Mean absolute error Sai số trung bình tuyệt đối MSE Mean squared error Lỗi bình phương trung bình RMSE Root mean squared error Căn bình phương sai số

1

MỞ ĐẦU

Hồ chứa nước là công trình trữ nước chính và hỗ trợ quá trình phân bố nước tự nhiên không đồng đều trong môi trường Ngoài việc dự trữ nguồn nước từ lượng mưa để tạo thành dòng chảy cần thiết cho sản xuất thủy điện và cung cấp tưới tiêu, các hồ chứa còn giảm thiểu dòng chảy mạnh gây lũ lụt và giải pháp cung cấp nước tránh hạn hán Các dòng chảy thường rất khó dự đoán do cường độ thay đổi cao, hành vi không cố định và

có tính chất phi tuyến Hoạt động của hồ chứa đòi hỏi một loạt các quyết định cần được

đưa ra để giải quyết các vấn đề liên quan đến lưu trữ và xả nước kịp thời

Trong bối cảnh biến đổi khí hậu ngày càng phức tạp, việc xây dựng và quản lý các hồ chứa nước trở thành một thách thức quan trọng đối với môi trường sống và nguồn tài nguyên nước Hiện nay, các sự biến động xấu như lũ lụt, hạn hán đe dọa sự ổn định của

hệ thống thủy điện và nguồn nước, làm tăng nguy cơ cho sản xuất nông nghiệp và đời sống cộng đồng Để ứng phó với những thách thức này, việc dự báo lưu lượng nước đến các hồ chứa trở nên ngày càng quan trọng, đặc biệt là đối với các khu vực như thủy điện

An Khê - Ka Nak, nằm trong môi trường rừng núi khắc nghiệt của tỉnh Gia Lai, Việt Nam

Thuỷ điện An Khê - Ka Nak, với hai hồ chứa là hồ Ka Nak và hồ An Khê, đóng vai trò quan trọng trong việc cung cấp năng lượng thủy điện và hỗ trợ cấp nước cho khu vực lân cận Tuy nhiên, vì nằm trên địa hình rừng núi khó khăn, thủy điện này đối mặt với những ảnh hưởng nặng nề từ thời tiết khắc nghiệt Điều này đặt ra nhu cầu cần thiết về việc xây dựng một hệ thống dự báo lưu lượng nước chính xác để quản lý và bảo vệ hồ đập một cách hiệu quả

Trên toàn thế giới, nhiều phương pháp đã được áp dụng để dự báo lưu lượng nước đến các hồ chứa, đặc biệt là trong bối cảnh biến đổi khí hậu ngày càng phức tạp Mô hình vật lý như SCS-CN, SWAT đã được sử dụng để mô phỏng quá trình dòng chảy và lưu lượng nước Học máy, bao gồm các mô hình như Random Forest, Support Vector Regression, cũng được áp dụng để dự báo dựa trên dữ liệu lịch sử Một xu hướng phổ biến là sự kết hợp của nhiều mô hình khác nhau Mô hình hồi quy tuyến tính và phi tuyến vẫn giữ vai trò quan trọng trong dự báo lưu lượng nước Tất cả những nỗ lực này

2

nhằm mục tiêu cải thiện hiệu suất của các mô hình để đối mặt với thách thức ngày càng lớn từ biến đổi khí hậu và quản lý nguồn nước

Các nghiên cứu gần đây đã chú trọng vào phát triển mô hình dự báo, từ các mô hình vật

lý đến các mô hình học máy Hiện nay tình hình nghiên cứu chính giải bài toán này đã được chỉ rõ trong [1] Trong hoàn cảnh này, đồ án này đề xuất sử dụng một mô hình lai kết hợp, có khả năng xử lý dữ liệu phức tạp và tối ưu hóa tham số, là mô hình hiệu quả cho đến thời điểm hiện nay Mô hình này sẽ được kiểm nghiệm trên bộ dữ liệu liên quan đến lưu lượng nước của hồ An Khê, kết hợp với dữ liệu từ các trạm mưa ảnh hưởng đến lưu lượng nước

Trong dồ án này sẽ sử dụng mô hình phi tuyến và mô hình kết hợp, những mô hình vẫn đang đem lại những kết quả tốt trong bài toán chuỗi thời gian và dự báo Đánh giá mô hình sẽ dựa trên các độ đo quan trọng như MAE, MSE, R2 và RMSE để đảm bảo tính chính xác và hiệu quả của mô hình trong việc dự báo lưu lượng nước đến hồ An Khê Trong đó, trình bày các bước giải thuật được đề xuất và xây dựng chương trình minh họa

Bố cục đồ án gồm có 3 chương:

Chương 1: Tổng quan về bài toán dự báo lưu lượng nước

Chương 2: Mô hình khai phá dữ liệu để dự báo lưu lượng nước đến hồ

Chương 3: Cài đặt thực nghiệm

3

CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN DỰ BÁO LƯU LƯỢNG NƯỚC

1.1 Mô tả bài toán

Nằm trong vùng rừng núi hiểm trở của tỉnh Gia Lai, Thủy điện An Khê – Ka Nak đối mặt với tác động đáng kể từ thời tiết khắc nghiệt Trong mùa khô, khi nhiệt độ cao, nhiều sông suối trên địa bàn trở nên cạn kiệt, trong khi mùa mưa kéo dài đưa đến lũ ống và lũ quét, gây ra những ảnh hưởng nặng nề đến hoạt động sản xuất và cuộc sống hàng ngày của cộng đồng dân cư

Thủy điện An Khê - Ka Nak tọa lạc tại Sông Ba, bao gồm khu vực thuộc huyện Kbang

và thị xã An Khê, tỉnh Gia Lai; cùng với phần đất thuộc huyện Tây Sơn, tỉnh Bình Định, Việt Nam Dự án bao gồm hai hồ chứa lớn là hồ Ka Nak và hồ An Khê Với địa hình rừng núi hiểm trở của tỉnh Gia Lai, thủy điện này chịu ảnh hưởng nặng nề từ thời tiết khắc nghiệt [2] Dự báo lưu lượng nước về hồ chứa chính xác sẽ đóng góp tích cực đến công tác quản lý và bảo vệ hồ đập, đồng thời đảm bảo sản xuất đời sống cho đồng bào vùng hạ du

Bài toán đặt ra là dự báo lưu lượng nước đến hồ chứa An Khê - Ka Nak tại tỉnh Gia Lai Bài toán được đặt ra dựa trên bộ dữ liệu lịch sử thu thập từ quá trình vận hành hồ chứa với chuỗi thời gian liên tục được lấy theo từng giờ Các thuộc tính chính của dữ liệu bao gồm mực nước hồ (m), lưu lượng nước đổ vào hồ (m3/s), tổng lưu lượng nước xả ra khỏi

hồ (m3/s) và các thuộc tính khác liên quan đến môi trường như dữ liệu từ các trạm mưa

có ảnh hưởng đến lưu lượng nước Để thực hiện giải quyết vấn đề này, đồ án đề xuất sử dụng một mô hình học máy kết hợp

Mục tiêu của đồ án là xây dựng một mô hình cho dữ liệu chuỗi thời gian dự báo lưu lượng nước chính xác, có khả năng ứng phó với sự biến động cao và tính chất phi tuyến của dòng chảy vào hồ chứa Điều này sẽ giúp người quản lý thủy điện An Khê - Ka Nak

có cái nhìn trước về tình hình lưu lượng nước dự kiến, từ đó họ có thể đưa ra quyết định hiệu quả về vận hành hồ chứa, lưu trữ và xả nước để đối phó với biến động khí hậu và thời tiết

4

Đồ án đề xuất chọn mô hình hồi quy lai kết hợp do khả năng của nó trong việc xử lý dữ liệu phức tạp và tối ưu hóa các tham số, giúp đảm bảo hiệu suất dự báo tốt nhất (lý do được trình bày ở mục 1.2) Mô hình này sẽ được đào tạo và kiểm thử trên bộ dữ liệu cụ thể của hồ An Khê để đánh giá khả năng dự báo, so sánh giữa các mô hình thông thường, các mô hình kết hợp và đánh giá sự hiệu quả qua các độ đo MAE, MSE, R2 và RMSE Mục tiêu cuối cùng là tạo ra một công cụ dự báo mạnh mẽ hỗ trợ quản lý và bảo vệ hồ đập An Khê - Ka Nak trong bối cảnh biến đổi khí hậu và điều kiện thời tiết khó lường

• Đầu vào của bài toán là: Tổng lưu lượng xả của hồ chứa Ka Nak thời điểm t, Số liệu mưa giữa 2 hồ Ka Nak và An Khê thời điểm t, Lưu lượng nước đến hồ chứa

An Khê thời điểm t

• Đầu ra của bài toán là: Lưu lượng nước đến hồ chứa An Khê thời điểm t + 1, t +

2, t + 3 và t + 4 (mỗi bước nhảy là 2 giờ)

1.2 Tình hình nghiên cứu quốc tế và trong nước hiện nay

Nghiên cứu về dự báo lượng nước đổ vào hồ chứa là một lĩnh vực quan trọng, đang thu hút sự chú ý đặc biệt từ cộng đồng nghiên cứu Việc dự báo lưu lượng nước đến hồ chứa đóng vai trò quan trọng trong quản lý tài nguyên nước và phát triển hồ thủy điện Trong những năm gần đây, việc dự báo lưu lượng nước cho các hồ chứa đã trở thành một chủ đề nghiên cứu quan trọng trên toàn cầu, đặc biệt trong bối cảnh biến đổi khí hậu Các nghiên cứu quốc tế đã tập trung vào việc phát triển các mô hình dự báo chính xác, bao gồm cả mô hình dựa trên vật lý lẫn các kỹ thuật học máy tiên tiến Ví dụ, một

số nghiên cứu đã áp dụng mô hình học máy như mạng nơ-ron nhân tạo (ANN), máy hỗ trợ vectơ hồi quy (SVR) và các biến thể khác để cải thiện độ chính xác của dự báo lưu lượng nước [3] Những nghiên cứu này đã chứng minh khả năng của các mô hình kết hợp trong việc xử lý dữ liệu không tuyến tính và phi tuyến tính, điều quan trọng trong

dự báo lưu lượng nước Các mô hình này, nhờ khả năng xử lý lượng lớn dữ liệu và phát hiện mối quan hệ phức tạp giữa các biến, đã được ứng dụng rộng rãi trong việc dự báo lưu lượng nước cho các hồ chứa lớn trên thế giới

Các bài báo quốc tế cho thấy sự tiến bộ đáng kể trong việc áp dụng học máy và trí tuệ nhân tạo cho dự báo lưu lượng nước Ví dụ, trong nghiên cứu về dòng chảy sông ở Italia,

5

mô hình dựa trên mạng nơ-ron nhân tạo được sử dụng để mô hình hóa quá trình dòng chảy [4] Tương tự, nghiên cứu tại Pakistan áp dụng các kỹ thuật học máy như MLP, SVR và Random Forest để dự báo dòng chảy sông, đạt được kết quả ấn tượng với

mưa-độ chính xác cao [5] Nghiên cứu khác tập trung vào mô hình học máy nâng cao, Extreme Learning Machine (ELM), cho thấy khả năng vượt trội trong việc dự báo dòng chảy sông ở môi trường nhiệt đới [6] Những nghiên cứu này chứng minh rằng các mô hình học máy có khả năng xử lý dữ liệu phức tạp và cung cấp dự báo chính xác, hỗ trợ quản

lý nguồn nước hiệu quả

Tại Việt Nam, việc áp dụng học máy cho dự báo lưu lượng nước về hồ vẫn còn hạn chế Các nghiên cứu chủ yếu tập trung vào mô hình thủy văn truyền thống Chẳng hạn, việc thực hiện nghiên cứu với việc áp dụng mô hình MIKE SHE trong lưu vực của sông Trà Khúc-Sông Vệ, sử dụng dữ liệu mưa dự báo từ IFS, đã cho thấy khả năng dự báo lượng nước đổ vào hồ chứa [7] Tương tự, nghiên cứu tại hồ Sông Hinh và Ban Chat sử dụng

mô hình Mike Nam và HEC-HMS, tập trung vào dự báo lũ và quản lý hồ chứa [8] Những nghiên cứu này chưa tận dụng hết khả năng của các mô hình học máy tiên tiến, chỉ ra một khoảng cách lớn so với nghiên cứu quốc tế

Các nghiên cứu gần đây thường tập trung vào các mô hình dự báo vật lý [9] và một số

mô hình học máy để dự báo [10, 11] Trong đề tài này, việc sử dụng mô hình lai kết hợp

có khả năng xử lý dữ liệu phức tạp và tối ưu hóa tham số sẽ đảm bảo hiệu suất hoạt động

và an toàn cho hồ đập Bộ dữ liệu để thử nghiệm mô hình bao gồm các số liệu liên quan đến lưu lượng nước về hồ An Khê, Gia Lai, Tây Nguyên và các trạm mưa có ảnh hưởng đến lưu lượng nước về hồ chứa

Đồ án đưa ra một phương pháp tiếp cận hiệu quả sử dụng học máy tại Việt Nam Mô hình lai kết hợp được đề xuất đã chứng minh khả năng của nó trong việc nâng cao độ chính xác của dự báo lưu lượng nước [12] Điều này mang lại ưu điểm quan trọng không chỉ trong quản lý nguồn nước và hồ chứa mà còn trong việc ngăn chặn lũ lụt và tối ưu hóa hoạt động sản xuất thủy điện Từ đó, mở ra khả năng xây dựng các ứng dụng thực

tế từ mô hình lai kết hợp trong việc dự báo lưu lượng nước cho hồ An Khê Các thông tin thu được có thể được tích hợp vào các ứng dụng thực tế, hỗ trợ quản lý nguồn nước

1.3 Khai phá dữ liệu

1.3.1 Tổng quan

Khai phá dữ liệu là quá trình tìm hiểu, phân tích và hiểu rõ dữ liệu từ nguồn dữ liệu không có cấu trúc hoặc có cấu trúc nhưng chưa được khám phá, chưa được khai phá Mục tiêu của khai phá dữ liệu là tìm ra thông tin, mối quan hệ và xu hướng tiềm ẩn trong

dữ liệu một cách tự nhiên, không giả định trước Tận dụng thông tin từ dữ liệu không chỉ hỗ trợ trong việc nhận biết đặc điểm của dữ liệu mà còn giúp phân tích các mối quan

hệ, xu hướng và biến động có thể xuất hiện trong dữ liệu Qua quá trình này, chúng ta

có thể tạo ra các đặc trưng mới, loại bỏ nhiễu và hiểu rõ hơn về bản chất của dữ liệu Khai phá dữ liệu ngày càng trở thành một lĩnh vực phát triển vững chắc, mang lại nhiều lợi ích và triển vọng đáng kể so với các phương pháp phân tích dữ liệu truyền thống Các kỹ thuật trong lĩnh vực này đa dạng, chúng được áp dụng từ các lĩnh vực như Cơ sở

dữ liệu (CSDL), Học máy, Trí tuệ nhân tạo (AI), Lý thuyết thông tin, Xác suất thống kê

và Tính toán hiệu năng cao Cụ thể, dưới đây là một số kỹ thuật phổ biến được áp dụng:

• Học máy (Machine Learning): Sử dụng các thuật toán và mô hình máy học để xây dựng các mô hình dự đoán và phân loại từ dữ liệu Các thuật toán như học sâu (deep learning), máy vector hỗ trợ (support vector machines), cây quyết định (decision trees) và học tăng cường (reinforcement learning) thường được sử dụng

để khai phá dữ liệu và tìm ra mẫu ẩn

• Trí tuệ nhân tạo (Artificial Intelligence): Sử dụng các phương pháp và kỹ thuật trong trí tuệ nhân tạo như học sâu, mạng nơ-ron nhân tạo (artificial neural networks), xử lý ngôn ngữ tự nhiên (natural language processing) để khai phá dữ liệu và tạo ra các mô hình dự đoán, phân loại và nhận dạng

7

• Xác suất thống kê (Probability and Statistics): Sử dụng các công cụ và phương pháp trong xác suất thống kê để phân tích dữ liệu và tìm hiểu sự tương quan, mối liên hệ giữa các biến Các kỹ thuật như phân phối xác suất, kiểm định giả thuyết

và hồi quy thống kê thường được áp dụng để đưa ra các kết quả có ý nghĩa từ dữ liệu

• Lý thuyết thông tin (Information Theory): Sử dụng các khái niệm và công cụ trong lý thuyết thông tin để đo lường lượng thông tin và độ không chắc nằm trong

dữ liệu Sử dụng các độ đo như entropy, mutual information, và độ tương đồng

để phân tích và rút trích thông tin từ dữ liệu là một trong những ứng dụng chính của lý thuyết thông tin

• Cơ sở dữ liệu (Database): Sử dụng các phương pháp trong lĩnh vực cơ sở dữ liệu

để lưu trữ, truy vấn và xử lý dữ liệu là một trong những ứng dụng chính Hệ quản trị cơ sở dữ liệu (DBMS) và ngôn ngữ truy vấn như SQL thường được áp dụng

để trích xuất dữ liệu từ cơ sở dữ liệu và thực hiện các thao tác tính toán trên dữ liệu

• Tính toán hiệu năng cao (High-Performance Computing): Áp dụng công nghệ và phương pháp tính toán tiên tiến để xử lý và phân tích các tập dữ liệu lớn và phức tạp Các hệ thống phân tán, song song và sử dụng GPU thường được áp dụng để tăng tốc quá trình khai phá dữ liệu

Các kỹ thuật và lĩnh vực tương quan đóng một vai trò quan trọng trong quá trình khai phá dữ liệu và tạo ra thông tin giá trị từ dữ liệu

1.3.2 Quy trình khai phá dữ liệu

Quá trình khai phá dữ liệu là một chuỗi các giai đoạn thực hiện để khám phá, xử lý và rút trích thông tin có giá trị từ dữ liệu Dưới đây là biểu đồ các bước trong quy trình khai phá dữ liệu:

để đảm bảo kết quả khai phá có độ chính xác cao

Đây là dữ liệu ban đầu thu thập được từ nhiều nguồn khác nhau Dữ liệu này thường chưa được xử lý và có thể bao gồm nhiều loại thông tin không cần thiết hoặc nhiễu 1.3.2.2 Trích chọn dữ liệu

Quá trình này liên quan đến việc lọc và chọn lựa những dữ liệu phù hợp từ nguồn dữ liệu thô lớn để chuẩn bị cho việc khai phá Trích chọn dữ liệu cần phải đảm bảo rằng dữ liệu được lựa chọn là có liên quan, đầy đủ và sẽ hỗ trợ cho mục tiêu khai phá dữ liệu Điều này có thể bao gồm việc loại bỏ dữ liệu nhiễu và không liên quan, cũng như chọn các thuộc tính dữ liệu cần thiết

Mục đích: Lựa chọn thông tin có giá trị từ nguồn dữ liệu lớn dựa trên bối cảnh và mục tiêu cụ thể của dự án khai phá

Chi tiết:

• Lọc dữ liệu: Sàng lọc và loại bỏ dữ liệu không liên quan hoặc sai lệch

Quá trình tiền xử lý dữ liệu bao gồm các bước sau:

• Làm sạch dữ liệu (Data cleaning): Với những giá trị dữ liệu thiếu, nhiễu, ngoại

lệ hay không hợp lệ trong tập dữ liệu thì sẽ xử lý hoặc loại bỏ Điều này bao gồm việc điền giá trị thiếu, loại bỏ hoặc sửa chữa các giá trị ngoại lệ và xử lý các vấn

đề khác liên quan đến chất lượng dữ liệu

• Rút gọn dữ liệu (Data reduction): Giảm kích thước hoặc số chiều của dữ liệu để giảm độ phức tạp tính toán và tăng tốc độ phân tích Các phương pháp rút gọn dữ liệu bao gồm lựa chọn thuộc tính (feature selection) để loại bỏ các thuộc tính không quan trọng và lựa chọn mẫu (sampling) để lấy một mẫu con nhỏ từ tập dữ liệu gốc

• Chuẩn hóa dữ liệu (Data normalization): Đưa dữ liệu về cùng một phạm vi hoặc đơn vị đo để đảm bảo tính nhất quán và đồng nhất Các phương pháp chuẩn hóa

dữ liệu như: chia tỷ lệ (scaling) để đưa dữ liệu về khoảng [0, 1] hoặc [-1, 1] và chuẩn hóa z-score để đưa dữ liệu về trung bình bằng 0 và độ lệch chuẩn bằng 1

• Rời rạc hóa dữ liệu (Data discretization): Biến đổi biến số liên tục thành biến số rời rạc để đơn giản hóa tính toán hoặc tăng khả năng hiểu biết Rời rạc hóa dữ liệu có thể thực hiện bằng cách chia khoảng (binning) dữ liệu thành các khoảng giá trị hoặc sử dụng phương pháp khác như rời rạc hóa dựa trên ngưỡng (threshold-based discretization)

Quá trình tiền xử lý dữ liệu đóng vai trò quan trọng trong việc đảm bảo tính nhất quán, đồng nhất và chất lượng của dữ liệu, từ đó ảnh hưởng đến hiệu suất và chất lượng của quá trình khai phá dữ liệu và xây dựng mô hình dữ liệu

10

1.3.2.4 Biến đổi dữ liệu

Xác định các đặc trưng quan trọng trong dữ liệu để tạo ra một biểu diễn mới và có ý nghĩa hơn cho dữ liệu

Áp dụng các phương pháp rút trích đặc trưng như kỹ thuật phân tích thành phần chính (PCA), lựa chọn đặc trưng (feature selection) hay trích xuất đặc trưng (feature extraction) Bước này liên quan đến việc chuyển đổi dữ liệu đã được tiền xử lý thành dạng thích hợp cho các thuật toán khai phá dữ liệu Có thể bao gồm việc:

• Chuyển đổi thuộc tính: Tạo các thuộc tính mới từ các thuộc tính hiện có

• Chuyển đổi dữ liệu: Thay đổi cấu trúc dữ liệu để phù hợp với yêu cầu của thuật toán được sử dụng

• Biểu đồ hóa dữ liệu: Mô tả dữ liệu thông qua biểu đồ hoặc hình ảnh để dễ dàng nhận biết mô hình và xu hướng

Mục đích: Chuyển dữ liệu đã qua tiền xử lý sang dạng thích hợp cho thuật toán khai thác

Khai phá dữ liệu là bước chính trong quy trình này, sử dụng các thuật toán để phát hiện

mô hình và tri thức từ dữ liệu đã được chuẩn bị:

• Phân loại và dự đoán: Xác định lớp hoặc giá trị của dữ liệu mới dựa trên dữ liệu

đã học

• Phân cụm: Nhóm dữ liệu có tính chất tương tự nhau

• Tìm luật kết hợp: Phát hiện các mối quan hệ giữa các biến trong dữ liệu

• Phân tích độ liên kết: Xác định các mô hình liên kết giữa các đối tượng trong dữ liệu

11

1.3.2.6 Đánh giá và giải thích

Sau khi các mô hình và tri thức đã được khai phá, chúng cần được đánh giá để xác định

độ chính xác và hiệu quả Đánh giá có thể bao gồm:

• Đánh giá mô hình: Kiểm tra độ chính xác của mô hình thông qua các bộ dữ liệu kiểm thử

• Đánh giá tri thức: Xác định mức độ hữu ích và ứng dụng thực tế của tri thức được khai phá

• Giải thích mô hình: Cung cấp giải thích về cách thức mô hình làm việc và lý do tại sao nó đưa ra các dự đoán hoặc phân loại nhất định

Chi tiết:

• Báo cáo: Tạo các báo cáo chi tiết về tri thức và mô hình

• Trực quan hóa: Sử dụng các công cụ trực quan hóa để minh họa mô hình và tri thức

• Dashboard: Phát triển các bảng điều khiển tương tác để người dùng có thể khám phá dữ liệu và mô hình

1.3.2.7 Biểu diễn tri thức

Cuối cùng, tri thức được khai phá cần được biểu diễn một cách rõ ràng để người dùng cuối có thể hiểu và sử dụng

Sau quá trình khai phá và phân tích, việc biểu diễn tri thức được khám phá từ dữ liệu là bước cuối cùng và cũng là một trong những bước quan trọng nhất Bước này đưa tri thức đến gần hơn với người sử dụng cuối bằng cách chuyển đổi các mẫu thông tin và luật liên

hệ được phát hiện vào các dạng biểu diễn trực quan và dễ hiểu

Biểu diễn tri thức:

• Biểu diễn dữ liệu dưới dạng ma trận: Phương pháp này chuyển đổi dữ liệu thành một ma trận, trong đó mỗi hàng đại diện cho một mẫu dữ liệu và mỗi cột đại diện cho một thuộc tính Các ô trong ma trận có thể chứa giá trị số, nhị phân hoặc thậm chí là văn bản Phương pháp này phù hợp cho việc áp dụng các thuật toán khai phá dữ liệu trên ma trận, như phân cụm, phân loại và khám phá luật kết hợp

12

• Biểu diễn dữ liệu dưới dạng đồ thị: Phương pháp này biểu diễn dữ liệu dưới dạng các đỉnh và cạnh trong đồ thị Đây là cách biểu diễn thông thường ở khai phá mạng xã hội, khai phá dữ liệu web và các lĩnh vực liên quan đến mối quan hệ giữa các yếu tố Ta có thể sử dụng các thuật toán khai phá dữ liệu trên đồ thị, như phân cụm đồ thị, tìm kiếm cấu trúc và phân tích cộng đồng để khám phá tri thức

từ dữ liệu đồ thị

• Biểu diễn dữ liệu dưới dạng luật kết hợp: Phương pháp này biểu diễn tri thức dưới dạng các luật kết hợp, mô tả mối quan hệ giữa các mẫu xuất hiện cùng nhau trong dữ liệu Đây là phương pháp được sử dụng rộng rãi ở khai phá gian lận thẻ tín dụng, khuyến nghị sản phẩm và các ứng dụng khác liên quan đến tìm kiếm mẫu kết hợp

• Biểu diễn dữ liệu dựa trên hình thái và ngữ nghĩa: Phương pháp này tập trung vào việc biểu diễn dữ liệu theo cách hiểu được bởi con người Ta sử dụng kỹ thuật xử lý ngôn ngữ tự nhiên để trích xuất thông tin từ văn bản và biểu diễn dưới dạng cây cú pháp hoặc đồ thị ngữ nghĩa Điều này giúp ta hiểu và khai phá dữ liệu văn bản, như phân loại văn bản, phân tích ý kiến, trích xuất thông tin và các ứng dụng khác

1.3.3 Các phương pháp khai phá dữ liệu

Có nhiều phương pháp khai phá dữ liệu khác nhau, một số phương pháp phổ biến được

sử dụng như sau: Phân tích hồi quy (Regression Analysis), Phân tích chuỗi thời gian (Time Series Analysis), Phân tích thành phần chính (Principal Component Analysis - PCA),

1.3.3.1 Phân tích hồi quy (Regression Analysis)

13

Phân tích hồi quy là một kỹ thuật thống kê mạnh mẽ được sử dụng để xác định mối quan

hệ giữa một biến phụ thuộc (dependent variable) và một hoặc nhiều biến độc lập (independent variables) Mục tiêu chính của phân tích hồi quy là hiểu và mô tả mối quan

hệ này để có thể dự đoán giá trị của biến phụ thuộc khi biết giá trị của các biến độc lập 1.3.3.1.1 Các bước thực hiện phân tích hồi quy

Các bước để thực hiện phân tích hồi quy:

➢ Chuẩn bị dữ liệu:

Thu thập và xử lý dữ liệu: Thu thập dữ liệu liên quan đến biến phụ thuộc và biến giải thích từ các nguồn tin cậy Kiểm tra tính xác thực, độ hoàn thiện và tính đầy

đủ của dữ liệu Xử lý dữ liệu bị thiếu, nhiễu hoặc không chính xác

➢ Lựa chọn mô hình hồi quy:

Xác định loại mô hình hồi quy phù hợp: Có nhiều loại mô hình hồi quy như hồi quy tuyến tính, hồi quy logistic, hồi quy đa biến Chọn mô hình phù hợp với bài toán và dữ liệu cụ thể

➢ Xây dựng mô hình hồi quy:

o Xác định biến phụ thuộc và biến độc lập: Xác định biến mục tiêu và biến giải thích từ dữ liệu

o Xác định hàm mất mát và tối ưu hóa: Chọn hàm mất mát và phương pháp tối ưu hóa để đưa mô hình hồi quy về dạng tối ưu

➢ Huấn luyện và đánh giá mô hình:

o Chia dữ liệu thành tập huấn luyện và tập kiểm tra: Chia dữ liệu thành hai phần, một phần để huấn luyện mô hình và phần còn lại để kiểm tra hiệu suất

o Huấn luyện mô hình: Áp dụng dữ liệu huấn luyện vào mô hình hồi quy và điều chỉnh các tham số để tối ưu hóa hiệu suất

o Đánh giá mô hình: Sử dụng dữ liệu kiểm tra để đánh giá hiệu suất của mô hình bằng cách so sánh giữa giá trị dự đoán và giá trị thực tế Sử dụng các

độ đo đánh giá như sai số trung bình (MAE), sai số bình phương trung bình (MSE), hệ số xác định (R2), sai số bình phương trung bình căn bậc hai (RMSE)

14

➢ Diễn giải kết quả:

o Hiểu và diễn giải ý nghĩa của các hệ số trong mô hình

o So sánh với kiến thức chuyên gia và ngữ cảnh vấn đề

Tóm lại, phân tích hồi quy là một công cụ quan trọng ở khai phá dữ liệu, giúp xác định mối quan hệ và dự đoán giá trị của biến phụ thuộc dựa trên biến giải thích Tuy nhiên, việc áp dụng phương pháp này đòi hỏi sự chú ý đến giả định và yếu tố có thể ảnh hưởng,

để đảm bảo tính chính xác và diễn giải của mô hình

1.3.3.1.2 Hồi quy tuyến tính (Linear Regression)

Hồi quy tuyến tính dự đoán mối quan hệ giữa hai biến bằng cách giả định một kết nối tuyến tính giữa biến độc lập và biến phụ thuộc Phương pháp này tìm kiếm đường thẳng tối ưu nhằm giảm thiểu tổng của bình phương sự khác biệt giữa giá trị dự đoán và giá trị thực tế Nhiều lĩnh vực có áp dụng cách phân tích này, như kinh tế học và tài chính, phương pháp này phân tích và dự đoán xu hướng dữ liệu Nó có thể mở rộng sang hồi quy tuyến tính đa biến liên quan đến nhiều biến độc lập và hồi quy logistic, phù hợp cho các vấn đề phân loại nhị phân

Cho một bộ dữ liệu gồm N mẫu (samples) có các cặp giá trị (x1, y1), (x2, y2), , (xi, yi), , (xn, yn), trong đó xi là biến độc lập (independent variable) và yi là biến phụ thuộc (dependent variable)

Hồi quy tuyến tính cố gắng tìm một mô hình tuyến tính để dự đoán y dựa trên x Mô hình tuyến tính có thể được biểu diễn bằng công thức sau:

Trong đó:

- y là giá trị dự đoán của biến phụ thuộc

- x là giá trị của biến độc lập

- β0 là hệ số góc (intercept), đại diện cho giá trị y khi x = 0

- β1 là hệ số hồi quy (slope), đại diện cho tốc độ thay đổi của y theo x

- ε là sai số ngẫu nhiên (error term), biểu thị sự không chính xác của dự đoán

15

Mục tiêu của phương pháp hồi quy tuyến tính là tìm các giá trị β₀ và β₁ tối ưu sao cho

mô hình dự đoán y gần nhất với các giá trị y thực tế trong bộ dữ liệu

Nhận xét và đánh giá:

• Ưu điểm:

o Đơn giản và dễ hiểu: Phương pháp hồi quy tuyến tính là một phương pháp đơn giản và dễ hiểu, không đòi hỏi nhiều kiến thức toán học phức tạp Điều này làm cho nó trở thành một lựa chọn phổ biến và thích hợp cho những người mới bắt đầu trong lĩnh vực khai phá dữ liệu

o Tính diễn giải: Kết quả của hồi quy tuyến tính có thể được diễn giải một cách trực quan Các hệ số hồi quy cho biết mức độ tác động của từng biến giải thích lên biến phụ thuộc, giúp ta hiểu rõ hơn về mối quan hệ giữa các biến

o Tính linh hoạt: Phương pháp hồi quy tuyến tính có thể được áp dụng cho

cả bài toán hồi quy đơn biến và hồi quy đa biến Nó cũng có thể được mở rộng để xử lý các biến phụ thuộc phi tuyến

• Hạn chế:

o Giả định về tuyến tính: Một hạn chế lớn của phương pháp hồi quy tuyến tính là giả định về mối quan hệ tuyến tính giữa biến phụ thuộc và biến giải thích Điều này có nghĩa là phương pháp này không thể mô hình hóa các mối quan hệ phi tuyến hoặc phức tạp một cách chính xác

o Nhạy cảm với nhiễu và dữ liệu ngoại lai: Hồi quy tuyến tính dễ bị ảnh hưởng bởi nhiễu và dữ liệu ngoại lai Các điểm dữ liệu không phù hợp có thể gây biến động mô hình và làm giảm tính chính xác của kết quả

o Giới hạn với biến độc lập: Hồi quy tuyến tính chỉ có thể xử lý các biến giải thích độc lập Khi có sự tương quan mạnh giữa các biến giải thích, phương pháp này có thể gặp khó khăn trong việc xác định đóng góp riêng của từng biến

1.3.3.1.3 Hồi quy phi tuyến (Nonlinear Regression)

Hồi quy phi tuyến là một phương pháp trong thống kê và khoa học dữ liệu, sử dụng để

mô hình hóa mối quan hệ giữa biến phụ thuộc và biến độc lập một cách phi tuyến tính

- y là giá trị dự đoán của biến phụ thuộc

- x là giá trị của biến độc lập

- β0 là hệ số góc (intercept), đại diện cho giá trị y khi x = 0

- Β1 là hệ số hồi quy (slope), đại diện cho tốc độ thay đổi của y theo x

- a là một tham số mũ, cho biết mức độ phi tuyến của mô hình

- ɛ là sai số ngẫu nhiên (error term), biểu thị sự không chính xác của dự đoán Công thức được xác định bởi hàm phi tuyến f(x; β0, β1, ), trong đó β0, β1, là các tham

số cần được ước lượng để tối ưu mô hình dự đoán

Nhận xét và đánh giá:

• Ưu Điểm:

o Khả năng mô hình hóa mối quan hệ phức tạp: Hồi quy phi tuyến cho phép

mô hình hóa mối quan hệ phức tạp, không tuyến tính giữa các biến độc lập và biến phụ thuộc, đặc biệt quan trọng khi mối quan hệ không đơn giản

o Linh hoạt: Cung cấp tính linh hoạt trong việc định nghĩa hình dạng của

mô hình, giúp nắm bắt được sự biến đổi không đồng đều của dữ liệu theo biến độc lập

o Đồng thời xem xét ảnh hưởng của nhiều biến: Có thể xem xét đồng thời ảnh hưởng của nhiều biến độc lập lên biến phụ thuộc, giúp hiểu rõ hơn về quan hệ đa biến

17

• Nhược điểm:

o Khó xác định tham số: Việc xác định tham số trong mô hình phi tuyến thường có thể khó khăn hơn so với mô hình tuyến tính, đặc biệt khi mô hình có nhiều tham số

o Yêu cầu nhiều dữ liệu: Mô hình phi tuyến thường yêu cầu một lượng lớn

dữ liệu để đảm bảo độ chính xác của các tham số ước lượng

Hồi quy phi tuyến là một công cụ quan trọng ở khai phá dữ liệu, đặc biệt là khi mối quan

hệ giữa biến phụ thuộc và biến độc lập không tuân theo quy luật tuyến tính Tuy nhiên, việc sử dụng hồi quy phi tuyến đòi hỏi sự cẩn trọng trong việc lựa chọn mô hình và xác định tham số để tránh hiện tượng quá mô hình hóa Đồng thời, cần lưu ý rằng việc thu thập đủ dữ liệu là quan trọng để đảm bảo tính chính xác và độ tin cậy của mô hình hồi quy phi tuyến

1.3.3.1.5 Nhận xét và đánh giá phương pháp phân tích hồi quy:

• Mô hình phi tuyến hóa: Một ưu điểm lớn của phân tích hồi quy là khả năng mô hình hóa mối quan hệ phi tuyến Khi dữ liệu có các giá trị phi tuyến, việc sử dụng hồi quy phi tuyến có thể giúp mô phỏng chính xác hơn mối quan hệ giữa các biến Điều này cho phép nắm bắt được sự biến đổi không đồng đều của biến phụ thuộc khi có sự thay đổi trong biến độc lập

• Đa dạng hóa mô hình: Phân tích hồi quy cung cấp nhiều phương pháp và mô hình khác nhau để tìm hiểu sự tương quan giữa các biến Việc mô hình hóa phi tuyến

có thể được thực hiện thông qua việc sử dụng các biến tạo mức (polynomial regression), biến phụ thuộc logarit (logistic regression), mô hình spline, hay sử dụng các hàm phi tuyến khác Điều này cho phép tùy chỉnh mô hình cho phù hợp với cấu trúc dữ liệu cụ thể và mục tiêu nghiên cứu

• Kiểm soát nhiễu và dữ liệu ngoại lai: Một hạn chế của phân tích hồi quy là nhiễu

và dữ liệu ngoại lai có thể ảnh hưởng đến kết quả Tuy nhiên, việc sử dụng mô hình phi tuyến có thể giúp giảm thiểu tác động của nhiễu và dữ liệu ngoại lai Mô hình phi tuyến có khả năng mô phỏng mối quan hệ phức tạp hơn và có tính linh hoạt cao hơn, giúp cải thiện độ chính xác của việc dự đoán và mô phỏng

18

• Quản lý giả định: Phân tích hồi quy đòi hỏi giả định về tuyến tính, độc lập và phân phối chuẩn của dữ liệu Tuy nhiên, với mô hình phi tuyến, có thể giảm bớt một số giả định này Mô hình phi tuyến có thể làm giảm tác động của giả định tuyến tính, cho phép phân tích các mối quan hệ phức tạp hơn và mô hình hóa dữ liệu phi tuyến

Tổng kết lại, việc sử dụng phân tích hồi quy phi tuyến ở khai phá dữ liệu có giá trị khi

dữ liệu cần dự báo có các giá trị phi tuyến Phương pháp này cho phép mô hình hóa mối quan hệ phi tuyến, đem lại sự linh hoạt và khả năng dự đoán chính xác hơn so với phân tích hồi quy tuyến tính truyền thống Tuy nhiên, cần lưu ý về các giả định và hạn chế của phân tích hồi quy, cũng như kiểm soát nhiễu và dữ liệu ngoại lai để đảm bảo tính chính xác và ổn định của mô hình

1.3.3.2 Phân tích chuỗi thời gian (Time Series Analysis)

1.3.3.2.1 Tổng quan về phân tích chuỗi thời gian

Phân tích chuỗi thời gian ở khai phá dữ liệu là quá trình nghiên cứu và khám phá thông tin từ dữ liệu theo thời gian Nó nhằm hiểu và dự đoán các xu hướng, mô hình, mối quan

hệ hoặc biến đổi trong dữ liệu theo thời gian Quá trình này sử dụng các phương pháp

và kỹ thuật như mô hình hóa, dự đoán, phân tích thành phần, phát hiện biên độ và điểm ngoại lệ và kiểm định giả thuyết

Phân tích chuỗi thời gian ở khai phá dữ liệu áp dụng rộng rãi trong nhiều lĩnh vực như tài chính, kinh tế, thương mại điện tử, y tế, dự báo thời tiết và nhiều lĩnh vực khác Với

dữ liệu theo thời gian, phân tích chuỗi thời gian giúp chúng ta hiểu và tận dụng thông tin quan trọng và giá trị từ dữ liệu

• Mô hình hóa chuỗi thời gian: Mô hình hóa là quá trình xác định và xây dựng mô hình toán học hoặc thống kê để mô tả cấu trúc và quy luật của chuỗi thời gian Các mô hình phổ biến bao gồm mô hình ARIMA (Autoregressive Integrated Moving Average), mô hình nhiễu mũ (Exponential Smoothing), mô hình GARCH (Generalized Autoregressive Conditional Heteroskedasticity) và mô hình phân cấp (Hierarchical models)

19

• Dự đoán chuỗi thời gian: Dự đoán là quá trình ước lượng giá trị tương lai của chuỗi thời gian dựa trên thông tin lịch sử Các phương pháp dự đoán có thể dựa trên mô hình hóa lịch sử, sử dụng các phương pháp thống kê như hồi quy, mạng nơ-ron, học máy (machine learning), hay sử dụng các phương pháp dự đoán thời gian (time series forecasting methods) như mô hình ARIMA và mô hình nhiễu

mũ

• Phân tích thành phần: Phân tích thành phần giúp chúng ta hiểu cấu trúc và các yếu tố ảnh hưởng đến sự biến đổi của chuỗi thời gian Các thành phần chính bao gồm xu hướng (trend), chu kỳ (seasonality), dao động ngẫu nhiên (random fluctuations) và tác động từ các yếu tố bên ngoài (external factors) Việc phân tích các thành phần này giúp chúng ta xác định các yếu tố quan trọng và hiểu rõ hơn về sự biến đổi của chuỗi thời gian

• Phát hiện biên độ và điểm ngoại lệ: Trong phân tích chuỗi thời gian, việc xác định các biên độ (peaks) và điểm ngoại lệ (outliers) là rất quan trọng Các biên

độ đại diện cho các giá trị cực đại hoặc cực tiểu trong chuỗi thời gian, trong khi điểm ngoại lệ là các giá trị không tuân theo quy luật hoặc không giống với phần còn lại của chuỗi thời gian Việc phát hiện và xử lý các biên độ và điểm ngoại lệ giúp chúng ta loại bỏ nhiễu và cải thiện chất lượng của mô hình và dự đoán 1.3.3.2.2 Các bước thực hiện phân tích chuỗi thời gian

Phương pháp phân tích chuỗi thời gian ở khai phá dữ liệu yêu cầu một chuỗi bước chặt chẽ để hiểu rõ cấu trúc và xu hướng của dữ liệu theo thời gian Dưới đây là các bước cơ bản để thực hiện phương pháp phân tích chuỗi thời gian:

➢ Thu thập dữ liệu:

Thu thập dữ liệu theo chu kỳ thời gian xác định hoặc sử dụng dữ liệu hiện có từ nguồn đáng tin cậy

➢ Kiểm tra và xử lý dữ liệu:

Kiểm tra tính liên tục của dữ liệu theo thời gian

Xử lý giá trị thiếu, ngoại lệ, hoặc nhiễu trong chuỗi thời gian

➢ Tạo biểu đồ chuỗi thời gian:

20

Vẽ biểu đồ để quan sát xu hướng, mô hình chu kỳ và các biến động trong dữ liệu theo thời gian

➢ Phân tích thành phần chuỗi thời gian:

Phân rã chuỗi thời gian thành các thành phần chính như thành phần mùa vụ, thành phần chu kỳ, thành phần ngẫu nhiên và thành phần trung bình

➢ Chọn mô hình phù hợp:

Chọn mô hình dự báo phù hợp dựa trên phân tích thành phần và đặc điểm của dữ liệu

➢ Mô hình hóa và dự đoán:

Xây dựng mô hình và dự đoán xu hướng, mô hình mùa vụ và các yếu tố khác trong chuỗi thời gian

➢ Đánh giá mô hình:

Đánh giá hiệu suất của mô hình bằng cách sử dụng các độ đo như sai số tuyệt đối, sai số tương đối, hoặc các độ đo phù hợp với mục tiêu cụ thể của mô hình

➢ Tối ưu hóa và điều chỉnh mô hình:

Tối ưu hóa các tham số mô hình để cải thiện hiệu suất dự đoán

Kiểm tra và điều chỉnh mô hình dựa trên kết quả đánh giá

➢ Dự báo và tương lai hóa:

Sử dụng mô hình đã xây dựng để dự báo giá trị trong tương lai

Hiểu và dự đoán xu hướng dữ liệu trong tương lai để đưa ra quyết định kinh doanh

➢ Báo cáo và diễn giải:

Tạo báo cáo kết quả của phân tích chuỗi thời gian, bao gồm cả các kết luận và tương lai hóa về xu hướng của dữ liệu

➢ Triển khai và giám sát:

Triển khai mô hình và cập nhật dự báo theo thời gian

Liên tục giám sát hiệu suất của mô hình và điều chỉnh nếu cần

Những bước này định hình một quy trình toàn diện để hiểu và phân tích dữ liệu chuỗi thời gian, từ việc thu thập dữ liệu đến việc triển khai và giám sát mô hình trong thực tế 1.3.3.2.3 Nhận xét và đánh giá phương pháp phân tích chuỗi thời gian

Ưu điểm:

• Kiểm tra hiệu suất mô hình: Có thể sử dụng các phương pháp đánh giá hiệu suất

mô hình như MAE (Mean Absolute Error), RMSE (Root Mean Squared Error)

để đánh giá độ chính xác của mô hình dự đoán

Nhược điểm:

• Nhạy cảm với nhiễu và biến động: Chuỗi thời gian thường bị ảnh hưởng bởi nhiễu

và biến động, làm tăng khó khăn khi phân tích và dự đoán

• Đòi hỏi dữ liệu lớn: Đối với một số mô hình phức tạp, việc đòi hỏi dữ liệu lớn có thể là một thách thức, đặc biệt là trong trường hợp có nhiều biến

• Khó khăn khi xử lý chuỗi không đồng nhất: Trong một số trường hợp, việc xử lý chuỗi không đồng nhất (ví dụ: mất dữ liệu vào một số khoảng thời gian) có thể tạo ra thách thức

• Chọn lọc mô hình phức tạp: Việc chọn lọc mô hình phức tạp và phương pháp dự đoán phù hợp có thể là một quá trình phức tạp và đòi hỏi kiến thức sâu rộng về thống kê và machine learning

• Khó khăn khi dự đoán sự thay đổi nhanh chóng: Trong trường hợp dữ liệu có sự thay đổi nhanh chóng, mô hình có thể gặp khó khăn trong việc dự đoán chính xác

Tóm lại, phân tích chuỗi thời gian là một công cụ hữu ích nhưng cũng đòi hỏi sự hiểu biết sâu rộng và sự cẩn thận trong việc xử lý các thách thức cụ thể của dữ liệu thời gian

22

Anh Monty Python Python nổi tiếng là ngôn ngữ thân thiện với người mới học, thay thế Java để trở thành ngôn ngữ giới thiệu phổ biến nhất vì nó giảm bớt phức tạp cho người dùng, cho phép người mới tập trung vào việc nắm vững các khái niệm lập trình thay vì chi tiết nhỏ nhặt

Python được sử dụng cho phát triển web phía máy chủ, phát triển phần mềm, toán học

và viết script hệ thống và rất phổ biến cho việc phát triển ứng dụng và là ngôn ngữ script hoặc glue để kết nối các thành phần hiện có nhờ vào cấu trúc dữ liệu tích hợp cấp cao, kiểu dữ liệu động và liên kết động Chi phí bảo trì chương trình được giảm thiểu với Python nhờ cú pháp dễ học và tập trung vào tính đọc được Ngoài ra, việc hỗ trợ module

và đóng gói của Python giúp tạo ra các chương trình modular và tái sử dụng mã Python

là một ngôn ngữ cộng đồng mã nguồn mở, vì vậy có rất nhiều lập trình viên độc lập liên tục xây dựng các thư viện và chức năng cho nó

Ngôn ngữ lập trình này có sự ảnh hưởng mạnh mẽ trong lĩnh vực học máy và trí tuệ nhân tạo (AI) Được xây dựng với mục tiêu đơn giản và dễ sử dụng, Python đã trở thành một trong những ngôn ngữ ưu tiên cho các nhà phát triển và nhà nghiên cứu trong lĩnh vực này

Python cung cấp một loạt các thư viện và công cụ mạnh mẽ để xử lý dữ liệu, phân tích

số liệu và xây dựng các mô hình học máy và AI Các thư viện nổi tiếng như NumPy, Pandas và Scikit-learn cung cấp các cấu trúc dữ liệu và thuật toán tiện ích để thực hiện các tác vụ phân tích dữ liệu và học máy Ngoài ra, TensorFlow và PyTorch là hai framework phổ biến trong việc xây dựng và huấn luyện mạng nơ-ron và mô hình học sâu

Đặc điểm quan trọng của Python là cú pháp dễ đọc và dễ hiểu, giúp giảm độ phức tạp trong việc triển khai các thuật toán học máy và AI Nó cho phép người dùng tập trung vào logic và công việc chính thay vì mất nhiều thời gian và công sức cho các chi tiết cú pháp phức tạp

Python cũng hỗ trợ cộng đồng lớn và sôi nổi, với nhiều diễn đàn, thư viện và tài liệu phong phú Người dùng Python có thể dễ dàng tìm thấy giải pháp và hỗ trợ từ cộng đồng khi gặp phải vấn đề hoặc cần tư vấn

23

Với những ưu điểm trên, Python đã trở thành một công cụ quan trọng và phổ biến trong lĩnh vực học máy và AI Sự kết hợp giữa dễ học, tính linh hoạt và sức mạnh của ngôn ngữ này đã thu hút một số lượng lớn các nhà phát triển và nhà nghiên cứu, giúp thúc đẩy

sự phát triển và tiến bộ trong lĩnh vực này

1.4.2 Các thư viện, hàm sử dụng

Để thực hiện giải quyết bài toán với những công việc như: xây dựng dữ liệu, trực quan hóa, huấn luyện mô hình, tối ưu hóa mô hình và đánh giá mô hình, đồ án đã sử dụng một số thư viện và hàm để xử lý Dưới đây là thông tin và tác dụng của các hàm và thư viện được sử dụng:

• Scikit-learn là một thư viện Python phổ biến cho machine learning Nó cung cấp các công cụ và thuật toán để xây dựng, huấn luyện và đánh giá các mô hình machine learning Scikit-learn tích hợp các thuật toán phổ biến và cung cấp giao diện đồng nhất cho dễ dàng sử dụng Nó cũng tương thích với các thư viện Python khác như NumPy và Pandas Scikit-learn cho phép người dùng thực hiện các tác

vụ như huấn luyện mô hình, dự đoán và đánh giá hiệu suất mô hình Chức năng:

o Sử dụng RandomForestRegressor để xây dựng và đánh giá mô hình học máy

o Sử dụng SVR để xây dựng và đánh giá mô hình học máy

o Sử dụng các hàm đánh giá mô hình như mean_squared_error từ sklearn metrics

o Sử dụng train test split để chia tập dữ liệu thành tập huấn luyện và tập kiểm tra

• Matplotlib là một thư viện Python mạnh mẽ và phổ biến được sử dụng để tạo ra các biểu đồ và đồ thị trực quan Nó cung cấp các công cụ linh hoạt để hiển thị dữ liệu theo nhiều loại biểu đồ như đường, cột, hình tròn, scatter, histogram, heatmap

và nhiều loại biểu đồ khác Matplotlib cho phép người dùng tùy chỉnh và điều chỉnh các yếu tố của biểu đồ như tiêu đề, nhãn trục, màu sắc, định dạng dữ liệu

và hình dạng đồ thị

o Sử dụng để vẽ biểu đồ so sánh giữa giá trị thực tế và giá trị dự đoán và trực quan hóa dữ liệu

24

• Pandas là một thư viện Python mạnh mẽ dùng để xử lý và phân tích dữ liệu Nó cung cấp các công cụ và cấu trúc dữ liệu đơn giản như Series và DataFrame để làm việc với dữ liệu một chiều và hai chiều Pandas cho phép bạn thực hiện các tác vụ như lọc, sắp xếp, nhóm dữ liệu và tính toán thống kê một cách dễ dàng Ngoài ra, thư viện này cũng hỗ trợ đọc và ghi dữ liệu từ nhiều định dạng khác nhau và kết hợp với các thư viện trực quan hóa dữ liệu như Matplotlib và Seaborn Chức năng:

o Đọc dữ liệu từ các file (excel, csv, v.v), tạo dataframe, giúp quản lý và xử

lý dữ liệu một cách thuận tiện

• DEAP (Distributed Evolutionary Algorithms in Python) là một thư viện mã nguồn mở được viết bằng Python cho việc triển khai các thuật toán di truyền và tiến hóa Thư viện này cung cấp các công cụ và hàm tiện ích để xây dựng và tinh chỉnh các thuật toán tiến hóa như di truyền đơn, di truyền kép, di truyền mạng lưới và nhiều thuật toán khác DEAP cũng hỗ trợ việc tạo ra các hàm đánh giá tùy chỉnh và quản lý quần thể trong quá trình tiến hóa Nó là một công cụ mạnh

mẽ để thực hiện nghiên cứu và tối ưu hóa các bài toán phức tạp bằng các phương pháp tiến hóa

o Sử dụng để triển khai thuật toán di truyền để tối ưu hóa tham số của mô hình học máy

o Đăng ký kiểu dữ liệu mới và các phép toán di truyền

• Numpy là một thư viện Python cho tính toán khoa học Nó cung cấp đối tượng mảng đa chiều và các công cụ cho việc thực hiện các phép toán số học trên chúng

o Sử dụng để thực hiện các phép toán số học và quản lý mảng trong xử lý

dữ liệu và tối ưu hóa và xử lý dữ liệu

• Time cung cấp các hàm liên quan đến thời gian trong Python Chức năng:

o Được sử dụng để đo lường thời gian chạy của thuật toán và tính toán thời gian chạy

• Tích hợp dễ dàng: Python có khả năng tích hợp tốt với các ngôn ngữ và công cụ khác như C++, Java và R Điều này cho phép nhà phát triển kết hợp các thành phần từ các ngôn ngữ khác và tận dụng sức mạnh của các công cụ khác trong cùng một dự án

• Cộng đồng lớn và hỗ trợ: Python có một cộng đồng lập trình viên nhiệt tình và sôi nổi Có nhiều tài liệu, hướng dẫn và diễn đàn trực tuyến để hỗ trợ và giải đáp thắc mắc của người dùng

Nhược điểm của Python:

• Tốc độ thực thi: Trong một số trường hợp, Python không được tối ưu hóa để đạt được hiệu suất tốt nhất Do đó, khi xử lý các tác vụ phức tạp và yêu cầu tính toán cao, Python có thể chậm hơn so với các ngôn ngữ lập trình khác như C++

• Quản lý bộ nhớ: Python sử dụng quản lý bộ nhớ tự động, điều này có thể làm mất hiệu suất trong các ứng dụng yêu cầu sử dụng bộ nhớ lớn hoặc khi làm việc với

dữ liệu lớn

• Giới hạn trên thiết bị di động: Mặc dù Python có thể chạy trên nhiều nền tảng khác nhau, nhưng trên thiết bị di động, Python có thể gặp khó khăn khi cần tối

ưu hóa và làm việc trên tài nguyên hạn chế

Tổng quan, Python là một ngôn ngữ lập trình mạnh mẽ và linh hoạt, có thể đáp ứng nhiều yêu cầu trong lĩnh vực lập trình Mặc dù có nhược điểm như tốc độ thực thi và quản lý bộ nhớ, những ưu điểm của Python như dễ học, đa năng và hỗ trợ thư viện phong phú đã giúp nó trở thành một trong những ngôn ngữ lập trình phổ biến nhất hiện nay

27

Quá trình này tích hợp việc sử dụng phân tích thống kê và kỹ thuật học máy để phát triển một mô hình có khả năng dự báo chính xác lưu lượng nước dựa trên dữ liệu lịch

sử và các yếu tố liên quan

Mô hình này có thể sử dụng các kỹ thuật học máy, hồi quy và mô hình lai kết hợp để nâng cao độ chính xác của dự báo Quá trình huấn luyện mô hình sẽ bao gồm việc điều chỉnh các siêu tham số, chọn lọc và kết hợp các đặc trưng, cũng như kiểm tra chéo để đánh giá hiệu suất mô hình Dữ liệu chuỗi thời gian phức tạp như lưu lượng nước thường đòi hỏi việc sử dụng các mô hình có khả năng xử lý các yếu tố ngoại lai và thiếu sót Trong ngữ cảnh thực tế, mô hình này có thể được triển khai để giúp quản lý nguồn nước

và lập kế hoạch cho các hoạt động liên quan đến hồ chứa nước, như sản xuất điện, cung cấp nước tưới tiêu và quản lý lũ lụt

2.2 Chi tiết các bước thực hiện

Các bước chính trong mô hình tổng quát bao gồm thu thập dữ liệu, tiền xử lý dữ liệu, khám phá dữ liệu, xác định biến độc lập và biến phụ thuộc, xây dựng mô hình, huấn luyện và đánh giá mô hình, tinh chỉnh mô hình và cuối cùng là dự đoán và ứng dụng

• Bắt đầu: Mô hình khởi tạo bằng việc thu thập dữ liệu đầu vào, bao gồm tổng lưu

lượng xả từ hồ Ka Nak tại thời điểm t, số liệu mưa giữa 2 hồ tại thời điểm t, lưu lượng đến hồ An Khê tại thời điểm t và khởi tạo tham số cho các mô hình

• Kiểm tra định dạng dữ liệu: Đảm bảo dữ liệu đầu vào đúng định dạng Nếu

không, quá trình sẽ yêu cầu dữ liệu được chỉnh sửa để phù hợp

• Kiểm tra dữ liệu chuỗi thời gian hợp lệ: Kiểm tra dữ liệu chuỗi thời gian để

xác định xem có khoảng trống nào không Nếu có dữ liệu sai ở các trường thuộc tính thì sẽ xóa; nếu thiếu, dữ liệu sẽ được điền thêm từ bảng số liệu trung bình của ngày hôm đó

• Tính ma trận tương quan, trực quan hóa dữ liệu: Xác định mức độ liên quan

giữa các biến số để xác định được những biến số quan trọng và trực quan hóa dữ liệu để từ đó xác định phân phối của dữ liệu và chọn loại mô hình phù hợp

• Xây dựng mô hình: Dựa trên kết quả phân tích, xác định những thuộc tính đầu

vào sẽ sử dụng để xây dựng mô hình dự báo