Bài viết trình bày một phương pháp lọc dữ liệu có xem xét đến độ tin cậy của nguồn dữ liệu bằng cách phân tích trên nhiều mức độ tin cậy khác nhau và có thực hiện đối chiếu, so sánh kết quả với các phương pháp lọc dữ liệu trước đây (chẳng hạn như các phương pháp lọc Kalman, DBSCAN, Wavelet Transform và SSA).
Tạp chí Phát triển Khoa học Cơng nghệ – Kĩ thuật Công nghệ, 2(4):223-239 Bài nghiên cứu Open Access Full Text Article Ứng dụng phân tích thống kê để đánh giá độ tin cậy nguồn liệu đầu vào nhằm nâng cao chất lượng dự báo phụ tải điện ngắn hạn lưới điện TP.HCM Lê Duy Phúc1,2,*, Bùi Minh Dương2, Phạm Anh Duy3, Nguyễn Thanh Hoan1, Bành Đức Hồi1, Nguyễn Minh Tùng1, Nguyễn Minh Khơi1, Đồn Ngọc Minh1, Nguyễn Việt Dũng1 TÓM TẮT Use your smartphone to scan this QR code and download this article Tổng công ty Điện lực Tp.HCM Viện Kỹ thuật, Trường Đại học Công nghệ TP.HCM Công tác dự báo phụ tải điện ngắn hạn đóng vai trị quan trọng việc vận hành hệ thống điện, đặc biệt lưới điện Tp.HCM – Thành phố có sản lượng điện thương phẩm nhu cầu cung ứng điện cao nước năm qua Qua khảo sát, phụ tải điện thuộc khu vực Tp.HCM thường xuyên xuất thay đổi đột biến tạo nên nhiễu động quan sát sở liệu khứ Theo đó, việc đánh giá độ tin cậy liệu cần thiết giai đoạn xử lý liệu (còn gọi khâu lọc liệu) trước đưa vào mô hình dự báo phụ tải điện để xuất kết dự báo Nghiên cứu trình bày phương pháp lọc liệu có xem xét đến độ tin cậy nguồn liệu cách phân tích nhiều mức độ tin cậy khác có thực đối chiếu, so sánh kết với phương pháp lọc liệu trước (chẳng hạn phương pháp lọc Kalman, DBSCAN, Wavelet Transform SSA) Nguồn liệu sử dụng nghiên cứu thu thập từ 50 trạm trung gian thuộc lưới điện Tp.HCM đưa vào mơ hình dự báo mạng nơ-ron ANN (Artificial Neural Network) mơ hình dự báo ARIMA (Autoregressive Integrated Moving Average) để chứng minh hiệu phương pháp lọc liệu đề xuất Các kết mơ xuất từ mơ hình dự báo ANN ARIMA cho thấy hiệu phương pháp đề xuất, cụ thể, độ tin cậy liệu lưới điện Tp Hồ Chí Minh mức 95% kết dự báo phụ tải tốt so với khơng có áp dụng phương pháp lọc sử dụng phương pháp lọc khác Từ khoá: Dự báo phụ tải điện ngắn hạn, lọc liệu, phân tích thống kê, độ tin cậy, mạng nơ-ron ARIMA Khoa Kỹ thuật, Trường Đại học Việt – Đức Liên hệ Lê Duy Phúc, Tổng công ty Điện lực Tp.HCM Viện Kỹ thuật, Trường Đại học Công nghệ TP.HCM Email: phucld@hcmpc.com.vn Lịch sử • Ngày nhận: 15-10-2019 • Ngày chấp nhận: 25-11-2019 • Ngày đăng: 31-12-2019 DOI :10.32508/stdjet.v2i4.614 Bản quyền © ĐHQG Tp.HCM Đây báo cơng bố mở phát hành theo điều khoản the Creative Commons Attribution 4.0 International license TỔNG QUAN Hiện nay, hệ thống lưới điện phân phối Việt Nam bám sát lộ trình định hướng phát triển bền vững hoạch định sẵn Tuy nhiên, xuất nguồn lượng tái tạo (Renewable Energy Source RES ) với đa dạng mơ hình phụ tải ảnh hưởng đến nhiều mặt công tác dự báo, quy hoạch vận hành hệ thống điện Trong cụm khu vực gồm nhiều dạng tải khác nhau, phụ tải điện công nghiệp thường cao nhiều so với phụ tải khu dân cư Điều dẫn đến phụ tải dân cư bị hiểu nhầm nhiễu thuật toán lọc liệu Bên cạnh đó, cơng suất phát từ nguồn phát RES thay đổi đột ngột yếu tố tự nhiên Chính vậy, việc cải thiện chất lượng dự báo phụ tải ngắn hạn vấn đề nghiên cứu cấp thiết lưới điện phân phối, nơi có chứa phụ tải thường xuyên biến động đột ngột có tích hợp nguồn RES Dự báo phụ tải ngắn hạn (Short-time Load Forecasting - STLF) lưới phân phối thực thuật tốn học máy thơng thường phức tạp Đã có nhiều cơng trình nghiên cứu phương pháp dự báo phụ tải ngắn hạn, số nghiên cứu có đề cập tập trung vào việc phát triển giải thuật/thuật toán lọc liệu trước áp dụng mơ hình dự báo phụ tải 1–6 Nguyên nhân xuất phát từ việc số tác giả cho liệu đầu vào hoàn hảo lọc trước khai thác mơ hình dự báo phụ tải Trong tài liệu , mơ hình ARIMA kết hợp với phương pháp ngày tương tự để dự báo phụ tải ngày Trong nghiên cứu 8,9 , mạng nơ-ron hàm RB (Radial Basis) sử dụng để phục vụ công tác dự báo phụ tải ngắn hạn Trong tài liệu 10–13 , phương pháp học máy thông thường, cụ thể mạng nơ-ron nhân tạo, máy học ELM (Ensembled Extreme Learning Machine) KNN (K-nearest-neighbor), cho kết tốt thực dự báo phụ tải ngắn hạn Trong giai đoạn gần đây, phương pháp học sâu áp dụng rộng rãi cho lĩnh vực nghiên cứu dự báo phụ tải Cụ Trích dẫn báo này: Phúc L D, Dương B M, Anh Duy P, Thanh Hoan N, Đức Hoài B, Minh Tùng N, Minh Khôi N, Ngọc Minh D, Việt Dũng N Ứng dụng phân tích thống kê để đánh giá độ tin cậy nguồn liệu đầu vào nhằm nâng cao chất lượng dự báo phụ tải điện ngắn hạn lưới điện TP.HCM Sci Tech Dev J - Eng Tech.; 2(4):223-239 223 Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Công nghệ, 2(4):223-239 thể, mạng nơ-ron học sâu mạnh mẽ, chẳng hạn mạng nơ-ron CNN (Convolutional Neural Network) LSTM (Long-Short Term Memory) triển khai thành công thu kết tốt dự báo tải 14,15 Theo đó, mơ hình CNN sử dụng để nhận mẫu tổng thể, mơ hình LSTM sử dụng để trích xuất mối quan hệ bước thời gian Bài báo 15 cho thấy tác động nhiễu theo cấp số sử dụng mạng nơ-ron lan truyền ngược (BP - back propagation neural network) báo đưa phương pháp giảm thiểu nhiễu cách sử dụng hàm Wavelets để tiền xử lý trước thực mơ hình dự báo sử dụng SARIMA BP Theo khảo sát tại, nghiên cứu đề cập đến thuật toán lọc phương pháp phát bất thường nguồn liệu để phục vụ cho công tác dự báo phụ tải ngắn hạn Chỉ vài thuật toán phổ biến thường sử dụng lọc Kalman, DBSCAN, lọc rời rạc dựa biến đổi Wavelet (Discrete Wavelet-transform - DW) phân tích SSA (Singular Spectrum Analysis) Bộ lọc Kalman hoạt động thuật tốn hiệu chỉnh tín hiệu thời gian thực hệ số thích ứng để thay đổi tín hiệu lõi loại bỏ nhiễu ngẫu nhiên liệu Do đó, lọc Kalman áp dụng cơng cụ ước tính STLF dự báo phụ tải siêu ngắn hạn (Very Shortterm Load Forecasting - VSTLF) thay sử dụng lọc thơng thường để điều chỉnh nhiễu q trình thu thập liệu Cơng cụ dự báo dựa lọc Kalman công cụ dự báo độc lập 16,17 kết hợp với thuật tốn ước tính lõi để tạo thành cơng cụ ước tính lai 18–20 Tóm lại, cơng trình nêu cho thấy ứng dụng hiệu lọc Kalman để dự báo nhu cầu tải tương lai; nhiên, cách tiếp cận lọc Kalman u cầu phải thiết lập mơ hình trạng thái; đó, tham số phải mơ hình hóa triệt để khơng gian trạng thái Phân cụm không gian dựa mật độ đối tượng có nhiễu (Density-Based Spatial Clustering of Applications with Noise - DBSCAN) thuật toán phân cụm theo vùng tối thiểu dựa tham số xác định trước, khai thác theo cụm hình dạng tùy ý với hiệu tốt thông qua việc xác định mật độ tối đa điểm kết nối 21 DBSCAN không yêu cầu xác định trước số lượng cụm, thay vào đó, cần xác định trước ba tham số: khoảng cách, số tối thiểu mẫu cụm loại đo khoảng cách Trong tham khảo , DBSCAN sử dụng để phát dấu hiệu bất thường lịch sử tiêu thụ lượng nhằm xác định mức độ quán phụ tải, nhiên, nghiên cứu 224 không đề xuất giải pháp lọc thích hợp để xử lý bất thường phát Chuỗi liệu phụ tải coi hệ thống đa thành phần hình thành từ yếu tố phi tuyến tính thành phần chu kỳ Trong năm gần đây, biến đổi Wavelet thực cách hiệu để tách chuỗi ngẫu nhiên thành mức phân giải tương ứng với nhóm tín hiệu có đặc trưng khác Nó mang lại số kết đầy hứa hẹn việc giải vấn đề liên quan đến dự báo phụ tải lưới phân phối 22–24 Cụ thể, độ tin cậy mơ hình dự báo sử dụng Wavelet tăng lên nhiều tạo tính xác định độ ổn định tín hiệu đầu vào Tuy nhiên, sử dụng biến đổi Wavelet, người dùng cần quan tâm đến vấn đề đánh đổi độ sâu độ phân giải số lượng điểm liệu đầu vào Do đó, mức độ phân giải phải xác định theo cách cân số lượng điểm liệu cấp tính chất việc thu thập liệu tải Tương tự, phân tích SSA kỹ thuật phân rã tín hiệu sử dụng kỹ thuật phân tích chuỗi thời gian đáng tin cậy, để phát trích xuất xu hướng, thành phần định kỳ nhiễu SSA, công cụ mạnh mẽ kỹ thuật không tham số dự báo phụ tải xem xét yếu tố phân tích chuỗi thời gian, thống kê đa biến, hình học, hệ thống động lực xử lý tín hiệu 25 Tuy nhiên, kỹ thuật khơng sử dụng phổ biến cho dự báo theo chuỗi thời gian Nhìn chung, phương pháp lọc liệu đề cập trên, phân thành ba dạng: hiệu chỉnh đo lường, phân cụm liệu phân tách tín hiệu Ba loại áp dụng trực tiếp vào liệu thơ, có độ tin cậy thấp độ ổn định không cao lỗi thu thập liệu từ nhiều điểm đo lường Do đó, tính linh hoạt tính thích ứng hệ thống thu thập liệu khác thấp, việc lọc liệu thực độ tin cậy liệu Đây khuyết điểm khắc phục cách phát triển phương pháp lọc liệu dựa kỹ thuật phân tích thống kê từ phân phối độ lệch liệu tải theo hai ngày liên tiếp Điều làm tăng tính ổn định chuỗi đầu vào xảy việc liệu xu hướng Ngoài ra, phương pháp dựa kỹ thuật phân tích thống kê cịn xem xét đến độ tin cậy hệ thống thu thập liệu cách thực tìm kiếm theo kinh nghiệm nhập thông tin độ tin cậy để xác định khoảng tin cậy hiệu nguồn tín hiệu đầu vào thu thập Trong báo này, liệu phụ tải theo chuỗi thời gian trước tiên xây dựng thành sở 24 chuyển đổi thành liệu chênh lệch ngày tới cách tính hiệu theo cặp liệu hai ngày liên tiếp Sau đó, việc Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 tìm kiếm theo kinh nghiệm áp dụng đầu liệu để xác định mức độ tin cậy hiệu từ việc tính tốn tất mức độ tin cậy áp dụng STLF Mục tiêu viết xây dựng mơ hình học thống kê trình huấn luyện lấy mức độ tin cậy tốt nhất, dẫn đến độ xác cao mơ hình dự báo phụ tải Theo đó, bảng so sánh sai số MAPE (Mean Absolute Percentage Error - sai số phần trăm trung bình tuyệt đối) kết dự báo có tích hợp phương pháp lọc đề xuất với kết dự báo sử dụng phương pháp lọc trình bày để chứng minh hiệu phương pháp đề xuất Mặt khác, thông qua nguồn liệu thời gian thực thu thập từ 50 hệ thống SCADA trạm trung gian thuộc lưới điện Tp HCM, với mơ hình dự báo phụ tải ngắn hạn dựa phương pháp ANN ARIMA, thí nghiệm số thực để xác định tính hiệu phương pháp lọc liệu đề xuất Theo đó, kết mô chứng minh giá trị phụ tải dự báo xử lý trước phương pháp lọc đề xuất mức độ tin cậy 95% liệu tải Tp HCM vượt trội so với phương pháp lọc khác thông qua việc quan sát bảng đánh giá sai số phần trăm trung bình tuyệt đối MAPE Phần cịn lại nghiên cứu tổ chức sau: Phần trình bày phương pháp lọc liệu dựa phương pháp phân tích thống kê để nâng cao chất lượng kết dự báo phụ tải ngắn hạn Tiếp theo, Phần trình bày số liệu thí nghiệm số, hình ảnh bảng so sánh, đối chiếu phương pháp lọc trước với phương pháp đề xuất Sau đó, số đánh giá kết luận thể Phần báo PHƯƠNG PHÁP LỌC DỮ LIỆU DỰA TRÊN PHÂN TÍCH THỐNG KÊ ÁP DỤNG CHO MƠ HÌNH DỰ BÁO PHỤ TẢI NGẮN HẠN Biến đổi liệu Chuỗi liệu phụ tải kết thể hành vi tiêu thụ lượng từ nhóm phụ tải điện khác Do đó, liệu phụ tải phải có mẫu tần số đặc trưng hữu dụng dùng để mơ tả liệu Như Hình 1, mật độ phổ lượng (Power Spectral Density - PSD) cung cấp nhìn tổng quan hành vi chuỗi phụ tải Phân phối Hình cho thấy đóng góp vào việc mơ tả liệu dựa nguồn khảo sát đặc trưng “hàng ngày” (T = 1) Số lượng liệu lấy từ nhiều năm (từ năm 2014 đến năm 2018) để chứng minh mật độ phổ tin cậy Trục hoành “Period (DAYS)” thể điểm liệu chuỗi liệu phụ tải T theo qua ngày, cụ thể, T =12 tương đương 12 ngày dự báo phụ tải ngắn hạn theo tháng, T =1 tương đương ngày mật độ phổ theo ngày phù hợp với đơn vị hàng Hơn nữa, Hình 1, T =1/2 tương đương nửa ngày T =1/4 tương đương phần tư ngày Điều cho thấy chuỗi phụ tải nên chia thành phần sở 24 để giảm bớt trình huấn luyện mơ hình hồi quy thực dự báo ngắn hạn Các mơ hình hồi quy không học đặc điểm điểm liệu mà học mẫu tương đối giống liệu từ ngày sang ngày khác Tuy nhiên, yếu tố khác số giờ, số ngày, số tuần, số tháng, số quý số ngày lễ cần xem xét xây dựng chuỗi tải (tham khảo Bảng 1) Trong bảng này, chuỗi phụ tải có kích thước 133 số phân phối vị trí bao gồm liệu phụ tải dãy giá trị bit đại diện cho số theo thời gian mô tả đầy đủ đặc điểm đặc trưng liệu Ổn định liệu Dữ liệu chuỗi thu thập khoảng thời gian dài dẫn đến ổn định ảnh hưởng thay đổi xu hướng phát triển Xu hướng chuỗi dài hạn chủ yếu xu hướng tăng tuyến tính, dễ dàng loại bỏ phương pháp đơn giản, cụ thể phương pháp ước lượng trung bình động, hồi quy tuyến tính so lệch Việc loại bỏ xu hướng liệu nhằm mục đích làm cho chuỗi tải ổn định để đưa vào mơ hình dự báo Phương pháp so lệch phương pháp đơn giản định nghĩa từ phương trình (1) diff(d, h0 : h23) = T (d, h0 : h23, 0) −T (d − 1, h0 : h23, 0) (1) Trong diff chuỗi liệu so lệch ngày trước đó, tính hiệu giá trị tải tương ứng theo hai ngày lân cận, số bit thứ chuỗi phụ tải T với tất điểm liệu 24 giờ, thể từ h0 đến h23 (giờ thứ đế n thứ 23); biến d số thứ tự ngày xem xét/khảo sát d-1 số thứ tự ngày liền kề trước so với ngày khảo sát liệu Cần lưu ý rằng, số thứ tự ngày đánh số liên tục tất ngày khảo sát liệu ngõ vào Như công thức (1), mảng so lệch xác định cách trừ điểm liệu ngày vào điểm liệu ngày liền kề trước (theo giờ) chuỗi liệu phụ tải đầu vào Điều dẫn đến liệu ngày liệu xem chuỗi liệu so lệch tham chiếu Hơn nữa, chuỗi liệu so lệch thể đặc trưng phụ tải qua điểm thời gian theo ngày 225 Tạp chí Phát triển Khoa học Cơng nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 Hình 1: Mật độ phổ lượng chuỗi phụ tải thuộc lưới điện Tp HCM Bảng 1: Bộ giá trị bit gán cho số chuỗi phụ tải Chỉ số Dữ liệu phụ tải Phân phối vị trí bit Mô tả Giá trị tuyệt đối phụ tải Chỉ số (Hour) 1-24 Biến mã hóa ngày (24 giờ) Chỉ số ngày tuần (Weekday) 25-31 Biến mã hóa loại ngày tuần Chỉ số ngày tháng (Day) 32-62 Biến mã hóa ngày tháng (31 ngày) Chỉ số tuần (Week) 63-115 Biến mã hóa tuần năm (53 tuần) Chỉ số tháng (Month) 116-127 Biến mã hóa tháng năm (12 tháng) Chỉ số Quý (Quarter) 128-131 Biến mã hóa quý năm (4 quý) Chỉ số ngày lễ (Holiday) 132 Phân tích liệu Sau tiền xử lý chuỗi phụ tải cách biến đổi loại bỏ xu hướng liệu, nhóm tác giả áp dụng tính tốn hàm mật độ xác suất chuỗi liệu so lệch ngày liền kề trước đó, di f f (d, h0 : h23) theo biến thời gian Hình cho thấy chuỗi liệu so lệch ngày liền kề trước có dạng trực quan hàm mật độ xác suất (Probability Density Function - PDF), với giả định phù hợp chuỗi phụ 226 Biến nhị phân cho biết ngày có ngày nghỉ hay không tải loại biến ngẫu nhiên liên tục đường cong phụ tải loại khách hàng khác khác thay đổi ngẫu nhiên theo thời gian mà không theo quy luật sử dụng Hàm mật độ xác suất (PDF) chuỗi liệu so lệch ngày nên hàm phân phối chuẩn Gauss dựa theo kết đánh giá histogram Chi-square goodness of fit test chuỗi liệu Khi đánh giá độ tin cậy chuỗi liệu việc thể đặc tính thơng qua hàm mật độ Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Công nghệ, 2(4):223-239 xác suất giúp đánh giá dễ dàng xác suất chuỗi liệu Đầu tiên, xem xét đặc tính giới hạn trung tâm, liên quan đến việc ước tính giá trị trung bình biến độc lập với phân phối tùy ý để tuân theo phân phối Gaussian Điều quan trọng mẫu liệu thực, thấy liệu chuỗi phụ tải thực tế tổng hợp nhiều yếu tố cho thấy tổ hợp tuyến tính biến độc lập tạo biến tổng hợp có xu hướng thể phân phối Gaussian Tuy nhiên, Hình thể phân phối có hình dạng phân phối fat-tailed (khơng cân đối) chuỗi phụ tải so lệch ngày Điều có nghĩa phân phối có nhiều thành phần bên cần xem xét, đánh giá, phân tích, phân loại phương pháp PCA (Principal Components Analysis) để xác định số lượng thành phần tách chúng thành chuỗi phụ tải khác 26 Phương pháp PCA dùng dựa hàm tính pca (X) Matlab, với chuỗi liệu X chuỗi so lệch có từ bước ổn định liệu Có thể nhận thấy từ Hình 3, ba chuỗi phụ tải tách thành ba phân phối khác Trong bảng phân phối này, có chuỗi chênh lệch phụ tải ngày cịn lại (khơng phải từ Ch); đặc tính phân phối phi tuyến phức tạp cho thấy liệu chuỗi phụ tải ngày thể biến độc lập theo với độ tương quan không đồng Do cần xem xét phân tách liệu chuỗi phụ tải theo nhóm với độ tương quan phù hợp Hơn nữa, để xác định mẫu ẩn phân phối tải hàng ngày thể Hình 4b, c, thực phương pháp sơ đồ - dendrogram tồn chuỗi để phân tích mối quan hệ phân cụm chúng thành nhóm có độ tương quan cao, minh họa Hình Trong Hình 5, ba tải hàng có khoảng cách gần nhóm lại với hai chuỗi tải gồm : nhóm tải từ Thứ Bảy đến Chủ Nhật [0,1,2,3,4] giờ, [5,6,16,17,18,19,20,21,22,23] [7,8,9,10,11,12,13,14,15] giờ; nhóm tải từ Chủ Nhật đến Thứ Hai [0,1,2,3,4] giờ, [5,6,17,18,19,20,21,22,23] [7,8,9,10,11,12,13,14,15,16] Để đảm bảo tính liên tục thời gian liệu, tải [5,6] chia thành thứ tư hai nhóm phụ tải Sự tách biệt theo nhóm tương quan đóng vai trị quan trọng phương pháp lọc thống kê đề xuất nhóm tác giả Dựa vào phân phối xác xuất thể đặc trưng biến phụ tải theo thời gian trên, theo mức tin cậy liệu chọn, liệu tính độ tin cậy tương ứng việc áp dụng độ tương quan với phân phối theo nhóm ngày nhóm phân tích Hình cho thấy bảng phân phối chuỗi kết nhóm tải theo không theo phân phối chuẩn Gauss Phương pháp lọc liệu dựa phân tích thống kê để phục vụ cơng tác dự báo ngắn hạn Sau q trình tiền xử lý tập liệu cách phân cụm điểm liệu thành ba nhóm phụ tải khác nhau: (i) liệu chênh lệch công suất tải theo tương ứng từ Thứ Hai đến Thứ Bảy; (ii) liệu chênh lệch công suất tải theo tương ứng từ Thứ Bảy đến Chủ Nhật (iii) liệu chênh lệch công suất tải theo tương ứng từ Chủ Nhật đến Thứ Hai, có kết hợp phân tích đặc trưng phụ tải theo giờ, nhóm tác giả đề cập đến phương pháp lọc liệu dựa phân tích thống kê để phục vụ công tác dự báo ngắn hạn mục Mặc dù, độ xác giá trị liệu thu thập từ hệ thống SCADA trạm cải thiện tốt việc xuất lỗi ngẫu nhiên tránh khỏi Hơn nữa, giá trị liệu tải liệu thu thập từ nhiều điểm đo khác - vốn chưa qua xử lý, quy đổi, hiệu chỉnh hệ quy chiếu - dẫn đến việc đánh giá độ tin cậy cấp độ hệ thống khơng xác Dữ liệu thực từ hệ thống SCADA sử dụng cho trình dự báo phụ tải, báo áp dụng hai mơ hình dự báo gồm ANN ARIMA Trong nghiên cứu này, liệu SCADA lấy mẫu định kỳ theo Khi đó, liệu có chứa lỗi ngẫu nhiên, số liệu nhiễu trở thành yếu tố tính tốn trọng số hay hàm phức hợp giải thuật dùng ANN ARIMA Do vậy, việc liệu không tin cậy chứa lỗi ngẫu nhiên không làm sai lệch kết dự báo, mà lỗi ngẫu nhiên tác động khơng tốt theo bội số đến kết tính tốn cuối Để khắc phục vấn đề trên, phương pháp lọc liệu đề xuất thực nhiều mức độ tin cậy trước lựa chọn số độ tin cậy đại diện cho toàn liệu nguồn hệ thống Dữ liệu thu thập từ hệ thống SCADA tính tốn theo bước thể Hình Dữ liệu đầu vào sau biến đổi thành chuỗi phụ tải trình bày mục Biến đổi liệu; liệu loại bỏ tính xu hướng tuyến tính phương pháp ổn định mục Ổn định liệu Sau đó, liệu tính tốn hàm mật độ xác suất (PDF) để đánh giá dạng liệu có phân phối chuẩn phân tích Dendrogram, tham khảo mục 227 Tạp chí Phát triển Khoa học Cơng nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 Hình 2: Biểu đồ PDF chuỗi phụ tải so lệch ngày Hình 3: Biểu đồ PCA thể phân cụm ba chuỗiphụ tải khác 228 Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 Hình 4: PDF ba chuỗi chênh lệch phụ tải: (a) thay đổi công suất tải ngày tuần từ Thứ Hai đến Thứ Bảy; (b) từ Thứ Bảy đến Chủ Nhật; (c) từ Chủ Nhật đến Thứ Hai Hình 5: Phân tích Dendrogram tải hàng hai nhóm phụ tải: (a) chuỗi chênh lệch công suất tải theo từ Thứ Bảy đến Chủ Nhật (b) từ Chủ Nhật đến Thứ Hai Phân tích liệu Tiếp theo, liệu có hàm phân phối chuẩn đưa vào thuật tốn ANN để có kết dự báo S pred , sau số MAPE tính dựa vào Ss S pred biểu thức (2) Giá trị số sai số phần trăm trung bình tuyệt đối (MAPE) cho biết liệu với độ tin cậy tốt Như vậy, mục tiêu phương pháp lọc liệu dựa phân tích thống kê nhằm tìm kiếm mức độ tin cậy tốt đảm bảo giá trị sai số MAPE thấp nhờ vào việc tính toán biểu thức (2) sau giá trị dự báo ngày tới tính từ mơ hình tốn học ANN Giá trị sai số MAPE tính tốn ứng với trường hợp mức độ tin cậy khác nhau, để áp dụng cho phương pháp lọc liệu mang tính thống kê đề cập Mục đích tính tốn MAPE giúp chọn trường hợp mức độ tin cậy tốt với giá trị MAPE thấp Cơng thức tính tốn MAPE hai giá trị Ss S pred sau: MAPE = N −1 ∫ N−1 S pred − SS SS (2) Trong đó: Ss giá trị gốc thu thập S pred giá trị dự báo sau sử dụng mơ hình tốn ANN; N số chu kỳ tính tốn giá trị dự báo, báo tương ứng số lần dự báo theo tới liên tiếp Độ tin cậy liệu phụ tải giả định lớn 90% hệ thống SCADA hầu hết có độ xác cao Điều cho phép phạm vi tin cậy định gồm mười ba mức độ từ 90% đến 99%, 4,5sigma (~99,73%), 5,5-sigma (~99,9937%) 6-sigma (~99,99966%) Theo đó, mơ hình kết đánh giá liệu thực để tìm mức độ tin cậy tốt cách lựa chọn độ xác cao Các mơ hình dự báo thông thường Một điểm cần lưu ý báo tập trung vào phát triển phương pháp lọc liệu cho STLF, nên sử dụng phương pháp/mơ hình dự báo phụ tải thơng thường, mơ hình ANN ARIMA để chứng minh tính hiệu phương pháp lọc đề xuất 229 Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 Hình 6: Phân phối chuỗi riêng biệt tương ứng theo khung giờ: (a1) 0AM đến 4AM, (a2) 5AM đến 6AM, (a3) 7AM đến 3PM, (a4) 4PM đến 11PM từ Thứ Bảy đến Chủ Nhật; (b1) 0AM đến 4AM, (b2) 5AM đến 6AM, (b3) 7AM đến 4PM, (b4) 5PM đến 11PM từ Chủ nhật đến thứ Hai Mạng nơ-ron nhân tạo - Artificial Neural Network (ANN) a) Kiến trúc mạng nơ-ron nhân tạo Kiến trúc ANN triển khai báo bao gồm lớp đầu vào với kích thước phù hợp với dạng liệu đầu vào, hai lớp ẩn với 100 nút nơ-ron lớp lớp đầu có kích thước với lớp đầu vào, thể Hình Như mơ tả Bảng 2, mơ hình lấy nguồn liệu tải đầu vào tương ứng với số tập liệu đầu vào, chứa 133 đặc tính liệt kê Bảng Kết giá trị dự báo tương 230 ứng với số nguồn liệu đầu vào ánh xạ theo tương ứng ngày hôm sau Theo Bảng mơ tả, lớp ngõ vào có số lượng nút nơron số lượng Dữ liệu vào theo chuỗi tải T chọn mục Biến đổi liệu Trong nghiên cứu này, số lượng liên tiếp ký hiệu #hours biến đổi thành chuỗi tải T với số thông tin khác có kích thước 133; đầu lớp có kích thước 100 Lớp ẩn lớp ẩn có số lượng 100 nơ-ron kích thước ngõ vào ngõ 100 Lớp ngõ có số lượng nơ-ron tương ứng số ngõ vào, kích thước ngõ theo mảng 100 từ kết lớp ẩn, kích thước ngõ mảng giá trị dự báo theo số lượng Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 Hình 7: Giải thuật đề xuất để lọc liệu dựa phương pháp phân tích thống kê Bảng 2: Số lượng nút kích thước ANN Cấu trúc mạng nơ-ron Lớp ngõ vào (Input layer) Lớp ẩn (Hidden layer 1) Lớp ẩn (Hidden layer 2) Lớp ngõ (Output layer) Số lượng nút nơ-ron #hours 100 100 #hours Kích thước ngõ vào lớp (#hours, 133) (#hours, 100) (#hours, 100) (#hours, 100) Kích thước ngõ lớp (#hours, 100) (#hours, 100) (#hours, 100) (#hours, 1) 231 Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Công nghệ, 2(4):223-239 Hình 8: Kiến trúc ANN đơn giản #hours P(z) = z b) Huấn luyện mạng nơ-ron nhân tạo Theo kiến trúc ANN, vectơ kết lớp đầu hình thành khn mẫu liệu đầu vào với giá trị mục tiêu mạng nơ-ron Nói chung, trọng số mạng W i j liên kết cặp nút mạng cập nhật để thể tính liên quan, khác biệt đầu tạo ngõ mong muốn dựa vào liệu sai số tính tốn MAE, minh họa cơng thức (3) MAE = y − ypredict N actual (3) Sai số MAE xem hàm trung bình mục tiêu Nghiên cứu xem xét tối thiểu sai lệch ngõ chương trình dự báo với giá trị thực tế so sánh Sai số lớp ngõ truyền ngược qua tất lớp ẩn sang lớp đầu vào cách lấy đạo hàm hàm suy hao 27 tính tốn trọng số dựa trạng thái nơ-ron chúng Ngoài ra, để nhận tính phi tuyến liệu, hàm kích hoạt sử dụng sau lớp, cho chức điều chỉnh tuyến tính đơn vị (Rectifier-Linear-Unit RELU), thể công thức (4), tuyến tính (Pure-Linear), hiển thị công thức (5), áp dụng cho lớp ẩn lớp đầu ra, tương ứng R(z) = max(0, z) 232 (4) (5) Trong đó, z trạng thái đầu lớp Phương pháp ARIMA - Autoregressive Integrated Moving Average Phương pháp ARIMA thuật toán dự báo dựa chuỗi thời gian, thường sử dụng để giải nhiều vấn đề dự báo cấu trúc tốn học đơn giản cần quan sát lịch sử 28 Phương trình tổng qt cơng thức ARIMA trình bày sau: DD Xt = (1 − B)D Xt (6) Trong đó, D thứ tự so lệch thường có giá trị 2, B toán tử backshift KẾT QUẢ MÔ PHỎNG VÀ NHỮNG THẢO LUẬN Trong phần này, nhóm tác giả sử dụng liệu phụ tải lưới điện Tp.HCM để thử nghiệm phương pháp lọc liệu dựa phân tích thống kê đề xuất Giới thiệu liệu thu thập thực tế Từ cuối năm 2009, liệu phụ tải điện lưới điện Tp HCM bắt đầu thu thập đầy đủ định kỳ theo Tuy nhiên, cơng việc thực Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Công nghệ, 2(4):223-239 cách thủ công lỗi thu thập liệu chậm trễ điều tránh khỏi Cho đến năm 2014, liệu thời gian thực lưới điện cải thiện độ tin cậy thông qua việc thu thập từ hệ thống SCADA 50 trạm trung gian Phương pháp lọc đề xuất áp dụng để tính tốn mức độ tin cậy tất phân phối dựa vào liệu phụ tải thu thập nêu Theo đó, mơ thí nghiệm thực để minh họa tính khả thi hai phương pháp tính tốn để ước lượng tất mức độ tin cậy liệu Hai phương pháp tính tốn bao gồm: i) lấy trung bình tất mức độ tin cậy tính tốn có sai số MAPE thấp ii) lấy trung bình tất sai số MAPE chọn giá trị thấp Thử nghiệm kết Các thử nghiệm thực tất bảng phân phối Trong đó, liệu lọc theo nhiều mức độ tin cậy nhập vào mơ hình ANN đơn giản (mơ tả qua Hình 8) để huấn luyện đánh giá số MAPE giá trị so lệch trước ngày thực tế giá trị dự báo Kết sai số MAPE tính tốn hiển thị Bảng thể độ tin cậy phân phối liệt kê Hình 4a Hình Hệ số tin cậy liệu ước tính theo hai cách tính tốn: • Tìm kiếm mức độ tin cậy tương ứng với giá trị MAPE thấp cho phân phối, lấy trung bình mức độ tin cậy tất phân phối để chọn mức độ tin cậy phù hợp áp dụng cho tồn hệ thống; • Lấy giá trị trung bình tất giá trị MAPE mức độ tin cậy tìm kiếm mức độ thấp số giá trị trung bình; Việc sử dụng hai phương pháp để i) tạo điều kiện thuận lợi việc đánh giá độ xác phương pháp lọc liệu đề xuất ii) để có mức độ tin cậy phù hợp tồn hệ thống Mỗi phân phối Bảng có giá trị sai số MAPE tương ứng với mức độ tin cậy cụ thể Có thể thấy rằng, giá trị MAPE tối thiểu mức 99,73%, 97%, 90%, 90%, 99%, 96%, 99%, 95% 92% cho tất bảng phân phối, sau : Thứ Ba- Thứ Bảy0AM-11PM, Chủ Nhật-0AM-4AM, Chủ Nhật-5AM6AM, Chủ Nhật-7AM-3PM, Chủ Nhật-4PM-11PM, Thứ Hai-0AM-4AM, Thứ Hai-5AM-6AM, Thứ Hai7AM-4PM Thứ Hai-5PM-11PM Áp dụng phương pháp tính tốn đầu tiên, mức độ tin cậy 95,303% xác định giá trị đáng tin cậy đại diện cho tồn hệ thống Hàng ” Trung bình ” Bảng cho thấy kết cách tính tốn thứ hai 5,69% mức độ tin cậy 95% Điều đáng ý kết hai phương pháp tính tốn quán Do đó, mức độ tin cậy 95% liệu phụ tải theo thời gian thực sử dụng để so sánh độ hiệu phương pháp lọc đề xuất với phương pháp lọc đề cập Phần tổng quan Trong Bảng Bảng 5, phương pháp lọc liệu đề xuất cho STLF lưới phân phối vượt trội so với phương pháp khác sau chạy hai mô hình dự báo phổ biến ANN ARIMA Bảng MAPE (%) ANN lọc áp dụng phương pháp lọc khác liệu có độ tin cậy 95% Kalman, DBSCAN, DWT SSA Đối với ba nhóm liệu liệu phụ tải sau phân tách, cụ thể Chủ nhật, Thứ Hai ngày lại tuần, kết mơ hình dự báo ANN cho thấy giá trị sai số MAPE phương pháp lọc liệu đề xuất thấp so với phương pháp lọc khác (6,02% cho nhóm phụ tải Chủ Nhật, 5,87% cho nhóm phụ tải Thứ Hai 5,87% cho nhóm phụ tải lại) Cần lưu ý rằng, báo tập trung vào việc xây dựng phương pháp lọc liệu nên giá trị sai số tính toán MAPE tương đối cao Tương tự, Bảng cho thấy giá trị sai số MAPE mơ hình dự báo ARIMA sử dụng phương pháp lọc liệu đề xuất cao việc sử dụng lọc khác (9,89% cho nhóm phụ tải Chủ Nhật, 15,32% cho nhóm phụ tải Thứ Hai 4,9% cho nhóm phụ tải lại) dựa liệu với mức tin cậy 95% Hình thể biểu đồ liệu phụ tải thực tế so với liệu phụ tải dự báo từ hai mơ hình ANN ARIMA sử dụng phương pháp lọc liệu đề xuất với ba nhóm phụ tải khác Chi tiết hơn, Hình 9a thể cho nhóm chênh lệch phụ tải tương ứng theo Thứ Bảy-Chủ Nhật, Hình 9b cho nhóm chênh lệch phụ tải tương ứng theo Chủ Nhật-Thứ Hai Hình 9c cho nhóm chênh lệch phụ tải tương ứng theo ngày liền kề cịn lại tuần Các mơ hình dự báo huấn luyện với liệu khoảng thời gian từ ngày 01 tháng 01 năm 2014 đến ngày 01 tháng 11 năm 2018 trước thử nghiệm, đánh giá so sánh với liệu thu thập hai tháng Như minh họa Hình kết dự báo từ hai mơ hình ANN ARIMA so với liệu thực tế thu thập tuần tiếp theo, tương ứng chuỗi liệu 168 (=24x7) Mơ hình dự báo thực chạy dự báo theo chu kỳ cho kết liên tục với số tương đương hai tháng Có thể thấy từ Hình 9a Hình 9b: i) mức độ tin cậy 95% tập liệu dự báo đường cong tải từ mô hình ANN gần với đường cong tải thực tế so với đường cong từ mơ hình ARIMA; ii) nhóm phụ tải thơ khơng 233 234 90% 3,78 5,58 5,90 5,15 5,37 5,64 9,44 5,94 5,31 5,79 Phân phối Thứ Ba – Thứ Bảy 0AM-11PM Chủ Nhật 0AM4AM Chủ Nhật 5AM6AM Chủ Nhật 7AM3PM Chủ Nhật 4PM11PM Thứ Hai 0AM4AM Thứ Hai 5AM6AM Thứ Hai 7AM4PM Thứ Hai 5PM11PM Trung bình 5,80 4,98 5,65 8,74 5,36 5,34 5,96 7,12 5,25 3,77 91% 6,10 4,64 6,39 10,6 5,47 5,97 6,07 7,00 5,02 3,72 92% 5,93 4,96 6,18 9,70 5,49 5,56 6,00 6,50 5,27 3,67 93% 6,03 4,92 6,29 9,24 6,03 5,26 6,55 6,66 5,40 3,92 94% Bảng 3: MAPE (%) 09 phân phối khác với phạm vi độ tin cậy cho phép 5,69 4,88 5,47 9,36 5,50 5,23 5,71 6,38 4,94 3,73 95% 6,02 5,55 6,14 10,36 5,18 5,38 5,83 7,05 4,96 3,63 96% 5,88 4,77 6,00 9,47 5,69 6,17 5,93 6,41 4,71 3,75 97% 5,98 5,49 5,99 10,9 5,21 5,6 5,68 6,17 4,89 3,84 98% 5,91 4,82 6,45 8,57 5,43 5,15 6,06 7,43 5,17 4,10 99% 6,00 4,67 6,73 9,36 5,65 5,20 5,81 6,11 4,91 3,56 99,73% 6,39 5,25 7,17 10,96 5,81 5,20 6,49 7,65 5,17 3,85 99,9936% 6,28 4,85 6,07 10,96 5,81 5,20 7,21 7,42 5,17 3,83 99,99932% Tạp chí Phát triển Khoa học Cơng nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Cơng nghệ, 2(4):223-239 Bảng 4: Sai số tính tốn MAPE (%) mơ hình ANN khơng có áp dụng phương pháp lọc khác Không lọc Bộ lọc đề xuất với mức độ tin cậy 95% Bộ lọc Kalman Bộ lọc DBSCAN Bộ lọc DWT (loại bỏ tín hiệu tần số cao) Bộ lọc SSA Chủ Nhật 7,92 6,02 6,45 7,72 6,88 7,44 Thứ Hai 9,65 5,87 8,22 8,45 9,14 9,00 Những ngày lại 7,06 5,87 6,72 6,87 7,00 6,70 Bảng 5: Sai số tính tốn MAPE (%) mơ hình ARIMA khơng có áp dụng phương pháp lọc khác Chủ Nhật Thứ Hai Những ngày cịn lại Khơng lọc Bộ lọc đề xuất với mức độ tin cậy 95% Bộ lọc Kalman Bộ lọc DBSCAN Bộ lọc DWT ( loại bỏ tín hiệu tần số cao) Bộ lọc SSA 12,83 9,89 17,47 12,65 16,73 12,92 24 15,32 24,21 24,22 24,75 24,15 21,76 4,9 19,99 21,76 20,00 20,84 tuân theo phân phối chuẩn hình thành từ phân phối chuẩn (như minh họa Hình 6) phương pháp lọc liệu đề xuất hiệu việc cải thiện mơ hình dự báo phụ tải từ mơ hình ANN so với mơ hình ARIMA Hình 9c giải thích mơ hình ANN ARIMA cho kết dự báo phụ tải xác với việc sử dụng phương pháp lọc liệu đề xuất qua quan sát đường cong tải bám sát với đường cong phụ tải thực tế Tuy nhiên, xem xét kỹ lưỡng hơn, giá trị MAPE sử dụng mơ hình ARIMA nhỏ so với mơ hình ANN, tương ứng 4,9% so với 5,87% Điều cho thấy liệu thơ có phân phối chuẩn Hình 4a, với phương pháp lọc liệu đề xuất, mơ hình dự báo tải chuỗi thời gian ARIMA hoạt động tốt mơ hình học máy ANN ĐÁNH GIÁ VÀ KẾT LUẬN Một phương pháp lọc liệu dựa phương pháp phân tích thống kê để phục vụ cho mơ hình dự báo phụ tải ngắn hạn giới thiệu báo Phương pháp tìm kiếm mức độ tin cậy phù hợp liệu phụ tải thô cách tính tốn tất mức độ tin cậy Do đó, liệu phụ tải sau lọc đáng tin cậy hơn, thể rõ đặc trưng liệu thu thập, đưa vào mơ hình dự báo phụ tải điện Kết báo cho thấy rằng: i) Với việc đưa mức độ tin cậy thơng qua phương pháp đề xuất, độ xác liệu dự báo phụ tải dựa hai phương pháp ANN ARIMA cải thiện rõ rệt, vượt trội so với áp dụng thuật toán lọc khác Kalman, DBSCAN, DWT SSA; ii) Trong trường hợp liệu nhóm phụ tải có dạng phân phối chuẩn, mơ hình ARIMA cho kết tốt so với mơ hình ANN sử dụng phương pháp lọc liệu đề xuất mức độ tin cậy; iii) Mặt khác, phương pháp phân cụm PCA áp dụng để phân chia liệu tải thơ thành nhóm phụ tải có dạng phân phối chuẩn trước áp dụng phương pháp lọc đề xuất cho STLF; trường hợp đó, nhóm tác giả khuyến nghị sử dụng mơ hình dự báo dựa mạng nơ-ron; iv) Nếu số liệu bất thường thời gian dài liên tục chuỗi liệu đầu vào, giả sử liệu xem xét biến ngẫu nhiên, việc áp dụng phân phối chuẩn gauss theo phương pháp lọc thống kê đề xuất hạn chế tác động số liệu bất thường này; v) Trong trường hợp, số liệu bất thường lại không ngẫu nhiên mà thể tính xu hướng liệu số trường hợp tín hiệu thời gian dài phương pháp lọc thống kê đề xuất cần cải tiến để nhận biết trường hợp Cuối cùng, phương pháp lọc đề xuất nhóm tác giả ứng dụng cơng tác STLF lưới điện Tp.HCM lưới điện có tượng nhiễu động với mật độ dày đặc khu vực có đa dạng phụ tải điện, khiến cho độ tin cậy nguồn liệu không cao DANH MỤC CÁC TỪ VIẾT TẮT: RES: nguồn lượng tái tạo – Renewable Energy Source 235 Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Công nghệ, 2(4):223-239 Hình 9: Kết dự báo phụ tải mơ hình ANN ARIMA theo ba nhóm phụ tải; (a) nhóm chênh lệchphụ tải tương ứng theo Thứ Bảy-Chủ Nhật; (b) nhóm chênh lệch phụ tải tương ứng theo ChủNhật-Thứ Hai; (c) Nhóm chênh lệch phụ tải tương ứng theo ngày liền kề cịn lại tuần 236 Tạp chí Phát triển Khoa học Công nghệ – Kĩ thuật Công nghệ, 2(4):223-239 ANN: phương pháp mạng thần kinh nhân tạo – Artificial Neural Network ARIMA : phương pháp tự hồi qui tích hợp trung bình truợt – Autoregressive Integrated Moving Average MAPE: sai số phần trăm tuyệt đối trung bình - Mean Absolute Percentage Error SCADA : hệ thống điều khiển giám sát thu thập liệu - Supervisory Control And Data Acquisition STLF: dự báo phụ tải ngắn hạn - Short-time Load Forecasting RBF: hàm sở bán kính - Radial Basis Function ELM: máy học cực kết hợp - Ensembled Extreme Learning Machines KNN : hệ số K - K-nearest-neighbor CNN: mạng nơ-ron chuyển đổi - Convolutional Neural Network LSTM: Long-Short Term Memory DW: lọc rời rạc dựa biến đổi Wavelet - Discrete Wavelet-transform SSA: phân tích phổ đơn - Singular Spectrum Analysis VSTLF: dự báo tải siêu ngắn hạn - Very Short-term Load Forecasting DBSCAN: phân cụm không gian dựa mật độ đối tượng có nhiễu - Density-Based Spatial Clustering of Applications with Noise PSD: mật độ phổ lượng - Power Spectral Density PDF: hàm mật độ xác suất - Probability Density Function PCA: phương pháp Phân tích thành phần Principal Components Analysis MAE: sai số trung bình tuyệt đối - Mean Absolute Error RELU: chỉnh tuyến tính đơn vị - Rectifier- LinearUnit XUNG ĐỘT LỢI ÍCH Nhóm tác giả xin cam đoan khơng có xung đột lợi ích cơng bố báo ĐÓNG GÓP CỦA TÁC GIẢ Bùi Minh Dương, Phạm Anh Duy Lê Duy Phúc đưa ý tưởng viết bài, đóng góp diễn giải phương pháp thực hiện, kết mơ phỏng, phân tích, thảo luận nghiên cứu viết thảo Bành Đức Hoài, Nguyễn Minh Tùng, Nguyễn Minh Khôi Nguyễn Việt Dũng tham gia hỗ trợ thu thập liệu, kiểm tra lại viết, đóng góp phần tổng quan kết luận viết Phạm Anh Duy, Đoàn Ngọc Minh Nguyễn Thanh Hoan tham gia thu thập liệu, chạy kết mơ kiểm tra lại tả, kết viết TÀI LIỆU THAM KHẢO Kong W, Dong ZY, Jia Y, Hill DJ, Xu Y, Zhang Y Short-term residential load forecasting based on LSTM recurrent neural network IEEE Transactions on Smart Grid 2017 Sep 18; Hippert HS, Pedreira C, Souza RC Neural networks for shortterm load forecasting: a review and evaluation IEEE Transactions on Power Systems Feb 2001;16(1):44–55 Available from: 10.1109/59910780 Pandey AS, Singh D, Sinha SK Intelligent Hybrid Wavelet Models for Short-Term Load Forecasting IEEE Transactions on Power Systems Aug 2010;25(3):1266–1273 Available from: 10.1109/TPWRS2010.2042471 Qiang S, Pu Y Short-term power load forecasting based on support vector machine and particle swarm optimization Journal of Algorithms &t Computational Technology 2019;doi: 10.11771748301818797061 Wang, Jujie Wang, Jianzhou Li, Yaning Zhu, Suling Zhao, Jing Techniques of applying wavelet de-noising into a combined model for short-term load forecasting International Jourmal of Electrical Power Energy Systems 2014;62:816–824 Available from: 10.1016/.ijepes2014.05.038 Garcia M, Valero S, Senabre C, Marin AG Short-Term Predictability of Load Series Characterization of Load Data Bases in IEEE Transactions on Power Systems Aug 2013;28(3):2466– 2474 Available from: 10.119/TPWRS20132250317 Cao X, Dong S, Wu Z, Jing Y A Data-Driven Hybrid Optimization Model for Short-Term Residential Load Forecasting in Computer and Information Technology: Ubiquitous Computing and Communications; Dependable, Autonomic and Secure Computing: Pervasive Intelligence and Computing (CIT/IUCC/DASC/PICOM), 2015 IEEE International Conference on 2015;p 283–287 Yun Z, Quan Z, Caixin S, Shaolan L, Yuming L, Yang S RBF Neural Network and ANFIS-Based Short-Term Load Forecasting Approach in Real-Time Price Environment IEEE Transactions on Power Systems 2008;23:853–858 Li H, Zhao Y, Zhang Z, Hu X Short-term load forecasting based on the grid method and the time series fuzzy load forecasting method in International Conference on Renewable Power Generation (RPG 2015) 2015; 10 Qingle P, Min Z Very Short-Term Load Forecasting Based on Neural Network and Rough Set in Intelligent Computation Technology and Automation (ICICTA), 2010 International Conference on 2010;p 1132–1135 11 Zhang R, Dong ZY, Xu Y, Meng K, Wong KP Short-term load forecasting of Australian National Electricity Market by an ensemble model of extreme learning machine IET Generation, Transmission Distribution 2013;7:391–397 12 Zhang R, Xu Y, Dong ZY, Kong W A Composite k-Nearest Neighbor Model for Day-Ahead Load Forecasting with Limited Temperature Forecasts presented at the IEEE General Meeting Boston 2016; 13 Al-Qahtani FH, Crone SF Multivariate k-nearest neighbour regression for time series data-A novel algorithm for forecasting UK electricity demand in Neural Networks (UJCNN), The 2013 International Joint Conference on 2013; 14 Tian C, Ma J, Zhang C, Zhan P A Deep Neural Network Model for Short-Term Load Forecast Based on Long ShortTerm Memory Network and Convolutional Neural Network Energies 2018 Dec;11(12):3493 15 Ryu S, Noh J, Kim H Deep neural network based demand side short term load forecasting in 2016 IEEE International Conference on Smart Grid Communications (Smart Grid Comm) 2016;p 308–313 16 Gastaldi M, Lamedica R, Nardecchia A, Prudenzi A Short-term forecasting of municipal load hrough a Kalman filtering based approach IEEE PES Power Systems Conference and Exposition, 2004, New York, NY 2004;3:1453–1458 Available from: 101109/PSCE2004.1397538 17 Al-Hamadi HM, Soliman SA Fuzzy short-term electric load forecasting using Kalman filter IEE Proceedings-Generation, Transmission and Distribution 16 March 2006;153(2):217– 227 Available from: 101049ip-gtd20008 237 Tạp chí Phát triển Khoa học Cơng nghệ – Kĩ thuật Công nghệ, 2(4):223-239 18 Guan C, Luh PB, Michel LD, Chi Z Hybrid Kalman Filters for Very Short-Term Load Forecasting and Prediction Interval Estimation in IEEE Transactions on Power Systems Nov 2013;28(4):3806–3817 Available from: 10.1109/ TwRs20132264488 19 Ghofrani M, Hassanzadeh M, Etezadi-Amoli MS, Fadali MS Smart meter based short-term load forecasting for residential customers 2011 North American Power Symposium, Boston, MA 2011;p 1–5 Available from: 10.1109NAPs2011.6025124 20 Nengling T, Stenzel J, Hongxiao W Techniques of applying wavelet transform into combine model for short-term load forecasting Electric Power Systems Research 2006;76(67):525–533 ISSN 0378-7796, Available from: https://doi.org/ 10.1016/j.epsr.2005.07.003 21 Ester M, Kriegel HP, Sander J, Xu X A density-based algorithm for discovering clusters in large spatial databases with noise in Kdd 1996;p 226–231 22 Chao-Ming H, Yann-Chang H Combined wavelet-based networks and game-theoretical decision approach for real-time power dis- patch IEEE Trans Power Syst 2002;17(8):38 23 Oonsivilai A, Ei-Hawary ME Wavelet neural network based short term load forecasting of electric power system commer- 238 24 25 26 27 28 cial load in: Proceed- ings of IEEE Canadian Conf Elect Comput Eng May 1999;3:1223–1228 Edmonton, Canada Kim CI, Yu LK, Song YH Kohonen neural networks and wavelet transform based approach to short-term load forecasting Elect Electr Power Syst Res 2002;63(3):169–176 Zhang X, Wang J, Zhang K Short-term electric load forecasting based on singular spectrum analysis and support vector machine optimized by Cuckoo search algorithm, Electric Power Systems Research 2017;146:270–285 ISSN 0378-7796 Available from: https://doi.org/10.1016/jepsr.2017.01.035 Sehgal S, et al Data analysis using principal component analysis in 2014 International Conference on Medical Imaging, m-Health and Emerging Communication Systems (MedCom), DOI: 10.1109/MedCom.2014.7005973 Yang L, Yang H Analysis of Different Neural Networks and a New Architecture for Short-Term Load Forecasting Energies 2019;12:1433 Available from: 10.3390/en12081433 Khashei M, Bijari M A novel hybridization of artificial neural networks and ARIMA models for time series forecasting Appl Soft Comput 2011;11:2664–2675 Science & Technology Development Journal – Engineering and Technology, 2(4):223-239 Research Article Open Access Full Text Article Applying statistical analysis for assessing the reliability of input data to improve the quality of short-term load forecasting for a Ho Chi Minh City distribution network Phuc Le Duy1,2,* , Duong Minh Bui2 , Anh Pham Duy3 , Hoan Nguyen Thanh1 , Hoai Banh Duc1 , Tung Nguyen Minh1 , Khoi Nguyen Minh1 , Minh Doan Ngoc1 , Dung Nguyen Viet1 ABSTRACT Use your smartphone to scan this QR code and download this article Ho Chi Minh City Power Corporation Institute of Engineering, Ho Chi Minh University of Technology (HUTECH) Short-term load forecasting has an extremely important role in the design, operation and planning of power system, especially on apower grid of Ho Chi Minh City (HCMC) - anactive city hasthe highest power demand in Vietnam Through the data survey, the load power in the HCMC area changes suddenly so that it causes disturbances in the load data Accordingly, the reliability assessment of the load data will be essential in the processing stage of data-filtering before implementing load forecasting models This study introduces a novel statistical data-filtering method that takes into account the reliability of the input-data source by analyzing many different confidence levels Results of the proposed data-filtering method will be compared to previous data -iltering methods (such as Kalman, DBSCAN, Wavelet Transform and SSA filtering methods) The data source used in this study was collected from more than 50 substations uisng the SCADA system in Ho Chi Minh City's distribution network and was put into a neural network prediction model - ANN (Artificial Neural Network) and a ARIMA model (Autoregressive Integrated Moving Average), to demonstrate the effectiveness of the proposed data-filtering method Numerical results derived from ANN and ARIMA predictive models show the effectiveness of the proposed data-filtering method, particularly, when the reliability of real data from the Ho Chi Minh city distribution network is determined at the 95% level, the forecasting results of ANN and ARIMA models using the proposed data-filtering method are obviously better than that without filtering method or using other data-filtering methods Key words: Short-term load forecast, data filtering, statistical analysis, confidence level, neural network and ARIMA Faculty of Engineering, Vietnamese-German University Correspondence Phuc Le Duy, Ho Chi Minh City Power Corporation Institute of Engineering, Ho Chi Minh University of Technology (HUTECH) Email: phucld@hcmpc.com.vn History • Received: 5-10-2019 • Accepted: 25-11-2019 ã Published: 31-12-2019 DOI : 10.32508/stdjet.v2i4.614 Copyright â VNU-HCM Press This is an openaccess article distributed under the terms of the Creative Commons Attribution 4.0 International license Cite this article : Le Duy P, Minh Bui D, Pham Duy A, Nguyen Thanh H, Banh Duc H, Nguyen Minh T, Nguyen Minh K, Doan Ngoc M, Nguyen Viet D Applying statistical analysis for assessing the reliability of input data to improve the quality of short-term load forecasting for a Ho Chi Minh City distribution network Sci Tech Dev J – Engineering and Technology; 2(4):223-239 239 ... số đánh giá kết luận thể Phần báo PHƯƠNG PHÁP LỌC DỮ LIỆU DỰA TRÊN PHÂN TÍCH THỐNG KÊ ÁP DỤNG CHO MƠ HÌNH DỰ BÁO PHỤ TẢI NGẮN HẠN Biến đổi liệu Chuỗi liệu phụ tải kết thể hành vi tiêu thụ lượng. .. lọc liệu dựa phương pháp phân tích thống kê để phục vụ cho mơ hình dự báo phụ tải ngắn hạn giới thiệu báo Phương pháp tìm kiếm mức độ tin cậy phù hợp liệu phụ tải thơ cách tính tốn tất mức độ tin. .. thích ứng hệ thống thu thập liệu khác thấp, việc lọc liệu thực độ tin cậy liệu Đây khuyết điểm khắc phục cách phát triển phương pháp lọc liệu dựa kỹ thuật phân tích thống kê từ phân phối độ lệch liệu