Phát hiện bất thường điện năng tiêu thụ dựa trên phân tích dữ liệu chuỗi thời gian

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN MINH HUẤN PHÁT HIỆN BẤT THƯỜNG ĐIỆN NĂNG TIÊU THỤ DỰA TRÊN PHÂN TÍCH DỮ LIỆU CHUỖI THỜI GIAN Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ Mã số: 60.34.04.05 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 12 năm 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG - HCM Cán hướng dẫn khoa học: PGS TS ĐẶNG TRẦN KHÁNH (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH & KT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN MINH HUẤN MSHV: 1670463 Ngày, tháng, năm sinh: 26/08/1981 Nơi sinh: Đồng Nai Chuyên ngành: Hệ thống thông tin quản lý Mã số : 60.34.04.05 I TÊN ĐỀ TÀI: PHÁT HIỆN BẤT THƯỜNG ĐIỆN NĂNG TIÊU THỤ DỰA TRÊN PHÂN TÍCH DỮ LIỆU CHUỖI THỜI GIAN II NHIỆM VỤ VÀ NỘI DUNG: - Nhiệm vụ: Thực luận văn thạc sĩ với đề tài Phát bất thường điện tiêu thụ dựa phân tích liệu chuỗi thời gian - Nội dung: + Làm rõ khái niệm bất thường cho tiêu thụ điện + Tìm hiểu phương pháp xác định bất thường + Nghiên cứu liệu điện tiêu thụ khách hàng doanh nghiệp + Thiết kế thí nghiệm để đánh giá số phương pháp xác định bất thường liệu điện tiêu thụ thực tế số khách hàng doanh nghiệp + Thiết kế xây dựng công cụ phát bất thường điện tiêu thụ theo thời gian thực dành cho đối tượng sử dụng người chuyên gia phân tích liệu III NGÀY GIAO NHIỆM VỤ : 15/01/2018 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 17/06/2018 V CÁN BỘ HƯỚNG DẪN: PGS TS ĐẶNG TRẦN KHÁNH Tp HCM, ngày tháng năm 2019 CÁN BỘ HƯỚNG DẪN TRƯỞNG KHOA KH & KTMT i LỜI CẢM ƠN Đầu tiên, xin chân thành cảm ơn Thầy, PGS TS Đặng Trần Khánh tận tình hướng dẫn tơi q trình thực luận văn tốt nghiệp Thầy đưa nhiều ý tưởng, gợi ý nhiều phương pháp để tơi tìm hiểu, nghiên cứu áp dụng luận văn Tôi xin chân thành cảm ơn Thầy, Cô trường Đại học Bách Khoa Thành phố Hồ Chí Minh truyền đạt kiến thức q giá giúp tơi ngày trưởng thành đường học vấn Tơi xin chân thành cảm ơn Ơng Nguyễn Phước Đức, Phó Tổng Giám đốc Tổng công ty Điện lực miền Nam; Ông Trần Hữu Minh, Trưởng Ban Công nghệ thông tin đồng nghiệp Tổng công ty Điện lực miền Nam tạo điều kiện để tham gia khóa học thực luận văn Con xin cảm ơn Ba, Mẹ đặt niềm tin dõi theo đường tìm tịi học vấn kiến thức Cuối cùng, cảm ơn vợ tôi, Nguyễn Lưu Thùy Ngân, ln động viên, khuyến khích tơi hồn thành chương trình học Thạc sĩ Hệ thống thơng tin quản lý hồn thành luận văn tốt nghiệp Thành phố Hồ Chí Minh, tháng 12 năm 2018 ii TÓM TẮT Ngày nay, với phổ biến công tơ điện tử, liệu điện tiêu thụ khách hàng sử dụng điện Công ty Điện lực thu thập liên tục Luận văn nghiên cứu liệu điện tiêu thụ khách hàng sử dụng điện để tìm phương pháp hiệu dùng để phát bất thường trình sử dụng điện khách hàng Phương pháp phát bất thường bao gồm giai đoạn: Giai đoạn thứ nhất, giai đoạn dự báo, nhằm dự báo giá trị điện tiêu thụ tương lai, sau tính tốn vùng giá trị bình thường Giai đoạn thứ hai, giai đoạn xác định bất thường, so sánh điện tiêu thụ thực tế với vùng giá trị bình thường để tìm bất thường sử dụng điện khách hàng Đối với dự báo điện tiêu thụ tương lai, luận văn cài đặt thử nghiệm, so sánh hiệu 04 phương pháp dự báo phổ biến là: (1) Auto Regressive integrated Moving Average (ARIMA), (2) Holt-Winters, (3) Double Seasonal Holt-Winters (4) phương pháp lai mạng nơ ron ARIMA Các thử nghiệm thực liệu điện tiêu thụ điện thực tế số khách hàng sử dụng điện Tổng công ty Điện lực miền Nam (thơng tin khách hàng mã hóa) Bên cạnh đó, luận văn xây dựng cơng cụ hỗ trợ phát bất thường theo thời gian thực để minh họa cho phương pháp phát bất thường mà luận văn sử dụng iii ABSTRACT Nowadays, the use of digital electric-energy meter has become very popular Thanks to digital electric-energy meters, the electricity company can easily gather electric-energy-consumption data in real time This research compares different data analysis methods to find an effective method for detecting possible anomalies in electric-energy consumption; thus, is beneficial for both electric-energy consumers and suppliers Our anomaly detection methods follow two broad steps: The first step is to predict the amount of electric-energy consumption at a moment in future and calculate a possible range of normal consumption The second step is to compare the actual consumption value that is collected via the digital electric-energy meter with the predicted range; Values that fall outside this range are considered anomalies For the first step, we study four different methods which have shown good results on other data sets in previous works: (1) Auto Regressive Integrated Moving Average (ARIMA), (2) Holt-Winters, (3) Double Seasonal Holt-Winters, and (4) A hybrid method between Neural Network and ARIMA (NNAR) All of the experiments are carried out on the real electric-energy consumption data of the Southern Electric Power Company – Vietnam (consumers’ information has been anonymized) Besides, we also built a tool to assist human in detecting anomalies to illustrate the methods implemented in this research iv LỜI CAM ĐOAN CỦA TÁC GIẢ Tôi xin cam đoan kết nghiên cứu trình bày luận văn thân tơi thực Những nội dung tham khảo từ cơng trình khác trích dẫn đầy đủ v MỤC LỤC CHƯƠNG 1: MỞ ĐẦU 1.1 Giới thiệu đề tài 1.2 Mục tiêu nghiên cứu 1.3 Đối tượng phạm vi nghiên cứu 1.4 Cấu trúc luận văn .2 1.5 Đóng góp luận văn .3 CHƯƠNG 2: TỔNG QUAN .4 2.1 Các cơng trình trình nghiên cứu liên quan .4 2.2 Hướng nghiên cứu luận văn .5 CHƯƠNG 3: CƠ SỞ LÝ THUYẾT 3.1 Phát bất thường 3.1.1 Các dạng bất thường 3.1.2 Các phương pháp phát bất thường 3.1.3 Các kỹ thuật dùng để phát bất thường phổ biến 3.1.3.1 Kỹ thuật phát bất thường dựa phân lớp 3.1.3.2 Kỹ thuật phát bất thường dựa phân cụm .8 3.1.3.3 Kỹ thuật phát bất thường dựa thống kê 3.2 Phân tích liệu chuỗi thời gian 3.2.1 Dữ liệu chuỗi thời gian .9 3.2.1.1 Định nghĩa 3.2.1.2 Chuỗi thời gian dừng 10 3.2.1.3 Xu hướng mùa vụ 10 3.2.2 Các phương pháp dự báo dựa phân tích liệu chuỗi thời gian 11 3.2.2.1 ARIMA 11 3.2.2.2 Holt Winters .12 3.2.2.4 Phương pháp dự báo Double Season Exponential Smoothing 14 3.3 Phương pháp pháp bất thường 16 3.4 Đánh giá độ xác mơ hình dự báo 17 CHƯƠNG 4: PHƯƠNG PHÁP THÍ NGHIỆM .18 4.1 Dữ liệu 18 vi 4.2 Phương pháp thí nghiệm 23 4.2.1 Phương pháp thực .23 4.2.2 Dữ liệu thực mơ hình dự báo .25 4.2.3 Cơng cụ thực thí nghiệm 25 4.3 Phương pháp đánh giá 25 CHƯƠNG 5: KẾT QUẢ THÍ NGHIỆM 26 5.1 Thí nghiệm 26 5.1.1 Mục tiêu 26 5.1.2 Dữ liệu 26 5.1.3 Kết .26 5.2 Thí nghiệm 28 5.2.1 Mục tiêu 28 5.2.2 Dữ liệu 28 5.2.3 Kết .28 5.3 Thí nghiệm 29 5.3.1 Mục tiêu 29 5.3.2 Dữ liệu 29 5.3.3 Kết .29 5.4 Thí nghiệm 30 5.4.1 Mục tiêu 30 5.4.2 Dữ liệu 31 5.4.3 Kết .31 5.5 Thí nghiệm 38 5.5.1 Mục tiêu 38 5.5.2 Dữ liệu 38 5.5.3 Kết .38 CHƯƠNG 6: CÔNG CỤ PHÁT HIỆN BẤT THƯỜNG 39 6.1 Thiết kế hệ thống 39 6.2 Lớp sở liệu: 40 6.3 Mơ đun phân tích 41 6.4 Giao diện 41 CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 43 vii DANH MỤC CÁC TÀI LIỆU THAM KHẢO 44 HÌNH Hình Bất thường toàn cục bất thường cụ Nguồn [15] Hình Minh họa liệu chuỗi thời gian 10 Hình Phân rã liệu chuỗi thời gian với hàm decompose ngôn ngữ R 11 Hình Cấu trúc mạng nơ ron nhân tạo nguồn: https://cs231n.github.io 15 Hình Qui tắc 2-sigma phân phối chuẩn Nguồn [2] .16 Hình Mơ hình thu thập liệu cơng tơ điện tử từ xa 18 Hình Mơ hình phát tuyến trạm khách hàng .19 Hình Biểu đồ phụ tải 19 khách hàng kinh doanh 19 Hình Tổng hợp phụ tải theo ngày 19 khách hàng 20 Hình 10 Tổng hợp phụ tải theo tuần 19 khách hàng 20 Hình 11 Biểu đồ phụ tải khách hàng có ID 7,9,17,19 21 Hình 12 Biểu đồ tần suất giá trị phụ tải (histogram) 22 Hình 13 Biểu đồ phân bố liệu, biểu đồ giá trị trung bình với độ lệch chuẩn (Sd) biểu đồ giá trị trung vị độ lệch từ trung vị (Mad) 23 Hình 14 Qui trình phát bất thường liệu 24 Hình 15 Biểu đồ so sánh phương pháp dự báo (giá trị MAPE trung bình) tập liệu huấn luyện tuần, 16 tuần, 32 tuần trượt tuần .26 Hình 16 Biểu đồ so sánh phương pháp dự báo (giá trị MAPE %) tập liệu huấn luyện tuần, 16 tuần, 32 tuần tuần .27 Hình 17 Biểu đồ so sánh phương pháp dự báo (giá trị MAPE trung bình) tập liệu huấn luyện tuần, 16 tuần, 32 tuần trượt tuần .28 Hình 18 So sánh mơ hình dự báo tổng hợp 19 khách hàng sử dụng điện 29 Hình 19 Biểu đồ so sánh MAPE (%) mơ hình dự báo .30 Hình 20 Kết dự báo mơ hình cho khách hàng có ID 31 Hình 21 Biểu đồ phụ tải khách hàng có ID 32 32 Hình 21 Biểu đồ phụ tải khách hàng có ID Hình 22 Biểu đồ so sánh MAPE (%) mơ hình dự báo khách hàng khách hàng có ID Bảng So sánh độ xác MAPE (%) mơ hình dự báo khách hàng có ID Mơ hình ARIMA HW NNAR DSHW Thứ Hai 49.109 46.694 20.251 35.383 Thứ Ba 30.907 31.241 23.611 109.286 Thứ Tư 22.197 22.469 24.420 105.775 Thứ Năm 38.715 38.854 41.463 101.308 Thứ Sáu 37.914 37.914 29.651 46.344 Thứ Bảy 24.175 38.615 35.686 65.119 Chủ Nhật 114.074 120.778 55.200 87.428 Cả Tuần 45.299 48.081 32.897 78.663 Bảng cho thấy độ xác mơ hình dự báo cho liệu điện tiêu thụ khách hàng ID khơng cao Độ xác cao thuộc 33 mơ hình NNAR với giá trị 32.897 % xem chấp nhận Ngưỡng chấp nhận cịn bao gồm mơ hình ARIMA Holt-Winters với độ xác 45.299% 48.081 % Độ xác thấp thuộc mơ hình dshw với giá trị 78.663 % xem không sử dụng Đối với khách hàng có ID 9, mơ hình cho mẫu phụ tải dự báo giống với mẫu phụ tải liệu thực tế Theo Hình 20, mẫu phụ tải ngày làm việc giống nhau, giảm dần từ đầu tuần đến ngày cuối tuần, hai ngày nghỉ cuối tuần có mẫu phụ tải thấp ngày làm việc mẫu phụ tải ngày Chủ nhật thấp Hình 23 Kết dự báo mơ hình cho khách hàng có ID So sánh hiệu mơ hình dự báo (Hình 21, Bảng 4) mơ hình HoltWinters có độ xác cao với giá trị số MAPE 12.499 % Mơ hình có độ xác thấp NNAR với giá trị số MAPE 17.561 % Hình 24 Biểu đồ so sánh MAPE (%) mơ hình dự báo khách hàng khách hàng có ID 34 Đối với ngày tuần mơ hình ARIMA có độ xác cao vào thứ Hai thứ Sáu với giá trị số MAPE 7.137%, 12.816% Mơ hình dshw có độ xác cao vào thứ Ba với MAPE 12.820% Mơ hình HoltWinters có độ xác cao vào thứ Tư, thứ Năm Chủ nhật với MAPE 6.920%, 11.051% 19.844% Mơ hình NNAR có giá trị cao vào thứ Bảy với MAPE 11.180% Bảng So sánh độ xác MAPE (%) mơ hình dự báo khách hàng có ID Mơ hình ARIMA HW NNAR DSHW Thứ Hai 7.137 7.180 29.255 10.951 Thứ Ba 16.787 16.790 16.290 12.820 Thứ Tư 6.930 6.920 10.901 24.050 Thứ Năm 11.069 11.051 12.762 13.379 Thứ Sáu 12.816 12.818 17.549 16.794 Thứ Bảy 12.895 12.891 11.180 15.368 Chủ Nhật 20.469 19.844 23.799 20.709 Cả Tuần 12.586 12.499 17.391 16.298 Đối với khách hàng có ID 17 có mẫu phụ tải thuộc dạng điển hình với mức phụ tải cao ngày làm việc mức mụ tải thấp ngày cuối tuần Các mơ hình cho kết mẫu phụ tải dự báo tương tự biểu đồ phụ tải thực tế Hình 25 Kết báo mơ hình cho khách hàng có ID 17 Theo biểu đồ bên mơ hình ARIMA có độ xác dự báo cao với MAPE 13.425%, tiếp đến mơ hình NNAR có MAPE 14.219%, HoltWinters có MAPE 15.212% 35 Hình 26 Biểu đồ so sánh MAPE (%) mơ hình dự báo khách hàng khách hàng có ID 17 Bảng cho thấy mơ hình ARIMA mơ hình Holt-Winters có độ xác chiếm ưu ngày tuần so với mơ hình cịn lại Cụ thể, mơ hình ARIMA có độ xác cao vào ngày thứ Ba, thứ Năm thứ Sáu với MAPE 7.640%, 6.701%, 11.079% Mơ hình Holt-Winters có độ xác cao vào ngày thứ Tư với MAPE 9.469% Mơ hình NNAR có độ xác cao vào thứ Bảy với MAPE 10.902% Cuối mơ hình dshw có độ xác cao vào ngày thứ Hai Chủ nhật với MAPE 12.193% 19.424% Bảng So sánh độ xác MAPE (%) mơ hình dự báo khách hàng có ID 17 Mơ hình ARIMA HW NNAR DSHW Thứ Hai 15.214 22.642 14.678 12.193 Thứ Ba 7.640 10.094 9.378 9.080 Thứ Tư 9.945 9.469 12.288 12.570 Thứ Năm 6.701 7.039 9.029 9.265 Thứ Sáu 11.079 14.157 18.715 14.310 Thứ Bảy 17.538 17.412 10.902 25.742 Chủ Nhật 25.860 25.674 21.044 19.424 Cả Tuần 13.425 15.212 13.719 14.655 Đối với khách hàng có ID = 19 có mẫu phụ tải ngày làm việc giống từ thứ Hai đến thứ Sáu (Hình 24) Các ngày thứ Bảy Chủ nhật có mẫu phụ tải khác với khách hàng phụ tải tăng cao ngày làm việc Các mơ hình dự báo có mẫu dự báo phù hợp với liệu phụ tải thực tế 36 Hình 27 Kết báo mơ hình cho khách hàng có ID 19 Biểu đồ bên (Hình 25) cho thấy mơ hình dự báo đạt độ xác cao (MAPE