Xây dựng hệ thống AI nhận diện và dự đoán sản lượng điện năng tiêu thụ bất thường của khách hàng

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA HOÀNG XUÂN THIỆN XÂY DỰNG HỆ THỐNG AI NHẬN DIỆN VÀ DỰ ĐOÁN SẢN LƯỢNG ĐIỆN NĂNG TIÊU THỤ BẤT THƯỜNG CỦA KHÁCH HÀNG LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2022 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA HOÀNG XUÂN THIỆN XÂY DỰNG HỆ THỐNG AI NHẬN DIỆN VÀ DỰ ĐOÁN SẢN LƯỢNG ĐIỆN NĂNG TIÊU THỤ BẤT THƯỜNG CỦA KHÁCH HÀNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Bùi Thị Thanh Thanh Đà Nẵng – Năm 2022 i LỜI CAM ĐOAN Nội dung nghiên cứu thực hướng dẫn tận tình TS Bùi Thị Thanh Thanh ơng Hồng Ngọc Hồi Quang (Phó Giám đốc Cơng ty Điện lực Thừa Thiên Huế) Tất tài liệu tham khảo sử dụng luận văn miễn phí chia sẻ cho cộng đồng Các liệu điện khách hàng sử dụng đề tài nghiên cứu bảo mật theo quy định an tồn thơng tin Tập đồn Điện lực Quốc gia Việt Nam Mọi sai sót quyền có luận văn này, tơi xin chịu trách nhiệm Nghiên cứu chấp nhận trình bày Hội thảo khoa học quốc tế CITA 2022 đảm bảo không vi phạm quyền (Trang 72-82, Hội thảo Khoa học Quốc Gia - CITA 2022, ISBN 978-604-84-6711-1) Tác giả Hoàng Xuân Thiện THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii DANH SÁCH CÁC BẢNG v DANH SÁCH HÌNH ẢNH vi DANH SÁCH CÔNG THỨC vii DANH SÁCH TỪ VIẾT TẮT viii TÓM TẮT .x MỞ ĐẦU 1 Tính cấp thiết lý chọn đề tài Mục tiêu nội dung nghiên cứu 3 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Dự kiến kết đạt Ý nghĩa khoa học thực tiễn Bố cục luận văn CHƯƠNG 1: CƠ SỞ LÝ THUYẾT .6 1.1 Học máy (Machine Learning) 1.1.1 Khái niệm 1.1.2 Cây định (Decision Tree) 1.2 Thuật toán Rừng ngẫu nhiên (Random Forest) 1.2.1 Giới thiệu 1.2.2 Các ứng dụng Rừng ngẫu nhiên .12 1.2.3 Ưu điểm nhược điểm Rừng ngẫu nhiên .13 1.2.3.1 Ưu điểm Rừng ngẫu nhiên 13 1.2.3.2 Nhược điểm Rừng ngẫu nhiên 13 1.2.4 Các bước thực 13 1.3 Thuật tốn Nạve Bayes .14 1.3.1 Giới thiệu .14 1.3.2 Định lý Bayes 15 1.3.3 Cách hoạt động 15 1.4 Công nghệ sử dụng 16 1.4.1 Nodejs .16 1.4.2 Microsoft SQL Server .17 1.4.3 Angular 18 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội iii 1.4.4 Python .20 1.4.5 Docker Compose .20 1.4.6 Google Colaboratory .21 1.5 Các giao thức mơ hình 22 1.5.1 HTTP .22 1.5.2 Định dạng JSON .23 1.5.3 Chuyển giao trạng thái đại diện (REST) 24 1.5.4 REST API 26 1.5.5 Mô hình MVC 27 CHƯƠNG 2: ỨNG DỤNG THUẬT TOÁN RANDOM FOREST .29 VÀO BÀI TOÁN 29 2.1 Thu thập liệu 29 2.1.1 Quy trình thu thập liệu từ hệ thống CMIS 29 2.1.2 Quy trình thu thập liệu khách hàng trộm cắp điện .30 2.1.3 Xử lý liệu khách hàng gây nhiễu 31 2.2 Áp dụng mơ hình học máy vào nhận diện 32 2.2.1 Các ràng buộc 32 2.2.1.1 Các mùa năm 32 2.2.1.2 Giá điện bậc thang dành cho khách hàng sinh hoạt 33 2.2.1.3 Dữ liệu sản lượng điện khách hàng 05 tháng gần 35 2.2.2 Xây dựng tập liệu gốc (Original Dataset) 36 2.2.3 Xây dựng tập liệu khởi động (Bootstrapped Dataset) 36 2.2.4 Xây dựng định 37 CHƯƠNG 3: TRIỂN KHAI HỆ THỐNG VÀ ĐÁNH GIÁ KẾT QUẢ 39 3.1 Thiết kế hệ thống .39 3.2 Mơ hình hoạt động hệ thống 40 3.3 Triển khai chức 40 3.3.1 Triển khai ứng dụng Web với Angular API Nodejs 40 3.3.2 Triển khai hệ thống AI nhận diện khách hàng bất thường ngôn ngữ Python chạy Docker Compose 41 3.4 Kết .42 3.5 Đánh giá kết 44 3.5.1 So sánh thuật tốn Random Forest Nạve Bayes .44 3.5.2 Kết đạt 46 KẾT LUẬN VÀ KIẾN NGHỊ .48 DANH MỤC CƠNG TRÌNH KHOA HỌC ĐÃ ĐƯỢC CƠNG BỐ 50 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội iv DANH MỤC TÀI LIỆU THAM KHẢO 51 PHỤ LỤC 01 HỆ THỐNG THỐNG THÔNG TIN QUẢN LY KHÁCH HÀNG NGÀNH ĐIỆN EVN (CMIS) 53 PHỤ LỤC 02 HỆ THỐNG THU THẬP DỮ LIỆU .57 ĐO XA RF-SPIDER .57 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội v DANH SÁCH CÁC BẢNG Bảng 1.1 Bảng quan hệ SQL HTTP 27 Bảng 2.1 06 khách hàng trộm cắp điện năm 2019 30 Bảng 2.2 Bảng giá điện ngành sản xuất .33 Bảng 2.3 Giá khối hành nghiệp .34 Bảng 2.4 Giá điện kinh doanh .34 Bảng 2.5 Giá điện sinh hoạt 34 Bảng 2.6 Sản lượng điện 05 tháng 05 khách hàng thuộc TTHPC 2021 36 Bảng 2.7 Tập liệu gốc gồm n liệu (sample) 36 Bảng 2.8 Tập liệu khởi động 37 Bảng 3.1 Bảng liệu sản lượng điện tiêu thụ năm khách hàng trộm cắp điện 45 Bảng 3.2 Bảng Dữ liệu samble từ khách hàng trộm cắp điện: 45 Bảng 3.3 Bảng so sánh 02 thuật toán 46 Bảng 3.4 Danh sách khách hàng trộm cắp điện năm 2022 46 Bảng 3.5 Chi tiết sản lượng điện từ tháng 01/2021 đến 01/2022 03 khách hàng trộm cắp điện năm 2022 .47 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội vi DANH SÁCH HÌNH ẢNH Figure 1.1 Mơ hình học có giám sát Hình 1.2 Mơ hình học khơng giám sát Hình 1.3 Mơ hình thuật tốn Random Forest 12 Hình 1.4 Ví dụ áp dụng thuật toán RF lựa chọn trái .12 Hình 1.5 Mơ hình bỏ phiếu phân loại thuật toán Rừng ngẫu nhiên 14 Hình 1.6 Lịch sử phiên phát triển Angular .19 Hình 1.7 Docker Container máy ảo 21 Hình 1.8 Cấu hình phần cứng Google colab cung cấp 22 Hình 1.9 Client Server model 24 Hình 1.10 Stateless 25 Hình 0.11 REST API .26 Hình 1.12 Kiến trúc MVC .27 Hình 2.1 Sản lượng điện tiêu thụ 12 tháng năm 2021 khách hàng PC03BB0101051 30 Hình 2.2 Biểu đồ sản lượng năm 2019 06 khách hàng trộm cắp điện 31 Hình 2.3 Biểu đồ liệu sản lượng điện năm khách hàng ăn trộm biến động .32 Hình 2.4 Một định ngẫu nhiên tập định 38 Hình 3.1 Biểu đồ Use Case hệ thống .39 Hình 3.2 Sơ đồ hoạt động hệ thống .40 Hình 3.3 Giao diện Web dành cho người dùng chạy DNS http://gsdn.pctth.vn:83 41 Hình 3.4 Thanh cơng cụ điều hướng .41 Hình 3.5 API AI dự đoán khách hàng 42 Hình 3.6 Danh sách khách hàng dự đoán tự động 42 Hình 3.7 Danh sách khách hàng trộm cắp điện .43 Hình 3.8 Tra cứu khách hàng 43 Hình 3.9 Mẫu phiếu kiểm tra khách hàng .44 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội vii DANH SÁCH CƠNG THỨC Cơng thức (1.1) 15 Công thức (1.2) 15 Công thức (1.3) 16 Công thức (1.4) 16 Công thức (1.5) 16 Công thức (1.6) 16 Công thức (3.1) 45 THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội viii DANH SÁCH TỪ VIẾT TẮT Abbreviations Explanations Admin Administrator API Application Programming Interface CSS Cascading Style Sheets CMIS Hệ thống thông tin quản lý khách hàng dùng điện DNS Domain Name System DOM Document Object Model HTML Hyper Text Markup Language HTTP/HTTPS Hyper Text Transfer Protocol HMI Human – Machine – Interface Info Information JSON JavaScript Object Notation MVC Model - View - Controller PHP Personal Home Page PM Project Manager REST Representational State Transfer SCSS Sassy Cascading Style Sheets Super Admin Super Administrator UI User Interface THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 58 Công ty Điện lực Kon Tum áp dụng nhiều công nghệ tiên tiến để ngày nâng cao lực hoạt động hệ thống Đến nay, địa bàn tỉnh Kon Tum số lượng công tơ điện tử loại lắp đặt 09/09 Điện lực với số lượng đến 31/10/2017 72.628 chiếm 54% tổng số công tơ khách hàng dùng điện, chủng loại công tơ đảm bảo làm việc xác, ổn định minh bạch Các Điện lực có tỷ lệ lắp đặt công tơ điện tử tổng số khách hàng cao TP Kon Tum 57,1%, Sa Thầy 57,2% đặc biệt khách hàng dùng điện huyện Đăk Tô lắp đặt 100% công tơ điện tử thu thập liệu công tơ từ xa hồn tồn tự động với 11.344 cơng tơ 125 trạm biến áp cơng cộng chun dùng Tính đến ngày 20/11/2017, Công ty Điện lực Kon Tum triển khai hệ thống thu thập liệu công tơ điện tử từ xa 408 trạm biến áp công cộng với tổng số 53.428 khách hàng chiếm tỉ lệ 39,57% tổng số khách hàng mua điện toàn tỉnh Chủ tịch kiêm Tổng giám đốc Công ty Điện lực miền Trung Trần Đình Nhân cho biết: Tổng Cơng ty Điện lực miền Trung đặc biệt quan tâm đến việc đại hóa hệ thống đo đếm, nội dung trực tiếp liên quan đến quyền lợi khách hàng, sở đó, Tổng Cơng ty đạo Trung tâm sản xuất thiết bị đo điện tử Điện lực miền Trung nghiên cứu chế tạo sản xuất thành công nhiều sản phẩm công tơ điện tử, có hệ thống thu thập liệu công tơ từ xa RF- SPIDER Giải pháp giúp cung cấp cho khách hàng công cụ theo dõi sản lượng điện sử dụng ngày, tự động đưa cảnh báo sản lượng tăng đột biến ngày số bất thường; tự động ghép số liệu vào hệ thống thông tin quản lý khách hàng (CMIS) để tính hóa đơn tiền điện, rút ngắn thời gian ghi số, lập phát hành hóa đơn, tạo minh bạch công tác kinh doanh điện Với thuật tốn tự động định tuyến thơng minh, hệ thống RF-SPIDER 2.0 giúp phát công tơ lưới cách nhanh chóng, giảm thời gian định tuyến khám phá mạng RF-Mesh Công tơ chủ động tìm đường dẫn tập trung liệu DCU mà không cần chờ DCU khám phá thông qua thiết bị mạng lưới gần tự khởi động lại q trình định tuyến khơng nhận u cầu từ DCU Ngồi ra, chức cơng tơ tự động chốt số giúp cho tồn cơng tơ TBA chốt gần 01 thời điểm giúp việc tính tốn tổn thất điện TBA trở nên xác Hệ thống RF-SPIDER 2.0 cịn bổ sung tính tự động trả lời theo đường dẫn nhằm tận dụng khoảng cách ghi nhận tin qua sóng vơ tuyến từ THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 59 DCU (lên đến 700 mét) Công tơ có khả tự động trả lời DCU nhận tin từ DCU Điều giúp giảm việc thu phát sóng vơ tuyến, dẫn đến việc kết nối đọc thông tin thiết bị có tỉ lệ thành cơng cao DCU cịn có chức tự động thu thập liệu theo lịch lưu trữ nhớ DCU Với khả làm việc máy tính độc lập, DCU đồng lịch đọc liệu công tơ từ HES, tự động thu thập liệu công tơ theo chu kỳ định sẵn theo nhu cầu, tự động gửi liệu HES theo chu kỳ định sẵn theo yêu cầu từ HES Việc DCU vận hành độc lập, chủ động thu thập liệu công tơ giúp giảm tải tác vụ cho hệ thống HES máy chủ, loại bỏ nguy không thu thập liệu lịch đường truyền 3G/GPRS không ổn định Dung lượng nhớ DCU cải tiến đáng kể có khả lưu trữ liệu điện thu thập lên đến 1000 cơng tơ 22 ngày Bên cạnh đó, tất tính DCU phiên cũ giữ nguyên Hệ thống HES website quản lý vận hành cải tiến để phù hợp với hệ thống RF-SPIDER 2.0 Một số thao tác vận hành HES đưa lên website RF-Spider (http://spider.cpc.vn) lập yêu cầu lấy liệu tức thời công tơ, lập yêu cầu khám phá mạng… giúp người quản lý vận hành hệ thống theo dõi trực quan Đồng thời, website hỗ trợ hiển thị thông báo cho người dùng phát cơng tơ hệ thống Ngồi ra, SIM cho thiết bị DCU cải tiến cách sử dụng linh kiện SIM nhúng (ESIM) bo mạch nhằm hạn chế lỗi không tiếp xúc tốt SIM bình thường với khe cắm sim mơi trường khắc nghiệt có nhiệt độ độ ẩm cao Để đa dạng hóa chủng loại sản phẩm, CPCEMEC hoàn thành nghiên cứu thiết kế phiên DCU pha (DCU01P) với thiết kế tối ưu chi phí, kích thước thiết bị Hệ thống RF-SPIDER 2.0 giúp giảm thời gian, hạn chế sai sót việc nhập thông tin treo tháo công tơ thuận tiện cơng tác kiểm tra trường Việc hình thành mạng lưới RF-SPIDER hồn tồn tự động, cơng tơ tự động định tuyến DCU, thông tin tự động gửi máy chủ Lúc này, người vận hành cần kiểm tra cơng tơ có thuộc TBA khơng sử dụng thơng tin CMIS Bên cạnh đó, cơng tơ RF-SPIDER 2.0, cần sử dụng thiết bị cầm tay HHU HHU-INCEU trường tự động tìm thơng tin, tình trạng cơng tơ bán kính 50100m mà không cần phải biết thông tin khách hàng, thông tin TBA Với việc công tơ sử dụng chức chốt số kết hợp với giải pháp thu phát sóng vơ tuyến RF cho khả thu phát tốt hơn, hệ thống RF-SPIDER 2.0 cho phép chốt số công tơ đồng loạt thời điểm, giúp THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội 60 tính tốn tổn thất cơng cụ trực tuyến xác hơn, độ tin cậy cao Ngoài ra, dung lượng lưu trữ liệu thiết bị thu thập DCU lớn, giúp cho giảm thiểu thất thoát số liệu hệ thống gặp cố thời gian dài Thông tin phát điểm đo triển khai cảnh báo cập nhật tức thời thông qua website RF-Spider, giúp người quản lý dễ dàng nắm bắt, theo dõi thống kê phát triển thay đổi hệ thống Việc nghiên cứu thành công đưa vào thử nghiệm hệ thống RF-Spider 2.0 đánh dấu bước tiến nỗ lực nâng cao mức tự động hóa lưới điện thơng minh CPCEMEC Hiện tại, CPCEMEC tiếp thu ý kiến góp ý từ đơn vị để hoàn thiện hệ thống, phấn đấu triển khai hệ thống sử dụng phổ biến đến đơn vị EVNCPC Động thái giúp nâng cao tính nhanh chóng, xác công tác quản lý hệ thống điện, tăng cường tự động hóa việc triển khai, vận hành đẩy nhanh lộ trình phát triển lưới điện thơng minh Tổng cơng ty nói riêng EVN nói chung THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội ... ? ?Xây dựng hệ thống AI dự đoán khách hàng sử dụng điện bất thường qua sản lượng điện tiêu thụ? ?? Mục tiêu nội dung nghiên cứu 2.1 Mục tiêu Xây dựng hệ thống AI nhận diện khách hàng có hành vi bất. .. nội Điện lực Hệ thống AI dự đoán sản lượng điện tiêu thụ khách hàng dựa sản lượng điện tiêu thụ theo tháng (kWh) khách hàng Do đó, tơi thu thập liệu theo số liệu sản lượng điện hóa đơn tiền điện. .. lý khách hàng ngành Điện EVN THƯ VIỆN TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG Lưu hành nội x TÓM TẮT XÂY DỰNG HỆ THỐNG AI NHẬN DIỆN VÀ DỰ ĐOÁN SẢN LƯỢNG ĐIỆN NĂNG TIÊU THỤ BẤT THƯỜNG CỦA KHÁCH