document

Nghiên cứu ứng dụng mạng LSTM để dự đoán nhiệt độ cho hệ thống HVAC Võ Thiện Lĩnh1, Lê Mạnh Tuấn1, Lâm Quang Thái1 1 Phân Hiệu tại Thành phố Hồ Chí Minh, Trường Đại học Giao thông vận tải, 450 Lê Văn[.]

Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Nghiên cứu ứng dụng mạng LSTM để dự đoán nhiệt độ cho hệ thống HVAC Võ Thiện Lĩnh1, Lê Mạnh Tuấn1, Lâm Quang Thái1 Phân Hiệu Thành phố Hồ Chí Minh, Trường Đại học Giao thông vận tải, 450 Lê Văn Việt, Tăng Nhơn Phú A, TP Thủ Đức, TP Hồ Chí Minh, Việt Nam Email: linhvt_ph@utc.edu.vn, vtlinh@utc2.edu.vn, lmtuan@utc2.edu.vn, lqthai@utc2.edu.vn thống HVAC chia thành hai loại: phương pháp thống kê phương pháp dựa học sâu Các phương pháp thống kê bao gồm phương pháp Monte Carlo [2], hồi quy tuyến tính [3], phương pháp hàm mũ [4] hầu hết phương pháp sử dụng báo đơn giản tuyến tính, đồng thời yêu cầu tính xác cao liệu gốc Do đó, áp dụng phương pháp tính xác dự đốn khơng cao điều khó tránh khỏi tình phức tạp với lượng liệu lớn Tuy nhiên, phương pháp dựa học sâu cho thấy độ xác cao nhiều việc xấp xỉ phi tuyến nhiệt độ thông số khác thông số thời gian Các mạng nơron nhân tạo hoạt động tốt mơ hình tuyến tính hiệu suất dự đoán tổng quát tốt sử dụng để dự đốn nhiệt độ tịa nhà [5,6] Đã có nghiên cứu cho thấy việc xây dựng mơ hình dự đốn nhiệt độ tịa nhà dựa mạng nơron nhiều lớp (MLP - Multi Layer Perceptron) cho kết sai số dự đoán trung bình nhiệt độ tịa nhà nhiệt độ nhà đo tương đối cao [7] Trong hệ thống HVAC, thông số nhiệt độ thông số có giá trị biến thiên theo thời gian, cần mơ hình áp dụng để nghiên cứu liệu theo chuỗi thời gian Các mơ hình khơng thể giải yêu cầu Một mạng nơron hồi quy (RNN - Recurrent Neural Network), với việc áp dụng rộng rãi ứng dụng nhận dạng giọng nói [8,9], xử lý hình ảnh [10,11] xử lý ngôn ngữ tự nhiên [12,13],… mơ hình học sâu sử dụng để dự đốn liệu chuỗi thời gian Trong đó, mơ hình mạng LSTM [14] có ưu điểm mạng nơron hồi quy gốc RNN có nhiều khả phân tích nghiên cứu liệu chuỗi thời gian [15-18] Hiện nay, chưa có nghiên cứu ứng dụng LSTM dự đoán nhiệt độ hệ thống HVAC Việt Nam Abstract— Các hệ thống điều khiển giám sát tòa nhà đại tiêu thụ nhiều lượng điện, đặc biệt hệ thống kiểm soát nhiệt độ, độ ẩm chất lượng khơng khí - HVAC (Heating-Ventilating-Air Conditioning) Các giải pháp tiết kiệm lượng cho hệ thống HVAC cần thiết nhận nhiều quan tâm Do việc dự đốn trước xác thơng số nhiệt độ tịa nhà giúp kiểm sốt nhiệt độ ổn định góp phần giảm lượng tiêu hao cho hệ thống HVAC Để điều khiển tối ưu hóa hệ thống HVAC, báo đề xuất giải pháp áp dụng mạng nơron dự đoán theo chuỗi thời gian LSTM (Long short-term memory) cho việc dự đốn nhiệt độ tịa nhà Tập liệu mơ hình thu thập thời gian dài thông qua Wemos D1 kết hợp cảm biến nhiệt độ LM35 lưu trữ Google Sheets Kết thử nghiệm cho thấy mơ hình mạng LSTM dự đốn hiệu xu hướng thay đổi nhiệt độ theo thời gian Mơ hình LSTM mơ hình dự đốn có độ xác cao hồn tồn áp dụng vào hệ thống HVAC Keywords- hệ thống HVAC; dự đoán nhiệt độ; mạng RNN; mạng LSTM I GIỚI THIỆU Trong tòa nhà đại ngày nay, hệ thống HVAC thành phần quan trọng tiêu thụ chiếm phần lớn tổng lượng tịa nhà, có giải pháp tối ưu hóa lượng cho hệ thống giúp tiết kiệm lượng điện cách đáng kể [1] Hệ thống HVAC hệ thống kiểm sốt nhiệt độ, độ ẩm chất lượng khơng khí khơng gian nhà xe cộ, việc điều khiển thường khơng kịp thời tính chất nhiệt độ đáp ứng tức thời mà cần phải có khoảng thời gian định Do đó, cần phải dự đốn xác nhiệt độ bên nhà cung cấp liệu làm tham chiếu để điều chỉnh hệ thống nhằm đạt kiểm soát nhiệt độ cách ổn định Hệ thống HVAC hệ thống phi tuyến với độ trễ qn tính lớn Trong q trình hệ thống hoạt động, việc mở van khí, lượng nước làm mát lưu thông điều kiện mơi trường ngồi trời ảnh hưởng nhiều đến hệ thống HVAC Do đó, khó để xây dựng mơ hình với nhiều tham số yếu tố nhiễu đầu vào Hiện nay, phương pháp dự đoán nhiệt độ nhà cho hệ ISBN 978-604-80-5958-3 Trong báo này, nhóm tác giả sử dụng kiến trúc mạng LSTM để dự đốn nhiệt độ tịa nhà để cung cấp liệu cho việc tối ưu hệ thống HVAC Bố cục báo trình bày sau: Phần giới thiệu tổng quan phương pháp tầm quan trọng dự đoán nhiệt độ cho hệ thống HVAC việc ứng dụng LSTM cơng tác dự đốn nhiệt độ Phần trình bày nội dung bao gồm: Mơ hình hệ thống; Mơ hình mạng LSTM; Xây dựng tập 193 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) LSTM thiết kế để tránh vấn đề phụ thuộc xa (long-term dependency) Việc nhớ thông tin suốt thời gian dài đặc tính mặc định mà khơng cần phải huấn luyện Tức kiến trúc mạng ghi nhớ mà khơng cần can thiệp Hình mơ tả cấu trúc mạng LSTM liệu; Quá trình xử lý phân chia liệu mẫu; Huấn luyện dự đoán Phần Đánh giá kết Phần Kết luận II NỘI DUNG 2.1 Mơ hình hệ thống Đọc gửi liệu Thu thập liệu Xử lý liệu Huấn luyện dự đốn Hình Sơ đồ khối hệ thống Các thành phần hệ thống dự đốn nhiệt độ mơ tả hình Phần cứng hệ thống dự đoán nhiệt độ bao gồm : Kit Wemos D1 cảm biến nhiệt độ LM35 mơ tả hình Kết nối Kit Wemos D1 với cảm biến LM35 để đọc liệu thông qua kết nối Wifi để cập nhật liệu lên Google Sheet Phần mềm hệ thống để cập nhật liệu, hệ thống sử dụng tiện ích Google Sheets có sẵn Google Drive kết hợp với Google Apps Script tạo API để cập nhật liệu từ Wemos D1 thông qua kết nối wifi Hệ thống sử dụng Google Colab để xử lý tính tốn liệu xây dựng mơ hình mạng LSTM cho việc huấn luyện liệu dự đoán nhiệt độ Hình Mơ hình LSTM Ở trạng thái thứ t mơ hình LSTM: • Đầu ra: Ct, ht ta gọi C trạng thái tế bào, h trạng thái ẩn • Đầu vào: Ct-1, ht-1, xt Trong xt đầu vào trạng thái thứ t mơ hình Ct-1, ht−1 đầu lớp trước h đóng vai trị gần giống s RNN, c điểm LSTM [14] LSTM phát triển từ mạng RNN phù hợp với dự đốn theo chuỗi thời gian, mơđun có cấu trúc khác với mạng RNN chuẩn Thay có tầng mạng nơron, chúng có tới tầng tương tác với cách đặc biệt Là dạng đặc biệt mạng nơron tuần hồn đặc biệt (RNN) có ưu điểm nhớ động RNN có nhiều khả phân tích chuỗi thời gian, đồng thời LSTM tránh vấn đề giá trị đạo hàm nhỏ RNN Từ ưu điểm mơ hình LSTM so sánh với mơ hình khác việc nghiên cứu áp dụng vào việc dự đoán theo chuỗi thời gian mang lại hiệu suất dự đốn xác cao [15-18] 2.3 Lưu đồ thuật tốn Q trình huấn luyện mơ hình trình bày hình 4, cụ thể chi tiết bước trình bày mục sau: 2.3.1 Xây dựng tập liệu Tập liệu nhiệt độ sử dụng cho báo thu thập tịa nhà sau phút có kích thước 5115 giá trị thu thập từ ngày 23/05/2021 đến 19/06/2021, gồm có trường: thứ, ngày, nhiệt độ thể Bảng 2.3.2 Tiền xử lý chuẩn hóa liệu Tập liệu gốc tập hợp thời gian thực có vấn đề liệu không đầy đủ không quán Nếu sử dụng liệu gốc để huấn luyện trực tiếp cho Hình Sơ đồ kết nối phần cứng hệ thống 2.2 Mơ hình mạng LSTM LSTM - dạng đặc biệt RNN, có khả học phụ thuộc xa LSTM giới thiệu Hochreiter & Schmidhuber (1997), sau cải tiến phổ biến nhiều người ngành Chúng hoạt động hiệu nhiều toán khác nên dần trở nên phổ biến ISBN 978-604-80-5958-3 194 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) mô hình kết thường khơng đạt u cầu Do đó, cần phải xử lý liệu trước huấn luyện Các bước xử lý bao gồm: Bước Định dạng lại liệu: “Date-Time”, “TempC” Bước Kiểm tra lại quan sát tập liệu: Kết Bảng Bảng Bảng liệu nhiệt độ Bắt đầu Nhậptệp dữdữ liệu Nhập liệu mẫu Bảng Bảng định dạng kiểu datetime cho cột ngày tháng Tiền xử lý chuẩn hóa liệu Phân chia tập mẫu Mơ hình LSTM Bước Lọc nhiễu liệu Dữ liệu sau thu thập biểu diễn Hình 4a, giá trị thu thập có sai số cao nguyên nhân bị ảnh hưởng nhiễu trình đọc ADC, bị kết nối,… sử dụng liệu để huấn luyện trực tiếp cho mơ hình kết thường khơng đạt yêu cầu Vì cần phải lọc nhiễu trước đưa liệu vào trình huấn luyện Hình 4b liệu sau lọc nhiễu, điều cho phép mơ hình hội tụ với trọng số tốt kết dự đốn mơ hình xác Sai Đúng Hồn thành huấn luyện Lưu giữ trọng số a) Dữ liệu trước lọc nhiễu Kết thúc Hình Lưu đồ huấn luyện mơ hình ISBN 978-604-80-5958-3 195 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) b) Dữ liệu sau lọc nhiễu Hình Đồ thị mô tả liệu theo thời gian trước huấn luyện Hình Sai số nhiệt độ dự đoán so với thực tế Bước Phân chia tập huấn luyện tập kiểm tra Trong mơ hình mạng LSTM, nhóm nghiên cứu tiến hành chia liệu thành phần bao gồm 80% liệu đưa vào mạng để tiến hành huấn luyện cho mô hình mạng 20% liệu cịn lại sử dụng để kiểm tra mơ hình mạng sau q trình huấn luyện kết thúc Việc xử lí liệu sau phân chia: loại bỏ 20% cuối lấy 80% để đưa vào mạng tương ứng 4092 mẫu Xây dựng liệu Train Test dạng Batch_Size đầu vào LSTM có dạng (batch_size, time_steps, feature) hình Hình Đồ thị hàm loss Từ kết thực nghiệm thấy giá trị hàm loss giảm liên tục lần lặp cuối gần hội tụ sau 50 epoch (hình 9) III Thơng qua kết dự đốn hình 7, thấy đường mơ tả liệu nhiệt độ dự đoán (prediction) so với đường nhiệt độ thực tế (reality) bám sát với nhau, điều chứng tỏ mơ hình huấn luyện đưa dự đốn gần xác Dựa kết hiển thị hình 8, thấy sai số nhiệt độ dự đoán so với thực tế thấp, sai số lớn khoảng 0.40C Sau tồn q trình huấn luyện, theo hình 9, giá trị hàm loss 0,002 Từ đánh giá chứng minh mơ hình mạng LSTM hiệu với xu hướng liệu nhiệt độ, tập liệu thu thập cịn hạn chế Hình Dạng đầu vào mạng LSTM 2.3.3 Kết huấn luyện dự đốn Trong thí nghiệm này, mơ hình LSTM huấn luyện cách sử dụng tập huấn luyện mẫu tham số xác định hàm tổn thất sai số nhiệt độ dự đoán giá trị thực tế Kết dự đốn sai số thể hình IV KẾT LUẬN Dựa tập liệu thu thập từ nhiệt độ tòa nhà thơng qua cảm biến LM35, độ xác dự đốn mơ hình LSTM kiểm chứng dự đốn thực tế Kết thực nghiệm cho thấy: Thứ nhất, phi tuyến tính nhiệt độ tịa nhà thơng số khác khắc phục mơ hình LSTM Thứ hai, so với phương pháp truyền thống, mơ hình dự đốn dựa LSTM mơ tả tốt đặc tính liệu hệ thống HVAC độ xác dự đốn cao Kết dự đốn có độ xác cao so với giá trị thực tế, sai số dự đốn mơ hình thấp hồn tồn áp dụng vào hệ thống HVAC Hình Kết nhiệt độ dự đoán so với thực tế ISBN 978-604-80-5958-3 ĐÁNH GIÁ KẾT QUẢ 196 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) [18] R Jiao, T Zhang, Y Jiang, and H He, “Short-term nonresidential load forecasting based on multiple sequences LSTM recurrent neural network,” IEEE Access, vol 6, pp 59438-59448, October 2018 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] Wang Weitong, “The Application of Reinforcement Learning in HVAC System Operation Optimization,” M.S Thesis, Sch of Mechanical Engineering, Tongji Univ., Shanghai, 2018 Accessed on: December, 18, 2019 J Zhao, Y Duan, and X Liu, “Uncertainty analysis of weather forecast data for cooling load forecasting based on the Monte Carlo method,” Energies, vol 11, pp 1900-1919, July 2018 MEH Dyson, SD Borgeson, MD Tabone, and DS Callaway, “Using smart meter data to estimate demand response potential, with application to solar energy integration,” Energy Policy, vol 73, pp 607-619, October 2014 Da-Si He and Xu Zhang, “Analysis of Air Conditioning Load Prediction by Modified Seasonal Exponential Smoothing Model,” Journal of Tongji University (Natural Science Edition), vol 33, pp 1672-1676, December 2005 Primož Potočnik, Boris Vidrih, Andrej Kitanovski, and Edvard Govekar, “Neural network, ARX, and extreme learning machine models for the short-term prediction of temperature in buildings,” Building Simulation, vol 12, pp 1077-1093, April 2019 Shuqing Xu, “The Research on Building Heating Indoor Temperature Forecasting and Controlling,” M.S Thesis, Sch of Information Science and Technology, Dalian Maritime Univ., Dalian, 2015 Accessed on: February, 25, 2020 PAN Shiying, DING Xin, CUI Yue, LYU Haozheng, WANG Tong, and MA Lezhi, “Application of MLP Neural Network to Prediction of Heating Indoor Temperature,” Gas & Heat, vol 2019, pp 40-44, July 2019 Ivan Medennikov and Anna Bulusheva, “LSTM-Based Language Models for Spontaneous Speech Recognition,” International Conference on Speech & Computer, Budapest, 2016, pp 469-475 A Graves, A Mohamed and G Hinton, "Speech recognition with deep recurrent neural networks," 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, 2013, pp 6645-6649 Davis Abe, Rubinstein Michael, Wadhwa Neal, Mysore Gautham J., Durand Fredo, and Freeman William T., “The visual microphone: Passive recovery of sound from video,” ACM Trans Graph, vol 33, pp 79:1–79:10, July 2014 Y Lecun, L Bottou, Y Bengio and P Haffner, "Gradientbased learning applied to document recognition," in Proceedings of the IEEE, vol 86, pp 2278-2324, Nov 1998 Ren Zhihui, Xu Haoyu, Feng Songlin, Zhou Han, and Shi Jun, “Sequence labeling Chinese word segmentation method based on LSTM networks,” Application Research of Computers, vol 2017, pp 1321-1324+1341, May 2017 Devlin, J., Zbib, R., Huang, Z., Lamar, T., Schwartz, R., and Makhoul, J, “Fast and robust neural network joint models for statistical machine translation,” In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, vol 1, pp 1370-1380, June 2014 Hochreiter S and Schmidhuber J, “Long Short-Term Memory,” Neural Computation, vol 9, pp 1735-1780, November 1997 Malhotra P, Vig L, Shroff G, and Agarwal P, “Long short term memory networks for anomaly detection in timeseries,” Proceeding of European symposium on artificial neural networks, computational intelligence, and machine learning, Bruges, 2015, pp 89–94 YANG Hong-fu and JIA Xiao-liang, “Aero Engine Exhaust Gas Temperature Prediction Based on LSTM,” Aeronautical Computing Technique, vol 48, pp 65-69, April 2018 Min Cheng, Qian Xu, Jianming Lv, Wenyin Liu, Qing Li, and Jianping Wang, “a Multi-Scale LSTM Model for BGP Anomaly Detection,” 24th IEEE International Conference on Network Protocols(ICNP 2016), Singapore, 2016, pp 1-6 ISBN 978-604-80-5958-3 197 ... 79:1–79:10, July 2014 Y Lecun, L Bottou, Y Bengio and P Haffner, "Gradientbased learning applied to document recognition," in Proceedings of the IEEE, vol 86, pp 2278-2324, Nov 1998 Ren Zhihui, Xu