Nghiên cứu xây dựng hệ thống giám sát và dự đoán bất thường mạng vô tuyến 4g sử dụng trí tuệ nhân tạo

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐỖ NGỌC THANH CHÂU NGHIÊN CỨU XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ DỰ ĐOÁN BẤT THƯỜNG MẠNG VƠ TUYẾN 4G SỬ DỤNG TRÍ TUỆ NHÂN TẠO Chun ngành : Khoa Học Máy Tính Mã số: 8.48.01.01 TP HỒ CHÍ MINH, tháng 02 năm 2023 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : PGS.TS Huỳnh Tường Nguyên (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Nguyễn Thị Thanh Sang (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Bùi Công Giao (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 08 tháng 02 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ Tịch: PGS.TS Lê Hồng Trang Thư Ký: TS Nguyễn Thị Ái Thảo Phản Biện 1: TS Nguyễn Thị Thanh Sang Phản Biện 2: TS Bùi Công Giao Uỷ Viên: PGS.TS Võ Thị Ngọc Châu Xác nhận Chủ tịch Hội đồng đánh giá Luận Văn Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đỗ Ngọc Thanh Châu MSHV: 1970584 Ngày, tháng, năm sinh: 19/10/1997 Nơi sinh: Khánh Hoà Chuyên ngành: Khoa Học Máy Tính Mã số : 8.48.01.01 I TÊN ĐỀ TÀI: NGHIÊN CỨU XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ DỰ DOÁN BẤT THƯỜNG MẠNG VƠ TUYẾN 4G SỬ DỤNG TRÍ TUỆ NHÂN TẠO RESEARCH AND BUILD A SYSTEM FOR MONITORING AND PREDICTING ANOMALIES IN 4G RADIO NETWORKS USING ARTIFICIAL INTELLIGENCE II NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu tìm hiểu ý nghĩa thông số mạng vô tuyến 4G - Tìm hiểu lựa chọn phương pháp dự đốn liệu chuỗi thời gian - Thực xây dựng, đánh giá mơ hình mạng LSTM dự đốn bất thường mạng vô tuyến 4G III NGÀY GIAO NHIỆM VỤ : 05/09/2022 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 18/12/2022 V CÁN BỘ HƯỚNG DẪN : PGS.TS HUỲNH TƯỜNG NGUYÊN Tp HCM, ngày 03 tháng 03 năm 2023 CÁN BỘ HƯỚNG DẪN HỘI ĐỒNG NGÀNH (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) i Lời cảm ơn GVHD: PGS TS Huỳnh Tường Nguyên LỜI CẢM ƠN Xuất phát điểm sinh viên chuyên ngành Điện tử - Viễn thông, xin chân thành cảm ơn quý thầy/ cô khoa Khoa học & Kỹ thuật Máy tính thời gian vừa qua tạo điều kiện tốt để em có hội học tập, nghiên cứu hiểu biết kiến thức, thông tin lĩnh vực khoa học máy tính Tồn kiến thức học môn học lý thuyết ghi nhớ áp dụng, chân thành cảm ơn anh chị em team URA với đề tài nghiên cứu trước đó, bên cạnh team giúp đỡ hỗ trợ em thời gian vừa qua để bắt đầu làm quen, tham gia góp phần công sức thực đề tài Chân thành cảm ơn thầy giúp đỡ, tạo động lực, hướng dẫn em nghiên cứu thực phương pháp để em bắt đầu học hỏi nghiên cứu thêm lĩnh vực này… Cảm ơn quý thầy cô xem qua báo cáo này, báo cáo chắn có nhiều thiếu sót, mong q thầy góp ý trực tiếp để em tiếp tục sửa đổi, cập nhật hoàn thiện thời gian tới Tp Hồ Chí Minh, ngày 15 tháng 12 năm 2022 Đỗ Ngọc Thanh Châu ii Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Ngun TĨM TẮT LUẬN VĂN Luận văn trình bày trình nghiên cứu thực đề tài “Nghiên cứu xây dựng hệ thống giám sát, dự đốn bất thường mạng vơ tuyến 4G sử dụng trí tuệ nhân tạo” Với toàn liệu lấy từ trạm phát sóng VNPT miền Nam Việt Nam, đề tài trình bày bước nghiên cứu, chọn lọc sử dụng nội dung lý thuyết liên quan để cố gắng cho thơng số dự đốn cho tương lai Các phương pháp mơ hình mạng nghiên cứu dựa cấu trúc mạng LSTM cấu trúc liên quan xoay quanh mạng LSTM, với tham khảo từ nghiên cứu trước nhóm URA với đề tài liên quan đến liệu chuỗi Timeseries Luận văn bao gồm nội dung sau: - Giới thiệu mục tiêu/ yêu cầu, tổng quan đề tài - Các kiến thức lý thuyết liên quan đến đề tài để hiểu rõ áp dụng tốt cho việc xây dựng mơ hình, bao gồm: • Nghiên cứu chọn lọc đầu vào • Kiến trúc LSTM kiến trúc liên quan • Một số kỹ thuật, phương pháp hỗ trợ tốt cho việc huấn luyện mơ hình • Một số vấn đề với liệu tìm cách cải thiện - Kết dự đốn mơ hình iii Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên THESIS ABSTRACT This thesis presents the research and implementation process of the topic "Research on building a system for monitoring and predicting anomalies in 4G wireless networks using artificial intelligence" With all data collected from VNPT base stations in southern Vietnam, the thesis will present the research steps, selection, and use of relevant theoretical content to try to produce predictive parameters for the future These methods and network models are all researched based on the LSTM network structure and related structures around the LSTM network, with references from previous studies by the URA group on Timeseries data-related topics This thesis will include the following main contents: - Introduction to the objectives/requirements, an overview of the topic - Relevant theoretical knowledge related to the topic to understand and apply well to model building, including: o Research and selection of input o LSTM architecture and related structures o Some techniques, methods that support well for model training o Some issues with data and ways to improve it - Prediction results of the model iv Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên LỜI CAM ĐOAN Tác giả xin cam đoan cơng trình nghiên cứu thân tác giả Các kết nghiên cứu kết luận luận văn trung thực, không chép từ nguồn hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo quy định Tác giả luận văn Đỗ Ngọc Thanh Châu v Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên MỤC LỤC GIỚI THIỆU 1.1 Tổng quan 1.2 Tình hình nghiên cứu ngồi nước 1.2.1 Một số nghiên cứu nước .1 1.2.2 Tình hình triển khai nghiên cứu nước 1.3 Nhiệm vụ luận văn LÝ THUYẾT 2.1 Dữ liệu đầu vào – Dữ liệu loại chuỗi thời gian (Time series) 2.2 Phân tích tương quan đặc trưng ( KPIs) 2.2.1 Phân tích tương quan Pearson 2.2.2 Phân tích tương quan Spearman 11 2.2.3 Phân tích tương quan Kendall 12 2.3 Các phương pháp tiền xử lý liệu trước huấn luyện mô hình 13 2.3.1 Tiền xử lý liệu đầu vào sử dụng Scaling 13 2.3.2 Tiền xử lý liệu đầu vào sử dụng Normalization .14 2.4 Tách liệu thành set để hỗ trợ việc huấn luyện mơ hình 16 2.5 Mạng nơ-ron nhân tạo (ANN) .20 2.6 Các lớp tương ứng dùng để huấn luyện mơ hình 23 vi Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên 2.6.1 Lớp Dense 23 2.6.2 Lớp LSTM .25 2.6.3 Lớp Bidirectional LSTM .31 2.6.4 Cơ chế Sequence to Sequence mạng RNN 32 2.6.5 Lớp Attention 34 2.6.6 Lớp Dropout 39 2.6.7 Activation Lớp hay activation function 40 2.7 Sử dụng kỹ thuật Regression để predict cho đặc trưng low-variant 42 THIẾT KẾ VÀ THỰC HIỆN PHẦN MỀM 44 3.1 Lưu đồ giải thuật tổng quát bước thực phần mềm 44 3.2 Lọc import liệu đầu vào .45 3.3 Chia liệu làm thành phần để hỗ trợ cho việc huấn luyện 46 3.4 Tiền xử lý liệu đầu vào dùng Standard Scaler 47 3.5 Chọn lọc thơng số cho mơ hình mạng LSTM 48 3.6 Nghiên cứu chọn vài phương pháp kỹ thuật hỗ trợ huấn luyện mơ hình 50 3.7 Thực phần tính tốn Accuracy để hỗ trợ cho việc huấn luyện 51 3.8 Thực giải thuật Regression để dự đoán giá trị cho số khoảng giá trị không chênh lệch nhiều đặc trưng .52 vii Luận văn tốt nghiệp thạc sỹ 3.9 GVHD: PGS.TS Huỳnh Tường Nguyên Thực viết chương trình hỗ trợ cho việc predict dựa mơ hình huấn luyện 55 3.10 Tính tốn gắn nhãn bất thường cho điểm liệu .56 KẾT QUẢ THỰC HIỆN 57 4.1 Kết đánh giá tương quan chọn lọc liệu đầu vào 57 4.2 Kết chọn thông số huấn luyện mô hình 59 4.3 Kết chọn thơng số huấn luyện mơ hình 63 4.4 Kết chọn thông số sử dụng kỹ thuật Regression 67 4.5 Kết thực dự đoán đánh giá bất thường .69 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 70 5.1 Kết luận 70 5.2 Hướng phát triển ứng dụng tương lai 71 Tài liệu tham khảo 73 viii Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên 4.3 Kết chọn thơng số huấn luyện mơ hình Tương tự với mơ hình 1, ta hồn toàn dựa cấu trúc Bidirectional LSTM để ứng dụng vào mơ hình để dự đốn cho liệu bao gồm KPIs ngõ phần trăm Cấu trúc mơ sau: 63 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên Hình 4-6 - Cấu trúc mơ hình 64 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên Lớp theo thứ tự Thông số Batch Normalization none LSTM unit = 32 LeakyReLU activation lớp alpha = 0.5 Attention Lớp none Bidirectional LSTM unit = 16 LeakyReLU activation lớp alpha = 0.5 Attention Lớp none Dropout lớp dropout rate = 0.5 Bidirectional LSTM unit = 16 LeakyReLU activation lớp alpha = 0.5 Dense Lớp (Fully Connected Lớp) unit = Sigmoid activation lớp none Reshape Lớp Reshape ngõ trở thành [3,3] tương ứng với 30 timestep, KPIs cần dự đốn Bảng 4-4 - Các thơng số chi tiết mơ hình Sau thực huấn luyện áp dụng mơ hình vào thơng số thực tế, ta kết sai số sau: Thông số Độ xác (Với ngưỡng sai số 2.0%) CSSR 49.60% INTRA_FREQUENCY_HO 44.74% SERVICE_DROP_ALL 50.97% Bảng 4-5 - Kết đánh giá độ xác mơ hình (Ngưỡng sai số 2.0%) Kết hình dạng liệu trực quan hoá: liệu dự đoán (màu xanh) so sánh với liệu thực tế (màu cam) 65 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên Hình 4-7 - Kết dự đoán ngõ sử dụng mơ hình Theo đánh giá ngõ ra, ta nhận thấy có thành phần liệu dự đốn xác, bám theo tốt hình dạng liệu thực tế Tuy nhiên, ảnh hưởng nhiều đặc trưng liệu đầu vào, dẫn đến số dự đoán ngõ chênh lệch lớn so 66 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên với giá trị thực tế (ở không thay đổi) Vì vậy, cần phải sử dụng thêm phương pháp dự đốn regression để tăng độ xác 4.4 Kết chọn thông số sử dụng kỹ thuật Regression Theo kết mơ hình 2, có phần liệu dự đốn bị lệch so với thực tế đặc điểm liệu ngõ vào Vì vậy, liệu thuộc dạng phần trăm thuộc vùng này, ta cần phải sử dụng thêm kỹ thuật Auto Regression để dự đoán giá trị đầu Như phương pháp thông số thực trước đó, ta sử dụng thơng số để áp dụng vào đề tài Thông số Giá trị Khoảng timestep 72 đầu vào cho training Khoảng timestep 16 đầu vào cho predict Khoảng timestep 3/ 12 (theo yêu cầu đầu cần dự đoán dự án) Kỹ thuật xử lý Standard Scaler [0,1] liệu đầu vào Bảng 4-6 - Thông số sử dụng kỹ thuật Auto Regression Sau áp dụng kỹ thuật Auto Regression, ta kết sau: Tên Thơng Số Độ xác (Với ngưỡng sai số 2.0%) CSSR 96.31% INTRA_FREQUENCY_HO 64.78% SERVICE_DROP_ALL 97.09% Hình 4-8 - Kết đánh giá độ xác dự đoán Auto Regression Kết trực quan hoá liệu dự đoán (màu xanh) so với liệu thực tế (màu cam): 67 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên Hình 4-9a - Kết dự đoán liệu sử dụng Auto Regression Hình 4-9b - Kết dự đốn liệu sử dụng Auto Regression 68 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên Kết việc sử dụng Auto Regression phần liệu có độ thay đổi nhỏ có nhiều ý nghĩa, ta cần phải kết hợp chúng với mô hình để có kết dự đốn tốt nhất, có số phần liệu bị thay đổi đột ngột nhanh, dẫn đến giá trị dự đoán timestep chưa cập nhật kịp làm lệch khoảng giá trị timestep Phần ta xem hạn chế mơ hình phải tìm cách cải tiến tương lai 4.5 Kết thực dự đoán đánh giá bất thường Sau hồn tất thục dự đốn thơng số với mơ hình trên, ta thực gắn nhãn cho liệu thực tế liệu dự đoán, theo ngưỡng cho thông số liệt kê bảng Bảng 4-7 Vì ngưỡng liệu cần phải phân lớp theo mốc thời gian: Thấp điểm, bình thường cao điểm, nên ta cần phải bổ sung thêm đặc trưng mốc thời gian vào tập liệu Bên cạnh đó, để tiện cho việc phân tích đánh giá phận chun mơn, chia thành tập liệu riêng biệt, liệt kê Bảng 4-8, với độ xác đánh giá toàn tập liệu (bao gồm dự đốn bất thường dự đốn bình thường) Tên Nhóm Cell Số Lượng Dự Đốn InBLLC LLLow PSBG LLTBTTDB PSBD-CLDC LLCTX LLCT7CNLT LLCWorkDay Tổng cộng 138621 113961 164292 426381 432066 422586 312123 533607 2543637 Số lượng bất thường (dự đoán) 1676 (1.21%) 2178 (1.91%) 3760 (2.29%) 6477 (1.52%) 27992 (6.47%) 3698 (0.87%) 3867 (1.23%) 3005 (0.56%) 53463 (2.1%) Số lượng bất thường (thực tế) 951 (0.69%) 1741 (1.53%) 3043 (1.85%) 4656 (1.09%) 19703 (4.56%) 2917 (0.69%) 2260 (0.72%) 2137 (0.4%) 37408 (1.47%) Độ Chính Xác (TP + TN) 99.998% 99.991% 99.833% 99.863% 99.995% 99.998% 99.998% 99.934% 99.951% Bảng 4-7 - Kết đánh giá độ xác dự đoán bất thường 69 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Nghiên cứu phân tích, dự đốn liệu chuỗi thời gian chủ đề đặc biệt quan tâm nhiều lĩnh vực khác Luận văn nghiên cứu lĩnh vực theo dõi, giám sát dự đoán thông số tương lai nhờ liệu thu thập huấn luyện từ trước nhờ vào mơ hình mạng nơ-ron Thông qua đề tài, ứng dụng nhiều kỹ kiến thức học trước để ứng dụng vào dự án thực tế: - Hiểu rõ sâu cấu trúc cách tính tốn, cập nhật số tham số mạng Nơ-ron - Áp dụng thực thi cấu trúc vào thực tế, áp dụng lý thuyết vào đề tài - Sử dụng nhiều phương pháp, mơ hình khác phối hợp chúng với (như mơ hình LSTM Regression) để kết tốt Các ưu điểm đề tài này: - Trước tiên hoàn tất bước nghiên cứu, đánh giá chọn lọc phần liệu đầu vào - Toàn liệu thu thập sử dụng liệu thực tế từ đầu năm 2022 kéo dài đến tháng năm 2022, dùng để huấn luyện kiểm thử, đánh giá kết - Hoàn tất việc áp dụng số kỹ thuật hỗ trợ cải thiện tốt cho việc huấn luyện lựa chọn mơ hình - Áp dụng hợp lý mạng LSTM kết hợp với kỹ thuật Attention cho liệu chuỗi thời gian - Kết hợp nhiều mơ hình, phương pháp khác cho loại, khoảng liệu - Dự đoán cho kết KPIs với tỉ lệ xác tốt 70 Luận văn tốt nghiệp thạc sỹ - GVHD: PGS.TS Huỳnh Tường Nguyên Sử dụng kỹ thuật Auto Regression có bổ sung thêm phương pháp cập nhật số theo thời gian – đảm bảo cho tham số để dự đốn hồn tồn sử dụng tốt tương lai - Đề xuất mơ hình kết hợp nhiều phương pháp khác để dự đoán cho khối liệu lớn, thiếu cân thông số đầu vào KPIs cần dự đoán Một số hạn chế thực đề tài này: - Chưa đủ kinh nghiệm để chọn mơ hình thích hợp nhất, hay chưa có phương pháp tốt để chọn thông số cho mơ hình Ở đề tài đơn giản áp dụng grid-srearch phương pháp cũ không đủ nhanh, chưa tối ưu việc tìm lựa chọn thơng số - Chưa có phương pháp tối ưu để giải vấn đề giá trị liệu không thay đổi khoảng thời gian 5.2 Hướng phát triển ứng dụng tương lai Hiện đề tài đánh giá nghiên cứu để ứng dụng cho phần mềm đánh giá dự đoán bất thường mạng 4G VNPT Bên cạnh đó, đề tài khác hồn tồn sử dụng lại cải thiện từ mơ hình huấn luyên riêng với liệu đó, cụ thể như: - Dự đốn thơng số từ cảm biến hệ thống nhà vườn Từ lên kế hoạch để chăm sóc quản lý - Dự đoán điền thành phần liệu thiếu hệ thống phức tạp, địi hỏi độ xác cao - Có thể áp dụng thông số vào việc huấn luyện mạng để dự đoán số dạng liệu tương ứng giá trị vật phẩm, thông số liên quan đến thời tiết, … Tất nhiên, đề tài này, nhiều mặt hạn chế Ở cịn nhiều thành phần dự đốn lỗi mà mơ hình hồn tồn khơng thể dự báo trước Trong 71 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên tương lai, ta áp dụng vài mơ hình mạng để tăng độ xác, hỗ trợ thêm thay cho mạng LSTM như: - Một số phương pháp giúp tiền xử lý – chọn lọc loại bỏ phần liệu gây cân cho đầu vào, hỗ trợ huấn luyện thích nghi cho mơ hình tốt - Mạng LSTM phiên cải tiến từ mạng LSTM Peephole Connections LSTM [22] với cải thiện với cổng chuyển đổi lưu trữ thông tin từ q khứ, hay mơ hình Multiplicative LSTM [23] GRU [24] để khảo sát xem xét số ưu điểm mơ hình với liệu có Hoặc áp dụng mạng CNN cho việc dự đoán liệu chuỗi thời gian [25], kết hợp CNN mạng LSTM [26] 72 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên TÀI LIỆU THAM KHẢO [1] Y L Cun et al., "Deep Learning," Nature, vol 521, pp 436-444, 2015 [2] M Mudassir et al., "Time-series Forecasting of Bitcoin Prices," Neural Computing and Applications, vol 6, pp 1433-3058, 2020 [3] A D Livera et al., "Forecasting Time Series With Complex Seasonal Patterns Using Exponential Smoothing," Journal of the American Statistical Association, vol 106, pp 1513-1527, 2011 [4] B Sami, "COVID-19 Data Analysis and Forecasting: Algeria and the World," 2020 [Online] Available: https://www.researchgate.net/publication/343096798_COVID19_Data_Analysis_and_Forecasting_Algeria_and_the_World [Accessed 2022] [5] C Zhang et al., "Deep Learning in Mobile and Wireless Networking: A Survey," EEE Communications Surveys & Tutorials, vol 5, pp 34-35, 2018 [6] S M A A Mamun and M Beyaz, "LSTM Recurrent Neural Network(RNN) for Anomaly Detectionin Cellular Mobile Networks," in Machine Learning for Networking, Turkey, First International Conference, 2019, pp 222-237 [7] H Ho and T Ho, "Ứng Dụng Mạng Nơ-ron LSTM (Long Short-Term Memory Neural Networks) Dự Báo Mực Nước Tại Cống - Âu Thuyền Cầu Đất Trong Hệ Thống Bắc Hưng Hải," Hội nghị khoa học thường niên Trường Đại học Thủy lợi, Hanoi, Vietnam, 2020 73 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên [8] C T Pham et al., "ARNS: A Data-Driven Approach for SoH Estimation of Lithium-ion Battery using Nested Sequence Models with Considering Relaxation Effect," IEEE Access, vol 1, pp 1-1, 2022 [9] H W Odum, Learn about Pearson's Correlation Coefficient in SPSS with Data from the Integrated Postsecondary Education Data System, SAGE Publications, 2015 [10] J Russell and R Cohn, Spearman's Rank Correlation Coefficient, Book on Demand, 2012 [11] F P Miller et al., Kendall Tau Rank Correlation Coefficient, VDM Publishing, 2010 [12] S Santurkar et al., "How Does Batch Normalization Help Optimization?," Advances in neural information processing systems, vol 31, 2018 [13] J J Hopfield, "Artificial neural networks," IEEE Circuits and Devices Magazine, vol 4, pp 3-10, 1988 [14] S Brett, "Ask A Biologist," Arizona State University, 2011 [Online] Available: https://askabiologist.asu.edu/neuron-anatomy [Accessed 2022] [15] O Mikolov et al., "Recurrent Neural Network Based Language Model," Proceedings of the 11th Annual Conference of the International Speech Communication Association, INTERSPEECH 2010, vol 2, pp 1045-1048, 2010 [16] S Hochreiter and J Schmidhuber, "Long Short-term Memory," Neural computation, vol 9, pp 1735-1780, 1997 74 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên [17] I Sutskever et al., "Sequence to Sequence Learning with Neural Networks," Advances in Neural Information Processing Systems, vol 4, 2014 [18] D Bahdanau et al., "Research Gate," 2014 [Online] Available: https://www.researchgate.net/publication/265252627_Neural_Machine_Trans lation_by_Jointly_Learning_to_Align_and_Translate [Accessed 2022] [19] A Vaswani et al., "Attention Is All You Need," Advances in Neural Information Processing System, vol 30, pp 5998-6008, 2017 [20] N Srivastava et al., "Dropout: A Simple Way to Prevent Neural Networks from Overfitting," Journal of Machine Learning Research, vol 15, pp 1929-1958, 2014 [21] G Raskutti et al., "Early stopping and non-parametric regression: An optimal data-dependent stopping rule," 2011 49th Annual Allerton Conference on Communication, Control, and Computing, Allerton 2011, 2011 [22] F Landia et al., "Working Memory Connections for LSTM," Neural Networks, vol 144, pp 332-341, 2021 [23] B Krause et al., "Multiplicative LSTM for sequence modelling," 2017 [Online] Available: https://www.researchgate.net/publication/308646548_Multiplicative_LSTM_ for_sequence_modelling [Accessed 2022] [24] K H Cho et al., "Learning Phrase Representations using RNN EncoderDecoder for Statistical Machine Translation," Association for Computational Linguistics, vol 14, pp 1724-1734, 2014 75 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên [25] A Borovykh et al., "Conditional Time Series Forecasting with Convolutional Neural Networks," 2017 [Online] Available: https://arxiv.org/abs/1703.04691 [Accessed 2022] [26] G Lai et al., "Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks," International ACM SIGIR Conferenceon Research & Development in Information Retrieval, vol 4, pp 95-104, 2018 76 Luận văn tốt nghiệp thạc sỹ GVHD: PGS.TS Huỳnh Tường Nguyên PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Đỗ Ngọc Thanh Châu Ngày, tháng, năm sinh: 19/10/1997 Nơi sinh: Khánh Hoà Địa liên lạc: 40 Bảy Hiền, phường 11, quận Tân Bình, Hồ Chí Minh QUÁ TRÌNH ĐÀO TẠO - Tháng 08/2015 – tháng 11/2019: Sinh Viên – Khoa Điện – Điện tử, Đại học Bách Khoa, ĐHQG Tp Hồ Chí Minh - Tháng 01/2020 – nay: Học viên cao học – Khoa KH & KTMT, Đại học Bách Khoa, ĐHQG Tp Hồ Chí Minh Q TRÌNH CƠNG TÁC - Tháng 01/2020 – nay: Giảng Viên – Khoa Điện – Điện tử, Cao Đẳng Kỹ Thuật Cao Thắng 77