Trang 1 ĐẠI HỌC THÁI NGUYÊN TR¦êNG ĐạI HọC CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG NGUYN ĐỨC LƯU NGHIÊN CỨU GIẢI PHÁP ỨNG DỤNG MẠNG NORON NHÂN TẠO CHO BÀI TOÁN DỰ BÁO TUYỂN SINH TRƯỜNG ĐẠI H
i ĐẠI HỌC THÁI NGUYÊN TR¦êNG §¹I HäC C¤NG NGHÖ TH¤NG TIN Vµ TRUYÒN TH¤NG NGUYỄN ĐỨC LƯU NGHIÊN CỨU GIẢI PHÁP ỨNG DỤNG MẠNG NORON NHÂN TẠO CHO BÀI TOÁN DỰ BÁO TUYỂN SINH TRƯỜNG ĐẠI HỌC SƯ PHẠM THÁI NGUYÊN Chuyên ngành: Khoa học máy tính Mã số: 848 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giáo viên hướng dẫn: TS.Nguyễn Đức Bình THÁI NGUYÊN - 2021 ii LỜI CAM ĐOAN Tôi xin cam đoan: Những nội dung được trình bày trong luận văn là do tôi thực hiện dưới sự hướng dẫn của thầy giáo TS Nguyễn Đức Bình Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng tác giả, tên công trình, thời gian, địa điểm công bố Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo hay gian lận tôi xin chịu hoàn toàn trách nhiệm Thái Nguyên, ngày 06 tháng 10 năm 2021 Học viên Nguyễn Đức Lưu iii LỜI CẢM ƠN Tôi hoàn thành luận văn này tại Trường Đại học Công nghệ Thông tin và Truyền thông dưới sự hướng dẫn của TS Nguyễn Đức Bình Tôi xin bày tỏ lòng biết ơn tới các thầy cô giáo thuộc Trường Đại học Công nghệ Thông tin và Truyền thông, các thầy cô giáo thuộc Viện Công nghệ Thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã tạo điều kiện, giúp đỡ tôi trong quá trình học tập và làm luận văn tại Trường, đặc biệt tôi xin bày tỏ lòng biết ơn tới TS Nguyễn Đức Bình đã tận tình hướng dẫn và cung cấp nhiều tài liệu cần thiết để tôi có thể hoàn thành luận văn đúng thời hạn Tôi cũng xin chân thành cảm ơn bạn bè đồng nghiệp, gia đình và những người thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi để tôi hoàn thành nhiệm vụ học tập và đề tài luận văn này Thái Nguyên, ngày 06 tháng 10 năm 2021 Học viên Nguyễn Đức Lưu iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iii MỤC LỤC IV DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT VII DANH MỤC BẢNG BIỂU VIII DANH MỤC CÁC HÌNH VẼ IX MỞ ĐẦU 1 CHƯƠNG 1: BÀI TOÁN DỰ BÁO TUYỂN SINH 4 1.1 Giới thiệu chương .4 1.2 Tổng quan về bài toán dự báo 4 1.2.1 Một số khái niệm 4 1.2.2 Mục đích của dự báo 5 1.2.3 Phân loại các dự báo .5 1.2.4 Những thách thức trong phân tích dự báo 8 1.2.5 Đánh giá mô hình dự báo 8 1.3 Bài toán dự báo tuyển sinh 9 1.4 Dự báo dữ liệu chuỗi thời gian .10 1.4.1 Giới thiệu 10 1.4.2 Tính dừng của chuỗi thời gian 12 1.4.3 Một số phương pháp dự báo chuỗi thời gian 12 1.5 Kết luận chương 1 19 CHƯƠNG 2 MẠNG NƠ-RON VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO TUYỂN SINH 20 2.1 Giới thiệu chương 20 2.2 Mạng nơ-ron nhân tạo 20 2.2.1 Nơ-ron sinh học 20 2.2.2 Nơ-ron nhân tạo 21 2.2.3 Mô hình mạng nơ-ron nhân tạo 22 2.2.4 Hoạt động của mạng nơ-ron nhân tạo .24 2.3 Mạng nơron MLP 28 v 2.3.1 Kiến trúc mạng 28 2.3.2 Huấn luyện mạng 28 2.3.3 Các yếu tố ảnh hưởng đến hoạt động của mạng MLP 31 2.3.4 Ưu nhược điểm và một số vấn đề của mạng nơron MLP 32 2.4 Mạng nơ-ron hồi quy 33 2.4.1 Kiến trúc mạng 33 2.4.2 Huấn luyện mạng 34 2.4.3 Các phiên bản mở rộng của RNN .34 2.5 Mạng Long Short Term Memory 35 2.5.1 Vấn đề phụ thuộc quá dài 35 2.5.2 Kiến trúc mạng LSTM 36 2.5.3 Phân tích mô hình LSTM 37 2.6 Một số hướng nghiên cứu về bài toán dự báo tuyển sinh sử dụng mạng nơ ron ………………………………………………………………………………40 2.6.1 Các nghiên cứu trên thế giới .41 2.6.2 Các nghiên cứu trong nước .41 2.7 Xây dựng mô hình dự báo tuyển sinh sử dụng mạng nơ-ron LSTM .43 2.7.1 Mô tả bài toán .43 2.6.1 Các bước thực hiện .43 2.8 Kết luận chương .44 CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH MÔ PHỎNG 46 3.1 Giới thiệu chương 46 3.2 Phát biểu bài toán .46 3.2.1 Giới thiệu về Trường Đại học Sư phạm – Đại học Thái Nguyên .46 3.2.2 Bài toán dự báo tuyển sinh trường Đại học Sư phạm - ĐHTN 47 3.3 Các bước thực hiện 49 3.3.1 Dự báo tuyển sinh Trường Đại học Sư phạm sử dụng mô hình ARIMA 49 3.3.2 Dự báo tuyển sinh Trường Đại học Sư phạm sử dụng mạng nơ ron 50 3.4 Một số kết quả đạt được 51 3.4.1 Các chức năng con được cài đặt 52 3.4.2 Kết quả hoạt động .52 vi 3.5 Một số kết quả và bàn luận 59 3.6 Kết luận chương .60 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 62 TÀI LIỆU THAM KHẢO .63 vii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT TÊN VIẾT TẮT TÊN ĐẦY ĐỦ DIỄN GIẢI 1 ANN Artificial Neural Network Mạng nơron nhân tạo 2 AR Autoregressive Tự hồi quy 3 BP Back Propagation Lan truyền ngược 4 DL Deep Learning Học sâu 5 HMM Hidden Markov Model Mô hình Markov ẩn 6 LSTM Long short-term memory Mạng bộ nhớ dài-ngắn 7 LEARNING RATE Learning Rate Tốc độ học 8 MA Moving Average Đường trung bình di động 9 MAE Mean Absolute Error Sai số tuyệt đối 10 MAPE Mean Absolute Percentage Phần trăm sai số tuyệt đối Error trung bình 11 MSE Mean Square Error Sai số trung bình 12 MLP Multilayer Neural Network Mạng nơron nhiều lớp 13 NƠRON Neural Tế bào thần kinh 14 RMSE Root Mean Square Error Sai số bình phương trung bình 15 RNN Recurrent Neural Network Mạng nơ-ron hồi quy vii i DANH MỤC BẢNG BIỂU Bảng 3.1 Cơ sở vật chất của Trường 47 Bảng 3.2 Dữ liệu tuyển sinh của Trường Đại học Sư phạm Thái Nguyên .48 Bảng 3.3 Các module chính của chương trình 52 Bảng 3.4 Kết quả thử nghiệm khi số nơ-ron lớp ẩn thay đổi 59 Bảng 3.5 Kết quả thử nghiệm một số phương pháp dự báo 60 ix DANH MỤC CÁC HÌNH VẼ Hình 1.1 Dự báo định tính và định lượng 6 Hình 1.2 Phân loại các phương pháp dự báo chuỗi thời gian 11 Hình 2.1 Mô hình mạng nơ-ron sinh học .20 Hình 2.2 Hoạt động của một nơ-ron nhân tạo 22 Hình 2.3 Kiến trúc mạng nơ-ron nhân tạo .22 Hình 2.4 Quá trình xử lý thông tin của một mạng nơ-ron nhân tạo .24 Hình 2.5 Mô tả chung hoạt động của một mạng nơ-ron 27 Hình 2.6.Mạng Perceptron đa lớp (MLP) 28 Hình 2.7 Cực trị địa phương và toàn cục 32 Hình 2.8 Mạng RNN hai chiều 34 Hình 2.9 Mạng RNN nhiều tầng 35 Hình 2.10 RNN phụ thuộc short-term 35 Hình 2.11 RNN phụ thuộc long-term .36 Hình 2.12 Các mô-đun lặp của mạng RNN chứa một layer 37 Hình 2.13 Các mô-đun lặp của mạng LSTM chứa bốn layer 37 Hình 2.14 Các kí hiệu sử dụng trong mạng LSTM 37 Hình 2.15 Tế bào trạng thái LSTM giống như một băng truyền 38 Hình 2.16 Cổng trạng thái LSTM .38 Hình 2.17 LSTM focus f .39 Hình 2.18 LSTM focus i 39 Hình 2.19 LSTM focus c 39 Hình 2.20 LSTM focus o 40 Hình 2.21 Các bước thực hiện xây dựng mô hình LSTM cho dự báo tuyển sinh 44 Hình 3.1 Số liệu tuyển sinh của Trường ĐH Sư phạm – ĐH Thái nguyên (1980- 2021) 49 Hình 3.2 Giao diện chương trình chính 53 Hình 3.3 Nhập dữ liệu dự báo 53 Hình 3.4.Nhập tham số dự báo 54 Hình 3.5 Giao diện dự báo theo ARIMA .54 x Hình 3.6 Tham số mô hình ARIMA (2,1,2) 55 Hình 3.7 Kết quả huấn luyện mạng MLP 56 Hình 3.8 Minh họa một kết quả dự báo theo MLP 56 Hình 3.9 Luyện mạng nơ ron LSTM .57 Hình 3.10.Giao diện tiến trình luyện mạng .58 Hình 3.11.Chạy kết quả dự báo .59