Nghiên cứu mạng nơ ron và ứng dụng trong bài toán dự báo tuyển sinh trường THPT lê quý đôn

I HC THI NGUYấN TRƯờNG ĐạI HọC CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG NGUYN TH TH NGHIấN CU MNG NƠ RON VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO TUYỂN SINH TRƯỜNG THPT LÊ QUÝ ĐÔN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2020 ĐẠI HC THI NGUYấN TRƯờNG ĐạI HọC CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG NGUYN TH TH NGHIấN CU MNG N RON VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO TUYỂN SINH TRƯỜNG THPT LÊ QUÝ ĐÔN Chuyên ngành: Khoa học máy tính Mã số: 8.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giáo viên hướng dẫn: TS.Nguyễn Đình Dũng THÁI NGUYÊN - 2020 i LỜI CẢM ƠN Luận văn hồn thành Trường Đại học Cơng nghệ Thông tin Truyền thông hướng dẫn TS Nguyễn Đình Dũng Tác giả xin bày tỏ lịng biết ơn tới thầy cô giáo thuộc Trường Đại học Công nghệ Thông tin Truyền thông, thầy cô giáo thuộc Viện Công nghệ Thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện, giúp đỡ tác giả trình học tập làm luận văn Trường, đặc biệt tác giả xin bày tỏ lòng biết ơn tới TS Nguyễn Đình Dũng tận tình hướng dẫn cung cấp nhiều tài liệu cần thiết để tác giả hoàn thành luận văn thời hạn Xin chân thành cảm ơn anh chị em học viên cao học bạn bè đồng nghiệp trao đổi, khích lệ tác giả trình học tập làm luận văn Trường Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên Cuối tác giả xin gửi lời cảm ơn đến gia đình, người ln bên cạnh, động viên khuyến khích tơi q trình thực đề tài Thái Ngun, ngày 10 tháng 04 năm 2020 Học viên cao học Nguyễn Thị Thơ ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn tơi thực hiện, hướng dẫn khoa học TS Nguyễn Đình Dũng, kết lý thuyết trình bày luận văn tổng hợp từ kết cơng bố có trích dẫn đầy đủ, kết chương trình thực nghiệm luận văn tác giả thực hoàn toàn trung thực, sai tơi hồn tồn chịu trách nhiệm Thái Ngun, ngày 10 tháng 04 năm 2020 Học viên Nguyễn Thị Thơ iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU vii MỞ ĐẦU 1 Tính khoa học cấp thiết đề tài Đối tượng phạm vi nghiên cứu đề tài Phương pháp luận nghiên cứu Nội dung bố cục luận văn CHƯƠNG TỔNG QUAN BÀI TOÁN DỰ BÁO TUYỂN SINH 1.1 Tổng quan dự báo .4 1.1.1 Khái niệm dự báo 1.1.2 Mục đích dự báo 1.1.3 Những thách thức phân tích dự báo 1.1.4 Phân loại dự báo 1.1.5 Đánh giá mơ hình dự báo 1.2 Dự báo liệu chuỗi thời gian 1.2.1 Giới thiệu 1.2.2 Một số phương pháp dự báo chuỗi thời gian 10 1.3 Bài toán dự báo tuyển sinh 17 1.4 Kết luận chương 18 CHƯƠNG MẠNG NƠ RON NHÂN TẠO VÀ BÀI TOÁN DỰ BÁO 19 2.1 Các khái niệm chung mạng nơron 19 2.1.1 Mạng nơron sinh học 19 2.1.2 Mạng nơron nhân tạo .20 2.1.3 Mơ hình tốn học kiến trúc mạng nơron .22 iv 2.1.4 Phân loại mạng nơ ron .25 2.1.5 Huấn luyện mạng nơron 26 2.2 Mạng nơron MLP ứng dụng toán dự báo .28 2.2.1 Kiến trúc mạng 28 2.2.2 Huấn luyện mạng .29 2.2.3 Các yếu tố ảnh hưởng đến hoạt động mạng MLP .32 2.2.4 Ưu nhược điểm số vấn đề mạng nơron nhiều lớp 34 2.3 Một số hướng nghiên cứu toán dự báo tuyển sinh sử dụng mạng nơ ron 34 2.3.1 Các nghiên cứu giới 35 2.3.2 Các nghiên cứu nước 36 2.4 Xây dựng mơ hình dự báo tuyển sinh sử dụng mạng nơ ron MLP .37 2.4.1 Mơ tả tốn 37 2.4.2 Các bước thực 37 2.5 Kết luận chương 38 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH MƠ PHỎNG DỰ BÁO TUYỂN SINH ỨNG DỤNG MẠNG NƠ RON MLP 39 3.1 Giới thiệu Trường THPT Lê Quý Đôn 39 3.2 Phát biểu toán 40 3.3 Xây dựng phần mềm mô 43 3.3.1 Môi trường cài đặt 43 3.3.2 Cài đặt chức 43 3.3.3 Kết hoạt động 44 3.4 Một số kết kiểm thử 46 3.5 Đánh giá hoạt động mơ hình dự báo sử dụng mạng MLP với số mơ hình khác 48 3.6 Kết luận chương 50 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .51 TÀI LIỆU THAM KHẢO 52 v DANH MỤC CÁC TỪ VIẾT TẮT Từ Từ tiếng Anh cụm từ Từ tiếng Việt ANN Artificial Neural Network Mạng nơron nhân tạo AR Autoregressive Tự hồi quy BP Back Propagation Lan truyền ngược MA Moving Average Đường trung bình di động MAE Mean Absolute Error Sai số tuyệt đối MSE Mean Square Error Sai số trung bình MLP Multilayer Neural Network Mạng nơron nhiều lớp NƠRON Neural Tế bào thần kinh OUTPUTNODE Output Node Số nơron lớp GA Genetic Algorithm Giải thuật di truyền EP Evolutionary Programming Lập trình tiến hóa vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Dự báo định tính định lượng Hình 1.2 Phân loại phương pháp dự báo chuỗi thời gian 10 Hình 2.1 Cấu trúc nơron sinh học 19 Hình 2.2 Nơron nhân tạo 21 Hình 2.3 Mơ hình tốn học mạng nơron nhân tạo 22 Hình 2.4 Nơron đầu vào với hàm hoạt hoá hàm hardlimit .24 Hình 2.5 Phân loại mạng nơ ron [18] .26 Hình 2.6 Học có giám sát 26 Hình 2.7 Học khơng có giám sát 27 Hình 2.8 Học tăng cường 27 Hình 2.9 Mạng Perceptron đa lớp (MLP) 28 Hình 2.10 Cực trị địa phương toàn cục .33 Hình 3.1 Giao diện chương trình 44 Hình 3.2 Nhập liệu dự báo 44 Hình 3.3 Nhập tham số dự báo .45 Hình 3.4 Luyện mạng nơ ron 45 Hình 3.5 Chạy kết dự báo 46 Hình 3.6 Một số kết dự báo với phương pháp dự báo khác .48 vii DANH MỤC BẢNG BIỂU Bảng 2.1 Một số dạng hàm hoạt hóa mạng nơron nhân tạo 25 Bảng 3.1 Cơ sở vật chất Trường THPT Lê Quý Đôn 39 Bảng 3.2 Dữ liệu tuyển sinh Trường THPT Lê Quý Đôn 40 Bảng 3.3 Bảng liệu học (với n=6, s=3) .42 Bảng 3.4 Các module chương trình 43 Bảng 3.5 Kết thử nghiệm số nơ ron lớp ẩn thay đổi 47 Bảng 3.6 Kết thử nghiệm thời gian quan sát trước thay đổi .47 Bảng 3.7 Kết thử nghiệm số phương pháp dự báo 49 MỞ ĐẦU Tính khoa học cấp thiết đề tài Trong bối cảnh ứng dụng công nghệ thông tin ngày tăng, liệu phát sinh từ hoạt động quản lý, kinh doanh, sản xuất công ty, tổ chức ngày nhiều Các công ty, tổ chức cần phải nhanh chóng đưa định cách xử lý nhiều yếu tố với quy mô tính phức tạp ngày tăng Để có định xác nhất, người quản lý thường thực việc dự đoán hay phân loại vấn đề cần giải trước định Ngoài việc dựa yếu tố liên quan trực tiếp đến vấn đề, người định dựa kinh nghiệm thân thơng tin có từ hoạt động trước Dẫn đến nhu cầu thực tế cần có phương pháp khai phá liệu thu thập để làm định [4] Trong thực tế sống, công tác dự báo ứng dụng rộng rãi hầu hết lĩnh vực như: Dự báo giá xăng dầu, dự báo chứng khốn, dự báo thời tiết… Cơng tác dự báo nhằm mục đích dự báo trước thay đổi đối tượng dự báo dựa sở nghiên cứu quy luật đối tượng dự báo [9] Những năm gần ngành giáo dục bắt đầu trọng đến công tác dự báo nhằm đưa sách đắn Có nhiều tác giả vào nghiên cứu dự báo lĩnh vực khác giáo dục như: Dự báo nhu cầu giáo viên, dự báo tỉ lệ học sinh đỗ tốt nghiệp, dự báo tỉ lệ học sinh đỗ Đại học… Chính thấy lợi ích việc dự báo giáo dục nên em chọn đề tài: “Nghiên cứu mạng nơ ron ứng dụng tốn dự báo tuyển sinh Trường THPT Lê Q Đơn” để giúp đưa sách đắn thời gian tới cho trường Mục tiêu, đối tượng phạm vi nghiên cứu đề tài Mục tiêu đề tài ứng dụng thử nghiệm phương pháp dự báo dùng mạng nơ ron toán tuyển sinh trường THPT Lê Quý Đơn 39 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH MƠ PHỎNG DỰ BÁO TUYỂN SINH ỨNG DỤNG MẠNG NƠ RON MLP 3.1 Giới thiệu Trường THPT Lê Quý Đôn Trường THPT Lê Quý Đôn nguyên trường THPT cấp II-III Lê Quý Đôn thành lập năm 1991 Năm học 1994-1995, nhà trường tách riêng khối cấp III lấy tên Trường THPT Lê Quý Đôn Trường xây dựng địa bàn phường Quang Hanh – Thành phố Cẩm Phả - phường miền núi ven thị xã công nghiệp tỉnh Quảng Ninh Từ thành lập đến nay, trường THPT Lê Quý Đôn trải qua 29 năm xây dựng phát triển, khẳng định vị trí sở giáo dục có uy tín chất lượng, địa góp phần đào tạo nhân lực thành phố Cẩm Phả tỉnh Quảng Ninh Cơ sở vật chất trường mô tả Bảng 3.1 Bảng 3.1 Cơ sở vật chất Trường THPT Lê Quý Đôn Nội dung STT Đơn vị tính Số lượng Tổng diện tích m2 5.200 m2 Số phòng học phòng 20 Số phòng thí nghiệm, đa phịng 03 Phịng làm việc phòng 12 Phòng Tin hoc phòng 02 Trong 29 năm xây dựng phát triển, trường THPT Lê Quý Đôn không ngừng lớn mạnh số lượng chất lượng Bằng nỗ lực liên tục, toàn diện tích cực vận động mình, với đạo, hướng dẫn hỗ trợ UBND tỉnh, Thành Phố Cẩm Phả, Sở GD-ĐT, việc triển khai dự án xây dựng sở vật chất, thực nhiệm vụ năm học, tinh thần kiên trì vượt khó, thái độ tích cực sáng tạo tìm tịi học hỏi bạn bè, nhà trường hoàn thiện mặt lộ trình phấn đấu thực kế hoạch đạt chuẩn đề 40 UBND tỉnh Quảng Ninh định công nhận trường THPT đạt Chuẩn Quốc gia vào tháng năm 2010 Hiện tại, đội ngũ cán bộ, giáo viên, nhân viên gồm 44 đồng chí với tổ: Xã hội, Tự nhiên I, Tự nhiên II, Hành – Tổng hợp; 100% đạt chuẩn, 20 đồng chí chuẩn (thạc sỹ) Tỷ lệ học sinh lên lớp thi đỗ tốt nghiệp đạt kết cao Hàng năm tỷ lệ tốt nghiệp THPT 98% Học sinh giỏi cấp tỉnh hàng năm có từ 25 ->40 em đạt giải Mặc dù trường đóng địa bàn nơng thơn, miền núi, xa trung tâm thị xã, thành phố hàng năm trường thường có tỷ lệ học sinh thi đỗ vào trường Đại học Cao đẳng cao: từ 50% đến 60 % năm Trường xếp Top 10 học sinh đỗ đại học trường THPT địa bàn tỉnh Quảng Ninh Chính vậy, năm trường thu hút nhiều học sinh nhập học địa bàn thành phố Cẩm Phả 3.2 Phát biểu tốn Qua phân tích chương chương 2, để xây dựng mơ hình dự báo tuyển sinh cho Trường THPT Lê Quý Đôn, luận văn lựa chọn dựa số học sinh tuyển vào trường số năm sở đào tạo Dữ liệu tuyển sinh trường từ năm 2000 đến năm 2019 thống kê Bảng 3.2 sau: Bảng 3.2 Dữ liệu tuyển sinh Trường PTTH Lê Quý Đôn TT Năm 2000 2001 2002 2003 2004 2005 2006 Số HS tuyển sinh 307 248 247 310 421 342 242 41 10 11 12 13 14 15 16 17 18 19 20 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 354 277 465 387 387 354 287 250 348 308 300 368 349 Dựa số liệu thống kê này, ta cần thiết kế phần mềm để xây dựng mơ hình dự báo tuyển sinh ứng dụng mạng nơ ron MLP Như phân tích phần trước, khó để xác định tham số nhằm xây dựng mơ hình dự báo xác Phương pháp thơng thường dựa “thử sai” Chính vậy, phần mềm thiết kế phải linh hoạt người dùng chọn lựa số tham số sau:  Về tham số dự báo: - Lựa chọn khoảng thời gian quan sát trước (n), số mẫu cần thiết thu thập trước đưa kết dự báo Ví dụ, n=10 kết dự báo tuyển sinh năm 2020 cần 10 mẫu năm trước từ 2010 đến 2019 - Lựa chọn cửa số dự báo (s) Đây số thời điểm dự báo tương lai Ví dụ, s=3 thời điểm có số liệu thực tuyển sinh cập nhật đến năm 2020 cho phép ta dự báo kết ba năm 2021, 2022 2023  Về tham số mạng nơ ron: - Bao gồm tham số trình bày phần 2.2.3 như: số nơ ron lớp ẩn, hệ số học, hệ số mô men, số chu kỳ luyện mạng tối đa - Bài toán dựa báo gồm pha sau: 42 Pha 1: Pha học Dữ liệu dùng để học lấy từ năm 2000 đến năm 2015 Tùy theo việc lựa chọn khoảng thời gian quan sát trước (n) cửa số dự báo (s), ta chuẩn bị tập mẫu cho việc luyện mạng Giả sử với n=6, s=3, từ sở liệu ta tạo 14 mẫu mẫu gồm đầu vào số học sinh năm đầu số học sinh năm dự báo Mẫu số học sinh từ năm 2000 đến năm 2005 đầu số học sinh năm 2006, 2007, 2008 Mẫu lấy tiến lên năm số học sinh từ năm 2001 đến năm 2006 đầu số học sinh ba năm 2007, 2008, 2009 Cứ ta có đến mẫu liệu 14 số học sinh từ năm 2001 đến năm 2011 Dữ liệu từ năm 2012 đến năm 2017 sử dụng để làm liệu kiểm tra độ xác dự báo Ta có bảng liệu học sau: Bảng 3.3 Bảng liệu học (với n=6, s=3) Đầu vào x3 Đầu x1 x2 x4 x5 k=1 307 248 247 310 421 k=2 248 247 310 421 k=3 247 310 421 k=4 310 421 k=5 421 k=6 x6 y1 y2 y3 342 242 354 277 342 242 354 277 465 342 242 354 277 465 387 342 242 354 277 465 387 387 342 242 354 277 465 387 387 354 342 242 354 277 465 387 387 354 287 k=7 242 354 277 465 387 387 354 287 250 k=8 354 277 465 387 387 354 287 250 348 Pha 2: Pha chạy đánh giá Từ kết pha 1, sau luyện mạng ta tìm cấu trúc mạng với số W = [wij] phù hợp Cho tập liệu năm [2000 … 2019] Cho tập liệu số học sinh [307…349] 43 Bài toán xác định y1, y2, y3 số học sinh dự kiến từ năm 2016 đến 2019 Kiểm tra sai số so với số liệu thực tế Nếu sai số chấp nhận đưa dự báo cho năm 2020, 2021, 2022 dựa số liệu từ 2014 đến 2019 3.3 Xây dựng phần mềm mơ 3.3.1 Mơi trường cài đặt Chương trình ứng dụng xây dựng giao diện GUI phần mềm Matlab 2019a Sở dĩ học viên lựa chọn xây dựng phần mềm mơ Matlab phần mềm chun dụng cho tính tốn số liệu dạng ma trận Ngồi ra, Matlab tích hợp cơng cụ hỗ trợ cho tạo luyện mạng nơ ron Các công bố phương pháp dự báo đa phần sử dụng Matlab nên tiện cho việc so sánh đánh giá hiệu phương pháp 3.3.2 Cài đặt chức Mã nguồn chương trình bao gồm số module mơ tả Bảng 3.4 Bảng 3.4 Các module chương trình Giải thích Module Predict.m Cài đặt giao diện chương trình mơ Predict.fig dự báo tuyển sinh sử dụng mạng MLP Database.m Tạo mẫu liệu chuẩn cho luyện kiểm thử Database.fig mơ hình Neural.m Khai báo tham số luyện mạng nơ ron, tiến Neural.fig hành luyện mạng (pha 1) Predict_para.m Khai báo tham số mơ hình dự báo (s Predict_para.fig n) MPL_Predict.m MPL_Predict.m Chạy chạy kết dự báo 44 3.3.3 Kết hoạt động Hình 3.1 Giao diện chương trình Hình 3.1 minh họa giao diện chương trình với chức tương ứng mô tả Bảng 3.4 Để thực chương trình, trước tiên, người dùng chọn chức Tạo mẫu liệu để nhập liệu tuyển sinh Bảng 3.2 theo file nhập năm (Hình 3.2) Hình 3.2 Nhập liệu dự báo Các mẫu liệu dựa báo lưu lại file data.mat Trong trình luyện mạng nơ ron, 80% dự liệu dành cho huấn luyện, lại 20% liệu sử dụng cho kiểm tra 45 Sau tạo xong mẫu liệu, chương trình tự động quay giao diện chương trình cho phép người dùng nhập tham số dự báo cách chọn chức Nhập tham số dự báo Kết thể Hình 3.3 (bao gồm khoảng thời gian quan sát trước cửa sổ dự báo) Các tham số định tới đầu vào cấu trúc mạng nơ ron sau Ví dụ với số liệu mơ tả Hình 3.3, mạng MLP phải có đầu vào đầu Hình 3.3.Nhập tham số dự báo Sau nhập tham số dự báo, giao diện chương trình xuất cho phép người dùng cấu hình tham số cho việc luyện mạng nơ ron Hình 3.4.Luyện mạng nơ ron 46 Hình 3.4 minh họa trình luyện đánh giá hoạt động mạng nơ ron cho toán dự báo tuyển sinh với tham số dự báo Hình 3.3 Ở đây, người dùng tùy chọn số nơ ron cho lớp ẩn dựa vào kết đánh giá (các tham số MSE MAPE) để từ xác định cấu trúc mạng nơ ron phù hợp Hình 3.5.Chạy kết dự báo Sau luyện mạng nơ ron để xác định cấu trúc mạng tham số mạng, người dùng sử dụng chức Chạy kết dự báo giao diện chương trình để kiểm thử Kết báo đồ thị dự báo cho người dùng đánh giá tính xác việc dự báo 3.4 Một số kết kiểm thử Trong trình xây dựng cấu trúc mạng nơ ron cho toán dự báo,việc xác định số nơ ron lớp ẩn quan trọng Số nơ ron lớp ẩn nhỏ dần đến sai số dự báo lớn ngược lại, số nơ ron lớp ẩn mà lớn làm cho thời gian tính tốn lâu Sau xây dựng phần mềm mô phỏng, học viên thử nghiệm thay đổi số giá trị số nơ ron lớp ẩn Các kết thể Bảng 3.5 Từ kết này, học viên lựa chọn mạng nơ ron có cấu trúc phù hợp với số nơ ron lớp ẩn 20 47 Bảng 3.5 Kết thử nghiệm số nơ ron lớp ẩn thay đổi Số nơron Tổng thời gian Tổng số vòng Lỗi MSE Stt lớp ẩn 12.752 giây 1000 3.83 10 12.875 giây 1000 3.79 15 12.818 giây 1000 3.43 20 12.825 giây 1000 2.32 25 12.986 giây 1000 2.41 30 12.953 giây 1000 2.52 huấn luyện huấn luyện Khi chạy thử nghiệm cấu trúc mạng nơ ron thay đổi tham số dự báo, học viên nhận thấy tham số dự báo có ảnh hưởng lớn đến kết dự báo, đặc biệt tham số thời gian quan sát trước Bảng 3.6 cho thấy thời gian quan sát trước nhỏ, sai số dự báo MSE MAPE lớn nhiều so với thời gian quan sát lớn Về mặt chất, thời gian quan sát trước 1, việc xây dựng đường tuyến tính minh họa cho số lượng thí sinh khơng thể, đại lượng phi tuyến Do vậy, kết cho sai số lớn (MSE=19.04, MAPE=1.05%) Với N=3 ta xem tốn cần tìm đường cong bậc để xấp xỉ mẫu dự báo Vì vậy, sai số dự báo thấp nhiều Đường cong dự báo Hình 3.5 minh chứng cho phân tích Bảng 3.6 Kết thử nghiệm thời gian quan sát trước thay đổi Năm Số thí sinh thực Thời gian quan sát trước (N) N=1 N=2 N=3 2000 307 Không dự báo Không dự báo Không dự báo 2001 248 248 Không dự báo Không dự báo 2002 247 248 249 Không dự báo 2003 310 307 312 309 2004 421 420 421 421 2005 342 342 341 342 2006 242 247 248 241 2007 354 343 355 352 48 2008 277 275 277 276 2009 465 463 465 465 2010 387 386 386 387 2011 387 387 387 388 2012 354 363 355 351 2013 287 283 287 287 2014 250 248 248 250 2015 348 342 348 352 2016 308 306 310 308 2017 300 294 299 300 2018 368 371 367 368 2019 349 346 347 351 2020 N/A 349 363 350 MSE 19.04 3.45 2.12 MAPE 1.05% 0.43% 0.32% 3.5 Đánh giá hoạt động mơ hình dự báo sử dụng mạng MLP với số mơ hình khác Hình 3.6.Một số kết dự báo với phương pháp dự báo khác 49 Để kiểm thử khả hoạt động phương pháp dự báo dùng mạng nơ ron, học viên tiến hành so sánh kết dự báo phương pháp với phương pháp trung bình dài hạn phương pháp trung bình động Ở phương pháp trung bình động, thời gian quan sát trước lấy n=3 dùng mạng nơ ron Kết kiểm chứng Bảng 3.7 Hình 3.6 cho thấy phương pháp dự báo sử dụng mạng nơ ron cho kết xác nhiều lần so với phương pháp truyền thống Bảng 3.7 Kết thử nghiệm số phương pháp dự báo Năm Số thí sinh thực 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 307 248 247 310 421 342 242 354 277 465 387 387 354 287 250 348 308 300 368 349 N/A MSE MAPE Phương pháp dự báo Trung bình dài Trung bình Mạng nơ ron hạn động Khơng dự báo Không dự báo Không dự báo Không dự báo 307 Không dự báo Không dự báo 278 Không dự báo 309 267 267 421 278 268 342 307 326 241 313 358 352 302 335 276 309 313 465 305 291 387 321 365 388 327 376 351 332 413 287 334 376 250 331 343 352 325 297 308 327 295 300 326 302 368 324 319 351 326 325 350 328 339 2.12 0.32% 4373 16.33% 5707 17.12% 50 3.6 Kết luận chương Trong chương 3, sở kiến thức lý thuyết dự báo chuỗi thời gian mạng nơ ron MLP trình bày chương trước, học viên tiến hành xây dựng thử nghiệm chương trình mơ minh họa dự báo tuyển sinh cho trường THPT Lê Quý Đôn sử dụng mạng nơ ron MLP Từ đó, học viên thử nghiệm để tìm tham số cấu trúc mạng nơ ron tham số thời gian quan sát trước phù hợp (cho sai số dự báo nhỏ nhất) Kết dự báo tuyển sinh dùng mạng nơ ron so sánh với số phương pháp thơng thường trung bình dài hạn, trung bình động để thấy dự báo sử dụng mạng nơ ron phương pháp ưu việt cần sử dụng nhiều hơn, thay cho phương pháp dự báo cũ lớp toán dự báo tương tự 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Qua nghiên cứu cho thấy dự báo liệu chuỗi thời gian sử dụng mạng nơ ron toán gặp nhiều thực tế Làm chủ kỹ thuật phân tích giải toán dự báo chuỗi thời gian sử dụng mạng MLP phương pháp tốt để triển khai toán dự báo tuyển sinh Sau thời gian tìm hiểu nghiên cứu, luận văn trình bày vấn đề sau: - Nghiên cứu lý thuyết chung, cập nhật nghiên cứu toán dự báo, kỹ thuật dự báo theo chuỗi thời gian Đặc biệt tập trung vào phương pháp dự báo tuyển sinh sử dụng mơ hình mạng nơ ron MLP - Phát biểu toán dự báo tuyển sinh cho trường THPT Lê Quý Đôn – TP Cẩm Phả - Tỉnh Quảng Ninh; Xây dựng chương trình minh họa dự báo tuyển sinh sử dụng mơ hình mạng nơ ron MLP Xác định tham số phù hợp So sánh đánh giá kết đạt với số thuật tốn dự báo khác Trong q trình thử nghiệm chương trình, kết dựa báo tương đối tốt Tuy nhiên, tốn dự báo cịn nhiều điểm cần khắc phục, đề tài cịn có số hướng phát triển sau: - Nghiên cứu phương pháp dò tìm thơng số tốt cho q trình luyện mạng MLP - Nghiên cứu kiến trúc mạng DeepLearning hiệu cho toán dự báo tuyển sinh theo tiếp cận dự báo chuỗi thời gian - Lựa chọn thêm số tiêu chí ảnh hưởng đến kết dự báo Xây dựng mạng nơ ron phù hợp cho toán dự báo với nhiều đầu vào Do giới hạn thời gian nghiên cứu kiến thức thân, luận văn khó tránh khỏi số sai sót định Học viên mong nhận đóng góp ý kiến thầy cô, bạn đọc quan tâm để luận văn hoàn thiện Một lần học viên xin cảm ơn Thầy giáo TS Nguyễn Đình Dũng tận tình giúp đỡ, hướng dẫn thời gian thực đề tài, cảm ơn giúp đỡ gia đình, bạn bè đồng nghiệp thời gian qua 52 TÀI LIỆU THAM KHẢO I Tài liệu tiếng Việt [1] Trần Hồi Linh (2015), Giáo trình mạng neuron ứng dụng xử lý tín hiệu số, Nhà XB Bách Khoa [2] Thái Trung Hải (2014), Sử dụng mạng nơron việc dự đoán kết đậu đại học, Luận văn Thạc sỹ, Đại học Lạc Hồng [3] Trần Đức Minh, Trần Huy Dương, Vũ Đức Thi (2015), Một số vấn đề dự báo liệu chuỗi thời gian, Kỷ yếu Hội nghị Quốc gia lần thứ VIII Nghiên cứu ứng dụng Công nghệ thông tin, DOI: 10.15625/vap.2015.000182, pp 467-470 [4] Dương Thu Trang (2017), Ứng dụng mạng nơron nhân tạo dự báo số học sinh tuyển vào Trung tâm GDNNGDTX quận Đống Đa, Luận văn thạc sỹ,khoa Công nghệ thông tin – Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội [5] Nguyễn Văn Trịnh (2012), Ứng dụng mạng nơron dự báo tỷ lệ nghỉ học, Luận văn thạc sỹ ,Viện Toán Ứng dụng Tin học – Đại học Bách khoa Hà Nội II Tài liệu tiếng Anh [6] Chen, Yu & Li, Ran & Hagedorn, Linda (2019) Undergraduate International Student Enrollment Forecasting Model: An Application of Time Series Analysis [7] C T S E M Jyh Shing Roger Jang, Neuro fuzzy and Soft Computing, Prientice Hall International, Inc, 2002 [8] Datilo, Philemon & Ismail, Zuhaimy & Jayeola, Dare (2019) A Review of Epidemic Forecasting Using Artificial Neural Networks International Journal of Epidemiologic Research 132-143 10.15171/ijer.2019.24 [9] Dean Abbott (2014), Applied Predictive Analytics: Principles and Techniques for the Professional Data Analyst, Wiley 53 [10] Egbo, M.N &Bartholomew, Desmond (2018) Forecasting Students’ Enrollment Using Neural Networks and Ordinary Least Squares Regression Models Journal of Advanced Statistics 10.22606/jas.2018.34001 [11] Fico Corporation (2009), Understanding Predictive Analytics [12] Hewamalage, Hansika & Bergmeir, Christoph & Bandara, Kasun (2019) Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions [13] Hill, Tim & O'Connor, Marcus & Remus, William (1996) Neural Network Models for Time Series Forecasts Management Science 42 1082-1092 10.1287/mnsc.42.7.1082 [14] Lavilles, Rabby (2012) Enrollment Forecasting for School Management System International Journal of Modeling and Optimization 563-566 10.7763/IJMO.2012.V2.183 [15] Norhaidah Abu Haris,Munaisyah Abdullah, Abu Talib Othman, Fauziah Abdul Rahman (2015), Application of Forecasting Technique for Students Enrollment, Knowledge Management International Conference (KMICe) 2014, 12 – 15 August 2014, Malaysia, pp 655-662 [16] Oancea, Bogdan & Ciucu, Stefan (2013) Time series forecasting using neural networks [17] Rufai, Fuadeen & Folorunso, Olusegun & Lateef, Usman (2015) Predicting Students' Enrollment Using Generalized Feed-Forward Neural Network Journal of Natural Science, Engineering and Technology 14 58-70 [18] Verma, Kritika & Singh, Pradeep (2015) An Insight to Soft Computing based Defect Prediction Techniques in Software International Journal of Modern Education and Computer Science 52-58 10.5815/ijmecs.2015.09.07 ... mạng nơ ron toán tuyển sinh trường THPT Lê Quý Đôn 2 Đối tượng nghiên cứu mạng nơ ron nhân tạo, mạng nơ ron lan truyền thẳng thuật toán lan truyền ngược Phạm vi nghiên cứu ứng dụng mạng nơ ron. .. toán dự báo tuyển sinh - Nghiên cứu toán dự báo, phương pháp dự báo Đi sâu vào phương pháp dự báo chuỗi thời gian khả áp dụng cho toán dự báo tuyển sinh Chương Mạng nơ ron nhân tạo toán dự báo. .. quan Ứng dụng mạng nơ ron nhân tạo, mạng nơ ron lan truyền thẳng thuật toán lan truyền ngược vào toán dự báo tuyển sinh trường THPT Lê Quý Đôn - Phương pháp nghiên cứu thực nghiệm: Sau nghiên cứu