Nghiên cứu mạng nơ ron và ứng dụng trong bài toán dự báo tuyển sinh trường THPT lê quý đôn

I HC THI NGUYấN TRƯờNG ĐạI HọC CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG NGUYN TH TH NGHIấN CU MNG NƠ RON VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO TUYỂN SINH TRƯỜNG THPT LÊ QUÝ ĐÔN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2020 ĐẠI HC THI NGUYấN TRƯờNG ĐạI HọC CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG NGUYN TH TH NGHIấN CU MNG N RON VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO TUYỂN SINH TRƯỜNG THPT LÊ QUÝ ĐÔN Chuyên ngành: Khoa học máy tính Mã số: 8.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giáo viên hướng dẫn: TS.Nguyễn Đình Dũng THÁI NGUYÊN - 2020 i LỜI CẢM ƠN Luận văn hồn thành Trường Đại học Cơng nghệ Thông tin Truyền thông hướng dẫn TS Nguyễn Đình Dũng Tác giả xin bày tỏ lịng biết ơn tới thầy cô giáo thuộc Trường Đại học Công nghệ Thông tin Truyền thông, thầy cô giáo thuộc Viện Công nghệ Thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện, giúp đỡ tác giả trình học tập làm luận văn Trường, đặc biệt tác giả xin bày tỏ lòng biết ơn tới TS Nguyễn Đình Dũng tận tình hướng dẫn cung cấp nhiều tài liệu cần thiết để tác giả hoàn thành luận văn thời hạn Xin chân thành cảm ơn anh chị em học viên cao học bạn bè đồng nghiệp trao đổi, khích lệ tác giả trình học tập làm luận văn Trường Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên Cuối tác giả xin gửi lời cảm ơn đến gia đình, người ln bên cạnh, động viên khuyến khích tơi q trình thực đề tài Thái Ngun, ngày 10 tháng 04 năm 2020 Học viên cao học Nguyễn Thị Thơ ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn tơi thực hiện, hướng dẫn khoa học TS Nguyễn Đình Dũng, kết lý thuyết trình bày luận văn tổng hợp từ kết cơng bố có trích dẫn đầy đủ, kết chương trình thực nghiệm luận văn tác giả thực hoàn toàn trung thực, sai tơi hồn tồn chịu trách nhiệm Thái Ngun, ngày 10 tháng 04 năm 2020 Học viên Nguyễn Thị Thơ iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU vii MỞ ĐẦU 1 Tính khoa học cấp thiết đề tài Đối tượng phạm vi nghiên cứu đề tài Phương pháp luận nghiên cứu Nội dung bố cục luận văn CHƯƠNG TỔNG QUAN BÀI TOÁN DỰ BÁO TUYỂN SINH 1.1 Tổng quan dự báo 1.1.1 Khái niệm dự báo 1.1.2 Mục đích dự báo 1.1.3 Những thách thức phân tích dự báo 1.1.4 Phân loại dự báo 1.1.5 Đánh giá mơ hình dự báo 1.2 Dự báo liệu chuỗi thời gian 1.2.1 Giới thiệu 1.2.2 Một số phương pháp dự báo chuỗi thời gian 10 1.3 Bài toán dự báo tuyển sinh 17 1.4 Kết luận chương 18 CHƯƠNG MẠNG NƠ RON NHÂN TẠO VÀ BÀI TOÁN DỰ BÁO 19 2.1 Các khái niệm chung mạng nơron 19 2.1.1 Mạng nơron sinh học 19 2.1.2 Mạng nơron nhân tạo 20 2.1.3 Mơ hình tốn học kiến trúc mạng nơron 22 iv 2.1.4 Phân loại mạng nơ ron 2.1.5 Huấn luyện mạng nơron 2.2 Mạng nơron MLP ứng dụng toán dự báo 2.2.1 Kiến trúc mạng 2.2.2 Huấn luyện mạng 2.2.3 Các yếu tố ảnh hưởng đến hoạt động mạng MLP 2.2.4 Ưu nhược điểm số vấn đề mạng nơron nhiều 2.3 Một số hướng nghiên cứu toán dự báo tuyển sinh sử dụng mạng 2.3.1 Các nghiên cứu giới 2.3.2 Các nghiên cứu nước 2.4 Xây dựng mơ hình dự báo tuyển sinh sử dụng mạng nơ ron MLP 2.4.1 Mơ tả tốn 2.4.2 Các bước thực 2.5 Kết luận chương CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH MÔ PHỎNG DỰ BÁO TUYỂN SINH ỨNG DỤNG MẠNG NƠ RON MLP 3.1 Giới thiệu Trường THPT Lê Quý Đôn 3.2 Phát biểu toán 3.3 Xây dựng phần mềm mô 3.3.1 Môi trường cài đặt 3.3.2 Cài đặt chức 3.3.3 Kết hoạt động 3.4 Một số kết kiểm thử 3.5 Đánh giá hoạt động mơ hình dự báo sử dụng mạng MLP với số mơ hình khác 3.6 Kết luận chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TÀI LIỆU THAM KHẢO v DANH MỤC CÁC TỪ VIẾT TẮT Từ cụm từ ANN AR BP MA MAE MSE MLP NƠRON OUTPUTNODE GA EP vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Dự báo định tính định lượng Hình 1.2 Phân loại phương pháp dự báo chuỗi thời gian .10 Hình 2.1 Cấu trúc nơron sinh học 19 Hình 2.2 Nơron nhân tạo 21 Hình 2.3 Mơ hình toán học mạng nơron nhân tạo 22 Hình 2.4 Nơron đầu vào với hàm hoạt hoá hàm hardlimit .24 Hình 2.5 Phân loại mạng nơ ron [18] 26 Hình 2.6 Học có giám sát 26 Hình 2.7 Học khơng có giám sát 27 Hình 2.8 Học tăng cường 27 Hình 2.9 Mạng Perceptron đa lớp (MLP) 28 Hình 2.10 Cực trị địa phương toàn cục 33 Hình 3.1 Giao diện chương trình 44 Hình 3.2 Nhập liệu dự báo 44 Hình 3.3 Nhập tham số dự báo 45 Hình 3.4 Luyện mạng nơ ron 45 Hình 3.5 Chạy kết dự báo 46 Hình 3.6 Một số kết dự báo với phương pháp dự báo khác 48 vii DANH MỤC BẢNG BIỂU Bảng 2.1 Một số dạng hàm hoạt hóa mạng nơron nhân tạo 25 Bảng 3.1 Cơ sở vật chất Trường THPT Lê Quý Đôn 39 Bảng 3.2 Dữ liệu tuyển sinh Trường THPT Lê Quý Đôn 40 Bảng 3.3 Bảng liệu học (với n=6, s=3) 42 Bảng 3.4 Các module chương trình 43 Bảng 3.5 Kết thử nghiệm số nơ ron lớp ẩn thay đổi 47 Bảng 3.6 Kết thử nghiệm thời gian quan sát trước thay đổi .47 Bảng 3.7 Kết thử nghiệm số phương pháp dự báo 49 MỞ ĐẦU Tính khoa học cấp thiết đề tài Trong bối cảnh ứng dụng công nghệ thông tin ngày tăng, liệu phát sinh từ hoạt động quản lý, kinh doanh, sản xuất công ty, tổ chức ngày nhiều Các công ty, tổ chức cần phải nhanh chóng đưa định cách xử lý nhiều yếu tố với quy mơ tính phức tạp ngày tăng Để có định xác nhất, người quản lý thường thực việc dự đoán hay phân loại vấn đề cần giải trước định Ngoài việc dựa yếu tố liên quan trực tiếp đến vấn đề, người định dựa kinh nghiệm thân thơng tin có từ hoạt động trước Dẫn đến nhu cầu thực tế cần có phương pháp khai phá liệu thu thập để làm định [4] Trong thực tế sống, công tác dự báo ứng dụng rộng rãi hầu hết lĩnh vực như: Dự báo giá xăng dầu, dự báo chứng khốn, dự báo thời tiết… Cơng tác dự báo nhằm mục đích dự báo trước thay đổi đối tượng dự báo dựa sở nghiên cứu quy luật đối tượng dự báo [9] Những năm gần ngành giáo dục bắt đầu trọng đến công tác dự báo nhằm đưa sách đắn Có nhiều tác giả vào nghiên cứu dự báo lĩnh vực khác giáo dục như: Dự báo nhu cầu giáo viên, dự báo tỉ lệ học sinh đỗ tốt nghiệp, dự báo tỉ lệ học sinh đỗ Đại học… Chính thấy lợi ích việc dự báo giáo dục nên em chọn đề tài: “Nghiên cứu mạng nơ ron ứng dụng toán dự báo tuyển sinh Trường THPT Lê Quý Đơn” để giúp đưa sách đắn thời gian tới cho trường Mục tiêu, đối tượng phạm vi nghiên cứu đề tài Mục tiêu đề tài ứng dụng thử nghiệm phương pháp dự báo dùng mạng nơ ron toán tuyển sinh trường THPT Lê Q Đơn 43 Bài tốn xác định y1, y2, y3 số học sinh dự kiến từ năm 2016 đến 2019 Kiểm tra sai số so với số liệu thực tế Nếu sai số chấp nhận đưa dự báo cho năm 2020, 2021, 2022 dựa số liệu từ 2014 đến 2019 3.3 Xây dựng phần mềm mô 3.3.1 Môi trường cài đặt Chương trình ứng dụng xây dựng giao diện GUI phần mềm Matlab 2019a Sở dĩ học viên lựa chọn xây dựng phần mềm mô Matlab phần mềm chuyên dụng cho tính tốn số liệu dạng ma trận Ngồi ra, Matlab tích hợp cơng cụ hỗ trợ cho tạo luyện mạng nơ ron Các công bố phương pháp dự báo đa phần sử dụng Matlab nên tiện cho việc so sánh đánh giá hiệu phương pháp 3.3.2 Cài đặt chức Mã nguồn chương trình bao gồm số module mơ tả Bảng 3.4 Bảng 3.4 Các module chương trình Module Predict.m Predict.fig Database.m Database.fig Neural.m Neural.fig Predict_para.m Predict_para.fig MPL_Predict.m MPL_Predict.m 44 3.3.3 Kết hoạt động Hình 3.1 Giao diện chương trình Hình 3.1 minh họa giao diện chương trình với chức tương ứng mơ tả Bảng 3.4 Để thực chương trình, trước tiên, người dùng chọn chức Tạo mẫu liệu để nhập liệu tuyển sinh Bảng 3.2 theo file nhập năm (Hình 3.2) Hình 3.2 Nhập liệu dự báo Các mẫu liệu dựa báo lưu lại file data.mat Trong trình luyện mạng nơ ron, 80% dự liệu dành cho huấn luyện, lại 20% liệu sử dụng cho kiểm tra 45 Sau tạo xong mẫu liệu, chương trình tự động quay giao diện chương trình cho phép người dùng nhập tham số dự báo cách chọn chức Nhập tham số dự báo Kết thể Hình 3.3 (bao gồm khoảng thời gian quan sát trước cửa sổ dự báo) Các tham số định tới đầu vào cấu trúc mạng nơ ron sau Ví dụ với số liệu mơ tả Hình 3.3, mạng MLP phải có đầu vào đầu Hình 3.3.Nhập tham số dự báo Sau nhập tham số dự báo, giao diện chương trình xuất cho phép người dùng cấu hình tham số cho việc luyện mạng nơ ron Hình 3.4.Luyện mạng nơ ron 46 Hình 3.4 minh họa trình luyện đánh giá hoạt động mạng nơ ron cho toán dự báo tuyển sinh với tham số dự báo Hình 3.3 Ở đây, người dùng tùy chọn số nơ ron cho lớp ẩn dựa vào kết đánh giá (các tham số MSE MAPE) để từ xác định cấu trúc mạng nơ ron phù hợp Hình 3.5.Chạy kết dự báo Sau luyện mạng nơ ron để xác định cấu trúc mạng tham số mạng, người dùng sử dụng chức Chạy kết dự báo giao diện chương trình để kiểm thử Kết báo đồ thị dự báo cho người dùng đánh giá tính xác việc dự báo 3.4 Một số kết kiểm thử Trong trình xây dựng cấu trúc mạng nơ ron cho toán dự báo,việc xác định số nơ ron lớp ẩn quan trọng Số nơ ron lớp ẩn nhỏ dần đến sai số dự báo lớn ngược lại, số nơ ron lớp ẩn mà lớn làm cho thời gian tính tốn lâu Sau xây dựng phần mềm mô phỏng, học viên thử nghiệm thay đổi số giá trị số nơ ron lớp ẩn Các kết thể Bảng 3.5 Từ kết này, học viên lựa chọn mạng nơ ron có cấu trúc phù hợp với số nơ ron lớp ẩn 20 47 Bảng 3.5 Kết thử nghiệm số nơ ron lớp ẩn thay đổi Số nơ Stt 10 15 20 25 30 Khi chạy thử nghiệm cấu trúc mạng nơ ron thay đổi tham số dự báo, học viên nhận thấy tham số dự báo có ảnh hưởng lớn đến kết dự báo, đặc biệt tham số thời gian quan sát trước Bảng 3.6 cho thấy thời gian quan sát trước nhỏ, sai số dự báo MSE MAPE lớn nhiều so với thời gian quan sát lớn Về mặt chất, thời gian quan sát trước 1, việc xây dựng đường tuyến tính minh họa cho số lượng thí sinh khơng thể, đại lượng phi tuyến Do vậy, kết cho sai số lớn (MSE=19.04, MAPE=1.05%) Với N=3 ta xem tốn cần tìm đường cong bậc để xấp xỉ mẫu dự báo Vì vậy, sai số dự báo thấp nhiều Đường cong dự báo Hình 3.5 minh chứng cho phân tích Bảng 3.6 Kết thử nghiệm thời gian quan sát trước thay đổi Năm 2000 2001 2002 2003 2004 2005 lớp 2006 2007 2008 277 2009 465 2010 387 2011 387 2012 354 2013 287 2014 250 2015 348 2016 308 2017 300 2018 368 2019 349 2020 N/A MSE MAPE 3.5 Đánh giá hoạt động mô hình dự báo sử dụng mạng MLP với số mơ hình khác Hình 3.6.Một số kết dự báo với phương pháp dự báo khác 49 Để kiểm thử khả hoạt động phương pháp dự báo dùng mạng nơ ron, học viên tiến hành so sánh kết dự báo phương pháp với phương pháp trung bình dài hạn phương pháp trung bình động Ở phương pháp trung bình động, thời gian quan sát trước lấy n=3 dùng mạng nơ ron Kết kiểm chứng Bảng 3.7 Hình 3.6 cho thấy phương pháp dự báo sử dụng mạng nơ ron cho kết xác nhiều lần so với phương pháp truyền thống Bảng 3.7 Kết thử nghiệm số phương pháp dự báo Năm 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 MSE MAPE 50 3.6 Kết luận chương Trong chương 3, sở kiến thức lý thuyết dự báo chuỗi thời gian mạng nơ ron MLP trình bày chương trước, học viên tiến hành xây dựng thử nghiệm chương trình mơ minh họa dự báo tuyển sinh cho trường THPT Lê Quý Đôn sử dụng mạng nơ ron MLP Từ đó, học viên thử nghiệm để tìm tham số cấu trúc mạng nơ ron tham số thời gian quan sát trước phù hợp (cho sai số dự báo nhỏ nhất) Kết dự báo tuyển sinh dùng mạng nơ ron so sánh với số phương pháp thơng thường trung bình dài hạn, trung bình động để thấy dự báo sử dụng mạng nơ ron phương pháp ưu việt cần sử dụng nhiều hơn, thay cho phương pháp dự báo cũ lớp toán dự báo tương tự 51 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Qua nghiên cứu cho thấy dự báo liệu chuỗi thời gian sử dụng mạng nơ ron toán gặp nhiều thực tế Làm chủ kỹ thuật phân tích giải toán dự báo chuỗi thời gian sử dụng mạng MLP phương pháp tốt để triển khai toán dự báo tuyển sinh Sau thời gian tìm hiểu nghiên cứu, luận văn trình bày vấn đề sau: - Nghiên cứu lý thuyết chung, cập nhật nghiên cứu toán dự báo, kỹ thuật dự báo theo chuỗi thời gian Đặc biệt tập trung vào phương pháp dự báo tuyển sinh sử dụng mơ hình mạng nơ ron MLP - Phát biểu toán dự báo tuyển sinh cho trường THPT Lê Quý Đôn – TP Cẩm Phả - Tỉnh Quảng Ninh; Xây dựng chương trình minh họa dự báo tuyển sinh sử dụng mơ hình mạng nơ ron MLP Xác định tham số phù hợp So sánh đánh giá kết đạt với số thuật toán dự báo khác Trong trình thử nghiệm chương trình, kết dựa báo tương đối tốt Tuy nhiên, tốn dự báo cịn nhiều điểm cần khắc phục, đề tài cịn có số hướng phát triển sau: - Nghiên cứu phương pháp dị tìm thơng số tốt cho trình luyện mạng MLP - Nghiên cứu kiến trúc mạng DeepLearning hiệu cho toán dự báo tuyển sinh theo tiếp cận dự báo chuỗi thời gian - Lựa chọn thêm số tiêu chí ảnh hưởng đến kết dự báo Xây dựng mạng nơ ron phù hợp cho toán dự báo với nhiều đầu vào Do giới hạn thời gian nghiên cứu kiến thức thân, luận văn khó tránh khỏi số sai sót định Học viên mong nhận đóng góp ý kiến thầy cơ, bạn đọc quan tâm để luận văn hoàn thiện Một lần học viên xin cảm ơn Thầy giáo TS Nguyễn Đình Dũng tận tình giúp đỡ, hướng dẫn thời gian thực đề tài, cảm ơn giúp đỡ gia đình, bạn bè đồng nghiệp thời gian qua 52 TÀI LIỆU THAM KHẢO I Tài liệu tiếng Việt [1] Trần Hồi Linh (2015), Giáo trình mạng neuron ứng dụng xử lý tín hiệu số, Nhà XB Bách Khoa [2] Thái Trung Hải (2014), Sử dụng mạng nơron việc dự đoán kết đậu đại học, Luận văn Thạc sỹ, Đại học Lạc Hồng [3] Trần Đức Minh, Trần Huy Dương, Vũ Đức Thi (2015), Một số vấn đề dự báo liệu chuỗi thời gian, Kỷ yếu Hội nghị Quốc gia lần thứ VIII Nghiên cứu ứng dụng Công nghệ thông tin, DOI: 10.15625/vap.2015.000182, pp 467-470 [4] Dương Thu Trang (2017), Ứng dụng mạng nơron nhân tạo dự báo số học sinh tuyển vào Trung tâm GDNNGDTX quận Đống Đa, Luận văn thạc sỹ,khoa Công nghệ thông tin – Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội [5] Nguyễn Văn Trịnh (2012), Ứng dụng mạng nơron dự báo tỷ lệ nghỉ học, Luận văn thạc sỹ ,Viện Toán Ứng dụng Tin học – Đại học Bách khoa Hà Nội II Tài liệu tiếng Anh [6] Chen, Yu & Li, Ran & Hagedorn, Linda (2019) Undergraduate International Student Enrollment Forecasting Model: An Application of Time Series Analysis [7] C T S E M Jyh Shing Roger Jang, Neuro fuzzy and Soft Computing, Prientice Hall International, Inc, 2002 [8] Datilo, Philemon & Ismail, Zuhaimy & Jayeola, Dare (2019) A Review of Epidemic Forecasting Using Artificial Neural Networks International Journal 10.15171/ijer.2019.24 of Epidemiologic Research 132-143 [9] Dean Abbott (2014), Applied Predictive Analytics: Principles and Techniques for the Professional Data Analyst, Wiley 53 [10] Egbo, M.N &Bartholomew, Desmond (2018) Forecasting Students’ Enrollment Using Neural Networks and Ordinary Least Squares Regression Models Journal of Advanced Statistics 10.22606/jas.2018.34001 [11] Fico Corporation (2009), Understanding Predictive Analytics [12] Hewamalage, Hansika & Bergmeir, Christoph & Bandara, Kasun (2019) Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions [13] Hill, Tim & O'Connor, Marcus & Remus, William (1996) Neural Network Models for Time Series Forecasts Management Science 42 10821092 10.1287/mnsc.42.7.1082 [14] Lavilles, Rabby (2012) Enrollment Forecasting for School Management System International Journal of Modeling and Optimization 563-566 10.7763/IJMO.2012.V2.183 [15] Norhaidah Abu Haris,Munaisyah Abdullah, Abu Talib Othman, Fauziah Abdul Rahman (2015), Application of Forecasting Technique for Students Enrollment, Knowledge Management International Conference (KMICe) 2014, 12 – 15 August 2014, Malaysia, pp 655-662 [16] Oancea, Bogdan & Ciucu, Stefan (2013) Time series forecasting using neural networks [17] Rufai, Fuadeen & Folorunso, Olusegun & Lateef, Usman (2015) Predicting Students' Enrollment Using Generalized Feed-Forward Neural Network Journal of Natural Science, Engineering and Technology 14 58-70 [18] Verma, Kritika & Singh, Pradeep (2015) An Insight to Soft Computing based Defect Prediction Techniques in Software International Journal of Modern Education 10.5815/ijmecs.2015.09.07 and Computer Science 52-58 ... mạng nơ ron toán tuyển sinh trường THPT Lê Quý Đôn 2 Đối tượng nghiên cứu mạng nơ ron nhân tạo, mạng nơ ron lan truyền thẳng thuật toán lan truyền ngược Phạm vi nghiên cứu ứng dụng mạng nơ ron. .. toán dự báo tuyển sinh - Nghiên cứu toán dự báo, phương pháp dự báo Đi sâu vào phương pháp dự báo chuỗi thời gian khả áp dụng cho toán dự báo tuyển sinh Chương Mạng nơ ron nhân tạo toán dự báo. .. quan Ứng dụng mạng nơ ron nhân tạo, mạng nơ ron lan truyền thẳng thuật toán lan truyền ngược vào toán dự báo tuyển sinh trường THPT Lê Quý Đôn - Phương pháp nghiên cứu thực nghiệm: Sau nghiên cứu