Ứng dụng mạng nơ ron nhân tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh trung học phổ thông theo chương trình giáo dục phổ thông mới

ỦY BAN NHÂN DÂN TỈNH BÌNH DƯƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ VĂN QUYỀN ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO VÀO HỆ THỐNG GỢI Ý LỰA CHỌN MÔN HỌC CHO HỌC SINH TRUNG HỌC PHỔ THÔNG THEO CHƯƠNG TRÌNH GIÁO DỤC PHỔ THƠNG MỚI CHUN NGÀNH: HỆ THỐNG THƠNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ BÌNH DƯƠNG – 2019 ỦY BAN NHÂN DÂN TỈNH BÌNH DƯƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ VĂN QUYỀN ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO VÀO HỆ THỐNG GỢI Ý LỰA CHỌN MÔN HỌC CHO HỌC SINH TRUNG HỌC PHỔ THƠNG THEO CHƯƠNG TRÌNH GIÁO DỤC PHỔ THƠNG MỚI CHUN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS QUẢN THÀNH THƠ BÌNH DƯƠNG – 2019 i LỜI CAM ĐOAN Tơi xin cam đoan rằng, luận văn “Ứng Dụng Mạng Nơ-ron Nhân Tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh Trung Học Phổ Thông theo chương trình Giáo Dục Phổ Thơng Mới” cơng trình nghiên cứu hướng dẫn Thầy PGS.TS Quản Thành Thơ, xuất phát từ nhu cầu thực tiễn nguyện vọng tìm hiểu thân Ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, nội dung trình bày luận văn kết nghiên cứu tơi thực kết luận văn chưa cơng bố trước hình thức Bình Dương, ngày 15 tháng 10 năm 2019 Tác giả Võ Văn Quyền ii LỜI CẢM ƠN Qua thời gian học tập rèn luyện trường Đại học Thủ Dầu Một, hướng dẫn giảng dạy nhiệt tình q Thầy Cơ, đặc biệt quý Thầy Cô khoa Khoa Kỹ thuật - Công nghệ truyền đạt cho kiến thức lý thuyết thực hành suốt thời gian học tập trường Cùng với nỗ lực thân, tơi hồn thành luận văn Từ kết đạt này, xin chân thành cảm ơn quý Thầy Cô trường Đại học Thủ Dầu Một, truyền đạt cho kiến thức vô bổ ích thời gian qua Đặc biệt là: PGS.TS Quản Thành Thơ tận tình hướng dẫn tơi hồn thành tốt báo cáo luận văn Tơi mong nhận đóng góp ý kiến quý Thầy Cô để báo cáo luận văn đạt kết tốt Tơi xin kính chúc q Thầy Cơ, anh chị bạn thật nhiều sức khỏe, niềm vui, thành công công việc sống iii TÓM TẮT Với nhiều thay đổi so với chương trình giáo dục phổ thơng (CT GDPT) hành, CT GDPT mà Bộ Giáo Dục Đào Tạo (GD&ĐT) vừa cơng bố áp dụng thức vào năm 2022 có nhiều điểm chia thành hai giai đoạn: giai đoạn giáo dục (từ lớp đến 9) giai đoạn giáo dục định hướng nghề nghiệp (lớp 10 đến 12) Những điểm thay đổi này, đòi hỏi học sinh bậc Trung Học Cơ Sở (THCS) bước vào bậc Trung Học Phổ Thông (THPT), phải chủ động việc lựa chọn môn học theo hướng phát triển lực định hướng nghề nghiệp thân cách phù hợp theo quy định Việc phát triển chương trình từ hướng phát triển giáo dục kiến thức sang hướng phát triển kiến thức song song với khiếu, định hướng nghề nghiệp từ giai đoạn THCS sang THPT với nhiều môn học bổ sung Điều dẫn đến, việc lựa chọn môn học em học sinh từ lớp vào lớp 10 gặp nhiều áp lực khó khăn Bởi lẽ, ngồi môn bắt buộc em phải tự lựa chọn thêm mơn học khác nhóm mơn học tự chọn để hồn thành đầy đủ danh sách mơn học theo quy định CT GDPT mới, gây khó khăn định lựa chọn học sinh Đòi hỏi em phải tự suy nghĩ đưa định lựa chọn môn học cho phù hợp với lực thân, ảnh hưởng nhiều đến định hướng nghề nghiệp, tương lai em sau Việc thực đề tài: “Ứng Dụng Mạng Nơ-ron Nhân Tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh Trung Học Phổ Thơng theo chương trình Giáo Dục Phổ Thơng Mới”, giúp học sinh có gợi ý lựa chọn môn học phù hợp lực, tránh lựa chọn theo cảm tính số đông, giảm tải áp lực CT GDPT áp dụng vào năm 2022 Và hết vận dụng phát triển nhanh chóng mơ hình mạng nơ-ron nhân tạo tồn giới so với hệ thống gợi ý phương pháp khác Trong báo cáo luận văn này, chúng tơi đề xuất mơ hình để giải tốn gợi ý lựa chọn mơn học cho học sinh THPT theo CT GDPT Luận văn trình bày kiến thức tảng mạng nơ-ron áp dụng vào iv tốn dự đốn Từ kiến thức trên, với học hỏi, tìm tỏi tham khảo từ cơng trình liên quan giới Mơ hình mà chúng tơi đề xuất cụ thể để giải toán đặt mạng nơ-ron nhân tạo (Artificial Neural Networks ANN) Sau đó, thực hệ thống cho phép học sinh nhập thông tin liên quan đến điểm số học tập để đưa vào mơ hình đề xuất Cuối cùng, chúng tơi sử dụng kết dự đốn thơng qua việc huấn luyện mơ hình để đưa gợi ý lựa chọn mơn học trực quan hóa kết lên website v MỤC LỤC LỜI CAM ĐOAN ii LỜI CẢM ƠN iii TÓM TẮT iv MỤC LỤC vi DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT ix DANH MỤC CÁC BẢNG x DANH MỤC HÌNH VẼ, ĐỒ THỊ xi Chương TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU 1.1 Lý chọn đề tài 1.2 Mục tiêu nhiệm vụ nghiên cứu 1.3 Đối tượng phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Ý nghĩa khoa học thực tiễn 1.6 Bố cục luận văn Chương CHƯƠNG TRÌNH GIÁO DỤC PHỔ THÔNG MỚI 2.1 Những vấn đề chung 2.1.1 Nguyên nhân đổi CT GDPT 2.1.2 Các sở việc đổi CT GDPT 2.2 Cách thức tổ chức môn học theo CT GDPT 2.3 Tính kế thừa, phát triển CT GDPT 2.4 Tầm quan trọng việc lựa chọn môn học 2.5 Kết luận Chương CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 3.1 Giới thiệu chung 3.1.1 Mạng nơ-ron sinh học 3.1.2 Nơ-ron nhân tạo 3.2 Mạng nơ-ron nhân tạo (ANN - Artificial Neural Networks) 10 3.2.1 Một số chức 10 3.2.2 Kiến trúc mạng 10 3.2.3 Các dạng mạng 11 3.2.4 Hoạt động mạng 11 3.2.4.1 Cấu trúc hoạt động nơ-ron 11 vi 3.2.4.2 Mạng tầng (Perceptron) 12 3.2.4.3 Mạng đa tầng truyền thẳng (Multilayer Perceptrons) 13 3.2.4.4 Mạng lan truyền ngược (BackPropagation) 13 3.2.5 Các phương pháp học 16 3.2.5.1 Học có giám sát (Supervised Learning) 16 3.2.5.2 Học khơng có giám sát (Unsupervised Learning) 17 3.2.5.3 Học tăng cường (Hydrid Learning) 17 3.2.6 Một số hàm kích hoạt thường dùng 17 3.2.7 Hàm biến đổi đầu 19 3.2.8 Hàm mát 19 3.2.9 Các kĩ thuật tối ưu 20 3.2.9.1 Early Stopping 20 3.2.9.2 Regularization 21 3.2.9.3 Dropout 21 3.2.9.4 Khởi tạo tham số 22 3.2.9.5 Tiền xử lí liệu 22 3.2.9.6 Validation 23 3.3 Hệ thống gợi ý hướng tiếp cận 23 3.3.1 Tổng quan 23 3.3.2 Các hướng tiếp cận 23 3.4 Các nghiên cứu liên quan 24 3.4.1 Mô hình Samy Abu Naser đồng 25 3.4.2 Mơ hình Zahoor Ahmad Erum Shahzadi 25 3.4.3 Mơ hình Bogdan Oancea đồng 26 3.4.4 Mơ hình Stamos T Karamouzis Andreas Vrettos 26 3.4.5 Mơ hình Basheer M Al-Maqaleh đồng 26 3.5 Hướng đề xuất nghiên cứu 27 Chương MƠ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM 28 4.1 Mô hình đề xuất 28 4.1.1 Tổng quan mơ hình đề xuất 28 4.1.2 Các đặc trưng mơ hình đề xuất 28 4.2 Thực nghiệm 29 4.2.1 Phân tích vấn đề 29 vii 4.2.2 Quá trình thực nghiệm 31 4.2.2.1 Chuẩn bị liệu 31 4.2.2.2 Xây dựng mô hình mạng huấn luyện 34 4.2.2.3 Kết 37 4.2.2.4 Đánh giá kết thực nghiệm 38 4.2.2.5 Công nghệ sử dụng 38 4.2.2.6 Xây dựng ứng dụng trực quan hóa kết 42 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 45 5.1 Kết đạt 45 5.2 Tồn hạn chế 45 5.3 Hướng phát triển 46 CƠNG TRÌNH CÔNG BỐ 47 TÀI LIỆU THAM KHẢO 48 PHỤ LỤC 49 viii DANH MỤC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT AN Artificial Neural ANN Artificial Neural Networks API Application Programming Interface CSS Cascading Style Sheets CT Chương Trình CT GDPT Chương Trình Giáo Dục Phổ Thông FC Fully-Connected GD&ĐT Giáo Dục Và Đào Tạo GDPT Giáo Dục Phổ Thông HĐGD Hoạt Động Giáo Dục HTML HyperText Markup Language KHTN Khoa Học Tự Nhiên KHXH Khoa Học Xã Hội MLP Multilayer Perceptron PSP Post Synapic Potential Function RELU Rectified Linear Unit SGD Stochastic Gradient Descent SGK Sách Giáo Khoa SKLEARN Scikit-Learn THCS Trung Học Cơ Sở THPT Trung Học Phổ Thông ix giản nhanh chóng với tính tiện lợi, hỗ trợ đầy đủ thành phần HTTP: URI, Request/Response Headers, Caching, Versioning, Content Formats, định dạng liệu là: JSON, XML…  Framework thư viện  Keras Keras thư viện mã nguồn mở dùng cho học sâu, thiết kế để hỗ trợ thực mô hình học sâu nhanh Keras trọng vào ý tưởng mơ hình, kiểu mơ hình gọi Sequence - ngăn xếp (stack) tầng (layer) Ở đề tài này, sử dụng Keras để tạo mơ hình mới, tạo Sequence thêm tầng theo thứ tự tính tốn mơ hình muốn thực: Chúng tơi biên dịch mơ hình để framework cấp thấp tối ưu hóa q trình tính tốn định hàm mát, tối ưu sử dụng: Sau biên dịch, mơ hình truyền liệu vào Dữ liệu truyền theo lơ tồn lúc, trình huấn luyện diễn ra: Sau huấn luyện xong, sử dụng mơ hình để dự đốn với liệu  Scikit-learn Scikit-learn thư viện hỗ trợ thuật toán học máy như: Decison Tree, KNN, Navie Bayes, SVM, ANN, Linear Regression, K-Mean, Random Forest… Đây công cụ mạnh mẽ thông dụng với cộng đồng Python, thiết kế NumPy SciPy Lợi ích việc sử dụng Scikit-Learn tốc độ thực đánh giá khác với liệu Ở phạm vi đề tài, sử dụng thư viện Scikitlearn phục vụ cho việc cài đặt giải thuật ANN Random Forest 40  Flask Flask web frameworks, thuộc loại micro-framework xây dựng ngơn ngữ lập trình Python Flask cho phép xây dựng ứng dụng web từ đơn giản tới phức tạp, cung cấp công cụ, thư viện công nghệ hỗ trợ làm công việc xây dựng API nhỏ, ứng dụng web…Flask micro-framework, điều có nghĩa Flask mơi trường độc lập, sử dụng thư viện khác bên ngồi Do vậy, Flask có ưu điểm nhẹ, có lỗi bị phụ thuộc dễ dàng phát xử lý lỗi bảo mật  ChartJS ChartJS cung cấp thiết kế mặt phẳng đẹp cho biểu đồ, sử dụng HTML5 canvas element cho rendering Với loại biểu đồ khác (core, bar, doughnut, radar, line, and polar area), ChartJS chắn thư viện biểu đồ mã nguồn mở ấn tượng thời gian gần Do đó, sử dụng ChartJS công cụ để trực quan hóa kết gợi ý lựa chọn môn học thông qua dạng biểu đồ đưa lên website  Bootstrap Bootstrap framework HTML, CSS, JavaScript cho phép người dùng dễ dàng thiết kế website theo chuẩn định Bootstrap có sẵn: Typography, Forms, Buttons, Tables, Navigation, Modals, Image Carousels Component, Javascript hỗ trợ cho việc thiết kế dễ dàng, thuận tiện nhanh chóng tương thích với nhiều trình duyệt duyệt Chúng tơi sử dụng Bootstrap để giúp website trở nên tương thích với tất kích thước hình, dễ dàng thay đổi chỉnh sửa tùy ý hoạt động theo xu hướng mã nguồn mở  Công cụ thiết bị  Spyder Spyder môi trường phát triển Python mã nguồn mở tối ưu hóa cho tốn liên quan đến khoa học liệu Spyder kèm với phân phối quản lý gói Anaconda, cơng cụ thường dùng nhà khoa học liệu sử dụng Python, tích hợp tốt với thư viện khoa học liệu Python phổ biến như: SciPy, NumPy Matplotlib Nếu thường xuyên giải toán khoa 41 học liệu làm việc cách sử dụng Python, tính độc đáo Việc tích hợp IPython/Jupyter đặc điểm bật khác  Công cụ Visual Studio Code Visual Studio Code sản phẩm Microsoft, mắt vào tháng năm 2015 hội nghị Build, cung cấp mơi trường IDE chun dụng để thiết kế xây dựng ứng dụng với nhiều điểm tương đồng mặt tính Visual Studio trọng vào tính biên dịch mã, xây dựng khử lỗi cho ứng dụng web giao diện đại 4.2.2.6 Xây dựng ứng dụng trực quan hóa kết Mơ hình với kết huấn luyện phần lưu trữ để tiến hành xây dựng hệ thống gợi ý Chúng sử dụng thư viện Flask để tạo HTTP Micro Service, làm trung gian thành phần khác hệ thống với mơ hình Mơ hình nạp lên hệ thống khởi động Để lưu trữ thông tin phản hồi liên hệ người dùng, sử dụng sở liệu mã nguồn mở MongoDB Dưới hình ảnh trang chủ hệ thống xây dựng nhằm trực quan hóa kết tốn gợi ý lựa chọn mơn học Hình 4.3 Giao diện trang chủ 42 Hệ thống bao gồm phần chính: phần cung cấp thông tin CT GDPT mà trọng tâm cung cấp thông tin cách thức lựa chọn môn học trang thiết kế HTML, CSS Phần thứ hai phần quan trọng hệ thống, bao gồm: tính cho phép người dùng nhập điểm số, đưa gợi ý lựa chọn môn học dựa vào kết thực nghiệm mô hình đề xuất Hình 4.4 Giao diện nhập điểm trang hệ thống gợi ý Trang quan trọng xem cốt lõi hệ thống là: Trang hệ thống gợi ý, gồm khung nhập liệu để người dùng đưa điểm vào hệ thống Kết hiển thị biểu đồ mô tả phần trăm khả lựa chọn 09 môn học bậc THPT tổng khả lựa chọn 100% Hình 4.5 Giao diện hiển thị kết lựa chọn mơn học 43 Ngồi ra, hệ thống có nhiều tính bật như: đưa danh sách 05 môn học với khả lựa chọn cao theo tiêu chí lựa chọn mơn học CT GDPT mới, đưa đánh giá mức độ hài lòng người dùng với hệ thống, gửi thông tin phản hồi, biểu mẫu liên hệ góp ý với hệ thống Hình 4.6 Danh sách mơn học với khả lựa chọn cao Hình 4.7 Giao diện đánh giá mức độ hài lịng gửi phản hồi chi tiết Hình 4.8 Giao diện liên hệ góp ý 44 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết đạt - Qua việc tìm hiểu kiến thức mạng nơ-ron, áp dụng mạng nơ-ron vào toán dự đốn tham khảo cơng trình liên quan giới Mơ hình mạng nơ-ron nhân tạo mà chúng tơi đề xuất giải tốn đặt thu kết khả quan với tốn gợi ý lựa chọn mơn học cho học sinh bậc THCS bước vào bậc THPT - Mơ hình đề xuất huấn luyện trích xuất kết lựa chọn môn học đặc trưng Qua trình đánh giá thực nghiệm, mơ hình đạt độ xác liệu huấn luyện kiểm thử lên đến 81.97% 74.91% - Chúng thiết kế xây dựng liệu mơ đáp ứng tiêu chí lựa chọn môn học theo CT GDPT mới, thỏa mãn đặc trưng liệu thực trình học tập trải dài từ bậc THCS đến bậc THPT học sinh - Hoàn thành hệ thống gợi ý cho phép học sinh nhập thông tin điểm số liên quan để đưa vào mơ hình đề xuất, đưa gợi ý lựa chọn mơn học với nhiều tính bật như: thực thao tác nhập liệu xem kết gợi ý lựa chọn môn học, xem thông tin CT GDPT mới, quy định lựa chọn môn học, đánh giá người dùng hệ thống… 5.2 Tồn hạn chế Trong trình thực đề tài, chúng tơi nhận thấy số hạn chế cần khắc phục sau: - Mơ hình đề xuất cho hiệu suất tốt cần thực thêm thử nghiệm, hiệu chỉnh để đạt kết tốt - Hệ thống chưa đạt độ xác mong muốn, ảnh hưởng yếu tố đầu vào tập liệu kết học tập cịn mang tính tương đối Do đó, hệ thống áp dụng vào thực tế tập liệu cần có độ xác cao với mở rộng yếu tố đầu vào 45 - Ngồi ra, chương trình GDPT chưa áp dụng thức Dẫn đến việc thực nghiệm đánh giá tập liệu nhiều hạn chế 5.3 Hướng phát triển - Tiếp tục nghiên cứu triển khai với liệu thực, chương trình GDPT thức áp dụng - Xem xét kĩ thuật mạng nơ-ron công bố gần thử nghiệm kĩ thuật phù hợp vào mơ hình tại, nhằm cải tiến phát triển mơ hình đạt hiệu suất tốt - Chủ động tìm hiểu vận dụng nhiều phương pháp khác để đánh giá độ tin cậy mơ hình, đưa hệ thống gợi ý lựa chọn mơn học vào áp dụng thực tế 46 CƠNG TRÌNH CƠNG BỐ Võ Văn Quyền, Quản Thành Thơ (2019) “Ứng dụng Mạng Nơ-ron Nhân Tạo Dự Đốn Điểm Số Mơn Học” Kỷ yếu Ngày hội Khoa học Cán bộ, Giảng viên trẻ Học viên cao học lần thứ III – năm 2019 Đại học Thủ Dầu Một 6.2019 47 TÀI LIỆU THAM KHẢO [1] Ben Krose and Patrick van der Smagt, Krose, Ben and Patrick van der Smagt An Introduction to Neural Networks, Faculty of Mathematics & Computer Science, November 1996 [2] Xavier Glorot, Antoine Bordes, and Yoshua Bengio., Deep sparse rectifier neural networks, In Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, volume 15 of Proceedings of Machine Learning Research, 2011 [3] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan, Dropout: A Simple Way to Prevent Neural Networks from, Journal of Machine Learning, 2014, pp 1929-1958 [4] Xavier Glorot and Yoshua Bengio, Understanding the difficulty of training deep feed-forward neural networks, In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, volume of Proceedings of Machine Learning Research, 2010, p 249–256 [5] M T Jones, Recommender systems, Part 1: Introduction to approaches and algorithms, vol 15, Develop Work, 2013, pp 1-7 [6] Samy Abu Naser, Ihab Zaqout, Mahmoud Abu Ghosh, Rasha Atallah and Eman Alajrami, Predicting Student Performance Using Artificial Neural Network: in the Faculty of Engineering and Information Technology, vol 8, International Journal of Hybrid Information Technology, 2015, pp 221-228 [7] Zahoor Ahmad and Erum Shahzadi, Prediction of Students’ Academic Performance using Artificial Neural Network, vol 40, Bulletin of Education and Research , December 2018, pp 157-164 [8] Bogdan Oancea and Raluca Dragoescu and Stefan Ciucu, Predicting Students’ Results in Higher Education using a Neural Network, vol 72041, MPRA Paper, 2017 [9] Stamos T Karamouzis and Andreas Vrettos, An Artificial Neural Network for Predicting Student Graduation Outcomes, San Francisco, USA: Proceedings of the World Congress on Engineering and Computer Science, 2008 [10] Basheer M Al-Maqaleh, Abduhakeem A Al-Mansoub, Fuad N Al-Badani, Forecasting using Artificial Neural Network and Statistics Models, vol 3, I.J Education and Management Engineering, 2016, pp 20-32 48 PHỤ LỤC BÀI BÁO KHOA HỌC 49 Ứng dụng Mạng Nơ-ron Nhân Tạo Dự Đốn Điểm Số Mơn Học Võ Văn Quyền PGS.TS Quản Thành Thơ Khoa Kỹ thuật Máy Tính Lớp CH17HT, Khoa Kỹ thuật – Cơng nghệ Đại học Bách Khoa TP.HCM Đại học Thủ Dầu Một qttho@hcmut.edu.vn phucnt.bdbd@vnpost.vn 06 Trần Văn Ơn, Phú Hòa, Thủ Dầu Một, Bình Dương Tóm tắt – Ngày nay, mạng nơ-ron sử dụng để giải nhiều vấn đề như: dự đoán thị trường chứng khoán, dự đoán lưu lượng nước, dự đoán lực sản xuất, định giá tài sản, đánh giá nhân viên… Đã có nhiều nghiên cứu sử dụng mạng nơ-ron toán dự đoán [1], [2], [5], [6] chứng tỏ hướng tiếp cận hiệu Nhờ khả học, lưu trữ khái quát hóa từ mẫu liệu huấn luyện, mạng nơ-ron trở thành hướng nghiên cứu lĩnh vực trí tuệ nhân tạo Trong báo này, chúng tơi đề xuất mơ hình mạng nơ-ron nhân tạo (Artificial Neural Network ANN) để dự đoán điểm số học tập môn học Khoa Học Xã Hội (KHXH) bậc THPT thông qua tập liệu điểm số môn học Khoa Học Tự Nhiên (KHTN) bậc THCS học sinh, với mục tiêu đánh giá lực học tập phân tích rõ khác biệt tổ hợp môn KHTN với KHXH, từ giúp học sinh có lựa chọn xác tổ hợp môn phù hợp với lực thân vào lớp 10 theo chương trình giáo dục phổ thông 2022 Trong phạm vi báo, tiến hành tập trung so sánh, đánh giá kết sử dụng mơ hình đề xuất (ANN) thơng qua cách thức huấn luyện: cập nhật trọng số (W) sử dụng thư viện Neural Network SciKitLearn Để từ lựa chọn cách thức huấn luyện cho kết dự đoán tốt nhất, phục vụ việc xây dựng hệ thống gợi ý lựa chọn môn học theo chương trình giáo dục phổ thơng 2022 thời gian tới Từ khóa – ANN; Backpropagation; Forwardpropagation; SciKit-Learn; MLPRegressor; Predictions; Supervised Learning GIỚI THIỆU Bộ não người có cấu tạo vô phức tạp, dày đặc mối liên kết nơ-ron, xử lý thông tin linh hoạt môi trường bất định, tồn xấp xỉ 100 tỷ tế bào thần kinh khả xử lý liệu với tốc độ nhanh đến 432 km/giờ Xét chất, mạng nơ-ron nhân tạo phản ánh đầy đủ tính chất nơron sinh học não người, tập hợp nơ-ron (Neurons) kết nối khớp thần kinh (Synapses) tổ chức thành ba lớp chính: lớp đầu vào, lớp ẩn lớp đầu Mạng nơ-ron có nhiều lớp ẩn nơi thuật ngữ học sâu (Deep learning) phát huy tác dụng Trong mạng, có số đầu vào gọi tính (Features) đầu gọi nhãn (Label) Các vòng tròn đại diện cho tế bào thần kinh đường thẳng kết nối đại diện cho khớp thần kinh Vai trò khớp thần kinh nhân giá trị đầu vào với trọng số (Weights), hiểu trọng số “sức mạnh” mối quan hệ nơ-ron chủ yếu xác định đầu mạng, nhiên chúng linh hoạt Do cần áp dụng hàm kích hoạt (Activation function) để trả đầu Cốt lõi, mạng nơ-ron thực tích vơ hướng (Dot product) giá trị đầu vào với trọng số, sau áp dụng hàm kích hoạt Nhưng báo này, điều đặc biệt mà quan tâm cách thức để mạng tự điều chỉnh trọng số thông qua phương pháp tối ưu độ dốc (Gradient Descent) hàm tổn thất (Cost function) nhằm tạo giá trị đầu xác Xét mặt lý thuyết, mạng nơ-ron tương đối độc lập với chất trình cần phân loại hay dự đoán, Ở lớp toán này, có đặc điểm chung áp dụng mạng nơ-ron như: thu thập liệu mẫu, tiền xử lý liệu, xác định thơng số mạng q trình huấn luyện Do đó, việc nghiên cứu, dự đốn, tổng qt hóa tốn với ứng dụng mạng nơ-ron nhân tạo hoàn toàn khả thi Đặc biệt quan tâm trình ứng dụng mạng nơ-ron giai đoạn huấn luyện, lẽ mạng nơron mô việc xử lý thông tin não người nên đặc trưng khả học, khả tái tạo hình ảnh, liệu học Trong báo này, tập trung nghiên cứu kiểu học có giám sát với phương pháp huấn luyện lan truyền ngược cách thức sau: - Khi có đầu ra, so sánh với kết biết điều chỉnh trọng số cho phù hợp (các trọng số bắt đầu giá trị khởi tạo ngẫu nhiên) sau lặp lại trình đạt số lần lặp tối đa cho phép tỷ lệ lỗi chấp nhận - Cài đặt phiên SciKit-Learn sử dụng lớp (class) từ thư viện Neural Network SciKit-Learn để huấn luyện cho mơ hình Tổ hợp mơn KHTN (bậc THCS) Tốn Lý Hóa Sinh 7.6 6.5 7.6 7.2 9.2 9.1 8.7 8.6 8.1 8.2 6.7 6.5 7.4 6.3 5.6 8.4 Tổ hợp môn KHXH (bậc THPT) Văn Sử Địa GDCD 7.7 6.3 7.6 ? 8.5 6.6 6.8 ? 6.9 5.8 7.2 ? 8.2 6.6 7.6 ? Bảng Ví dụ tập liệu mẫu Như nhận thấy, dấu ? Bảng đại diện cho mà muốn mạng dự đoán Trong trường hợp này, giả sử với liệu mẫu cho, dự đốn điểm số mơn Văn, Sử, Địa, GDCD bậc THPT dựa điểm số Toán, Lý, Hóa, Sinh bậc THCS đưa vào mơ hình để huấn luyện trước Về mặt liệu, mức độ tương quan điểm số môn KHTN KHXH khác nhau, lẽ điểm số KHTN KHXH phụ thuộc vào lực, thời điểm cấp học Không thể dựa vào điểm số môn KHTN, KHXH cấp học để đến kết luận điểm số môn KHTN, KHXH cấp học Nghiên cứu báo khác biệt lực tổ hợp KHTN KHXH, thay đổi nhận định việc học tốt mơn KHTN chắn học tốt môn KHXH ngược lại Việc sử dụng điểm số mơn KHTN để dự đốn kết môn KHXH bậc học cung cấp cho phụ huynh học sinh cơng cụ dự đốn dựa q trình phân tích kết theo q trình cụ thể, cung cấp kênh thơng tin hữu ích cho việc lựa chọn tổ hợp môn học trọng tâm, thay đổi kế hoạch học tập vào lớp 10 để đạt kết tốt Nghiên cứu báo tiền đề, phục vụ cho việc xây dựng hệ thống gợi ý lựa chọn môn học theo chương trình giáo dục phổ thơng năm 2022 thời gian tới Kết sau áp dụng mơ hình với khả học tập thông qua liệu mẫu huấn luyện cách thức để đến kết dự đốn tốt nhất, cho thấy khả thành cơng chương trình gợi ý lựa chọn mơn học theo chương trình giáo dục phổ thơng 2022 khả quan, tiêu chí lựa chọn mơn học học sinh khơng cịn dựa điểm số nhìn thấy lớp mà cịn phụ thuộc vào chất điểm số q trình Phần cịn lại báo tổ chức sau: Phần tổng quan chương trình giáo dục phổ thơng Phần mơ hình mạng ANN Phần báo cáo kết đánh giá phương pháp đề xuất Kết luận cuối trình bày Phần TỔNG QUAN CHƯƠNG TRÌNH GIÁO DỤC PHỔ THƠNG MỚI Với nhiều thay đổi so với chương trình giáo dục phổ thơng mà Bộ GD&ĐT vừa công bố (kèm theo Thông tư số 32/2018/TT-BGDĐT ngày 26/12/2018 Bộ trưởng Bộ GD&ĐT) áp dụng vào năm 2022, chia thành hai giai đoạn giáo dục gồm: giáo dục (từ lớp đến 9) giáo dục định hướng nghề nghiệp (lớp 10 đến 12) Cụ thể xét đến bậc học có thay đổi lớn gồm THCS THPT: - Bậc THCS, mơn học bắt buộc Ngữ văn, Tốn, Ngoại ngữ 1, Giáo dục Công dân, Khoa học Tự nhiên, Lịch sử Địa lý, Tin học, Công nghệ, Giáo dục Thể chất, Nghệ thuật - Bậc THPT, mơn học bắt buộc Ngữ văn, Tốn, Ngoại ngữ 1, Giáo dục thể chất, Giáo dục quốc phòng An ninh Và chia thành nhóm cụ thể sau: quan hệ lực tổ hợp môn học KHTN với KHXH bậc THCS, làm tiền đề gợi ý cho việc lựa chọn môn học phù hợp, tránh lựa chọn theo cảm tính số đông, giảm tải áp lực đáng kể lựa chọn mơn học theo chương trình giáo dục phổ thông vào Bậc THPT (lớp 10) hết vận dụng phát triển nhanh chóng mơ hình mạng nơ-ron nhân tạo tồn giới MƠ HÌNH ANN Hình 1: Mạng nơ-ron ANN A Lan truyền tiến (Forward propagation) Một mạng lan truyền thẳng bao gồm lớp vào (Input Layer), lớp (Output Layer) lớp ẩn (Hidden Layers) nằm lớp vào lớp Các lớp đầu vào nhận tín hiệu vào tái phân phối cho nơ-ron lớp ẩn, luồng thông tin mạng nơ-ron truyền thẳng từ trái qua phải, giá trị đầu vào X truyền tới nơ-ron lớp ẩn thông qua trọng số kết nối sau đưa tới lớp Trọng số kết nối từ phần tử vào thứ i tới nơ-ron ẩn thứ j ký hiệu wij, trọng số kết nối từ nơ-ron ẩn thứ j tới nơ-ron thứ k ký hiệu vjk [9] + Khoa học Xã hội gồm: Giáo dục Kinh tế - Pháp luật, Lịch sử, Địa lý + Khoa học Tự nhiên gồm: Vật lý, Hóa học, Sinh học + Cơng nghệ Nghệ thuật gồm: Cơng nghệ, Tin học, Nghệ thuật Trong học sinh phải bắt buộc tự chọn 05 môn 03 nhóm mơn trên, nhóm 01 môn Điều dẫn đến việc lựa chọn môn học em học sinh từ lớp (bậc THCS) vào lớp 10 (bậc THPT) gặp nhiều áp lực khó khăn Bởi lẽ, ngồi 05 mơn bắt buộc em phải chọn 05 mơn học khác nhóm mơn lựa chọn bắt buộc để hồn thành đầy đủ danh sách 10 mơn học theo chương trình giáo dục phổ thơng Điều địi hỏi học sinh phải chủ động việc lựa chọn môn học, phải tự định môn học mà thân cho phù hợp với lực, ảnh hưởng nhiều đến định hướng nghề nghiệp tương lai em sau Việc thực đề tài nghiên cứu báo này, giúp học sinh có dự đoán sở ban đầu lực thân, xác định điểm mạnh mối Hình Cấu trúc mạng lan truyền tiến - Với lớp nơ-ron ẩn thứ: - Với nơ-ron thứ k: - Hàm kích hoạt Sigmoid: Với mẫu đầu vào cho trước, mạng tạo giá trị đầu thực tế zk, giá trị so sánh với giá trị mẫu mong muốn đầu dk Các trọng số mạng hiệu chỉnh để giảm lỗi đưa mẫu tiếp theo, sau trọng số tiếp tục hiệu chỉnh tổng lỗi tất mẫu học giảm tới mức cho phép Muốn có giá trị cuối cho lớp ẩn cần áp dụng hàm kích hoạt (Activation function) để biểu diễn phi tuyến vào mạng, có nhiều hàm kích hoạt báo sử dụng hàm sigmoid Với giá trị đầu tốn xét hàm sigmoid sử dụng hoàn toàn phù hợp, lẽ hàm sử dụng mà đầu mong muốn rơi vào khoảng [0,1] thuận lợi sử dụng cho mạng huấn luyện thuật toán Lan truyền ngược (Backpropagation) dễ lấy đạo hàm, giảm đáng kể tính tốn q trình huấn luyện Khi tất biến thiết lập giá trị, ta viết hàm lan truyền tiến để mô hoạt động lớp đầu vào đầu Kết tạo thành mạng nơ-ron (chưa huấn luyện) có khả cho kết đầu điểm số môn Văn, Sử, Địa, GDCD bậc THPT điểm số dự đoán so sánh với điểm số thực tế học sinh cụ thể, kết so sánh thể biểu đồ đây: đầu thực y(k) - Pha 2: Tín hiệu lỗi đựợc tính sở sai khác d(k) y(k) lan truyền ngược (từ lớp quay trở lại lớp trước đó) để hiệu chỉnh trọng số [9] Xét mạng lớp: Lớp vào có m nơ-ron, lớp ẩn có h nơ-ron lớp có n nơ-ron (Hình 3) Hình Cấu trúc mạng lan truyền ngược Lớp ẩn: Với mẫu đầu vào x, nơ-ron thứ q lớp ẩn: - Với đầu ra: - Trong đó: f(.) hàm kích hoạt đầu Lớp ra: Giả thiết dùng hàm kích hoạt đầu f(.) Tín hiệu tổng đầu vào nơ-ron thứ i: Hình 3: Biểu đồ so sánh điểm dự đoán với thực tế (A) Điều nhận thấy kết chưa tốt so với mà muốn mơ hình dự đốn, kết điểm dự đoán chênh lệch rõ rệt thấp so với điểm thực tế hầu hết mơn học Từ thấy mơ hình cho kết tốt may mắn chọn trọng số ngẫu nhiên số trường hợp, cần huấn luyện mơ hình để tính tốn kết xác B Lan truyền ngược (Backpropagation) Đầu khơng xác trọng số ngẫu nhiên, điều có nghĩa mạng không thực học gì, trả đầu cho đầu vào Nó khơng điều chỉnh điều để cải thiện đầu tương ứng từ tập liệu ban đầu Lan truyền ngược (Backpropagation) phương pháp cho phép xác định tập trọng số tốt mạng, q trình lặp lặp lại nhiều lần hai trình ánh xạ lan truyền ngược Thuật toán lan truyền ngược định kết nối nơ-ron (kiến trúc mạng), hàm kích hoạt thuật toán học (hay luật học) để điều chỉnh trọng số [9] Các lớp mạng kết nối đầy đủ với nhau, tức nơ-ron lớp kết nối với tất nơ-ron khác lớp trước Quy luật học lan truyền ngược thực chủ yếu pha: - Pha 1: Mẫu đầu vào x(k) đựợc truyền tiến (từ lớp vào tới lớp ra), kết luồng liệu thẳng (forward) - Đầu ra: Thuật toán lan truyền ngược tìm kiếm vector trọng số (weights vector i) giúp cực tiểu hóa lỗi tổng thể hệ thống đối lập với tập học bao gồm hai giai đoạn chính:  Giai đoạn lan truyền tiến tín hiệu (Signal Forward): - Các tín hiệu đầu vào đựợc lan truyền tiến từ lớp đầu vào đến lớp đầu (đi qua lớp ẩn)  Giai đoạn lan truyền ngược lỗi (Error Backward): - Căn vào giá trị đầu mong muốn đầu vào, hệ thống tính tốn giá trị lỗi - Giá trị lỗi lan truyền ngược từ lớp đầu đến lớp đầu vào - Các trọng số cập nhật đến lỗi chấp nhận Phần lớn thuật tốn huấn luyện mạng cho nơron dựa phương pháp tối ưu Gradient Điều làm tự thay đổi đầu vào, không kiểm sốt điều đó, bắt buộc phải thay đổi trọng số cách sử dụng hàm tổn thất (Cost function) với đặc điểm biểu diễn sử dụng hàm tổng bình phương tổn thất Khi huấn luyện mạng, tất làm giảm thiểu tổn thất để tìm hướng thay đổi trọng số, cần tìm tỷ lệ tổn thất trọng số C Huấn luyện Mạng Nơ-ron Phương pháp huấn luyện cách học tham số tức thay đổi, cập nhật trọng số chia thành: học có giám sát, học khơng giám sát tăng cường [4] Hình Cấu trúc mạng lan truyền ngược Với dạng học có giám sát (Supervised Learning) đề cập, đầu vào đầu mạng cho sẵn Mạng đựợc cung cấp tập mẫu {(x(1), d(1)); (x(2), d(2));…; (x(k), d(k))} cặp đầu vào - đầu mong muốn Khi đầu vào x(k) đưa vào mạng, đầu mong muốn d(k) đưa vào mạng Như hình 5, có sai khác giá trị đầu thực y(k) đầu mong muốn d(k) trọng số thay đổi, cho giá trị sai khác nhỏ Và phạm vi báo này, tiến hành tập trung vào việc so sánh cách thức huấn luyện: thứ thuật toán huấn luyện mạng lan truyền ngược thay đổi giá trị trọng số liên kết (W) với cách huấn luyện thứ hai sử dụng SciKitLearn với thư viện Neural Network Trong lớp MLPRegressor sử dụng với chức huấn luyện lặp lặp lại, thời điểm áp dụng đạo hàm hàm tổn thất tham số mơ hình để tính tốn, cập nhật tham số Ngồi cịn hỗ trợ hồi quy cho nhiều đầu ra, phù hợp để giải toán ban đầu mà đặt [10] Để bắt đầu trình huấn luyện, trọng số ban đầu (được chọn ngẫu nhiên) sau việc huấn luyện bắt đầu Về bản, cách thức huấn luyện có đặc điểm chung như: mạng xử lý mẫu liệu tập huấn luyện lần, sử dụng trọng số hàm lớp ẩn, sau so sánh kết đầu với kết đầu mong muốn Lỗi sau lan truyền trở lại qua hệ thống, làm cho hệ thống điều chỉnh trọng số cho mẫu liệu tiếp theo, trình xảy liên tục trọng số điều chỉnh Khi huấn luyện, liệu xử lý nhiều lần trọng số kết nối liên tục tinh chỉnh Hình 6: Biểu đồ so sánh điểm dự đoán với thực tế (B) Cùng tập liệu điểm trên, sử dụng mơ hình dự đốn cách thức huấn luyện thông qua thư viện Neural Network SciKit-Learn, kết đầu tương đồng so với cách thức huấn luyện thay đổi trọng số hình 6, chí vài trường hợp điểm số dự đốn với liệu điểm thực tế mô tả cụ thể biểu đồ so sánh đây: Hình 7: Biểu đồ so sánh điểm dự đoán với thực tế (C) Nhận thấy kết cải thiện rõ rệt áp dụng thuật toán lan truyền ngược giá trị sai khác kết dự đoán so với giá trị thực tế đưa vào huấn luyện trường hợp tương đối Tuy nhiên, xét thời gian thực giải thuật cách thức huấn luyện sử dụng thư viện Neural Network SciKit-Learn cho kết nhanh xác nhiều trường hợp, phù hợp với lượng lớn liệu đầu vào THỰC NGHIỆM Mơ hình đề xuất thực nghiệm dựa tập liệu thực tế điểm số tổ hợp môn KHTN 1.075 học sinh trường THCS Phước Tín (Bình Phước) 04 năm học từ 2014 đến 2018 tập liệu điểm mô tổ hợp môn KHXH bậc THPT Chúng chia thành phần: tập huấn luyện (70% train) tập thử nghiệm (30% test) Tiến hành thực nghiệm mơ hình với cách thức huấn luyện đề xuất tập liệu đầu vào Giả sử với liệu điểm ban đầu mơn Tốn, Lý, Hóa, Sinh là: 7.2; 8.6; 6.5; 8.4 (ở Bảng 1) đưa vào mơ hình để dự đốn thuật tốn huấn luyện mạng lan truyền ngược thay đổi giá trị trọng số (W), cho kết dự đoán cải thiện rõ rệt so với kết hình thể cụ thể biểu đồ so sánh sau đây: Hình 8: Biểu đồ so sánh cách thức huấn luyện Từ điểm số mơn KHXH hình 6, hình biểu đồ so sánh hình 8, cho thấy học sinh có lực với mơn KHXH khả từ 70% trở lên (các giá trị điểm số 7) Xét kết tổ hợp KHTN bậc THCS với tổ hợp KHXH bậc THPT dự đốn, học sinh có lực học tập phù hợp với hai tổ hợp, phần lựa chọn tổ hợp môn bậc THPT phụ thuộc vào định học sinh dựa kết dự đốn mà mơ hình đưa Đây mục tiêu cần xác định, góp phần làm tiền đề cho việc xây dựng hệ thống gợi ý lựa chọn môn học cụ thể, phù hợp với mục tiêu cần nghiên cứu KẾT LUẬN Nghiên cứu trình bày mơ hình ANN để dự đoán điểm số học tập học sinh cho thấy mạng nơ-ron có tính ứng dụng đa dạng, hiệu toán dự đoán với điểm đáng ý như: mức độ xác mơ hình phụ thuộc vào nhiều thơng số thông qua phương pháp thực nghiệm để xác định giá trị thông số tối ưu Nghiên cứu tổng quan mạng nơ-ron, sâu vào nghiên cứu mạng lan truyền thẳng huấn luyện thuật toán lan truyền ngược nhằm đạt kết tốt cho toán tối ưu trọng số mạng nơ-ron nhân tạo Bằng cách thu thập thông tin điểm số học sinh, phương pháp đề xuất có nhiều ưu điểm để đến mục tiêu dự đốn xác điểm số mơn học có liên quan Hy vọng nghiên cứu báo cơng cụ trợ giúp, kênh thơng tin dự đốn tin cậy phụ huynh học sinh Góp phần đóng vai trị việc xác định khác mối quan hệ tương quan tổ hợp môn KHTN KHXH, phục vụ cho việc xây dựng hệ thống gợi ý lựa chọn mơn học theo chương trình giáo dục phổ thông 2022 Thời gian tới, tiếp tục huấn luyện tập liệu điểm số tổ hợp môn KHXH bậc THCS để dự đốn điểm số tổ hợp mơn KHTN bậc THPT trực quan hóa lên Website Chủ động tìm hiểu, vận dụng nhiều phương pháp khác để đánh giá độ tin cậy mơ hình, cải tiến phương pháp dự đoán cách sử dụng kết hợp logic mờ giải thuật di truyền (GA) cho kết dự đốn xác Tài liệu tham khảo Tiếng Việt [1] Thái Trung Hải (2014), Sử dụng mạng nơ-ron việc dự đoán kết đậu đại học, Luận văn Thạc sỹ, Đại học Lạc Hồng [2] Trần Đức Minh (2002), Ứng dụng mạng nơ-ron truyền thẳng dự báo liệu, Luận văn Thạc sỹ, Viện Công nghệ Thông tin [3] Nguyễn Đình Thúc (2000), Mạng nơ-ron nhân tạo - phương pháp ứng dụng, Nhà xuất Giáo dục [4] Nguyễn Quang Hoan (2005), Giáo trình mạng nơ-ron nhân tạo, Học viện cơng nghệ bưu viễn thơng [5] Nguyễn Văn Trịnh (2012), Ứng dụng mạng nơ-ron dự báo tỷ lệ nghỉ học, Luận văn thạc sỹ, Viện Toán Ứng dụng Tin học – Đại học Bách khoa Hà Nội [6] Lư Nhật Vinh, Bùi Công Danh (2013), Đánh giá cảm quan cà phê mạng nơ-ron nhân tạo, Số 01 tháng 10 năm 2013, Trường Đại Học Công Nghiệp Thực Phẩm TP.HCM Tiếng Anh [7] Xavier Glorot, Antoine Bordes, and Yoshua Bengio Deep sparse rectifier neural networks International Conference on Artificial Intelligence and Statistics, p315-323 2011 [8] Michael Negnevitsky (2005), Artificial Intelligence, Addison Wesley [9] Morioka Y., Sakurai K., Yokoyama A Sekine Y (1993), “Next Day Peak Load Forecasting Using a Multilayer Neural Network with an Additional Learning”, IEEE, 07803-1217-1/93 [10] Kalampokis Evangelos, Tambouris Efthimios, Tarabanis Konstantinos (2013), “Understanding the predictive power of social media”, Internet Research, Vol 23 Issue: 5, pp.544-559 [11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov Dropout: A Simple Way to Prevent Neural Networks from Overfitting Journal of Machine Learning, Vol 15 p1929-1958 2014 ... tài: ? ?Ứng Dụng Mạng Nơ- ron Nhân Tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh Trung Học Phổ Thơng theo chương trình Giáo Dục Phổ Thơng Mới? ??, giúp học sinh có gợi ý lựa chọn môn học phù... kết học tập lựa chọn nghề nghiệp em sau Vì lý trên, việc thực đề tài: ? ?Ứng Dụng Mạng Nơ- ron Nhân Tạo vào hệ thống gợi ý lựa chọn môn học cho học sinh Trung Học Phổ Thơng theo chương trình Giáo Dục. .. BAN NHÂN DÂN TỈNH BÌNH DƯƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ VĂN QUYỀN ỨNG DỤNG MẠNG NƠ -RON NHÂN TẠO VÀO HỆ THỐNG GỢI Ý LỰA CHỌN MÔN HỌC CHO HỌC SINH TRUNG HỌC PHỔ THÔNG THEO CHƯƠNG TRÌNH GIÁO DỤC