Nghiên cứu một số mô hình mạng học sâu và ứng dụng trong bài toán dự báo điểm tốt nghiệp của sinh viên trường cao đẳng cơ khí nông nghiệp

LỜI CAM ĐOAN Tên là: Phùng Thị Minh Phƣơng Sinh ngày: 27/06/1991 Là học viên lớp cao học : 18M-CT52 Trƣờng Đại học Mở Hà Nội Nơi công tác: Trƣờng Cao đẳng Cơ Khí Nơng Nghiệp – Vĩnh Phúc Tôi xin cam đoạn : Tôi xin cam đoan “Nghiên cứu số mơ hình mạng học sâu ứng dụng toán dự báo điểm tốt nghiệp sinh viên trƣờng Cao đẳng Cơ khí Nơng nghiệp” cơng trình nghiên cứu khoa học tơi dƣới hƣớng dẫn khoa học trực tiếp PGS.TS Nguyễn Long Giang Các nội dung nghiên cứu , kết nghiên cứu đƣợc trình bày luận văn hồn tồn trung thực , không vi phạm điều luật sở hữu trí tuệ pháp luật Việt Nam Mọi tham khảo dùng khóa luận đƣợc trích dẫn rõ ràng tên tác giả , tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, xin chịu hoàn toàn trách nhiệm Hà Nội , ngày 21 tháng năm 2021 Học viên thực Phùng Thị Minh Phƣơng i LỜI CẢM ƠN Lời cảm ơn trân trọng đầu tiên, muốn dành tới thầy, cô giáo Trƣờng Đại học Mở Hà Nội thầy, cô giáo Viện Hàn lâm Khoa học Công nghệ Việt Nam tận tình giảng dạy truyền đạt kiến thức suốt khóa học cao học vừa qua Đặc biệt tơi xin bày tỏ lịng biết ơn chân thành sâu sắc tới thầy PGS.TS Nguyễn Long Giang, tận tình dìu dắt hƣớng dẫn tơi suốt q trình làm luận văn, bảo định hƣớng thầy giúp tự tin nghiên cứu vấn đề giải tốn cách khoa học Tơi xin chân thành cảm ơn thầy, cô giảng viên khoa Công nghệ Thông Tin Trƣờng Đại học Mở Hà Nội tạo điều kiện thuận lợi cho tơi q trình học tập, nghiên cứu Cuối , xin cảm ơn tập thể lớp Cơng nghệ thơng tin khóa 18 cổ vũ, khích lệ chia sẻ kinh nghiệm thân giúp luận văn tơi ngày hồn thiện Mặc dù cố gắng nhiều nhƣng chắn trình học tập nhƣ làm luận văn khơng khỏi thiếu sót Tơi mong nhận đƣợc thơng cảm bảo tận tình thầy cô bạn Tôi xin chân thành cảm ơn! Hà Nội, ngày 21 tháng 02 năm 2021 Phùng Thị Minh Phương ii iii MỤC LỤC Trang LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iv DANH MỤC CÁC KÝ HIỆU, CÁC VIẾT TẮT vi DANH MỤC BẢNG vii DANH MỤC CÁC HÌNH viii MỞ ĐẦU 1 Đặt vấn đề .1 Mục tiêu nghiên cứu Mục đích nghiên cứu Đối tƣợng phạm vi nghiên cứu .2 Phƣơng pháp nghiên c ứu phƣơng pháp luận CHƢƠNG : GIỚI THIỆU TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU 1.1 Giới thiệu học máy 1.1.1 Khái niệm học máy 1.1.2 Các phƣơng pháp học máy .5 1.1.3 Ứng dụng học máy .7 1.2 Tổng quan mạng học sâu (Deep Learning) 1.2.1 Khái niệm học sâu .7 1.2.2 Học sâu với não ngƣời .8 1.2.3 Học sâu dựa mạng Neural nhân tạo .9 CHƢƠNG : MỘT SỐ MƠ HÌNH HỌC SÂU ĐƢỢC SỬ DỤNG CHO BÀI TOÁN DỰ BÁO 17 2.1 Tổng quan toán dự báo 17 2.1.1 Các bƣớc giải toán dự báo 17 2.1.2 Các tiêu chuẩn đánh giá 19 2.1.3 Mô hình tốn dự báo 23 2.1.4 Kỹ thuật xây dựng đặc trƣng 25 2.2 Giới thiệu mạng Neural 28 iv 2.3 Mạng Neural hồi quy 31 2.3.1 Mô hình mạng neural hồi quy 31 2.3.2 Phân lo ại toán mạng neural hồi quy 33 2.3.3 Mơ hình mạng lan truyền ngƣợc liên hồi – BPTT 34 2.3.4 Mơ hình mạng nhớ dài ngắn LSTM 37 2.4 Mạng Neural tích chập 44 2.4.1 Ý tƣởng mạng neural tích chập 44 2.4.2 Cấu trúc mạng Neural tích chập 44 Kết luận chƣơng 46 CHƢƠNG : ỨNG DỤNG MƠ HÌNH MẠNG HỌC SÂU CHO BÀI TỐN DỰ BÁO ĐIỂM TỐT NGHIỆP CHO SINH VIÊN TRƢỜNG CAO ĐẲNG CƠ KHÍ NƠNG NGHIỆP 47 3.1 Tổng quan toán 47 3.1.2 Bài toán dự báo tỉ lệ sinh viên tốt nghiệp tiến độ đào tạo 47 3.1.1 Sự cần thiết việc dự báo điểm tốt nghiệp 50 3.2 Ứng dụng mơ hình mạng học sâu toán dự báo điểm tốt nghiệp trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp 51 3.2.1 Lựa cho mô hình mạng học sâu sử dụng cho tốn dự báo 51 3.2.2 Xây dựng mơ hình hệ thống 52 3.2.2 Phƣơng pháp dự báo kết học tập sinh viên 54 3.2.3 Mơ hình dự báo kết học tập sinh viên 54 3.2.4 Huấn luyện mơ hình dự báo điểm 56 3.2.5 Cài đặt thử nghiệm toán 58 3.3 Kết thử nghiệm 61 3.3.1 Kết thử nghiệm 62 3.3.2 Đánh giá hiệu suất mơ hình 63 Kết luận chƣơng 67 KẾT LUẬN VÀ KHUYẾN NGHỊ 68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC 71 v DANH MỤC CÁC KÝ HIỆU, CÁC VIẾT TẮT STT Từ viết tắt Tiếng Anh Tiếng Việt AI Artificial Intelligence Trí tuệ nhân tạo ML Machine Learning Học máy DL Deep Learning Học Sâu ANN Artificial Neural Network Mạng Neural nhân tạo RNN Recurrent Neural Network Mạng Neural hồi quy CNN Convolutional Neural Network Mạng Neural tích chập LSTM Long-Short Term Memory networks Kiến trúc mạng nhớ dài-ngắn BPTT Backpropagation Through Time Mơ hình mạnh lan truyền ngƣợc liên hồi NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên 10 MSE Mean squared error Sai số bình phƣơng trung bình 11 RMSE Root Mean Square Error Sai số bình phƣơng trung bình gốc 12 R2 R Square R bình phƣơng 13 CĐCKNN Cao đẳng Cơ khí Nơng nghiệp 14 TBC Điểm trung bình chung vi DANH MỤC BẢNG Trang Bảng 3.1: Dữ liệu mẫu học phần Quản trị mạng 53 Bảng 3.2: Dữ liệu mẫu học phần Bảo trì hệ thống mạng 53 Bảng 3.3 Chi tiết liệu Cao Đăng Cơ Khí Nơng Nghiệp 54 Bàng 3.4 : Các thƣ viện hỗ trợ 58 Bảng 3.5 Thời gian huấn luyện mơ hình mạng 61 Bảng 3.6: Bảng kết huấn luyện học phần Quản trị mạng với Linux 61 Bảng 3.7: Bảng kết huấn luyện học phần Bảo trì hệ thống mạng 61 Bảng phụ lục 1: Danh sách hệ thống phần mềm 66 Bảng phụ lục 2: Danh sách hệ thống phần cứng 66 vii DANH MỤC CÁC HÌNH Trang Hình 1.1 Các phƣơng pháp học máy Hình 1.2 Sơ đồ mơ tả học máy có hƣớng dẫn Hình 1.3 Mối quan hệ AI – ML – DL Hình 1.4 Tế bào thần kinh sinh học(trái) neural mạng neural 10 Hình 1.5: Mạng neural nơng 11 Hình 1.6: Mạng neural sâu 13 Hình 1.7 Kiến trúc mạng học sâu 14 Hình 2.1 Cấu trúc neural 22 Hình 2.2 Cấu trúc chung mạng neural 23 Hình 2.3 : Mơ hình tốn Machine learning 25 Hình 2.4 Mơ hình RNN 30 Hình 2.5: Một số toán RNN 32 Hình 2.6: Mơ hình mạng neural lan truyền ngƣợc liên hồi 33 Hình 2.7: Quá trình truyền ngƣợc chuỗi liệu 34 Hình 2.8: Biểu đồ đạo hàm 35 Hình 2.9: Các module lặp lại nút mạng RNN tiêu chuẩn 38 Hình 2.10: Sự lặp lại kiến trúc module mạng LSTM chứa tầng ẩn (3 sigmoid tanh) tƣơng tác 39 Hình 2.11: Ký hiệu LSTM 39 Hình 2.12: Trạng thái tế bào 40 Hình 2.13: Cổng sàng lọc thông tin 40 Hình 2.14: Dữ liệu đƣợc truyền qua cổng quên 41 Hình 2.15: Dữ liệu đƣợc truyền qua cổng đầu vào 41 Hình 2.16: Dữ liệu đƣợc lan truyền qua trạng thái 42 viii Hình 2.17: Dữ liệu hội tụ đầu sau qua cổng 43 Hình 2.18: Cấu trúc mạng Neural tích chập 45 Hình 3.1: Tổng quan mơ hình dự báo điểm học phần thay Đồ án/khóa luận tốt nghiệp 49 Hình 3.2 : Mơ hình mạng học sâu cho học phần: Quản trị mạng với Linux 56 Hình 3.3: Mơ hình mạng học sâu cho học phần: Bảo trì hệ thống mạng 57 Hình 3.4: Lƣu đồ mơ hình mạng BPTT 59 Hình 3.5 : Lƣu đồ mơ hình mạng LSTM 60 Hình 3.6: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng mơ hình dự báo LSTM 63 Hình 3.7: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng mơ hình dự báo BPTT 63 Hình 3.8: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng mơ hình dự báo LSTM 64 Hình 3.9: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng mơ hình dự báo BPTT 64 ix MỞ ĐẦU Đặt vấn đề Trong năm gần đây, công nghệ thông tin phát triển mạnh mẽ ứng dụng nhiều lĩnh vực quan trọng đời sống, kinh tế, xã hội làm lƣợng liệu thu thập lƣu trữ hệ thống thông tin tăng lên cách nhanh chóng Trƣớc tình hình đó, việc khai thác chọn lọc liệu có ích từ lƣợng thơng tin khổng lồ định chất lƣợng hoạt động Mặt khác, liệu đƣợc dự báo giúp việc đƣa định phƣơng hƣớng tƣơng lai cách xác hiệu Hiện giới, trí tuệ nhân tạo nhận đƣợc nhiều ý, ai nói Và lĩnh vực trí tuệ nhân tạo, học máy có lẽ lĩnh vực đƣợc nói đến nhiều Machine learning - học máy chƣơng trình chạy mạng thần kinh nhân tạo, có khả huấn luyện máy tính "học" từ lƣợng lớn liệu đƣợc cung cấp để giải vấn đề cụ thể Để học máy hiệu quả, xác hơn, Deep Learning (học sâu) đời Deep learning giúp robot học nhanh, kỹ áp dụng xác Vì lý đó, nhiều toán dự báo đƣợc chuyên gia tin tƣởng sử dụng hệ thống thông minh khác nhau, có mạng học sâu Deep Learning Tính cấp thiết đề tài Với số lƣợng lớn học sinh, sinh viên theo học việc thực công tác phân tích, đánh giá hiệu học tập sinh viên trƣờng Cao đẳng Cơ Khí Nơng Nghiệp gặp nhiều khó khăn Từ liệu lý lịch sinh viên, kết học tập sinh viên làm để thu thập đƣợc thơng tin có ích, hỗ trợ cho việc định chẳng hạn nhƣ: Dự đoán đƣợc học sinh, sinh viên học bị buộc học để từ có tác động kịp thời giảm số trƣờng hợp học xuống mức thấp nhất; Dự đoán số lƣợng trúng tuyển từ hồ sơ đăng ký vào; dự đốn lƣợng thí sinh nguyện vọng một, nguyện vọng hai; Dự đốn chất lƣợng Hình 3.2: Mơ hình mạng học sâu cho học phần: Quản trị mạng với Linux 3.2.4.2 Học phần Bảo trì hệ thống mạng Từ tập huấn luyện học phần: Bảo trì hệ thống mạng ta thấy để dự báo kết học tập học phần ta cần liệu học phần điều kiện đó: - Đầu vào mạng: Gồm neural tƣơng ứng với điểm học phần điều kiện - Số lớp ẩn mạng: Sử dụng lớp ẩn - Đầu mạng: Bao gồm đầu điểm dự báo học phần: Bảo trì hệ thống mạng Dựa vào quy chế đào tạo nhà trƣờng ta tính đƣợc sinh viên có đủ điều kiện hồn thành học phần hay khơng 57 Hình 3.3: Mơ hình mạng học sâu cho học phần: Bảo trì hệ thống mạng 3.2.5 Cài đặt thử nghiệm toán Công cụ cài đặt Các thử nghiệm đƣợc cài đặt sử dụng ngôn ngữ python phiên 3.7 số thƣ viện Python đƣợc sử dụng để mô hình hóa liệu biểu đồ gồm: 58 Bàng 3.4 : Các thư viện hỗ trợ Việc tiến hành huấn luyện kiểm thử, dự báo điểm sinh viên đƣợc thực sau cài đặt thuật toán dựa vào liệu trƣờng Cao đẳng Cơ Khí Nơng Nghiệp Luận văn tiến hành huấn luyện liệu đầu vào dựa số mơ hình : BPTT , LSTM Với mơ hình mạng học sâu , ta xây dựng đƣợc lƣu đồ mơ hình mạng áp dụng vào tốn dự báo nhƣ hình 3.4 hình 3.5 59 Hình 3.4: Lưu đồ mơ hình mạng BPTT Áp dụng mơ hình mạng BPTT vào tốn dự báo, thuật tốn thực lần lƣợt bƣớc nhƣ lƣu đồ hình 3.6 Để cập nhật tham số giá trị sai khác, lƣu đồ có bƣớc lan truyền ngƣợc đặc trƣng BPTT 60 Hình 3.5 : Lưu đồ mơ hình mạng LSTM Áp dụng mơ hình mạng LSTM vào tốn dự báo, thuật tốn thực lần lƣợt bƣớc nhƣ lƣu đồ hình 3.7 3.3 Kết thử nghiệm Với mơ hình mạng học sâu BPTT LSTM ta sử dụng chung cấu trúc chƣơng trình học phần là, Quản trị mạng với Linux, Bảo trì hệ thống 61 3.3.1 Kết thử nghiệm Qua thời gian tiến hành huấn luyện liệu đầu vào dựa số mơ hình BPTT LSTM để so sánh mơ hình mạng học sâu mơ hình khác Ta có bảng thời gian huấn luyện mơ hình dƣới đây: Bảng 3.5 Thời gian huấn luyện mơ hình mạng Bộ liệu BPTT LSTM u.quantrimanglinux 476 408 u.baotrihethongmang 589 425 Từ bảng 3.5 ta thấy tốc độ huấn luyện mơ hình mạng học sâu có chênh lệnh đáng kể so với mơ hình khác Tuy nhiên thực tế việc đánh giá mơ hình cịn phải phụ thuộc vào nhiều yếu tố thông số khác Bảng 3.6: Bảng kết huấn luyện học phần Quản trị mạng với Linux Accuracy Mơ hình RMSE MSE R2 (%) BPTT 1.511 2.284 0.551 22.15 LSTM 0.272 0.073 0.946 89.58 Bảng 3.7: Bảng kết huấn luyện học phần Bảo trì hệ thống mạng Accuracy Mơ hình RMSE MSE R2 (%) BPTT 1.258 1.581 0.459 21.1 LSTM 0.535 0.286 0.958 85.7 Nhìn chung, sau thực việc so sánh kết dự đoán kết thực tế để đƣa giá trị tiêu chí đánh giá, dễ dàng thấy tiêu chí đánh giá mơ hình BPTT LSTM có chênh lệch thông số rõ rệt 62 Với số RMSE MSE thấp tính ổn định mơ hình cao Ngƣợc lại, R2 Accuracy cao tính xác mơ hình cao Vì vậy, dựa vào bảng 3.6 3.7, kết huấn luyện chƣa ổn định, tính xác thấp mơ hình BPTT mơ hình chƣa thực phù hợp với tốn cần giải Thay vào đó, mơ hình LSTM thể ổn định tính xác cao, phù hợp để áp dụng vào toán Áp dụng mơ hình học sâu vào dự đốn điểm liệu kiểm thử, sau đƣợc đƣa biểu đồ để so sánh phƣơng pháp sau thực nghiệm 3.3.2 Đánh giá hiệu suất mô hình Để áp dụng thành cơng kỹ thuật học sâu, ngƣời thực cần nhiều kỹ đơn hiểu thuật toán nguyên tắc hoạt động chúng Đối với học máy, ngƣời thực hành giỏi cần biết cách lựa chọn thuật toán phù hợp với ứng dụng cụ thể, đồng thời biết cách giám sát điều chỉnh dựa kết thực nghiệm thu đƣợc để cải thiện hệ thống học máy Trong trình phát triển hệ thống học máy ta cần định cần: thu thập thêm liệu, tăng hay giảm dung lƣợng mơ hình, thêm hay bớt đặc trƣng kiểm soát, cải thiện thuật tốn tối ƣu mơ hình, cải thiện thuật tốn suy luận xấp xỉ mơ hình, hay sửa lỗi triển khai cài đặt phần mềm cho mơ hình Tất thao tác cần tốn thời gian để thử Sau cài đặt thuật tốn tơi tiến hành huấn luyện kiểm thử dự báo điểm sinh viên dựa liệu Cao Đẳng Cơ Khí Nơng Nghiệp Dữ liệu đƣợc đánh giá liệu test sau đƣợc đƣa biểu đồ để so sánh phƣơng pháp sau thực nghiệm 63 Hình 3.6: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng mơ hình dự báo LSTM Hình 3.7: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng mơ hình dự báo BPTT 64 Hình 3.8: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng mơ hình dự báo LSTM Hình 3.9: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng mơ hình dự báo BPTT 65 Từ Bảng 3.6 đến 3.9 ta thấy thông số đánh giá khơng có chênh lệch lớn Lý liệu chƣa đƣợc đủ lớn (Dữ liệu sử dụng kết đánh giá sinh viên Khóa 57 (2017-2019) đến nay) để thấy đƣợc khác biệt thơng số đánh giá Từ Hình từ 3.6 đến 3.17 Bảng từ 3.8 đến 3.11 ta thấy mơ hình mạng học sâu cho kết dự báo tốt Tốt mô hình LSTM cho kết tốt Tuy nhiên luận văn thử nghiệm giảm số lớp ẩn mơ hình mạng cho học phần: Quản trị mạng với Linux học phần Bảo trì hệ thống mạng kết cho tốt nên khẳng định mơ hình giảm số lớp ẩn mà cho kết tƣơng tự Tuy nhiên thực tế có số trƣờng hợp sinh viên không tham gia dự thi bị yếu tố bên tác động dẫn đến sinh viên đạt điểm dẫn đến dự báo sai lầm Nguyên nhân dẫn đến chênh lệch thông số tiêu chí đánh giá cài đặt thuật toán chƣa đƣợc tối ƣu, liệu chƣa đủ lớn để đánh giá đƣợc xác Ngoài ra, số yếu tố bên dẫn đến trƣờng hợp sinh viên bị điểm thấp việc thay đổi mơ hình đào tạo làm ảnh hƣởng tới kết dự báo Trong trƣờng hợp thử nghiệm với số lớp ẩn nhỏ 03 lớp ẩn mà luận văn thử nghiệm, 02 mơ hình mạng học phần: “ Bảo trì hệ thống mạng” “Quản trị mạng với Linux”, kết cho gần nhƣ khơng có chênh lệch nên khẳng định mơ hình giảm số lớp ẩn mà cho kết tƣơng tự Vì vậy, với tốn dự báo điểm học phần Cao Đẳng Cơ Khí Nơng Nghiệp ta áp dụng mơ hình mạng LSTM để đƣa dự báo với kết tốt, độ xác dao động khoảng 85% đến 95%, số cao với toán dự báo Nhƣ vậy, với mơ hình mạng học sâu LSTM BPTT, ta tìm đƣợc số phƣơng pháp dự báo có thời gian huấn luyện nhanh có kết dự báo tốt Tuy chƣa đạt đƣợc kết nhƣ kỳ vọng nhƣng cho thấy điểm vƣợt trội qua kết mơ hình mạng học sâu so với mơ hình khác 66 Từ liệu huấn luyện ta tính tốn đƣợc tỉ lệ sinh viên tốt nghiệp tiến độ đào tạo dễ dàng cách dựa vào quy chế đào tạo chƣơng trình khung ngành học Kết luận chƣơng Nhƣ vậy, chƣơng mô tả xây dựng chƣơng trình giải tốn Dự báo điểm sinh viên trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp Luận văn đề xuất sử dụng đánh giá hiệu mơ hình mạng học sâu BPTT LSTM toán dự báo điểm Từ đó, góp phần nâng cao cơng tác giáo dục đào tạo nhà trƣờng nhƣ hỗ trợ sinh viên đƣa lựa chọn thích hợp cho việc đăng ký học phần học kỳ tới 67 KẾT LUẬN VÀ KHUYẾN NGHỊ Qua trình nghiên cứu thực tiễn đề tài: “Nghiên cứu số mô hình mạng học sâu ứng dụng tốn dự báo điểm sinh viên trƣờng đại học” đạt đƣợc kết nhƣ sau: Nghiên cứu tổng quan mạng học sâu mô hình mạng học sâu đƣợc sử dụng phổ biến Ứng dụng số mơ hình mạng học sâu, xây dựng chƣơng trình thử nghiệm dự báo điểm học phần sinh viên dựa liệu trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp Đề xuất hƣớng phát triển nghiên cứu - Tiếp tục nghiên cứu để tăng độ xác chất lƣợng mơ hình dự báo cải tiến mơ hình nghiên cứu nhằm nâng cao tỉ lệ dự báo xác - Tiếp tục tìm hiểu nhu cầu thực tế, tham khảo ý kiến chuyên gia để xây dựng, nghiên cứu phƣơng pháp tiên tiến khác đƣợc đề xuất gần để so sánh đánh giá tốn dự báo điểm sinh viên, giúp có nhìn sâu sắc phƣơng pháp học sâu - Tiếp tục phát triển xây dựng thành ứng dụng điện thoại để ngƣời dùng dễ dàng sử dụng đâu hay thời điểm Đồng thời thu hút lan truyền rộng rãi ngành đào tạo, hỗ trợ phát triển kinh tế nƣớc nhà nói chung giáo dục nói riêng 68 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt Lê Hải Khôi & Trần Đức Minh Về phƣơng pháp dự báo liệu sử [1] dụng mạng neural Tạp chí Tin học Điều khiển học 20 , N2, 2004 Huỳnh Phƣớc Hải, Nguyễn Văn Hồ, Đỗ Thanh Nghị So sánh mơ hình học sâu với phƣơng pháp học tự động khác phân lớp liệu [2] biểu gen Microarray, Fair Nghiên cứu ứng dụng công nghệ thông tin, 2017 Vũ Hữu Tiệp “Machine learning bản”, Nhà Xuất Bản Khoa học & [3] kỹ thuật Việt Nam, 2018 Lê Hữu Vinh, Nguyễn Đình Thuân Dự báo giá bitcoin kết hợp mơ hình arima mạng nơron Kỷ yếu hội nghị Khoa học Công nghệ Quốc [4] Gia lần thứ XII Nghiên cứu ứng dụng công nghệ thông tin, 2019 Trần Nguyễn Minh Thƣ, Nguyễn Hồng, Hải Phạm Trƣờng An Dự báo mực nƣớc sông mekong sử dụng LSTM liệu quan trắc thƣợng [5] nguồn, Kỷ yếu hội nghị Khoa học Công nghệ Quốc Gia lần thứ XII Nghiên cứu ứng dụng công nghệ thông tin, 2019 Trƣờng Cao đẳng Cơ Khí Nơng Nghiệp Quyết định số 682/2017 QĐCĐNCKNN-ĐT ban hành ngày 19/5/2017 V/v tổ chức thực chƣơng trình đào tạo trình độ trung cấp, trình độ cao đẳng theo phƣơng [6] thức tích lũy mơ-đun/tín chỉ; Quy chế kiểm tra, thi, xét công nhận tốt nghiệp Hiệu trƣởng Trƣờng Cao đẳng Cơ Khí Nơng Nghiệp ký duyệt,2017 Tài liệu Tiếng Anh: Haykin, Simon “Neural Networks: A Comprehensive Foundation” [7] [8] Volume 2, Prentice Hall ISBN 0-13-273350-1,1998 Shepherd and Koch “Neuropsychological Assessment”, 1990 Hochreiter, Sepp, Jrgen Schmidhuber “Long short-term memory, [9] Neural computation”, 1735-1780, 1997 [10] Huew Engineering Introduction to Convolution Neural Networks – 69 Huew Engineering, 2015 LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey “Deep learning” [11] Nature 521: pp 436-444, 2015 Bengio, Yoshua “Learning Deep Architectures for AI” Foundations [12] and Trends in Machine Learning: Vol 2: No 1, pp 1-127, 2009 Rao, B.Valluru, Rao, V.Hayagriva C++ Neural Networks and Fuzzy [13] Logic, MIS Press, 1993 Website tham khảo https://en.wikipedia.org/wiki/Accuracy_and_precision [14] [15] 10/5/2020 https://en.wikipedia.org/wiki/Deep_learning truy cập ngày 20/5/2020 https://en.wikipedia.org/wiki/Mean_squared_error [16] truy cập ngày truy cập ngày 10/5/2020 http://trituevietvn.com/chi-tiet/su-dung-mang-lstm-long-short-term- [17] memory-de-du-doan-so-lieu-huong-thoi-gian-123 truy cập 15/6/2020 https://nguyentruonglong.net/giai-thich-chi-tiet-ve-mang-long-short[18] term-memory-lstm.html truy cập ngày 27/6/2020 70 ngày PHỤ LỤC Luận văn thực việc huấn luyện kiểm thử cho mô hình dự báo dựa vào hệ thống phần mềm phần cứng trƣờng Cao đẳng Cơ Khí Nơng Nghiệp cung cấp Bảng phụ lục 1: Danh sách hệ thống phần mềm STT Chức Tên Nguồn Windows 10 Enterprise Hệ điều hành Microsoft Jupyter Notebook IDE lập trình Open - source Bảng phụ lục : Danh sách hệ thống phần cứng STT Tên Máy chủ Dell Vostro 5568 Cấu hình - Intel Ⓡ Core T M i7-7500U CPU @ 2.9GHz - Bộ nhớ RAM 8GB Nvidia Geforce 940MX - GB GDDR5 Ghi Máy chủ cài đặt hệ điều hanh IDE lập trình Card đồ họa thực việc kiểm huấn luyện kiểm thử liệu 71 ... tài: ? ?Nghiên cứu số mô hình mạng học sâu ứng dụng tốn dự báo điểm tốt nghiệp sinh viên trường Cao đẳng Cơ Khí Nơng Nghiệp? ?? làm khố luận tốt nghiệp cho luận văn tốt nghiệp Mục tiêu nghiên cứu Nghiên. .. dự báo điểm tốt nghiệp 50 3.2 Ứng dụng mơ hình mạng học sâu toán dự báo điểm tốt nghiệp trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp 51 3.2.1 Lựa cho mơ hình mạng học sâu sử dụng cho toán dự. .. sử dụng mạng học sâu cho toán dự báo dựa vào liệu cũ học đƣợc 16 CHƢƠNG : MỘT SỐ MƠ HÌNH HỌC SÂU ĐƢỢC SỬ DỤNG CHO BÀI TOÁN DỰ BÁO 2.1 Tổng quan toán dự báo Dự báo toán phức tạp, số lƣợng liệu