Nghiên cứu ứng dụng phương pháp SVM vào phân nhóm học sinh có khả năng cao vào học tại trường đại học kiên giang

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH VÕ HOÀNG NHÂN NGHIÊN CỨU ỨNG DỤNG PHƯƠNG PHÁP SVM VÀO PHÂN NHÓM HỌC SINH CÓ KHẢ NĂNG CAO VÀO HỌC TẠI TRƯỜNG ĐẠI HỌC KIÊN GIANG Chuyên ng[.]

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH VÕ HỒNG NHÂN NGHIÊN CỨU ỨNG DỤNG PHƯƠNG PHÁP SVM VÀO PHÂN NHÓM HỌC SINH CÓ KHẢ NĂNG CAO VÀO HỌC TẠI TRƯỜNG ĐẠI HỌC KIÊN GIANG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã chuyên ngành: 60 48 01 01 LUẬN VĂN THẠC SĨ THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021 Cơng trình hồn thành Trường Đại học Cơng nghiệp TP Hồ Chí Minh Người hướng dẫn khoa học: TS Trương Khắc Tùng Luận văn thạc sĩ bảo vệ Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại học Công nghiệp thành phố Hồ Chí Minh ngày 17 tháng 10 năm 2021 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Huỳnh Trung Hiếu - Chủ tịch Hội đồng TS Lê Thành Sách - Phản biện TS Đặng Thị Phúc - Phản biện TS Trịnh Tấn Đạt - Ủy viên TS Lê Nhật Duy - Thư ký (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN BỘ CƠNG THƯƠNG CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP Độc lập - Tự - Hạnh phúc THÀNH PHỐ HỒ CHÍ MINH NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Võ Hoàng Nhân MSHV: 17112911 Ngày, tháng, năm sinh: 10/4/1993 Nơi sinh: Sóc Trăng Chun ngành: Khoa học máy tính Mã chuyên ngành: 60480101 I TÊN ĐỀ TÀI: Nghiên cứu ứng dụng phương pháp SVM vào phân nhóm học sinh có khả cao vào học trường Đại học Kiên Giang NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu phương pháp phân nhóm liệu - Tiền xử lý thu thập - Xây dựng ứng dụng phân nhóm liệu dựa vào thuậ tốn SVM - Phân tích kết đưa hướng phát triển II NGÀY GIAO NHIỆM VỤ: 06/09/2019 III NGÀY HOÀN THÀNH NHIỆM VỤ: 17/10/2021 IV NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trương Khắc Tùng Tp Hồ Chí Minh, ngày … tháng NGƯỜI HƯỚNG DẪN năm 2021 CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TS Trương Khắc Tùng TRƯỞNG KHOA CÔNG NGHỆ THÔNG TIN LỜI CẢM ƠN Để hoàn thành luận văn thạc sĩ này, tơi xin bày tỏ cảm kích đặc biệt tới cố vấn tôi, Tiến sĩ Trương Khắc Tùng - Người định hướng, trực tiếp dẫn dắt cố vấn cho suốt thời gian thực đề tài nghiên cứu khoa học Tôi xin gửi lời cảm ơn đến thầy tất tấm lịng biết ơn Tơi xin gửi lời cảm ơn chân thành đến thầy Lê Nhật Duy – Phó khoa Cơng nghệ thơng tin hướng dẫn giúp đỡ biểu mẫu quy trình hoàn thành đề tài luận văn từ bắt đầu đăng ký đề cương đến bảo vệ luận văn Tôi xin gửi lời cảm ơn chân thành đến thầy Lê Ngọc Sơn – Trưởng phòng Quản lý Sau đại học tất Thầy, Cô giúp đỡ thủ tục cần thiết để hồn thành luận văn Sau cùng, tơi xin tỏ lịng biết ơn đến Trường Đại học Kiên Giang – Cơ quan nơi công tác, tạo điều kiện thời gian, cơng việc để tơi hồn thành luận văn thạc sĩ Xin chân thành cảm ơn tất người! i TÓM TẮT LUẬN VĂN THẠC SĨ Việc tuyển sinh trường Đại học, Cao đẳng, trung cấp chuyên nghiệp thời gian gần vấn đề Lãnh đạo trường đặc biệt quan tâm Các thay đổi quy định Bộ giáo dục ảnh hưởng rất nhiều đến hiệu tuyển sinh trường Bên cạnh số lượng trường Đại học, Cao đẳng, trung cấp chuyên nghiệp thành lập ngày nhiều trình tuyển sinh gặp khơng khó khăn, có rất nhiều trường không tuyển sinh giải tán sáp nhập vào trường lớn để trì hoạt đợng Để đối mặt với thực trường lập kế hoạch, chiến lược mới, có tính đợt phá để hồn thành tiêu Bợ giáo dục giao hàng năm trường Đại học Kiên Giang mợt số Trường Đại học Kiên Giang thành lập theo Quyết định số 758/QĐ/TTg ngày 21/05/2014 Thủ tướng Chính Phủ sở Phân hiệu Trường Đại Học Nha Trang Kiên Giang Hiện trường có khoảng 5000 Sinh viên theo học, hàng năm trường Bộ giáo dục đào tạo giao tiêu Tuyển sinh khoảng 1000 Sinh viên Do trường thành lập nên trình Tuyển sinh gặp rất nhiều khó khăn, có nhiều phương án đưa nhìn chung chưa tối ưu Vì đề tài đề xuất một phương pháp giúp nhà Trường có nhìn tổng qt tình hình Tuyển sinh cách phân nhóm học sinh có khả cao vào học tập trường Đại học Kiên Giang Để thực việc chúng tơi sử dụng thuật tốn Support Vector Machine (SVM) cài đặt ngôn ngữ Python 3.6 một số thư viện hỗ trợ khác ii ABSTRACT Student enrollment for universities, colleges, and professional secondary schools was an issue that the school administrator pay more attention at the moment Beside, the enrollment regulations of the Ministry of Education and Training had changed every year that also significantly affect on enrollment efficiency at schools In addition, the number of universities have been established more and more Therefore, the enrollment process was also fronting many difficulties Many schools were not enroll students that have separated or merged into large schools to maintain operations To face the reality situation, Kien Giang university was one of the universities which always designs breakthrough plans and strategies to fulfill the annual target assigned by the Ministry of Education and Training Kien Giang University was established under Decision No 758/QD/TTg by the Prime Minister dated May 21, 2014 Currently, Kien Giang University has about 5000 students This university is assigned the target of Enrollment about 1000 students by the Ministry of Education and Training every year Because Kien Giang University has been established for years ago, the admission process also faced many difficulties Although the administrators tried to find many options, the results of the enrollment for their university were not satisfactory Hence, in this current study, researcher suggested a method to contribute Kien Giang University have an overview of the enrollment situation by grouping students with high possibility to learn at Kien Giang University Researcher used the Support Vector Machine (SVM) algorithm installed on Python 3.6 language and some other support archives iii LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân Các kết nghiên cứu kết luận luận văn trung thực, không chép từ bất kỳ một nguồn bất kỳ hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo quy định Học viên Võ Hoàng Nhân iv MỤC LỤC LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN THẠC SĨ ii ABSTRACT iii LỜI CAM ĐOAN iv MỤC LỤC v DANH MỤC HÌNH ẢNH vii DANH MỤC BẢNG BIỂU viii DANH MỤC TỪ VIẾT TẮT ix MỞ ĐẦU .1 Đặt vấn đề .1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Cách tiếp cận phương pháp nghiên cứu .3 Ý nghĩa thực tiễn đề tài .3 CHƯƠNG TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU .4 CHƯƠNG CƠ SỞ LÝ THUYẾT Phân loại thuật toán Machine learning 2.1.1 Phân loại dựa phương thức học .6 2.1.2 Phân loại dựa chức Các thuật tốn dùng để phân nhóm liệu 2.2.1 Support Vector Machine (SVM) 2.2.2 Máy học Naïve bayes 14 2.2.3 Máy học định 17 Mạng Nơ-ron 22 2.3.1 Perceptrons 22 2.3.2 Kiến trúc mạng NN .26 2.3.3 Lan truyền tiến 28 2.3.4 Học với mạng NN .29 2.3.5 Lan truyền ngược đạo hàm 29 2.3.6 Kết luận .31 Thuật toán Principal Component Analysis .32 v 2.4.1 Mở đầu 32 2.4.2 Dữ liệu .33 Các thư viện hỗ trợ .34 2.5.1 Scikit Learn 34 Giới thiệu cơng cụ lập trình mơi trường vận hành 38 2.6.1 Anaconda Jupiter 38 2.6.2 Môi trường vận hành 39 CHƯƠNG CHUẨN BỊ DỮ LIỆU ĐỂ THỰC NGHIỆM 40 Thu thập liệu 40 Tiền xử lý liệu .40 Chuẩn hóa liệu .42 3.3.1 Normalization .43 3.3.2 Standardization 44 CHƯƠNG THỰC NGHIỆM DỰ ĐOÁN KHẢ NĂNG NHẬP HỌC CỦA HỌC SINH VÀ ĐÁNH GIÁ KẾT QUẢ 46 Thực nghiệm .46 4.1.1 Đọc liệu phân chia liệu 46 4.1.2 Huấn luyện 47 Đánh giá kết 51 KẾT LUẬN VÀ KIẾN NGHỊ 62 TÀI LIỆU THAM KHẢO 63 PHỤ LỤC 66 LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN 74 vi DANH MỤC HÌNH ẢNH Hình 2.1 Ví dụ bàn cờ vây Hình 2.2 Ví dụ phân lớp SVM không gian R2 .9 Hình 2.3 Phân lớp tuyến tính với SVM .10 Hình 2.4 SVM phân lớp liệu khơng tách rời 11 Hình 2.5 Nơ-ron sinh học 23 Hình 2.6 Perceptron .23 Hình 2.7 Sigmoid Function 25 Hình 2.8 Mơ hình Nơ-ron 26 Hình 2.9 Neural Network 26 Hình 2.10 NN - hidden layer 27 Hình 2.11 Chiều liệu 32 Hình 2.12 Dữ liệu liên quan 33 Hình 2.13 Dữ liệu khơng liên quan .33 Hình 2.14 Mean principal components .34 Hình 2.15 Giao diện Website thư viện Scikit-learn 35 Hình 2.16 Demo thực tốn phân cụm 36 Hình 2.17 Giao diện Anaconda 38 Hình 2.18 Giao diện Jupiter Notebook 39 Hình 2.19 Python 3.6.3 39 Hình 3.1 Tập liệu sau tiền xử lý .42 Hình 3.2 Kết trước sau chuẩn hóa MinMaxScaler 44 Hình 3.3 Kết trước sau chuẩn hóa Normalizer 45 Hình 4.1 Kết sau h́n luyện mơ hình 53 Hình 4.2 Visualize ma trận confusion_matrix 54 Hình 4.3 Kết sau h́n luyện mơ hình phương pháp Naive Bayes 55 Hình 4.4 Kết sau h́n luyện mơ hình phương pháp Cây định 55 Hình 4.5 Kết sau h́n luyện mơ hình phương pháp kNN 56 Hình 4.6 Kết sau huấn luyện mơ hình phương pháp Mạng Noron .56 Hình 4.7 Dữ liệu kiểm tra 57 Hình 4.8 Biểu đồ kết nhập học thực tế 57 Hình 4.9 Tỷ lệ sinh viên dự đoán đăng ký nhập học 58 Hình 4.10 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp SVM 59 Hình 4.11 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp Naïve Bayes .59 Hình 4.9 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp Cây định 60 Hình 4.10 Biểu đồ học sinh dự đoán đăng ký nhập học phương pháp kNN 60 Hình 4.11 Biểu đồ học sinh dự đốn đăng ký nhập học phương pháp mạng Noron 61 vii ... phương pháp SVM vào phân nhóm học sinh có khả cao vào học trường Đại học Kiên Giang NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu phương pháp phân nhóm liệu - Tiền xử lý thu thập - Xây dựng ứng dụng phân nhóm. .. dùng vào phân lớp học sinh có khả cao vào học trường Đại học Kiên Giang Góp phần hỗ trợ trình tuyển sinh trường thực dễ dàng tốn hơn, 2.2 Mục tiêu cụ thể Nghiên cứu giải thuật SVM Nghiên cứu vai... thí sinh bận tâm Trong nghiên cứu tác giả đưa giải pháp công nghệ thông tin để giúp công tác tuyển sinh Trường Đại học Kiên Giang tốt hơn, kết nghiên cứu tìm bạn học sinh có khả cao vào học trường